狂甩酷拽吊炸天
分类： LINUX
2016-04-20 17:58:13
适用于单机部署
传压缩包
1. 建安装目录
Zookeeper配置
1. 解压安装包到新建的tydic_ceshi目录
tar -zxvf zookeeper-3.4.6.tar.gz -C tydic_ceshi/
2.切换到zookeeper（以下简称zk）的conf目录下，重命名配置文件
3.启动zk,切换到zk的bin目录
./zkServer.sh start
4.查看zk的状态,切换到zk的bin目录
./zkServer.sh status
看到Mode: standalone 表示zk单结点启动正常
5.停止zk,切换到zk的bin目录(关闭服务时执行)
./zkServer.sh stop
安装jdk（因为hadoop需要）
1. 在root用户下，上传jdk的安装包，并修该权限
2. 修改所属（因为我的机器用root不能上传，是用was上传的，如果是用root上传的这步可以忽略）
chown root:root jdk-6u30-linux-x64.bin
创建jdk的安装目录
3.修改环境变量，并安装jdk：
vi .bash_profile，修改内容如下
JAVA_HOME=/home/jdk1.6
JRE_HOME=/home/jdk1.6/jre
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
修改完记得source .bash_profile
4.修改jdk权限
chmod +x jdk-6u30-linux-x64.bin
安装的时候，在jdk包所在路径./jdk***************
5安装完成，我们用java -version 看看jdk版本
Ps：原本自带的jdk1.4，如果你用这个命令来看到的是1.4的jdk，我们做如下操作：
hadoop配置
1.解压安装包
tar -zxvf hadoop-2.2.0.tar.gz -C tydic_ceshi/
2.配置hadoop-env.sh，切换到hadoop的etc/hadoop目录
执行vi hadoop-env.sh
Jdk的目录是：/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.9.x86_64
配置core-site.xml，切换到hadoop的etc/hadoop目录
执行vi core-site.xml
添加如下配置:
hadoop.tmp.dir
[此处为hadoop安装根目录]/hadoopdata/tmp
fs.default.name
hdfs://[此处为主机名称]:9000
配置hdfs-site.xml，切换到hadoop的etc/hadoop目录
添加如下配置:
dfs.namenode.secondary.http-address
[此处为主机名]:9002
dfs.namenode.name.dir
file:[此处为hadoop根目录]/hadoopdata/dfs/name
dfs.datanode.data.dir
file:[此处为hadoop根目录]/hadoopdata/dfs/data
dfs.replication
1
dfs.webhdfs.enabled
true
fs.hdfs.impl
org.apache.hadoop.hdfs.DistributedFileSystem
配置mapred-site.xml，切换到hadoop的etc/hadoop目录
添加如下配置：
mapreduce.framework.name
yarn
mapreduce.jobtracker.address
[此处为主机名]:9002
mapreduce.jobtracker.http.address
[此处为主机名]:50030
mapreduce.jobhistory.address
[此处为主机名]:10020
mapreduce.jobhistory.webapp.address
[此处为主机名]:19888
需要先改名，在添加
配置hadoop环境,切换到当前用户根目录
vi .bash_profile
添加hadoop安装路径，例如:
export HADOOP_HOME=[此处为hadoop安装根目录]
export PATH=.:$HADOOP_HOME/bin:$PATH
执行source .bash_profile 使配置生效
6.格式化hadoop，切换到hadoop的bin目录
hadoop namenode -format
7. 启动hadoop，切换到hadoop的sbin目录
./start-all.sh
8.查看hadoop进程
jps -l|grep hadoop|grep -v hbase
有5个进程则正常
另外通过浏览器访问:http://[此处为主机IP地址]:50070 能看到界面，说明正常
在浏览器访问，出现如下界面说明启动成功
Ps：如果hadoop安装成功，但是启动有问题，看不到启动的进程
解决办法：应该是格式化的时候出的问题，系统不认识主机名，切root编辑hosts文件，然后再去格式化
编辑内容如下（在hosts最末尾添加）：
你的主机ip 你的主机名
10.停止hadoop，切换到hadop的sbin目录(关闭服务时执行)
./stop-all.sh
hbase配置
1.解压安装包
tar -zxvf hbase-0.96.2-hadoop2-bin.tar.gz -C tydic_ceshi/
2.配置hbase-env.sh，切换hbase的conf目录，
vi hbase-env.sh
找到如下两项进行修改
export JAVA_HOME=[此处为jdk安装根目录]
export HBASE_MANAGES_ZK=false
3.配置hbase-site.xml，切换到hbase的conf目录,
vi hbase-site.xml
添加如下配置
hbase.zookeeper.property.clientPort
2181
Property from ZooKeeper's config zoo.cfg.
The port at which the clients will connect.
hbase.zookeeper.quorum
[此处为主机名]
The directory shared by RegionServers.
hbase.rootdir
hdfs://[此处为主机名]:9000/hbase
The directory shared by RegionServers.
hbase.cluster.distributed
true
hbase.coprocessor.user.region.classes
org.apache.hadoop.hbase.coprocessor.AggregateImplementation
4. 启动hbase,切换到hbase的bin目录
./start-hbase.sh
5. 查看hbase进程
看到有两个hbae进程，则启动正常
另外通过浏览器访问http://[此处为主机IP]:60010，能看到页面，说明正常
Ps：hbase安装成功，能看到进程启动进程，但是在浏览器里访问不到，而且大概三分钟左右hbase或自动stop（查不到进程）
木有启动hadoop和zookeeper
启动顺序是：hadoopàzookeeperàhbase
6. 停止hbase进程(停止服务时执行)
./stop-hbase.sh
Redis安装(部署两个作为单机集群)
1.解压安装包
tar -zxvf redis-2.8.9.tar.gz -C tydic_ceshi/
2.复制另外一份作为slave
cp -r redis-2.8.9 redis-2.8.9-slave
3.安装redis,在redis-2.8.9 和 redis-2.8.9-slave 根目录
执行make （可能会遇到问题）
1）make安装Redis 2.8.9时报错：
zmalloc.h:50:31: error: jemalloc/jemalloc.h: No such file or directory
zmalloc.h:55:2: error: #error "Newer version of jemalloc required"
make[1]: *** [adlist.o] Error 1
make[1]: Leaving directory `/data0/src/redis-2.6.2/src'
make: *** [all] Error 2
说关于分配器allocator， 如果有MALLOC 这个 环境变量， 会有用这个环境变量的 去建立Redis。
而且libc 并不是默认的 分配器， 默认的是 jemalloc, 因为 jemalloc 被证明 有更少的 fragmentation problems 比libc。
但是如果你又没有jemalloc 而只有 libc 当然 make 出错。 所以加这么一个参数。
解决办法：make MALLOC=libc
2）这样做之后又报permession deney，切root再进行make
又报：
cc: ../deps/hiredis/libhiredis.a: No such file or directory
cc: ../deps/lua/src/liblua.a: No such file or directory
make: *** [redis-server] Error 1
分别进入redis下的deps下的hiredis、lua 运行make，注意：jemalloc下可能要先运行./configure，然后make
结果还是报cc: error: ../deps/lua/src/liblua.a: No such file or directory
切到lua目录下执行make linux
回到src目录运行 make
cc: ../deps/linenoise/linenoise.o: No such file or directory
make: *** [redis-cli] Error 1
切到linenoise目录下执行make
然后就可以切会src目录make了
/home/was/tydic_ceshi/redis-2.8.9/src
4.修改redis-2.8.9-slave根目录redis.conf
vi redis.conf
修改port 为6380（如果找不到，在命令模式下输入/port） ，作为slave监听端口
port 6380
最后一行添加（如果找不到，在命令模式下输入shift+G），作为master的slave
slaveof 127.0.0.1 6379
5.修改redis-2.8.9-slave根目录sentinel.conf
vi sentinel.conf
修改port为26380（如果找不到，在命令模式下输入/port），作为sentinel slave 监听端口
port 26380
6.启动master和slave,分别切换到redis-2.8.9 和redis-2.8.9-slave
nohup ./src/redis-server ./redis.conf &
nohup ./src/redis-sentinel ./sentinel.conf &
ps:期间遇到Permission denied，切换到root，对redis目录执行chown –R was:was redis的目录
7.查看redis进程
ps -ef|grep redis
看到如上4个进程表示正常
8.进入redis客户端查看master状态，切换到redis-2.8.9 或redis-2.8.9-slave目录
./src/redis-cli -h 127.0.0.1 -p 6379 --进入master后台（端口为6379）
输入info
注意看# Replication这部分信息
role:master(主)
connected_slaves:1(salve有1个)
slave0:ip=127.0.0.1,port=6380,state=online,offset=151744,lag=0(salve服务信息)
9、进入redis客户端查看slave状态，切换到redis-2.8.9 或redis-2.8.9-slave目录
./src/redis-cli -h 127.0.0.1 -p 6380 --进入slave后台（端口为6380）
输入info
注意看# Replication这部分信息
role:slave(从)
master_host:127.0.0.1(master服务ip)
master_port:6379(master服务端口)
rabbitMQ安装
一、.安装ncurses（erlang依赖包）
注:可以按第二步先安装otp_src_17.1.tar.gz，如果没有提示错误，则这步可以不执行。
解压ncurses.tar.gz包：
tar -zxvf ncurses.tar.gz
安装otp_src_17.1.tar.gz（erlang软件，rabbitmq依赖包）
1.解压otp_src_17.1.tar.gz
tar -zxvf otp_src_17.1.tar.gz -C tydic_ceshi/
2.安装otp_src_17.1
1）cd otp_src_17.1
2)./configure （切root去做）
切换root，到这个目录下去做
3)make（切root去做）
报如下的错
执行cp Makefile.in Makefile
在make（需要很长时间，请耐心等待）
4)make install
Ok了
三、启动/停止rabbitMQ（mq解压即可使用，无需安装）
1.解压：tar -zxvf rabbitmq-server-generic-unix-3.3.4.tar.gz
2.配置：
1）cd rabbitmq_server-3.3.4/sbin
2）启动：./rabbitmq-server -detached
3) 开启监控插件: ./rabbitmq-plugins enable rabbitmq_management
4）停止：./rabbitmqctl stop
四、配置rabbitMQ(蓝色部分可根据需要填写)
1）新建用户：./rabbitmqctl add_user jtdq jtdq (用户名和密码:jtdq )
2)设置用户角色： ./rabbitmqctl set_user_tags jtdq administrator
3)新建virtual_host: ./rabbitmqctl add_vhost jtdqVhost
4)权限设置：./rabbitmqctl set_permissions -p "jtdqVhost" jtdq".*" ".*" ".*"
5)列出用户权限: ./rabbitmqctl list_user_permissions jtdq
