Chinaunix首页 | 论坛 | 博客
  • 博客访问: 875015
  • 博文数量: 585
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 3639
  • 用 户 组: 普通用户
  • 注册时间: 2014-08-06 21:58
  • 认证徽章:
个人简介

博客是我工作的好帮手,遇到困难就来博客找资料

文章分类

全部博文(585)

文章存档

2019年(2)

2018年(78)

2017年(214)

2016年(41)

2015年(184)

2014年(66)

我的朋友

分类: 系统运维

2017-01-24 16:41:02

一、安装JDK


1.7 JDK下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

下载后安装


[plain] view plain copy 在CODE上查看代码片派生到我的代码片

  1. rpm -ivh jdk-8u112-linux-x64.rpm  


设置JDK环境变量


[plain] view plain copy 在CODE上查看代码片派生到我的代码片

  1. export JAVA_HOME=/usr/java/jdk1.8.0_112  

  2. export CLASSPATH=$JAVA_HOME/lib/tools.jar    

  3. export PATH=$JAVA_HOME/bin:$PATH    



二、安装Hadoop


1、DNS绑定


vi /etc/hosts,增加一行内容,如下(这里我的Master节点IP设置的为192.168.80.100):

[plain] view plain copy 在CODE上查看代码片派生到我的代码片

  1. 192.168.80.100 IMM-SJJ01-Server18  


2、SSH的免密码登录


[plain] view plain copy 在CODE上查看代码片派生到我的代码片

  1. cd /home/data/.ssh  

  2. ssh-keygen -t rsa  

  3. cat id_rsa.pub >> authorized_keys  



3、安装Hadoop

[plain] view plain copy 在CODE上查看代码片派生到我的代码片

  1. #http://hadoop.apache.org/releases.html  

  2. wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz  

  3.   

  4. cd /home/game/soft  

  5. tar zxvf hadoop-2.7.3.tar.gz  

  6. ln -s /home/game/soft/hadoop-2.7.3 /home/game/soft/hadoop  


#4、配置

1) 设置Hadoop环境变量

[plain] view plain copy 在CODE上查看代码片派生到我的代码片

  1. vim ~/.bash_profile 或 /etc/profile  

  2. export HADOOP_HOME=/home/game/soft/hadoop  

  3. export PATH=$HADOOP_HOME/bin:$PATH  

  4.   

  5. echo $HADOOP_HOME 

  6.  

2)修改hadoop-env.sh


[plain] view plain copy 在CODE上查看代码片派生到我的代码片

  1. vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh  

  2. export JAVA_HOME=${JAVA_HOME} 改为  

  3. export JAVA_HOME=/usr/java/jdk1.8.0_112  

3)修改/etc/hosts


4)修改core-site.xml


[plain] view plain copy 在CODE上查看代码片派生到我的代码片

  1. cd $HADOOP_HOME  

  2. cp ./share/doc/hadoop/hadoop-project-dist/hadoop-common/core-default.xml ./etc/hadoop/core-site.xml  

  3. cp ./share/doc/hadoop/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml ./etc/hadoop/hdfs-site.xml  

  4. cp ./share/doc/hadoop/hadoop-yarn/hadoop-yarn-common/yarn-default.xml ./etc/hadoop/yarn-site.xml  

  5. cp ./share/doc/hadoop/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml ./etc/hadoop/mapred-site.xml  

  6.   

  7.   

  8. vim $HADOOP_HOME/etc/hadoop/core-site.xml  

  9.   

  10.   fs.default.name  

  11.   hdfs://192.168.80.100:19000  

  12.   

  13.   

  14.   hadoop.tmp.dir  

  15.   /home/game/hadoop/tmp  

  16.   

5)修改配置hdfs-site.xml

[plain] view plain copy 在CODE上查看代码片派生到我的代码片

  1.   

  2.   dfs.namenode.rpc-address  

  3.   192.168.80.100:19001  

  4.   

  5.   

  6.   

  7.   dfs.namenode.http-address  

  8.   0.0.0.0:10070  

  9.   

6)修改mapred-site.xml

[plain] view plain copy 在CODE上查看代码片派生到我的代码片

  1. cp mapred-site.xml.template mapred-site.xml  

  2.   

  3.   mapreduce.framework.name  

  4.   yarn  

  5.   


7)修改yarn-site.xml

[plain] view plain copy 在CODE上查看代码片派生到我的代码片

  1.   

  2.   The http address of the RM web application.  

  3.   yarn.resourcemanager.webapp.address  

  4.   ${yarn.resourcemanager.hostname}:18088  

  5.   


5、启动


1)格式化NameNode

cd $HADOOP_HOME/bin
./hdfs namenode -format

#2)启动hdfs
/home/game/soft/hadoop/sbin/start-dfs.sh


jps查看是否启动成功


16704 DataNode
16545 NameNode
16925 SecondaryNameNode

hdfs dfs -ls hdfs://192.168.80.100:19001/


#3) 启动yarn
/home/game/hadoop-2.7.3/sbin/start-yarn.sh


[game@IM-SJ01-Server18 sbin]$ jps


17427 NodeManager
19668 ResourceManager


yarn node -list


yarn node -status


#4)页面显示
192.168.80.100:10070


192.168.80.100:18088


#6、上传测试
hadoop fs -mkdir -p hdfs://192.168.80.100:19001/test/
hadoop fs -copyFromLocal ./test.txt hdfs://192.168.80.100:19001/test/
hadoop fs -ls hdfs://192.168.80.100:19001/


hadoop fs -put /opt/program/userall20140828 hdfs://localhost:9000/tmp/tvbox/


阅读(251) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~
评论热议
请登录后评论。

登录 注册