Chinaunix首页 | 论坛 | 博客
  • 博客访问: 5735
  • 博文数量: 4
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 70
  • 用 户 组: 普通用户
  • 注册时间: 2013-07-29 20:40
文章分类
文章存档

2013年(4)

我的朋友

分类: IT职场

2013-08-28 02:38:55


Hadoop安装可用的形式有三中,这里就背大年夜家引睹一下问分布形式安装Hadoop,希视感爱好的朋侪们一起去存眷,相疑本文的引睹必然会让你有所支获的。 AD: 本节和大年夜家一起进修一下Hadoop真分布安装形式,上节我们引睹了Hadoop本天形式的安装,经过本节引睹大年夜家可以做一下比较,看一下那种形式安装恰当你,欢迎大年夜家一起去进修Hadoop真分烈焰辅助布安装。为了便于大年夜家了解,先看一下Hadoop的观点。 Hadoop真分布安装形式 Hadoop观点 一个分布式体系根基架构,由Apache基金会开收。用户可以在不了解分布式底层细节的状况下,开收分布式程序。充裕支配集群的威力高速运算和存储。 简单天说去,Hadoop是一个可以更轻易开收和运转处理大年夜局限数据的软件平台。 Hadoop真现了一个分布式文件体系(HadoopDistributedFileSystem),简称HDFS。HDFS有着高容错性(fault-tolerent)的特点,而且设计用去部署在昂贵的(low-cost)硬件上。而且它供给高传输率(highthroughput)去接睹利用程序的数据,恰当那些有着超大年夜数据集(largedataset)的利用程序。HDFS放宽了(relax)POSIX的要供(requirements)如许可以流的情势接睹(streamingaccess)文件体系中的数据。上里就hadoop0.20.1为底本,引睹在UbuntuLinux9.10下hadoop真分布安装的方法。 支撑的平台: Linux,可作为开收和产品部署的平台; Windows,可作为开收平台。 事先需要的软件: 1.JavaTM1.6.x,必须安装,倡议选择Sun公司刊行的Java版本; 2.ssh必须安装,并包管sshd运转,hadoop将以ssh停止通信; 3.假定是windows,则需要装Cygwin,用以支撑shell下令。 安装可用的形式: 1.本天形式; 2.真分布形式; 3.全分布形式。 Hadoop真分布形式安装步骤: 1.将hadoop安装包解紧缩到某目次下; 2.修改conf/hadoop-env.sh文件,exportJAVA_HOME=那行设置细确的JAVA_HOME位置 3.修改conf/core-site.xml,改成: viewplaincopytoclipboardprint? configuration property name fs.default.name /name value hdfs://localhost:9000 /value /property /configuration configuration property name fs.default.name /name value hdfs://localhost:9000 /value /property /configuration 4.修改conf/hdfs-site.xml,改成: viewplaincopytoclipboardprint? configuration property name dfs.repli烈焰公牛辅助cation /name value 1 /value /property /configuration configuration property name dfs.replication /name value 1 /value /property /configuration 5.修改conf/mapred-site.xml,改成: viewplaincopytoclipboardprint? configuration property name mapred.job.tracker /name value localhost:9001 /value /property /configuration configuration property name mapred.job.tracker /name value localhost:9001 /value /property /configuration 6.设置本机ssh本机无稀码 先测试一下,输进下令sshlocalhost,假定提醒稀码,则需要停止以下操作: $ssh-keygen-tdsa-P""-f~/.ssh/id_dsa $cat~/.ssh/id_dsa.pub ~/.ssh/authorized_keys 7.格式化namenode: $bin/hadoopnamenode-format 8.启动Hadoop: $bin/start-all.sh 至此,hadoop真分布形式安装终了!
阅读(415) | 评论(0) | 转发(0) |
0

上一篇:Hadoop伪分布模式安装如何实现?

下一篇:没有了

给主人留下些什么吧!~~