按类别查询搜索结果
关于关键词 的检测结果,共 162
【云计算】 hadoop配置参数说明
Larpenteur | 2013-10-24 11:48:10 | 阅读(390) | 评论(0)
在这里写一遍hadoop的参数说明,自己多记忆一下,如果有人需要也可以帮助一下大家Hadoop配置文件分为两类:1、只读类型的默认文件:src/core/core-default.xml     src/hdfs/hdfs-default.xml    src/mapred/mapred-default.xml   conf/mapred-queues.xml2. 定位(site-spe...【阅读全文】
【云计算】 hadoop配置参数说明
1012191556 | 2013-10-21 21:39:24 | 阅读(1810) | 评论(0)
在这里写一遍hadoop的参数说明,自己多记忆一下,如果有人需要也可以帮助一下大家Hadoop配置文件分为两类:1、只读类型的默认文件:src/core/core-default.xml     src/hdfs/hdfs-default.xml    src/mapred/mapred-default.xml   conf/mapred-queues.xml2. 定位(site-spe...【阅读全文】
ying091104 | 2013-08-30 10:47:45 | 阅读(1270) | 评论(0)
HDFS集群没有采用RAID(冗余磁盘阵列)作为datanodes的存储设备(尽管namenode使用RAID来保护元数据不会丢失)。由于HDFS是采用在节点之间块复制的方法,所以RAID提供的冗余机制对HDFS来说是多余的。此外,RAID条带(RAID 0)常用于增加性能,但却比HDFS中用到的JBOD(Just a Bunch Of Disks)要慢,而且JBOD在所有的磁盘之间...【阅读全文】
【云计算】 Hadoop中map数的计算
ying091104 | 2013-08-23 17:33:02 | 阅读(430) | 评论(0)
Hadoop中在计算一个JOB需要的map数之前首先要计算分片的大小。计算分片大小的公式是:goalSize = totalSize / mapred.map.tasksminSize = max {mapred.min.split.size, minSplitSize}splitSize = max (minSize, min(goalSize, dfs.block.size))totalSize是一个JOB的所有map总的输入大小,即Map input byt...【阅读全文】
圣剑蓝骑士 | 2013-07-31 11:34:15 | 阅读(210) | 评论(0)
转自http://www.cnblogs.com/sidmeng/archive/2012/04/09/2438592.html目前,hadoop社区有几个不同的分支版本,各个版本之前又相互联系。以下是几个主要版本的一些介绍。    0.20.2是一个stable的版本,他又几个子版本,0.20.203 具有security特性,但是不具有append和raid功能。 0.20-append具有a...【阅读全文】
Larpenteur | 2013-07-26 23:51:46 | 阅读(370) | 评论(0)
Hadoop MapReduce HDFS 分布式并行编程【阅读全文】
【云计算】 hadoop环境搭建
Larpenteur | 2013-07-16 02:33:02 | 阅读(210) | 评论(0)
新搭建的hadoop环境,使用起来还不错1、修改主机信息 每个node节点需要修改/etc/hosts文件 192.168.1.xxx master 192.168.1.xxx node1  192.168.1.xxx node22、修改自动登录设置 每个节点均操作  ssh-keygen -t rsa  将生成的id_rsa.pub密码信息输入到authorized_k...【阅读全文】
【云计算】 hadoop环境搭建
niao5929 | 2013-07-15 23:36:23 | 阅读(230) | 评论(0)
新搭建的hadoop环境,使用起来还不错1、修改主机信息 每个node节点需要修改/etc/hosts文件 192.168.1.xxx master 192.168.1.xxx node1  192.168.1.xxx node22、修改自动登录设置 每个节点均操作  ssh-keygen -t rsa  将生成的id_rsa.pub密码信息输入到authorized_k...【阅读全文】
【云计算】 hadoop环境搭建
hbjxzl | 2013-07-13 23:21:18 | 阅读(2510) | 评论(0)
新搭建的hadoop环境,使用起来还不错1、修改主机信息 每个node节点需要修改/etc/hosts文件 192.168.1.xxx master 192.168.1.xxx node1  192.168.1.xxx node22、修改自动登录设置 每个节点均操作  ssh-keygen -t rsa  将生成的id_rsa.pub密码信息输入到authorized_k...【阅读全文】
shigf_2015 | 2013-07-09 21:32:31 | 阅读(1550) | 评论(0)
yakamoz1121 | 2013-06-13 16:24:08 | 阅读(750) | 评论(0)
Hadoop RestFul Hadoop HDFS原理1 Hadoop HDFS原理2 Hadoop作业调优参数调整及原理 Hadoop HA Hadoop MapReduce高级编程 Hadoop IO Hadoop MapReduce工作原理 Hadoop 管理 ...【阅读全文】
yakamoz1121 | 2013-06-13 09:12:05 | 阅读(350) | 评论(0)
转自:http://www.cnblogs.com/forfuture1978/archive/2010/11/14/1877086.html1、Map-Reduce的逻辑过程假设我们需要处理一批有关天气的数据,其格式如下:按照ASCII码存储,每行一条记录每一行字符从0开始计数,第15个到第18个字符为年第25个到第29个字符为温度,其中...【阅读全文】
qianit | 2013-06-08 11:06:12 | 阅读(1230) | 评论(0)
Hadoop_MapReduce教程.doc【阅读全文】
【云计算】 最新学习hadoop
mayu8758 | 2013-05-06 22:41:06 | 阅读(230) | 评论(0)
http://www.osedu.info/cloud-computing
云计算【阅读全文】
圣剑蓝骑士 | 2013-04-06 20:34:57 | 阅读(2310) | 评论(0)
hadoop datanode启动不起来转自:http://book.51cto.com/art/201110/298602.htm如果大家在安装的时候遇到问题,或者按步骤安装完后却不能运行Hadoop,那么建议仔细查看日志信息,Hadoop记录了详尽的日志信息,日志文件保存在logs文件夹内。无论是启动,还是以后会经常用到的MapReduce中的每一个job,以及...【阅读全文】
圣剑蓝骑士 | 2013-04-06 20:30:47 | 阅读(1670) | 评论(0)
摘要:该文档解决了多次格式化文件系统后,datanode无法启动的问题一、问题描述当我多次格式化文件系统时,如root@localhost:/usr/local/hadoop-1.0.2# bin/hadoop namenode -format会出现datanode无法启动,查看日志,发现错误为:2012-04-20 20:39:46,501 ERROR org.apache.hadoop.hdfs.server.dat...【阅读全文】
圣剑蓝骑士 | 2013-04-06 20:24:49 | 阅读(500) | 评论(0)
slp195 | 2013-04-03 16:18:06 | 阅读(1780) | 评论(1)
http://blog.csdn.net/xiaochunyong/article/details/7764683----------------------------------------------------java.lang.NoClassDefFoundError: org/apache/commons/configuration/Configuration 解决方案:commons-configuration-1.6.jar 缺少了这个包----------------------------------------------------...【阅读全文】
niao5929 | 2013-04-01 16:00:00 | 阅读(170) | 评论(0)
Hadoop集群配置(最全面总结)  huangguisu       通常,集群里的一台机器被指定为 NameNode,另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves\官方地址:(http://hadoop.apache.org/common...【阅读全文】
圣剑蓝骑士 | 2013-04-01 11:50:09 | 阅读(310) | 评论(0)
Hadoop集群配置(最全面总结)  huangguisu       通常,集群里的一台机器被指定为 NameNode,另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves\官方地址:(http://hadoop.apache.org/common...【阅读全文】