按类别查询搜索结果
关于关键词 的检测结果,共 1136
【HADOOP】 hadoop部署
davie5201314 | 2015-11-03 18:56:59 | 阅读(0) | 评论(0)
1、环境准备:一台namenode,两台datanode2、三台机器建立ssh信任关系    在namenode上执行ssh-keygen -t rsa,生成的两个文件,mv id_rsa.pub authorized_keys ,修改sshd_config中的点击(此处)折叠或打开PubkeyAuthentication yesAuthorizedKeysFile .ssh/autho...【阅读全文】
powerful_boy | 2015-11-02 09:30:39 | 阅读(510) | 评论(0)
    向Hadoop感兴趣的朋友推荐两本书:1、Hadoop权威指南(第三版,清华大学出版社)作者:Tom White2、Hadoop源代码分析(中国铁道出版社) 作者:张鑫【阅读全文】
levy-linux | 2015-10-27 21:53:55 | 阅读(2010) | 评论(0)
Hadoop中常常需要增加新的节点,或者变更备份系数。在完成这些操作后,往往出现数据未自动备份,或者数据节点不可用的情况。 Hadoop的备份系数是指每个block在hadoop集群中有几份,系数越高,冗余性越好,占用存储也越多。备份系数在hdfs-site.xml中定义,默认值为3.  如何变更备份系数?  首先stop-...【阅读全文】
levy-linux | 2015-10-15 19:33:23 | 阅读(830) | 评论(0)
最近测试了下hadoop读写数据的情况,将结果分享给大家,

datanode
mem:128G
cup:2cpu 26** 4核 共8核

namenode
mem:192G
cup:2cpu 26** 4核 共8核


datanode15台
namenode2台

单个文件2G 使用-put方式
data block repl...【阅读全文】
xiong9937 | 2015-10-13 14:45:55 | 阅读(390) | 评论(0)
xuemling | 2015-09-17 15:41:50 | 阅读(710) | 评论(0)
使用 Spark-sql 导入数据,hive模式,比如导入数据到hadoop【阅读全文】
levy-linux | 2015-09-16 19:04:08 | 阅读(1060) | 评论(0)
今天hadoop群集出现crontab job不执行的情况,手动运行job,报错如下:<br />org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.RetriableException): org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot <br /><br />delete /user/hdfs/.staging/job_1441592436807_1892.<span style="back...【阅读全文】
levy-linux | 2015-09-15 10:47:51 | 阅读(1730) | 评论(0)
今天hadoop群集get文件的时候出现报错,如下:<br />$hdfs dfs -get /test/part-r-00000.gz ./<br /><br />15/09/15 09:20:33 INFO hdfs.DFSClient: Access token was invalid when connecting to /192.168.2.42:50010 : org.apache.hadoop.hdfs.security.token.block.InvalidBlockTokenException: Got access token err...【阅读全文】
【HADOOP】 Hadoop
毕赖子 | 2015-09-14 21:29:31 | 阅读(420) | 评论(0)
http://baike.baidu.com/view/908354.htm?fr=aladdinHadoop技术已经无处不在。不管是好是坏,Hadoop已经成为大数据的代名词。短短几年间,Hadoop从一种边缘技术成为事实上的标准。看来,不仅现在Hadoop是企业大数据的标准,而且在未来,它的地位似乎一时难以动摇。一个分布式系统基础架构,由Apache基金会...【阅读全文】
levy-linux | 2015-09-06 14:04:14 | 阅读(430) | 评论(0)
hadooop提供了一个设置map个数的参数mapred.map.tasks,我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数,并不是每次都有效的。原因是mapred.map.tasks只是一个hadoop的参考数值,最终map的个数,还取决于其他的因素。<br /><br />为了方便介绍,先来看几个名词:<br />block_size : hdfs的文件块...【阅读全文】
levy-linux | 2015-09-06 14:01:08 | 阅读(1360) | 评论(0)
hadoop集群中主要进程<br />master:&nbsp;&nbsp; NameNode, ResourceManager,<br />slaves:&nbsp;&nbsp; DataNode, NodeManager,&nbsp; RunJar, MRAppMaster,YarnChild<br /><br />其中 RunJar, MRAppMaster,YarnChild与随着某个job的创建而创建,随着job的完成而终止。它们的作用分别是:<br />RunJar:完成job的初始...【阅读全文】
levy-linux | 2015-09-02 18:54:15 | 阅读(510) | 评论(0)
集群平衡介绍
Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况,比如集群中添加新的数据节点。当HDFS出现不平衡状况的时候,将引发很多问题,比如MR程序无法很好地利用本地计算的优势,机器之间无法达到更好的网络带宽使用率,机器磁盘无法利用等等。可见,保证HDFS中的数据平衡...【阅读全文】
levy-linux | 2015-08-29 22:32:34 | 阅读(720) | 评论(0)
(一)备份namenode的元数据<br />namenode中的元数据非常重要,如丢失或者损坏,则整个系统无法使用。因此应该经常对元数据进行备份,最好是异地备份。<br />1、将元数据复制到远程站点<br />(1)以下代码将secondary namenode中的元数据复制到一个时间命名的目录下,然后通过scp命令远程发送到其它机器<br /><br />...【阅读全文】
linux一叶 | 2015-08-28 22:26:46 | 阅读(590) | 评论(0)
把最近经常使用的Hadoop,Ceph的命令总结一下,很实用。


Hadoop【阅读全文】
mingfei10 | 2015-08-26 10:35:51 | 阅读(620) | 评论(0)
我是在linux环境下,Ubuntu14.04下配置的 
资源:java+eclipse+hadoop2.6.2 
里面包括了...【阅读全文】
Larpenteur | 2015-08-20 01:17:57 | 阅读(990) | 评论(0)
把最近经常使用的Hadoop,Ceph的命令总结一下,很实用。


Hadoop【阅读全文】
levy-linux | 2015-08-17 16:19:42 | 阅读(550) | 评论(0)
由于公司机房异常断电,导致测试环境的hadoop集群数据全部down掉。重启hadoop集群后,访问:http://xxx.xxx.xxx.xx:50070/dfshealth.html

提示:
NameNode is still loading. Redirecting to the Startup Progress page.

这个不是错误。因为hadoop启动时,会进入安全模式进行自检,自检完...【阅读全文】
levy-linux | 2015-08-16 13:34:53 | 阅读(560) | 评论(0)
MapReduce重要配置参数
1.  资源相关参数
(1) mapreduce.map.memory.mb: 一个Map Task可使用的资源上限(单位:MB),默认为1024。如果Map Task实际使用的资源量超过该值,则会被强制杀死。
(2) mapreduce.reduce.memory.mb: 一个Reduce Task可使用的资源上限(单位:MB),默认为1024。如果Reduce Ta...【阅读全文】
【HADOOP】 Spark VS Hadoop
xuemling | 2015-08-14 16:29:23 | 阅读(260) | 评论(0)
Spark VS Hadoop【阅读全文】
niao5929 | 2015-08-13 22:03:25 | 阅读(400) | 评论(0)
把最近经常使用的Hadoop,Ceph的命令总结一下,很实用。


Hadoop【阅读全文】