按类别查询搜索结果
关于关键词 的检测结果,共 1136
laoliulaoliu | 2016-07-02 21:26:33 | 阅读(570) | 评论(0)
原文地址:https://zhuanlan.zhihu.com/p/20953323作者:馨宁链接:https://zhuanlan.zhihu.com/p/20953323来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。介绍Hadoop的文章已经很多了,个人感觉这一篇还是写得不错的:Hadoop以前是,现在仍然是大数据批处理领域的王...【阅读全文】
aqiandao | 2016-06-08 15:39:21 | 阅读(430) | 评论(0)
  在2016云栖大会·武汉峰会上,阿里云技术专家宋杰分享了他对云计算的三条路径的理解和感悟,并且阐述了云计算对于企业而言到底意味着什么的问题。那么阿里大数据发展之路经历了哪三次技术突围?阿里又是如何通过十余年的技术沉淀最终铸就飞天系统的呢?本文将为你揭晓答案,精彩不容错过。  对于企业来说,但是到...【阅读全文】
【LINUX】 Centos优化Hadoop
刘遄 | 2016-05-26 21:43:46 | 阅读(760) | 评论(0)
导读Hadoop是一个能够让用户轻松架构和使用的分布式计算平台,用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序,本节讲安装并且优化centos 6.7 系统下的Supper Hadoop。 1、系统安装类型选择及自定义额外包组 进入如图 1-1 所示界面。 上半部分是系统定制的不同的...【阅读全文】
libydwei2007 | 2016-05-26 11:57:44 | 阅读(1020) | 评论(0)
大数据本身是个很宽泛的概念,Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆,各有各的用处,互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤,你可以用小刀或者刨子去皮。但是每个工具有自己的特性,虽然奇怪的组合也能工作,但...【阅读全文】
ZJ_Lavender | 2016-05-25 13:15:01 | 阅读(130) | 评论(0)
二度人脉算法:Hadoop实现【阅读全文】
linux_kaige | 2016-05-19 15:45:45 | 阅读(980) | 评论(0)
在Hadoop权威指南的第二张《关于mapreduce》中,提到了气象数据的分析问题,使用到Unix脚本,我就抽空把气象数据给下载下来,然后放到服务器上,用书中的脚本测试一下。实际发现书上有错误的地方,这么多年很少看书,第一次发现书中的错误,已圈红色:我按照上面的方式下载文件 ftp://ftp.ncdc.noaa.gov/pub/data/...【阅读全文】
woaimaidong | 2016-05-07 23:17:31 | 阅读(1890) | 评论(0)
本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令,在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久,如有问题欢迎批评指正~非常感谢【阅读全文】
oracle_ren | 2016-05-06 22:06:32 | 阅读(740) | 评论(0)
http://www.alliedjeep.com/22394.htm说到处理大数据的工具,普通的开源解决方案(尤其是Apache Hadoop)堪称中流砥柱。弗雷斯特调研公司的分析师Mike Gualtieri最近预测,在接下来几年,“100%的大公司”会采用Hadoop。Market Research的一份报告预测,到2011年,Hadoop市场会以58%的年复合增长率(CAGR)高速增长;到2...【阅读全文】
海峡 | 2016-04-27 18:59:36 | 阅读(860) | 评论(0)
http://www.thebigdata.cn/Hadoop/9572.html注意,配置这些参数前,应充分理解这几个参数的含义,以防止误配给集群带来的隐患。另外,这些参数均需要在yarn-site.xml中配置。  1.    ResourceManager相关配置参数   (1) yarn.resourcemanager.address   参数解释:ResourceManager 对客户...【阅读全文】
【HADOOP】 hadoop+lucene
hiyachen | 2016-04-23 13:24:26 | 阅读(2610) | 评论(0)
hadoop+lucene【阅读全文】
【系统运维】 hadoop 常用命令
海峡 | 2016-04-22 14:01:04 | 阅读(850) | 评论(0)
Hadoop dfs –ls就是查看/usr/root目录下的内容,默认如果不填路径这就是当前用户路径;Hadoop dfs –rmr xxx就是删除目录,还有很多命令看看就很容易上手;Hadoop dfsadmin –report这个命令可以全局的查看DataNode的情况;Hadoop job后面增加参数是对于当前运行的Job的操作,例如list,kill等;...【阅读全文】
jelon521 | 2016-04-20 17:58:13 | 阅读(1340) | 评论(0)
zookeeper、hadoop、hbase、redis、rabbitMQ单机部署及遇到的问题【阅读全文】
OowarrioroO | 2016-04-20 12:17:59 | 阅读(870) | 评论(0)
IntelliJ IDEA 开发hadoop 配置与打jar包
1. 安装intelliJ环境
2.基本开发需要导入的jar包
3. map-reduce程序基本框架
4. intelliJ 完成 hadoop可执行jar包生成
?5. 生成jar包后,job提交
hadoop jar ./out/artifacts/invertedList/invertedList.jar hdfs_input_path hdfs_output_path【阅读全文】
zhaoritian | 2016-04-18 10:50:18 | 阅读(1310) | 评论(0)
hadoop找不到主类 export HADOOP_CLASSPATH=$JAVA_HOME/lib/tools.jar理解【阅读全文】
OowarrioroO | 2016-04-15 21:26:50 | 阅读(860) | 评论(0)
Hadoop 提交任务执行流程总结
用流水线可表示任务执行流程如下:
input(k1,v1) -> map -> (k2,v2) -> combine -> shuffle(partitioner) -> sort -> (k2,v2) -> reduce -> (k3,v3) ->output【阅读全文】
zghover | 2016-04-14 15:54:55 | 阅读(1560) | 评论(0)
hadoop 安装【阅读全文】
海峡 | 2016-04-12 15:39:31 | 阅读(760) | 评论(0)
1、什么是yarn? 2、Yarn 和MapReduce相比,它有什么特殊作用 ?背景 Yarn是一个分布式的资源管理系统,用以提高分布式的集群环境下的资源利用率,这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer们还可以周期性的在已有的代码上进行修改,...【阅读全文】
【架构设计与优化】 Hadoop进程启动过程分析
海峡 | 2016-04-11 21:27:15 | 阅读(730) | 评论(0)
hadoop 启动过程【阅读全文】
【大数据】 hadoop集群快速搭建
dusir120 | 2016-04-10 17:15:45 | 阅读(740) | 评论(0)
我们将部署一个两节点的hadoop集群,集群架构如下图: 2016-04-10 05.png【阅读全文】
OowarrioroO | 2016-04-01 21:28:43 | 阅读(800) | 评论(0)
hadoop namenode -formate后,上传文件报错 0 datanode(s) running and no node(s) are excluded
1.报错内容:
?put: File /user/username/testData/matrixdata.txt._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datanode(s) running and no node(s) are excluded in this operation.
2.错误分析与解决
?打开hdfs-site.xml里配置的datanode和namenode对应的目录,分别打开current文件夹里的VERSION,可以看到clusterID项正如日志里记录的一样,确实不一致,修改datanode里VERSION文件的clusterID 与namenode里的一致,再重新启动dfs(执行start-dfs.sh)再执行jps命令可以看【阅读全文】