按类别查询搜索结果
关于关键词 的检测结果,共 1136
海峡 | 2016-03-22 16:25:23 | 阅读(610) | 评论(0)
hadoop master second【阅读全文】
zzjlzx | 2016-03-21 10:38:53 | 阅读(1250) | 评论(0)
Hadoop虚拟化扩展(HVE)之资源扩展技术作者:vBigData  发布日期:2013-11-07 10:22:29背景在虚拟化的云环境中,Hadoop可以有更好的“弹性”,这是云计算的一个重要优势,例如亚马逊的EMR(ElasticMapReduce)服务, 用户可以迅速的在云中根据需求部署一个H...【阅读全文】
zzjlzx | 2016-03-21 10:35:48 | 阅读(1160) | 评论(0)
正式生产环境下hadoop集群的DNS+NFS+ssh免密码登陆配置作者:weir2010  发布日期:2014-06-09 18:03:05环境虚拟机centos6.5主机名h3  IP 192.168.137.11  作为DNS FNS的服务器主机名h4  IP 192.168.137.12主机名h3  I...【阅读全文】
levy-linux | 2016-03-17 17:42:57 | 阅读(1100) | 评论(0)
hadoop之steaming介绍hadoop有个工具叫做steaming,能够支持python、shell、C++、PHP等其他任何支持标准输入stdin及标准输出stdout的语言,其运行原理可以通过和标准java的map-reduce程序对比来说明:使用原生java语言实现Map-reduce程序    hadoop准备好数据后,将数据传送给java的map程序 &nbs...【阅读全文】
【系统运维】 Redhat 下hadoop简单搭建
foreverxp0 | 2016-03-16 21:51:14 | 阅读(1310) | 评论(0)
一   hadoop简介 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。        Hadoop实现了一个分布式文件系统(Hadoop Distributed File System...【阅读全文】
jelon521 | 2016-03-15 15:58:04 | 阅读(1250) | 评论(0)
Hadoop简介        Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲,...【阅读全文】
【大数据】 Hadoop伪分布式
zhaoritian | 2016-03-04 17:33:08 | 阅读(0) | 评论(0)
参见:http://www.powerxing.com/install-hadoop/1.格式化 ./bin/hdfs namenode -format2.开启 NameNode 和 DataNode 守护进程  ./sbin/start-dfs.sh3.  jps   显示java进程4.停止 ./sbin/stop-dfs.sh5.成功启动后,可以访问 Web 界面 http://localhost:50070 查看 NameNode...【阅读全文】
speckle | 2016-03-01 08:23:49 | 阅读(1120) | 评论(0)
Hadoop NameNode HA【阅读全文】
hackeruncle | 2016-02-25 16:37:00 | 阅读(1110) | 评论(0)
本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令,在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久,如有问题欢迎批评指正~非常感谢【阅读全文】
suiming2005 | 2016-02-24 09:03:07 | 阅读(1190) | 评论(0)
hadoop、spark比较【阅读全文】
levy-linux | 2016-02-18 09:34:02 | 阅读(2440) | 评论(0)
想看看执行的hive job提交了什么语句,有没有方法从hadoop job监控页面查看?方法如下,这里看到简单的一段SQL,几乎看不出具体在执行什么任务。1、点开一个application,点击Tracking URL: ApplicationMaster 或者 History(历史任务显示History),进入到MapReduce Job job_1409xxxx,Job页面2、点击左侧的Config...【阅读全文】
神域风云再起 | 2016-02-11 16:26:22 | 阅读(350) | 评论(0)
在使用hadoop namenode -format进行namenode的格式化时候,出现错误Format aborted in path出现错误的原因是:在对namenode格式化之前,要确保dfs.name.dir参数指定的目录不存在(hdfs-site.xml文件)。hadoop这样做的目的是防止错误的将已存在的集群格式化了。解决方法:关闭hadoop服务将上面参数指定的文件夹删除,...【阅读全文】
levy-linux | 2016-01-20 10:46:13 | 阅读(2390) | 评论(0)
hadoop节点服务器的一块硬盘出现物理故障,需要更换,将节点的服务停止,暂时不提供服务,将故障更换了,新盘格式化,fdisk -l新的2T盘为/dev/sdeparted -s /dev/sde mklabel gpt mkpart primary 0% 100%格式化:mkfs.ext4 /dev/sde1挂载硬盘:mount /dev/sde /data2正常启动datanode服务,但是报错,如下:...【阅读全文】
h136919934 | 2016-01-18 20:14:30 | 阅读(120) | 评论(0)
Hadoop简介        Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲,...【阅读全文】
levy-linux | 2016-01-13 15:29:57 | 阅读(4960) | 评论(0)
NN切换hdfs haadmin -transitionToActive/transitionToStandbyRM切换yarn rmadmin -transitionToActive/transitionToStandby但是,这种方式在启用了ZKFC做自动失效恢复的状态下是不允许修改的,提示信息里只说了可以强制执行,但是没有提供命令,其实强制切换主备命令很简单。加个forcemanual就好了。强制切换yar...【阅读全文】
【大数据】 hadoop版本比较
oracle_ren | 2016-01-06 10:17:04 | 阅读(540) | 评论(0)
由于Hadoop版本混乱多变,因此,Hadoop的版本选择问题一直令很多初级用户苦恼。本文总结了Apache Hadoop和Cloudera Hadoop的版本衍化过程,并给出了选择Hadoop版本的一些建议。 1. Apache Hadoop 1.1  Apache版本衍化截至目前(2012年12月23日),Apache Had...【阅读全文】
levy-linux | 2015-12-30 15:25:02 | 阅读(10260) | 评论(0)
跑job 的时候发现如下错误,Container [pid=41355,containerID=container_1451456053773_0001_01_000002] is running beyond physical memory limits. Current usage: 2.0 GB of 2 GB physical memory used; 5.2 GB of 4.2 GB virtual memory used. Killing container. Dump of the process-tree for container_1451456...【阅读全文】
cokeboL | 2015-12-25 15:08:30 | 阅读(0) | 评论(0)
from:http://blog.csdn.net/jthink_/article/details/42745699参考:http://blog.csdn.net/jthink_/article/details/41016909           http://blog.csdn.net/jthink_/article/details/427463971. hadoop本身是用java写的,所以用java写mapreduce是比较合适的,...【阅读全文】
cokeboL | 2015-12-23 13:29:36 | 阅读(1320) | 评论(0)
1.安装ubuntu-server14.042.ubuntu-server14.04安装docker  sudo apt-get install docker-io3.pull hadoop-docker????  docker pull sequenceiq/hadoop-docker:2.7.1  docker run -it sequenceiq/hadoop-docker:2.7.1 /etc/bootstrap.sh -bash  参考 https://github.com/sequenceiq/hadoop-d...【阅读全文】
levy-linux | 2015-12-23 11:12:05 | 阅读(1860) | 评论(0)
Ambari和CM管理平台都提示,建议关闭THP,这是为什么?如果不关闭THP,发现Hadoop的系统态CPU使用率很高,原因是RHEL6优化了内存申请的效率,而且在某些场景下对KVM的性能有明显提升。而Hadoop是个高密集型内存运算系统,这个改动似乎给它带来了副作用。理论上运算型Java程序应该更多的使用用户态CPU才对,Cloudera官...【阅读全文】