按类别查询搜索结果
关于关键词 的检测结果,共 54
【系统运维】 hadoop配置文件说明
levy-linux | 2015-01-07 17:18:02 | 阅读(440) | 评论(0)
1、dfs.hosts 记录即将作为datanode加入集群的机器列表2、mapred.hosts 记录即将作为tasktracker加入集群的机器列表3、dfs.hosts.exclude mapred.hosts.exclude 分别包含待移除的机器列表4、master 记录运行辅助namenode的机器列表5、slave 记录运行datanode和tasktracker的机器列表6、hadoop-env.sh 记录脚本要用的环...【阅读全文】
levy-linux | 2015-01-05 17:22:18 | 阅读(510) | 评论(0)
1、解决"no datanode to stop"问题jps 中看不到namenode删除/tmp 文件中 红色框 中的文件$rm -rf /usr/hadoop/tmp/*$rm -rf /tmp/hadoop*$hadoop namenode -format$start-all.sh【阅读全文】
【系统运维】 hadoop内网集群部署
hrsjw1 | 2014-12-31 15:02:20 | 阅读(1380) | 评论(0)
 系统配置 1.禁用防火墙,停止开机启动/usr/sbin/ntpdate ntp.api.bz/etc/init.d/iptables stop ; chkconfig iptables off2.修改网络,添加host文件 (所有节点)[root@NameNode01 ~]# vim /etc/hosts10.0.2.75       NameNode0110.0.2.216     ...【阅读全文】
【系统运维】 Hadoop 学习笔记
hrsjw1 | 2014-12-26 18:45:34 | 阅读(330) | 评论(0)
h1.contents-heading-western { margin-top: 0.85cm; margin-bottom: 0cm; color: rgb(54, 95, 145); font-family: "Cambria",serif; font-size: 14pt; line-height: 115%; text-align: left; widows: 2; orphans: 2; }h1.contents-heading-cjk { margin-top: 0.85cm; margin-bottom: 0cm; color: rgb(54, 95, 145); font-...【阅读全文】
Q沐浴晨光Q | 2014-04-14 08:07:32 | 阅读(400) | 评论(0)
Hadoop集群与Hadoop性能优化Hadoop性能优化:Hadoop机架感知实现及配置:分布式的集群通常包含非常多的机器,由于受到机架槽位和交换机网口的限制,通常大型的分布式集群都会跨好几个机架,由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通常都会高于跨机架机器之间的网络速度,并且机架之间机器...【阅读全文】
【系统运维】 HADOOP 2.3.0 HA 部署
ykyx00 | 2014-03-20 10:49:44 | 阅读(1200) | 评论(0)
http://my.oschina.net/superwu/blog/196066【阅读全文】
【系统运维】 Hadoop运维记录系列
西方失败2913312169 | 2014-01-24 17:41:45 | 阅读(160) | 评论(0)

Hive是目前应用最多最广的SQL on Hadoop工具,近期很多专业的大数据公司推出了很多新的,基于列式或者内存热数据的SQL工具,像Impala,Tez,Spark等等,但是Hive仍然是目前使用率最高和普及面最广的SQL on Hadoop的工具。在以前淘宝罗李的报告中,淘宝90%的业务跑在Hive上面。暴风影音的比例更高一些,大概95%以上都是跑在Hive上面。尽管很多人对Hive有看法,效率低,查询慢,bug多。但是并不可否认hive是一个开创性的工具,提供了更多的想象空间。而且,在生产集群上的数据查询程序的开发效率,Hive要远远高于自己写MR。【阅读全文】
【系统运维】 Hadoop运维记录系列
hzw2654523557 | 2014-01-23 11:06:35 | 阅读(150) | 评论(0)

Hive是目前应用最多最广的SQL on Hadoop工具,近期很多专业的大数据公司推出了很多新的,基于列式或者内存热数据的SQL工具,像Impala,Tez,Spark等等,但是Hive仍然是目前使用率最高和普及面最广的SQL on Hadoop的工具。在以前淘宝罗李的报告中,淘宝90%的业务跑在Hive上面。暴风影音的比例更高一些,大概95%以上都是跑在Hive上面。尽管很多人对Hive有看法,效率低,查询慢,bug多。但是并不可否认hive是一个开创性的工具,提供了更多的想象空间。而且,在生产集群上的数据查询程序的开发效率,Hive要远远高于自己写MR。【阅读全文】
zzjlzx | 2013-12-27 11:19:38 | 阅读(750) | 评论(0)
Hadoop成功部署案例之eBay篇作者:51CTO出处:博客2012-09-11 06:07  然而,有些人表示,虽然Hadoop是眼下热闹非凡的大数据领域最热话题,但它肯定不是可以解决数据中心和数据管理方面所有难题的灵丹妙药。考虑到这一点,我们暂且不想猜测这个平台未来会如何,也不想猜测彻底改变各种数据密集型解决方...【阅读全文】
zzjlzx | 2013-11-28 17:26:15 | 阅读(990) | 评论(0)
Hadoop集群与Hadoop性能优化Hadoop性能优化:Hadoop机架感知实现及配置:分布式的集群通常包含非常多的机器,由于受到机架槽位和交换机网口的限制,通常大型的分布式集群都会跨好几个机架,由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通常都会高于跨机架机器之间的网络速度,并且机架之间机器...【阅读全文】
【系统运维】 Hadoop命令的研究
zzjlzx | 2013-11-28 17:21:32 | 阅读(620) | 评论(0)
Hadoop命令的研究目录 TOC \o "1-3" \h \z \u 0 概述:... PAGEREF _Toc290487829 \h 21 常规选项:... PAGEREF _Toc290487830 \h 22 用户命令:... PAGEREF _Toc290487831 \h 22.1 archive. PAGEREF _Toc290487832 \h 22.2 distcp. PAGEREF _Toc290487833 \h 32.3 fs. PAGEREF _...【阅读全文】
wfeng | 2013-11-11 11:57:02 | 阅读(360) | 评论(0)
弁言        Hadoop散播式文件体系(。条件和计划方针硬件过错       硬件过错是常态而不是非常。HDFS也许由成百上千的做事器所构成,每个做事器上存储着文件体系的部分数据。我们面对的实际是构成体系的组件数量是伟大...【阅读全文】
【系统运维】 Hadoop运维记录系列
niao5929 | 2013-09-22 10:45:19 | 阅读(330) | 评论(0)

Hive是目前应用最多最广的SQL on Hadoop工具,近期很多专业的大数据公司推出了很多新的,基于列式或者内存热数据的SQL工具,像Impala,Tez,Spark等等,但是Hive仍然是目前使用率最高和普及面最广的SQL on Hadoop的工具。在以前淘宝罗李的报告中,淘宝90%的业务跑在Hive上面。暴风影音的比例更高一些,大概95%以上都是跑在Hive上面。尽管很多人对Hive有看法,效率低,查询慢,bug多。但是并不可否认hive是一个开创性的工具,提供了更多的想象空间。而且,在生产集群上的数据查询程序的开发效率,Hive要远远高于自己写MR。【阅读全文】
【系统运维】 Hadoop运维记录系列
djkpengjun | 2013-09-19 06:55:44 | 阅读(1120) | 评论(0)

Hive是目前应用最多最广的SQL on Hadoop工具,近期很多专业的大数据公司推出了很多新的,基于列式或者内存热数据的SQL工具,像Impala,Tez,Spark等等,但是Hive仍然是目前使用率最高和普及面最广的SQL on Hadoop的工具。在以前淘宝罗李的报告中,淘宝90%的业务跑在Hive上面。暴风影音的比例更高一些,大概95%以上都是跑在Hive上面。尽管很多人对Hive有看法,效率低,查询慢,bug多。但是并不可否认hive是一个开创性的工具,提供了更多的想象空间。而且,在生产集群上的数据查询程序的开发效率,Hive要远远高于自己写MR。【阅读全文】
【系统运维】 Hadoop运维记录系列
Larpenteur | 2013-09-18 00:38:29 | 阅读(270) | 评论(0)

Hive是目前应用最多最广的SQL on Hadoop工具,近期很多专业的大数据公司推出了很多新的,基于列式或者内存热数据的SQL工具,像Impala,Tez,Spark等等,但是Hive仍然是目前使用率最高和普及面最广的SQL on Hadoop的工具。在以前淘宝罗李的报告中,淘宝90%的业务跑在Hive上面。暴风影音的比例更高一些,大概95%以上都是跑在Hive上面。尽管很多人对Hive有看法,效率低,查询慢,bug多。但是并不可否认hive是一个开创性的工具,提供了更多的想象空间。而且,在生产集群上的数据查询程序的开发效率,Hive要远远高于自己写MR。【阅读全文】
【系统运维】 Hadoop运维记录系列
ichenxiaohu | 2013-09-16 23:49:18 | 阅读(210) | 评论(0)

Hive是目前应用最多最广的SQL on Hadoop工具,近期很多专业的大数据公司推出了很多新的,基于列式或者内存热数据的SQL工具,像Impala,Tez,Spark等等,但是Hive仍然是目前使用率最高和普及面最广的SQL on Hadoop的工具。在以前淘宝罗李的报告中,淘宝90%的业务跑在Hive上面。暴风影音的比例更高一些,大概95%以上都是跑在Hive上面。尽管很多人对Hive有看法,效率低,查询慢,bug多。但是并不可否认hive是一个开创性的工具,提供了更多的想象空间。而且,在生产集群上的数据查询程序的开发效率,Hive要远远高于自己写MR。【阅读全文】
【系统运维】 Hadoop运维记录系列
zhanglili123321 | 2013-09-16 11:49:14 | 阅读(2610) | 评论(2)

Hive是目前应用最多最广的SQL on Hadoop工具,近期很多专业的大数据公司推出了很多新的,基于列式或者内存热数据的SQL工具,像Impala,Tez,Spark等等,但是Hive仍然是目前使用率最高和普及面最广的SQL on Hadoop的工具。在以前淘宝罗李的报告中,淘宝90%的业务跑在Hive上面。暴风影音的比例更高一些,大概95%以上都是跑在Hive上面。尽管很多人对Hive有看法,效率低,查询慢,bug多。但是并不可否认hive是一个开创性的工具,提供了更多的想象空间。而且,在生产集群上的数据查询程序的开发效率,Hive要远远高于自己写MR。【阅读全文】
jiangfumu | 2013-08-29 21:18:56 | 阅读(1460) | 评论(0)
yandaren_1220 | 2013-06-13 14:13:17 | 阅读(690) | 评论(0)
utm168 | 2013-04-22 10:40:16 | 阅读(800) | 评论(0)
生产环境:3台机器:master(192.168.0.61),slave1(192.168.0.62),slave2(192.168.0.63) 注意:hostname设置为master/slave1/slave2操作系统:rhel5.4 x86_64master做为namenonde,将slave1和slave2做为datanode1.在master:(在slave1和slave2上操作和以下相同) vi /etc/hosts 192.168.0.61 master 192.168.0....【阅读全文】