Chinaunix首页 | 论坛 | 博客
  • 博客访问: 762131
  • 博文数量: 259
  • 博客积分: 10
  • 博客等级: 民兵
  • 技术积分: 2518
  • 用 户 组: 普通用户
  • 注册时间: 2012-10-13 16:12
个人简介

科技改变世界,技术改变人生。

文章分类

全部博文(259)

发布时间:2015-09-02 18:54:15

集群平衡介绍
Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况,比如集群中添加新的数据节点。当HDFS出现不平衡状况的时候,将引发很多问题,比如MR程序无法很好地利用本地计算的优势,机器之间无法达到更好的网络带宽使用率,机器磁盘无法利用等等。可见,保证HDFS中的数据平衡.........【阅读全文】

阅读(561) | 评论(0) | 转发(0)

发布时间:2015-09-02 14:31:43

今天查看一个nagios监控web页面,报错:找不到/nagios页面,
开始以为权限的问题,对比其他nagios监控Server,后来发现是缺少文件,
我将其他nagios监控主机的web相关的配置文件scp到这个主机上,之后就正常了,应该是这台搭建的时候没有配置web相关的内容,

scp文件如下:
/usr/lib/nagios.........【阅读全文】

阅读(729) | 评论(0) | 转发(0)

发布时间:2015-09-01 00:17:31

Cobbler作为一个自动化系统工具,使部署RedHat/Centos/Fedora系统更容易,同时也支持Suse和Debian系统的部署。
它提供以下服务集成:

* PXE服务支持
* DHCP服务管理
* DNS服务管理
* Kickstart服务支持
* yum仓库管理

Cobbler客户端Koan支持虚拟机安装和操作系统.........【阅读全文】

阅读(481) | 评论(0) | 转发(0)

发布时间:2015-08-31 17:54:14

将Web应用打包成WAR文件的方法<br /><br />(1)在命令行中运用Jar命令<br /><br />假定有一个Web应用:C:\myHome<br /><br />myHome/WEB-INF/……<br />myHome/files/……<br />myHome/image/……<br />myHome/src/……<br />myHome/index.jsp<br /><br />在命令行窗口下执行如下命令:<br />C:\&gt;cd myHome.........【阅读全文】

阅读(1436) | 评论(0) | 转发(0)

发布时间:2015-08-29 22:32:34

(一)备份namenode的元数据<br />namenode中的元数据非常重要,如丢失或者损坏,则整个系统无法使用。因此应该经常对元数据进行备份,最好是异地备份。<br />1、将元数据复制到远程站点<br />(1)以下代码将secondary namenode中的元数据复制到一个时间命名的目录下,然后通过scp命令远程发送到其它机器<br /><br />.........【阅读全文】

阅读(791) | 评论(0) | 转发(0)

发布时间:2015-08-28 19:55:50

今天巡检的时候发现很多Missing Block信息,大概有1千多个,基本上是error文件,我针对一个文件进行fsck,如下信息:<br /><br />[root@nn ~]# hdfs fsck /kafka/kafka-sample/history/2014/errors-m-00003 -files -blocks -racks -locations<br />SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".<br.........【阅读全文】

阅读(2825) | 评论(0) | 转发(0)

发布时间:2015-08-28 17:00:16

问题描述:<br /><br />前几天发现hadoophdfs磁盘空间经常满,导致任务失败,但是查看hadoop fs -du -h /&nbsp; 这个根目录的文件大小总计150T左右,但是在50070端口页面查看到的磁盘使用接近390T,怀疑是文件备份数出问题了。<br /><br />执行 hadoop dfs -ls [filename]&nbsp; 近期的文件都是3份,上个月的抽几个文件.........【阅读全文】

阅读(1709) | 评论(0) | 转发(0)

发布时间:2015-08-17 16:19:42

由于公司机房异常断电,导致测试环境的hadoop集群数据全部down掉。重启hadoop集群后,访问:http://xxx.xxx.xxx.xx:50070/dfshealth.html

提示:
NameNode is still loading. Redirecting to the Startup Progress page.

这个不是错误。因为hadoop启动时,会进入安全模式进行自检,自检完.........【阅读全文】

阅读(708) | 评论(0) | 转发(0)

发布时间:2015-08-16 13:34:53

MapReduce重要配置参数
1.  资源相关参数
(1) mapreduce.map.memory.mb: 一个Map Task可使用的资源上限(单位:MB),默认为1024。如果Map Task实际使用的资源量超过该值,则会被强制杀死。
(2) mapreduce.reduce.memory.mb: 一个Reduce Task可使用的资源上限(单位:MB),默认为1024。如果Reduce Ta.........【阅读全文】

阅读(641) | 评论(0) | 转发(0)

发布时间:2015-08-12 11:25:38

这是一个很容易出现的问题,网上很多内容将mysql驱动包上传到不对的路径导致出现问题。<br /><br />cloudera manager添加hive时报错找不到jdbc driver<br />报错<br />JDBC driver cannot be found. Unable to find the JDBC database jar on host<br /><br />把包放入这个目录,注意文件名要保持一致 网上又很多需要.........【阅读全文】

阅读(7468) | 评论(0) | 转发(0)
给主人留下些什么吧!~~
留言热议
请登录后留言。

登录 注册