搜索博文结果_ChinaUnix博客

博客首页博客专家往日推荐博客文集

热搜：系统运维服务器存储 C# Java 数据库 WINDOWS 信息

博客首页〉搜索结果

按类别查询搜索结果

操作系统程序设计数据库热点技术综合架构与运维移动开发与应用 Web前端

虚拟化| 云计算| 大数据| HADOOP| 高性能计算|

关于关键词的检测结果，共 30 条

【HADOOP】 Hadoop 提交任务执行流程总结

OowarrioroO | 2016-04-15 21:26:50 | 阅读(3100) | 评论(0)

Hadoop 提交任务执行流程总结
用流水线可表示任务执行流程如下：
input(k1,v1) -> map -> (k2,v2) -> combine -> shuffle(partitioner) -> sort -> (k2,v2) -> reduce -> (k3,v3) ->output【阅读全文】

【HADOOP】 azkaban任务报错java.lang.RuntimeException: The root scratch dir: /tmp/hive

levy-linux | 2016-03-23 10:43:40 | 阅读(11740) | 评论(0)

azkaban运行任务的时候失败报错如下：23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR - Exception in thread "main" org.apache.hive.service.cli.HiveSQLException: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rwxr-xr-x23-03-2016 ...【阅读全文】

【HADOOP】 ambari迁移HistoryServer服务

levy-linux | 2016-03-17 14:13:43 | 阅读(2760) | 评论(0)

ambari管理界面没有提供move HistoryServer功能，所以需要使用命令进行迁移操作。测试环境 Ambari 2.0一、删除 Delete Mapreduce History Server if server died1、设置MAPREDUCE2参数curl -u admin:admin -H "X-Requested-By: ambari" -X PUT -d '{"RequestInfo":{"context":"Stop Service"},"Body":{"ServiceInfo"...【阅读全文】

【HADOOP】 ambari增加journalnode服务节点

levy-linux | 2016-03-17 11:57:58 | 阅读(2660) | 评论(0)

ambari默认3个journalnode节点，但是如果一个节点出现问题，需要增加补充，ambari界面没有操作的选项，所以只能通过其他命令方式操作，看到之前有个文章是将HA降级，之后重新做HA，这样的风险太高了，操作负载，从网上找到了其他方式，分享给需要的朋友，也希望ambari新版本可以将这个增加journalnode功能，添加进去。增...【阅读全文】

【HADOOP】重启ambari-agent服务器报错： Failed to start ping port listener of

levy-linux | 2016-03-08 14:10:12 | 阅读(6200) | 评论(0)

维护过程中重启ambari-agent服务器报错：INFO 2016-03-08 13:04:24,070 main.py:74 - loglevel=logging.INFOINFO 2016-03-08 13:04:24,076 DataCleaner.py:39 - Data cleanup thread startedINFO 2016-03-08 13:04:24,081 DataCleaner.py:120 - Data cleanup startedINFO 2016-03-08 13:04:24,087 DataCleaner.py:122...【阅读全文】

【HADOOP】 Hadoop平台关闭THP解决服务器高负载问题

levy-linux | 2015-12-23 11:12:05 | 阅读(3540) | 评论(0)

Ambari和CM管理平台都提示，建议关闭THP，这是为什么？如果不关闭THP，发现Hadoop的系统态CPU使用率很高，原因是RHEL6优化了内存申请的效率，而且在某些场景下对KVM的性能有明显提升。而Hadoop是个高密集型内存运算系统，这个改动似乎给它带来了副作用。理论上运算型Java程序应该更多的使用用户态CPU才对，Cloudera官...【阅读全文】

【HADOOP】 Ambari卸载已安装的服务组件

levy-linux | 2015-12-01 17:11:48 | 阅读(8800) | 评论(0)

Ambari 常用的 REST API 介绍Ambari 借鉴了很多成熟分布式软件的 API 设计。Rest API 就是一个很好地体现。通过 Ambari 的 Rest API，可以在脚本中通过 curl 维护整个集群。并且，我们可以用 Rest API 实现一些无法在 Ambari GUI 上面做的操作。下面是一些实例。实例 1，通过 API 卸载已安装的 Service目前 Ambari 不...【阅读全文】

【HADOOP】很久没有启动datanode服务的节点，重新启动，出现的Block更新情况

levy-linux | 2015-09-10 17:14:16 | 阅读(3260) | 评论(0)

最近处理一台，很久没有启动datanode服务的节点，启动后发现日志中一直有如下信息不断个产生，

2015-09-10 14:22:28,474 INFO datanode.DataNode (DataXceiver.java:writeBlock(598)) - Receiving BP-219392391-192.168.20.101-
1404293177278:blk_1121179008_48430870 src: /192.168.20.1...【阅读全文】

【HADOOP】学习笔记——Hadoop 1.x 服务讲解

CuteB | 2015-07-06 14:18:35 | 阅读(1280) | 评论(0)

1.对于分布式系统和框架的架构来说，一般分为两部分： 第一部分：管理层，用于管理应用层的 第二部分：应用层（工作的） NameNode(元数据服务器) Secondary NameNode(辅助元数据服务器) JobTracker(任务调度员) DataNodes(块存储)    TaskTracker(任务执行) HD...【阅读全文】

【HADOOP】 Hadoop内置作业调度器与调度平台的集成

ecjtubaowp | 2015-04-04 09:19:30 | 阅读(2440) | 评论(0)

Hadoop 现在几乎已经成为业界在大数据上事实的标准，越来越多的企业开始采用hadoop进行数据的存储及处理。既然涉及数据处理，一个不可不提的术语就是“作业” or “job”，大量的作业必然要引入作业管理及调度，hadoop也不能例外。传统企业中的调度工具，不管像是简单crontab，或者企业级的如control-M，很容易注...【阅读全文】

【HADOOP】 Hadoop jobhistory历史服务器介绍

niao5929 | 2015-02-19 17:02:57 | 阅读(770) | 评论(0)

Hadoop jobhistory历史服务器介绍[日期：2015-02-18]来源：Linux社区作者：Linux[字体：大中小]Hadoop自带了一个历史服务器，可以通过历史服务器查看已经运行完的Mapreduce作业记录，比如用了多少个Map、用了多少个Reduce、作业...【阅读全文】

【HADOOP】 hbase过滤器之InclusiveStopFilter

hxl | 2014-11-17 16:30:20 | 阅读(0) | 评论(0)

点击(此处)折叠或打开package com.hxl;import java.io.IOException;import java.util.ArrayList;import java.util.List;import org.apache.hadoop.conf.Configuratio...【阅读全文】

【HADOOP】 hbase过滤器之SkipFilter

hxl | 2014-11-17 14:43:46 | 阅读(0) | 评论(0)

表数据:hbase(main):009:0> scan 'tb_user_info'ROW COLUMN+CELL ...【阅读全文】

【HADOOP】 hbase过滤器之TimestampsFilter

hxl | 2014-11-17 14:24:00 | 阅读(0) | 评论(0)

TimestampsFilter 过滤器用来指定具体时间戳的数据,TimestampsFilter里的参数必须是具体的long类型数字. 点击(此处)折叠或打开package com.hxl;import java.io.IOException;import java.util.ArrayList;import java.util.List;...【阅读全文】

【HADOOP】 hbase过滤器之ColumnPrefixFilter

hxl | 2014-11-17 13:56:40 | 阅读(0) | 评论(0)

ColumnPrefixFilter过滤器是提取列名包含某个字符前缀的数据,如下的例子提取列名前缀包含"na"的数据. 点击(此处)折叠或打开package com.hxl;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.ap...【阅读全文】

【HADOOP】 hbase过滤器之FirstKeyOnlyFilter

hxl | 2014-11-17 11:34:37 | 阅读(0) | 评论(0)

FirstKeyOnlyFilter只会返回每一行数据的第一个KV,我们可以采用这个过滤器统计表的总行数。点击(此处)折叠或打开package com.hxl;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hado...【阅读全文】

【HADOOP】 hbase过滤器之KeyOnlyFilter

hxl | 2014-11-17 10:57:27 | 阅读(0) | 评论(0)

当我们获取hbase中的数据的时候,只想提取key的值,而不想提取value值的时候,我们可以采用KeyOnlyFilter过滤器,该过滤器会过滤掉value值. 点击(此处)折叠或打开package com.hxl;import java.io.IOException;import org.apache.hadoop.conf.Configur...【阅读全文】

【HADOOP】 hbase过滤器之PageFilter

hxl | 2014-11-14 11:25:39 | 阅读(0) | 评论(0)

通过PageFilter控制每页输出的记录数Filter filter = new PageFilter(10); 点击(此处)折叠或打开package com.hxl;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;...【阅读全文】

【HADOOP】 hbase之PrefixFilter过滤器

hxl | 2014-11-14 09:30:39 | 阅读(0) | 评论(0)

PrefixFilter过滤器是通过rowkey的前缀进行过滤的,类似oracle中的like 'youkey%'如下的例子查找rowkey中前缀包含"row"的记录点击(此处)折叠或打开package com.hxl;import java.io.IOException;import org.apache.hadoop.conf.Configuration;...【阅读全文】

【HADOOP】 hbase单列过滤器SingleColumnValueFilter

hxl | 2014-11-13 16:18:41 | 阅读(0) | 评论(0)

获取列族"base_info"下的列"age",其值大于等于30的数据Filter filter1 = new SingleColumnValueFilter("base_info".getBytes(),"age".getBytes(), CompareFilter.CompareOp.GREATER_OR_EQUAL,"30".getBytes()); 点击(此处)折叠或打开package com.hxl;...【阅读全文】

网络110 报警服务