搜索博文结果_ChinaUnix博客

博客首页博客专家往日推荐博客文集

热搜： Android JavaScript 系统运维服务器存储 WINDOWS AIX 负载均衡

博客首页〉搜索结果

按类别查询搜索结果

操作系统程序设计数据库热点技术综合架构与运维移动开发与应用 Web前端

关于关键词的检测结果，共 1134 条

【云计算】 hadoop-3.0.0-beta1运维手册（003）：安装全分布式HDFS3.0.0

wenaideyu | 2017-11-29 17:14:18 | 阅读(1180) | 评论(0)

3.1 准备软件HDFS是Hadoop的一个组件，它并没有单独发布，因此，我们需要下载Hadoop的安装包。1. 下载Hadoop3.0.0-beta1，保存到d:\hdfs3\soft3-1 Hadoop存储路径图有关beta1版本的介绍：它是API稳定的版本，但不保证质量，并且不打算用于生产环境。因此，此版本可以用来提前学习...【阅读全文】

【大数据】 hadoop-3.0.0-beta1运维手册（002）：安装Guest操作系统

wenaideyu | 2017-11-28 10:31:49 | 阅读(3900) | 评论(0)

2.1 什么是Guest操作系统Guest指虚拟机，安装Guest操作系统，就是在我们刚才定制的虚拟机nn1上安装操作系统。我们要安装的操作系统是Linux，它有很多发行版，在这里我们选择Centos系列，它主要用作服务器操作系统，非常稳定，在生产环境中应用广泛。具体版本是Centos 7，64位，下载地址为：CentOS-7-x86_64-Every...【阅读全文】

【大数据】 hadoop-3.0.0-beta1运维手册（001）：定制虚拟机

wenaideyu | 2017-11-28 10:30:21 | 阅读(960) | 评论(0)

1.1 什么是虚拟机虚拟机是一个软件，运行在我们的计算机上，通过它可以模拟一台计算机。虚拟机和真实的物理机器一样，也有CPU、硬盘、网卡、内存这些硬件，在虚拟机上同样可以安装操作系统，操作系统安装好后，使用起来和真实的机器基本一样。利用虚拟机软件，我们可以在一台物理服务器上运行...【阅读全文】

【Python/Ruby】使用Python和Hadoop Streaming编写MapReduce

dsy851009 | 2017-11-27 18:30:31 | 阅读(20600) | 评论(0)

最近有个需求，就是对视频日志中的部分URL提取出来，并随机挑选五条。由于线上日志比较大，而且需要每天执行一次，如果单纯的用python即便是多线程性能也会大大折扣。于是考虑到用hadoop的MR去实现。准备工作：1、hadoop集群；2、mapper和reducer划分；初步把提取url的操作划分为mapper中执行，随机挑选5条由reducer去...【阅读全文】

【大数据】 set up hadoop/hive/spark cluster on ec2

laoliulaoliu | 2017-11-16 18:38:32 | 阅读(760) | 评论(0)

AWS EMR 启动的机器都很贵，想在3台t2.micro上搭建一个hadoop集群，因为t2.micro 内存1GEach daemon in Hadoop listens to a different port. The most relevant ones are:ssh -i jameson-keypair.pem bitnami@13.59.230.131/opt/bitnami/hadoop/etc/hadoop/core-site.xml<value>hdfs://localhost:9000</value>/op...【阅读全文】

【HADOOP】 hadoop,spark,hbase实时应用

powerful_boy | 2017-11-10 14:45:33 | 阅读(790) | 评论(0)

hadoop,spark,hbase实时应用【阅读全文】

【HADOOP】 hadoop客户端部署

powerful_boy | 2017-11-09 17:36:44 | 阅读(1850) | 评论(0)

hadoop客户端部署【阅读全文】

【LINUX】搭建hadoop集群时的一些报错

philos | 2017-11-01 11:43:45 | 阅读(1700) | 评论(0)

1、在做格式化时，/bin/hdfs namenode -format出错：ERROR namenode.NameNode: Failed to start namenode.java.lang.IllegalArgumentException: URI has an authority componentat java.base/java.io.File.(File.java:423)at org.apache.hadoop.hdfs.server.namenode.NNStorage.getStorageDirectory(NNStorage.j...【阅读全文】

【HADOOP】 hadoop之hdfs集群搭建

师范机会 | 2017-10-19 20:32:31 | 阅读(1760) | 评论(0)

一、实验主机：4台阿里云主机centos6.9node1:master(namenode)node2:slave(datanode)node3:slave(datanode)node4:slave(datanode)在/etc/hosts文件中设置如上四个主机名解析四台主机之间相互设置免密登录（这里直接使用root用户，生产环境应该使用其它应用用户），使用命令 ssh-keygen -t rsa 生成密钥对把四台主机...【阅读全文】

【大数据】 Hadoop YARN配置参数剖析(1)—RM与NM相关参数

caojiangfeng | 2017-10-15 17:24:17 | 阅读(3970) | 评论(0)

（1） yarn.resourcemanager.address默认值：${yarn.resourcemanager.hostname}:8032参数解释：ResourceManager 对ApplicationMaster暴露的访问地址。ApplicationMaster通过该地址向RM申请资源、释放资源等。（3） yarn.resourcemanager.resource-tracker.address默认值：${yarn.resource...【阅读全文】

【大数据】 Hadoop 集群安装

zpf1218 | 2017-09-17 10:12:39 | 阅读(1190) | 评论(0)

Hadoop 集群安装1、创建用户1. 创建hadoop用户组 sudo addgroup hadoop2. 创建hadoop用户 sudo adduser -ingroup hadoop hadoop3. 给hadoop用户添加权限，打开/etc/sudoers文件 sudo gedit /etc/sudoers按回车键后就会打开/etc/sudoers文件了，给hadoop用户赋予root用户...【阅读全文】

【LINUX】 zookeeper,hbase,hadoop使用systemd文件启动

yepyang | 2017-09-11 16:16:45 | 阅读(4110) | 评论(0)

zookeeper.service[Unit] Description=hadoopAfter=network.target [Service] Type=forkingPIDFile=/opt/zookeeper/data/zookeeper_server.pidExecStart=/bin/su - hadoop -c "/usr/local/zookeeper/bin/zkServer.sh start"ExecStop=/bin/su - hadoop -c "/usr/local/zookeeper/bin/zkServer.sh st...【阅读全文】

【大数据】大数据学习笔记1-hadoop

landuochong | 2017-09-08 16:03:40 | 阅读(1010) | 评论(0)

大数据，Hadoop【阅读全文】

【LINUX】 hadoop,zookeeper,hbase集群配置

yepyang | 2017-08-11 15:55:31 | 阅读(2280) | 评论(0)

记录一次hadoop的安装配置，版本号：Hadoop 2.7.3，三台机器：test,home-test,hbase-test（主机名随便起，不过要先在/etc/hosts配置好）创建一个hadoop账户，来安装hadoop,也可以直接使用root安装，配置好三台机器ssh无密码登陆，如下：useradd hadoop;passwd hadoop;ssh-keygen -t rsa(直接回车，回车）;cp -a ~/.ssh/...【阅读全文】

【大数据】大数据学习之路-第01天-Centos中安装Hadoop

北冰洋18 | 2017-06-22 16:46:59 | 阅读(490) | 评论(0)

今天开始，开启大数据学习之路。从Centos安装Hadoop开始第一步：安装jdk a)下载jdk-8u65-Linux-x64.tar.gz b)tar开 $>su centos ; cd ~ $>mkdir downloads &n...【阅读全文】

【大数据】 ambari本地源自动化安装hortonworks hadoop

hxl | 2017-05-03 07:38:42 | 阅读(4850) | 评论(0)

环境配置HostnameIPOSAmbari172.16.235.164Centos X64 base installMaste.hadoop172.16.235.165...【阅读全文】

【HADOOP】 Hadoop-2.8.0分布式安装手册

Aquester | 2017-04-30 14:25:07 | 阅读(4390) | 评论(0)

目录目录11. 前言32. 特性介绍43. 部署53.1. 机器列表63.2. 主机名63.2.1. 临时修改主机名73.2.2. 永久修改主机名73.3. 免密码登录范围73.4. 修改最大可打开文件数83.5. OOM相关：vm.overcommit_memory 84...【阅读全文】

【HADOOP】 hadoop集群搭建

闷骚的伤 | 2017-03-30 16:15:11 | 阅读(2310) | 评论(0)

环境：CentOS release 6.5192.168.116.140 master192.168.116.136 slave1192.168.116.137 slave2每台配置hosts vi /etc/hsots192.168.116.140 master192.168.116.136 slave1192.168.116.137 slave2一、安装jdk：1、master操作...【阅读全文】

【系统运维】 Hadoop生态上几个技术的关系与区别：hive、pig、hbase 关系与区别

chengxuyonghu | 2017-03-23 14:08:05 | 阅读(990) | 评论(0)

Pig一种操作hadoop的轻量级脚本语言，最初又雅虎公司推出，不过现在正在走下坡路了。当初雅虎自己慢慢退出pig的维护之后将它开源贡献到开源社区由所有爱好者来维护。不过现在还是有些公司在用，不过我认为与其使用pig不如使用hive。：）Pig是一种数据流语言，用来快速轻松的处理巨大的数据。Pig包含两个部分...【阅读全文】

【云计算】 Hadoop集群搭建全过程

lmz1951 | 2017-02-18 20:38:10 | 阅读(1270) | 评论(0)

Hadoop集群搭建全过程【阅读全文】

首页
<<
1
2
3
4
5
6
7
8
9
10
>>
末页

网络110 报警服务