按类别查询搜索结果
关于关键词 的检测结果,共 1136
wenaideyu | 2017-11-28 10:30:21 | 阅读(490) | 评论(0)
1.1 什么是虚拟机 虚拟机是一个软件,运行在我们的计算机上,通过它可以模拟一台计算机。 虚拟机和真实的物理机器一样,也有CPU、硬盘、网卡、内存这些硬件,在虚拟机上同样可以安装操作系统,操作系统安装好后,使用起来和真实的机器基本一样。 利用虚拟机软件,我们可以在一台物理服务器上运行...【阅读全文】
dsy851009 | 2017-11-27 18:30:31 | 阅读(18470) | 评论(0)
最近有个需求,就是对视频日志中的部分URL提取出来,并随机挑选五条。由于线上日志比较大,而且需要每天执行一次,如果单纯的用python即便是多线程性能也会大大折扣。于是考虑到用hadoop的MR去实现。准备工作:1、hadoop集群;2、mapper和reducer划分;初步把提取url的操作划分为mapper中执行,随机挑选5条由reducer去...【阅读全文】
laoliulaoliu | 2017-11-16 18:38:32 | 阅读(170) | 评论(0)
AWS EMR 启动的机器都很贵,想在3台t2.micro上搭建一个hadoop集群,因为t2.micro 内存1GEach daemon in Hadoop listens to a different port. The most relevant ones are:ssh -i jameson-keypair.pem bitnami@13.59.230.131/opt/bitnami/hadoop/etc/hadoop/core-site.xml<value>hdfs://localhost:9000</value>/op...【阅读全文】
powerful_boy | 2017-11-10 14:45:33 | 阅读(140) | 评论(0)
hadoop,spark,hbase实时应用【阅读全文】
powerful_boy | 2017-11-09 17:36:44 | 阅读(100) | 评论(0)
hadoop客户端部署【阅读全文】
philos | 2017-11-01 11:43:45 | 阅读(60) | 评论(0)
1、在做格式化时,/bin/hdfs namenode -format出错:ERROR namenode.NameNode: Failed to start namenode.java.lang.IllegalArgumentException: URI has an authority componentat java.base/java.io.File.(File.java:423)at org.apache.hadoop.hdfs.server.namenode.NNStorage.getStorageDirectory(NNStorage.j...【阅读全文】
师范机会 | 2017-10-19 20:32:31 | 阅读(170) | 评论(0)
一、实验主机:4台阿里云主机centos6.9node1:master(namenode)node2:slave(datanode)node3:slave(datanode)node4:slave(datanode)在/etc/hosts文件中设置如上四个主机名解析 四台主机之间相互设置免密登录(这里直接使用root用户,生产环境应该使用其它应用用户),使用命令 ssh-keygen -t rsa 生成密钥对把四台主机...【阅读全文】
caojiangfeng | 2017-10-15 17:24:17 | 阅读(260) | 评论(0)
(1) yarn.resourcemanager.address默认值:${yarn.resourcemanager.hostname}:8032参数解释:ResourceManager 对ApplicationMaster暴露的访问地址。ApplicationMaster通过该地址向RM申请资源、释放资源等。(3) yarn.resourcemanager.resource-tracker.address默认值:${yarn.resource...【阅读全文】
【大数据】 Hadoop
23号James | 2017-10-15 09:44:55 | 阅读(90) | 评论(0)
1.第一步:检查有无安装hadoop的服务           ps  -ef   |  grep   hadoop          find    /   -name  hadoop           使用tar进行解压操作的时候,解压成功文件会变动用户和用户组的...【阅读全文】
【大数据】 Hadoop 集群安装
zpf1218 | 2017-09-17 10:12:39 | 阅读(560) | 评论(0)
Hadoop 集群安装1、创建用户1. 创建hadoop用户组 sudo addgroup hadoop2. 创建hadoop用户 sudo adduser -ingroup hadoop hadoop3. 给hadoop用户添加权限,打开/etc/sudoers文件 sudo gedit /etc/sudoers按回车键后就会打开/etc/sudoers文件了,给hadoop用户赋予root用户...【阅读全文】
yepyang | 2017-09-11 16:16:45 | 阅读(970) | 评论(0)
zookeeper.service[Unit] Description=hadoopAfter=network.target [Service] Type=forkingPIDFile=/opt/zookeeper/data/zookeeper_server.pidExecStart=/bin/su - hadoop -c "/usr/local/zookeeper/bin/zkServer.sh start"ExecStop=/bin/su - hadoop -c "/usr/local/zookeeper/bin/zkServer.sh st...【阅读全文】
landuochong | 2017-09-08 16:03:40 | 阅读(420) | 评论(0)
大数据,Hadoop【阅读全文】
yepyang | 2017-08-11 15:55:31 | 阅读(520) | 评论(0)
记录一次hadoop的安装配置,版本号:Hadoop 2.7.3,三台机器:test,home-test,hbase-test(主机名随便起,不过要先在/etc/hosts配置好)创建一个hadoop账户,来安装hadoop,也可以直接使用root安装,配置好三台机器ssh无密码登陆,如下:useradd hadoop;passwd hadoop;ssh-keygen -t rsa(直接回车,回车);cp -a ~/.ssh/...【阅读全文】
北冰洋18 | 2017-06-22 16:46:59 | 阅读(290) | 评论(0)
今天开始,开启大数据学习之路。从Centos安装Hadoop开始第一步:安装jdk    a)下载jdk-8u65-Linux-x64.tar.gz    b)tar开        $>su centos ; cd ~        $>mkdir downloads   &n...【阅读全文】
hxl | 2017-05-03 07:38:42 | 阅读(2990) | 评论(0)
环境配置HostnameIPOSAmbari172.16.235.164Centos X64 base installMaste.hadoop172.16.235.165...【阅读全文】
Aquester | 2017-04-30 14:25:07 | 阅读(2450) | 评论(0)
目录目录11. 前言32. 特性介绍43. 部署53.1. 机器列表63.2. 主机名63.2.1. 临时修改主机名73.2.2. 永久修改主机名73.3. 免密码登录范围73.4. 修改最大可打开文件数83.5. OOM相关:vm.overcommit_memory 84...【阅读全文】
【HADOOP】 hadoop集群搭建
闷骚的伤 | 2017-03-30 16:15:11 | 阅读(180) | 评论(0)
环境:CentOS release 6.5192.168.116.140  master192.168.116.136  slave1192.168.116.137  slave2每台配置hosts vi /etc/hsots192.168.116.140  master192.168.116.136  slave1192.168.116.137  slave2一、安装jdk:1、master操作...【阅读全文】
chengxuyonghu | 2017-03-23 14:08:05 | 阅读(270) | 评论(0)
Pig一种操作hadoop的轻量级脚本语言,最初又雅虎公司推出,不过现在正在走下坡路了。当初雅虎自己慢慢退出pig的维护之后将它开源贡献到开源社区由所有爱好者来维护。不过现在还是有些公司在用,不过我认为与其使用pig不如使用hive。:)Pig是一种数据流语言,用来快速轻松的处理巨大的数据。Pig包含两个部分...【阅读全文】
lmz1951 | 2017-02-18 20:38:10 | 阅读(100) | 评论(0)
Hadoop集群搭建全过程【阅读全文】
lksoulman | 2017-02-14 14:45:05 | 阅读(1440) | 评论(0)
本文主要介绍 Hadoop 运行 hadoop-examples-1.2.1.jar 包中 wordcount类统计文件中的单词个数。【阅读全文】