Chinaunix首页 | 论坛 | 博客
  • 博客访问: 307377
  • 博文数量: 292
  • 博客积分: 337
  • 博客等级: 二等列兵
  • 技术积分: 2012
  • 用 户 组: 普通用户
  • 注册时间: 2011-04-17 21:36
文章分类

全部博文(292)

文章存档

2017年(18)

2016年(39)

2015年(81)

2014年(67)

2013年(73)

2012年(14)

分类: HADOOP

2015-12-23 13:29:36

1.安装ubuntu-server14.04
2.ubuntu-server14.04安装docker
  sudo apt-get install docker-io
3.pull hadoop-docker镜像
  docker pull sequenceiq/hadoop-docker:2.7.1
  docker run -it sequenceiq/hadoop-docker:2.7.1 /etc/bootstrap.sh -bash
  参考 https://github.com/sequenceiq/hadoop-docker

  https://hub.docker.com/r/uhopper/hadoop/ 这个好像已经带spark了

增加部署spark
4.yum install wget
5.下载安装spark
  wget http://d3kbcqa49mib13.cloudfront.net/spark-1.5.2-bin-without-hadoop.tgz
  mv spark-1.5.2-bin-without-hadoop.tgz /usr/local
  tar -xf spark-1.5.2-bin-without-hadoop.tgz
  mv spark-1.5.2-bin-without-hadoop spark
  vi /etc/profile,增加:
    export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    export SPARK_HOME=/usr/local/spark
    export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin:$JAVA_HOME/bin
    export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)
  source /etc/profile
  run-examples SparkPi 10
  pyspark
6.保存镜像
  exit
  docker commit id hadoop-docker-spark
7.打开镜像
  sudo docker run -ti hadoop-docker-spark /etc/bootstrap.sh -bash
  source /etc/profile
  run-examples SparkPi 10
  pyspark

测试:
  cd /usr/hadoop
  bin/hdfs dfs -put datafile /datafile
  pyspark
  >>>>> lines = sc.textFile("/datafile")
  >>>>> lines.count()
  >>>>> lines.first()
阅读(1335) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~
评论热议
请登录后评论。

登录 注册