Chinaunix首页 | 论坛 | 博客
  • 博客访问: 50600
  • 博文数量: 273
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 1420
  • 用 户 组: 普通用户
  • 注册时间: 2018-02-02 15:57
文章分类

全部博文(273)

文章存档

2018年(273)

我的朋友

分类: 大数据

2018-07-11 15:33:20

前言

目前人工智能和大数据火热,使用的场景也越来越广,日常开发中前端同学也逐渐接触了更多与大数据相关的开发需求。因此对大数据知识也有必要进行一些学习理解

基础概念

大数据的本质

一、数据的存储:分布式文件系统(分布式存储)
二、数据的计算:分部署计算

基础知识

学习大数据需要具备Java知识基础及Linux知识基础

学习路线

(1)Java基础和Linux基础
(2)Hadoop的学习:体系结构、原理、编程
第一阶段:HDFS、MapReduce、HBase(NoSQL数据库)
第二阶段:数据分析引擎 -> Hive、Pig

 数据采集引擎 -> Sqoop、Flume

第三阶段:HUE:Web管理工具

 ZooKeeper:实现Hadoop的HA
                    Oozie:工作流引擎

(3)Spark的学习

 第一阶段:Scala编程语言
    第二阶段:Spark Core -> 基于内存、数据的计算
    第三阶段:Spark SQL -> 类似于mysql 的sql语句
    第四阶段:Spark Streaming ->进行流式计算:比如:自来水厂

(4)Apache Storm 类似:Spark Streaming ->进行流式计算

NoSQL:Redis基于内存的数据库


原文链接
阅读(265) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~
评论热议
请登录后评论。

登录 注册