大数据开发体系，进来了解一下？

“5G失败、物联网已死、鼓吹大数据无用论”打开手机又是承接今日份的“丧”，这种丧味十足的帖子我们已经被投喂得太多了，还是原来的配方，还是熟悉的味道，说这些话的人，多少显得无聊而耸人听闻。

有这样一句话叫数据重构商业，流量改变未来。不管怎么唱衰，大数据时代已经向我们滚滚而来，早已成为现代社会不可缺少的一部分。

“不参与大数据建设，10年后一定后悔”。早在几年前，马云就在某次峰会中提到，未来30年，是从IT时代到DT时代的变革。

作为大数据岗位中的“大熊猫”，大数据工程师的收入待遇与就业前景可以说达到了同类的顶级。 

但是，大数据开发的学习绝不是短时间内从0到1可以建立起来的，大多数人零散化的学习，无法形成一套完整的大数据学习体系，导致学习起来相当吃力。

今天，小编就送上一份行业大牛整理的大数据开发的知识体系图。大家可以对照梳理自己的知识盲区，查漏补缺~（看完大纲，文末再领福利！） 

如果你对大数据开发感兴趣，想系统学习大数据的话，可以加入大数据技术学习交流扣扣群522189307，私信管理员即可免费领取开发工具以及入门学习资料

1. 大数据基础及工具

掌握Linux必备知识，熟悉Python的使用与爬虫程序的编写，搭建Hadoop（CDH）集群，为大数据技术学习打好基础。

l Linux必备知识                 

l Docker安装与使用

l Python基础及网络爬虫讲解

l 分布式协调基石框架：Zookeeper

l 大数据集群搭建

2. HADOOP专题

掌握离线数据处理的流程、架构及相关技术的运用。掌握大数据核心基础组件：HDFS，MapReduce及YARN。

l 大数据基石框架：Hadoop                

l 离线批处理：Hive

l 数据采集：flume

3. SPARK专题

Spark采用一个统一的技术堆栈解决了云计算大数据的如流处理、图技术、机器学习、NoSQL查询等方面的所有核心问题，具有完善的生态系统，大数据的学习需要从理论到核心源码全面掌握主流通用大数据处理框架：Spark

l Scala语言精讲

l Spark概要

l Spark core

l Spark SQL

l SparkStreaming  

l Spark存储系统及调度系统

l Spark计算引擎        

4. 实时计算专题

熟悉实时处理的应用场景，掌握实时数据处理的流程、架构及相关技术的运用。掌握实时通用处理框架、Flink及实时主流技术组件：Kafka、Hbase。

l 分布式消息系统：Kafka

l 新一代通用处理框架：Flink

l 高性能分布式数据库：Hbase

5. 数仓专题

讲解数据仓库背景知识，常用数仓模型，ETL主流工具Sqoop，Kettle，Oozie和Azkaban。掌握数据仓库搭建过程及具体技术的应用。

l 数仓概要知识、建模理论、数据治理

l 数仓ETL工具：Sqoop、Kettle

l 数仓任务调度工具：Azkaban

6. 搜索与推荐专题

了解了搜索和推荐两大互联网公司必有的大数据应用系统的通用架构，常用算法和相关技术。

l 全文搜索引擎ElasticSearch

l 推荐理论

7. 机器学习算法专题

机器学习为现阶段大数据重要处理方式，这一部分我们要掌握常用机器学习算法思想、过程和在实际问题中的应用

l 机器学习概要

l 分类问题常用算法

l 预测问题常用算法

8. 其他组件与场景运用

l 生产应用相关

l 交互式查询

有了完整的体系图，那又会有人问了，有没有资料呢？只有体系图没得资料那我也没办法学习啊。这么贴心的我们怎么会不送上一份大数据资料呢！