大数据人才的类型

本文摘自 高扬.白话大数据与机器学习.机械工业出版社

最近在招人，大数据方面的人才请联系我 ;-)

从目前市场上的人才需求观点来看，大数据人才大致可以分为以下3个方向。 （1）偏重基建与架构的“大数据架构”方向。 （2）偏重建模与分析的“大数据分析”方向。 （3）偏重应用实现的“大数据开发”方向。 当然，也有理想主义者会认为能来个三合一的人才就更好了，但是知识宽度和知识深度本身就是一组矛盾，毕竟对于有限的学习时间和精力，能够在一方面做到运用自如已属不易。

1.大数据架构方向

大数据架构方向的人才更多注重的是Hadoop、Spark、Storm等大数据框架的实现原理、部署、调优和稳定性问题，以及它们与Flume、Kafka等数据流工具以及可视化工具的结合技巧，再有就是一些工具的商业应用问题，如 Hive、Cassandra、HBase、PrestoDB等。能够将这些概念理解清楚，并能够用辩证的技术观点进行组合使用，达到软/硬件资源利用的最大化，服务提供的稳定化，这是大数据架构人才的目标。以下是大数据架构方向研究的主要方面。

（1）架构理论：关键词有高并发、高可用、并行计算、MapReduce、Spark等。

（2）数据流应用：关键词有Flume、Fluentd、Kafka、ZMQ等。

（3）存储应用：关键词有HDFS、Ceph等。

（4）软件应用：关键词有Hive、HBase、Cassandra、PrestoDB等。

（5）可视化应用，关键词有HightCharts、ECharts、D3、HTML5、CSS3等。

大数据架构师除了最后可视化的部分不需要太过注意（但是要做基本的原理了解）以外，其他的架构理论层面、 数据流层面、存储层面、软件应用层面等都需要做比较深入的理解和落地应用。尤其是需要至少由每一个层面中挑选一个可以完全纯熟应用的产品，然后组合成一个完整的应用场景，在访问强度、实现成本、功能应用层面都能满足需求，这是一个合格的大数据架构师必须完成的最低限要求。

2.大数据分析方向

大数据分析方向的人才更多注重的是数据指标的建立，数据的统计，数据之间的联系，数据的深度挖掘和机器学习，并利用探索性数据分析的方式得到更多的规律、知识，或者对未来事物预测和预判的手段。以下是大数据分析方向研究的主要方面。

（1）数据库应用：关键词有RDBMS、NoSQL、MySQL、Hive、Cassandra等。

（2）数据加工：关键词有ETL、Python等。

（3）数据统计：关键词有统计、概率等。

（4）数据分析：关键词有数据建模、数据挖掘、机器学习、回归分析、聚类、分类、协同过滤等。

此外还有一个方面是业务知识。其中，数据库应用、数据加工是通用的技术技巧或者工具性的能力，主要是为了帮助分析师调用或提取自己需要的数据，毕竟这些技巧的学习成本相对较低，而且在工作场景中不可或缺，而每次都求人去取数据很可能会消耗过多的时间成本。数据统计、数据分析是分析师的重头戏，一般来说这两个部分是分析师的主业，要有比较好的数学素养或者思维方式，而且一般来说数学专业出身的人会有相当的优势。最后的业务知识方面就是千姿百态了，毕竟每家行业甚至每家公司的业务形态都是千差万别的，只有对这些业务形态和业务流程有了充分的理解才能对数据分析做到融会贯通，才有可能正确地建立模型和解读数据。

3.大数据开发方向

大数据开发方向的人才更多注重的是服务器端开发，数据库开发，呈现与可视化，人机交互等衔接数据载体和数据加工各个单元以及用户的功能落地与实现。以下是大数据开发研究的主要方面。

（1）数据库开发：关键词有RDBMS、NoSQL、MySQL、Hive等。

（2）数据流工具开发：关键词有Flume、Heka、Fluentd、Kafka、ZMQ等。

（3）数据前端开发：关键词有HightCharts、ECharts、JavaScript、D3、HTML5、CSS3等。

（4）数据获取开发：关键词有爬虫、分词、自然语言学习、文本分类等。

可以注意到，大数据开发职种和大数据架构方向有很多关键词虽然是重合的，但是措辞不一样，一个是“应用”，一个是“开发”。区别在于，“应用”更多的是懂得这些技术能为人们提供什么功能，以及使用这种技术的优缺点，并擅长做取舍；“开发”更注重的是熟练掌握，快速实现。