极简数据分析

随着近几年基础存储，基础计算能力的突破式发展，使得人工智能领域以及人工智能所影响的的领域大大增加。观察一项领域是否成为社会发展基础的视角在于大学有没有开设相关专业。2016年两所国内高校开始首次开设“数据科学与大数据技术”，到2019年时，大数据专业在国内高校已经相当普遍。

伴随着大数据的普及，自然少不了媒体，特别是TMT方向的媒体近乎疯狂式报道，一时间大量的”华丽的“新词扑向读者。比如数据挖掘，大数据，机器学习等等。

很多新词，对于非计算机领域的同学，甚至是对于计算机行业的人来说，也很难搞懂各种词的真正概念和相互之间的关系。而且很多媒体记着并非一线技术从业人员，对技术的解读也可能不太全面，所以不免有些读者对于媒体报道会有云里雾里的感觉。本文尝试从大数据产生的背景，大数据的作用，大数据在职业中的分类三个方面，来初步建立对大数据的简单认知。

大数据产生的背景

本世纪的前十年，随着初代互联网的深入发展，所产生的数据量在惊人的增加，此时产生了大数据的概念，就是数据的量级增加了。与此同时，数据存储能力和计算能力也得到了飞跃式的发展。当所有的事物量级都在增加的时候，那么客观上要求能够与之能够匹配的技术以及技术架构，此时就产生了大数据技术。

现代社会每天都在产生大量的数据，此时就涉及到两个问题，一个是这数据存哪，大量数据怎么处理。那么这刚好也是大数据技术要解决的问题，对应的技术点分别是分布式存储和分布式计算。技术角度来讲，大数据领域比较成熟的框架有基于Java语言的Hadoop技术和基于Scala语言的Spark技术。

大数据是用来干什么的
了解了大数据的产生背景，就不难知道大数据最重要的作用就是满足人们对数据的存取需要。马云说过，21世纪人类将会从IT时代进度到DT时代，数据就像埋藏在地下的煤一样，蕴含巨大的价值，所以大数据另一个作用就是从数据矿中挖决出巨大的价值来。

职业中与大数据相关的有哪些

围绕大数据的基础，主要有三个层次的职业方向：

• 偏向基础的运维：
  就好比我们需要用电有国家电网，我们需要用水有自来水厂一样，运维就是负责搭建起数据仓库的基础环境，包括硬件和云服务等。

• 偏向技术的开发：
  有了这个基础的大数据容器地基之后，则需要搭建满足不同业务场景的数据框架。职业方面可以分为两个层级，一个是面向基础需求的开发，需要掌握流行的大数据处理框架，流式计算等。另一个则是比较进阶的，与机器学习相关的数据挖掘，主要是基于大量数据，结合常见的回归，聚类，分类算法，挖掘出业务洞察。

• 偏向业务的数据分析：
  这个方向也可主要分为两个层级，一个是面向面向业务的日常分析，如搭建指标体系，日常数据分析支持，数据的清洗与建模，分析报告编写等。另一个则是更加高级的数据科学家，这个工作其实跟数据挖掘的要求比较接近，一般要求熟悉基础的数据分析工作，和机器学习方面的主要算法，此时就需要比较高的编程能力。

• 偏算法的算法工程师：
  主要是运营机器学习与统计学基础理论，对数据进行挖掘。

以上就是从大数据发展历史，主要做用，以及落地的具体职业方向三个方面拆解了下大数据，如果还有什么疑问，欢迎留言交流。

参考：
分布式架构演变历史
分布式计算简史：从大型机和分时系统到DApp的发展路径
大数据基本学习路线，初学者的福音
大数据职业发展路线图谱
如何系统地学习数据挖掘