大数据基础知识储备
新手学习大数据需要具备基础一数学知识数学知识是数据分析师的基础知识。对于初级数据分析师，了解一些描述统计相关的基础内容，有一定的公式计算能力即可，了解常用统计模型算法则是加分。对于高级数据分析师，统计模型相关知识是必备能力，线性代数（主要是矩阵计算相关知识）最好也有一定的了解。而对于数据挖掘工程师，除了统计学以外，各类算法也需要熟练使用，对数学的要求是最高的。新手学习大数据需要具备基础二分析工具
对于初级数据分析师，玩转Excel是必须的，数据透视表和公式使用必须熟练，VBA是加分。另外，还要学会一个统计分析工具，SPSS作为入门是比较好的。对于高级数据分析师，使用分析工具是核心能力，VBA基本必备，SPSS/SAS/R至少要熟练使用其中之一，其他分析工具（如Matlab）视情况而定。对于数据挖掘工程师…嗯，会用用Excel就行了，主要工作要靠写代码来解决呢。新手学习大数据需要具备基础三编程语言
对于初级数据分析师，会写SQL查询，有需要的话写写Hadoop和Hive查询，基本就OK了。对于高级数据分析师，除了SQL以外，学习Python是很有必要的，用来获取和处理数据都是事半功倍。当然其他编程语言也是可以的。对于数据挖掘工程师，Hadoop得熟悉，Python/Java/C++至少得熟悉一门，Shell得会用…总之编程语言绝对是数据挖掘工程师的最核心能力了。新手学习大数据需要具备基础四业务理解
业务理解说是数据分析师所有工作的基础也不为过，数据的获取方案、指标的选取、乃至最终结论的洞察，都依赖于数据分析师对业务本身的理解。对于初级数据分析师，主要工作是提取数据和做一些简单图表，以及少量的洞察结论，拥有对业务的基本了解就可以。对于高级数据分析师，需要对业务有较为深入的了解，能够基于数据，提炼出有效观点，对实际业务能有所帮助。对于数据挖掘工程师，对业务有基本了解就可以，重点还是需要放在发挥自己的技术能力上。新手学习大数据需要具备基础五逻辑思维
这项能力在我之前的文章中提的比较少，这次单独拿出来说一下。对于初级数据分析师，逻辑思维主要体现在数据分析过程中每一步都有目的性，知道自己需要用什么样的手段，达到什么样的目标。对于高级数据分析师，逻辑思维主要体现在搭建完整有效的分析框架，了解分析对象之间的关联关系，清楚每一个指标变化的前因后果，会给业务带来的影响。对于数据挖掘工程师，逻辑思维除了体现在和业务相关的分析工作上，还包括算法逻辑，程序逻辑等，所以对逻辑思维的要求也是最高的。新手学习大数据需要具备基础六数据可视化
数据可视化说起来很高大上，其实包括的范围很广，做个PPT里边放上数据图表也可以算是数据可视化，所以我认为这是一项普遍需要的能力。对于初级数据分析师，能用Excel和PPT做出基本的图表和报告，能清楚的展示数据，就达到目标了。对于高级数据分析师，需要探寻更好的数据可视化方法，使用更有效的数据可视化工具，根据实际需求做出或简单或复杂，但适合受众观看的数据可视化内容。对于数据挖掘工程师，了解一些数据可视化工具是有必要的，也要根据需求做一些复杂的可视化图表，但通常不需要考虑太多美化的问题。
2018年大数据专业就业前景
大数据人才稀缺
据数联寻英发布《大数据人才报告》显示,目前全国的大数据人才仅46万,未来3-5年内大数据人才的缺口将高达150万。
据职业社交平台LinkedIn发布的《2016年中国互联网最热职位人才报告》显示，研发工程师、产品经理、人力资源、市场营销、运营和数据分析是当下中国互联网行业需求最旺盛的六类人才职位。其中研发工程师需求量最大，而数据分析人才最为稀缺。领英报告表明，数据分析人才的供给指数最低，仅为0.05，属于高度稀缺。数据分析人才跳槽速度也最快，平均跳槽速度为19.8个月。
根据中国商业联合会数据分析专业委员会统计，未来中国基础性数据分析人才缺口将达到1400万，而在BAT企业招聘的职位里，60%以上都在招大数据人才。
大数据专业就业三大方向
大数据主要的三大就业方向：大数据系统研发类人才、大数据应用开发类人才和大数据分析类人才。
在此三大方向中，各自的基础岗位一般为大数据系统研发工程师、大数据应用开发工程师和数据分析师。
大数据专业人才就业薪资
1基础人才：数据分析师
北京数据分析平均工资：¥ 10630/月，取自 15526 份样本，较 2016 年，增长 9.4%。
数据分析师岗位职责
业务类别:技术
业务方向:数据分析
工作职责:
1. 根据公司产品和业务需求，利用数据挖掘等工具对多种数据源进行诊断分析，建设征信分析模型并优化，为公司征信运营决策、产品设计等方面提供数据支持；
2. 负责项目的需求调研、数据分析、商业分析和数据挖掘模型等，通过对运行数据进行分析挖掘背后隐含的规律及对未来的预测；
3. 参与数据挖掘模型的构建、维护、部署和评估；
4. 整理编写商业数据分析报告，及时发现和分析其中变化和问题，为业务发展提供决策支持；
5. 独立完成项目需求管理、方案设计、实施管理和项目成果质量的把控；
6. 参与编写项目相关文档。
教育背景:
学历：本科其它：
经验要求:工作经验：3-5年
任职要求:
1. 统计学、数学或计算机、数理统计或数据挖掘专业方向相关专业本科或以上学历；有扎实的数据统计和数据挖掘专业知识；
2. 熟练使用数理统计、数据分析、数据挖掘工具软件（SAS、R、Python等的一种或多种），能熟练使用SQL读取数据；
3. 使用过 逻辑回归、神经网络、决策树、聚类 等的一种或多种建模方法；
4. 3年以上数据分析工作经验，征信从业背景人员优先；
5. 具有金融行业项目经验的相关经验者优先考虑；
6. 主动性强，有较强的责任心，积极向上的工作态度，有团队协作精神。
能力素养:
良好的分析、归纳和总结能力，善于分析、解决实际问题； 主动性强，有较强的责任心，积极向上的工作态度，有团队协作精神。
2大数据开发工程师
北京大数据开发平均工资：¥ 30230/月。
大数据开发工程师/专家 岗位指责（引自 滴滴出行）：
职位描述：
1、构建分布式大数据服务平台，参与和构建公司包括海量数据存储、离线/实时计算、实时查询，大数据系统运维等系统；
2、服务各种业务需求，服务日益增长的业务和数据量；
3、深入源码内核改进优化开源项目，解决各种hadoop、spark、hbase疑难问题，参与到开源社区建设和代码贡献；
岗位要求：
1、计算机或相关专业本科以上学历（3年以上工作经验）；
2、精通C++/Java/Scala程序开发(至少一种)，熟悉Linux/Unix开发环境；
3、熟悉常用开源分布式系统，精通Hadoop/Hive/Spark/Storm/Flink/HBase之一源代码；
4、有大规模分布式系统开发、维护经验，有故障处理能力，源码级开发能力；
5、具有良好的沟通协作能力，具有较强的分享精神；
6、对Kudu、Kylin、Impala、ElasticSearch，github等系统有深入使用和底层研究者加分；
3Hadoop开发工程师
北京hadoop平均工资：¥ 20130/月，取自 1734 份样本。
Hadoop开发工程师岗位职责（引自新浪网）：
职位描述：
1.参与优化改进新浪集团数据平台基础服务，参与日传输量超过百TB的数据传输体系优化，日处理量超过PB级别的数据处理平台改进，多维实时查询分析系统的构建优化；
2.分布式机器学习算法在数据平台的构建与优化（包括常见的LR、GBDT、FM、LDA、Word2Vec及DNN等）；
3.深入源码改进各种开源大数据项目（包括Hadoop、Spark、Kafka、HBase等）。
任职要求：
1.计算机或相关专业本科以上学历；
2.熟悉Linux环境下开发，熟练掌握C++/Java/Scala等一种以上编程语言；
3.熟悉Hadoop生态系统相关项目，精通以下项目之一的源码（Hadoop/Spark/Kafka/HBase/Flume/ElasticSearch/Druid/Kylin）；
4.具备良好的学习能力、分析能力和解决问题的能力。
4数据挖掘工程师
北京数据挖掘平均工资：¥ 21740/月，取自 3449 份样本，较 2016 年，增长 20.3%；
数据挖掘工程师招聘要求（引自蚂蚁金服集团技术部）：
工作职责：
1、在分布式系统上进行数据计算、挖掘、和实现算法；
2、数据仓库模型设计和建立；
3、数据梳理流程的实现和维护；
4、物流场景下的地址文本、空间属性研究和分析。
任职资格：
1、本科以上学历，有扎实的统计学，数据挖掘，机器学习，自然语言识别理论基础，一种或几种以上的实际使用经验。
2、熟悉聚类、分类、回归等机器学习算法和实现，对常见的核心算法和数据挖掘方法有透彻的理解和实际经验。
3、深入理解Map-Reduce模型，对Hadoop、Hive、Spark、Storm等大规模数据存储于运算平台有实践经验。
4、有扎实的计算机理论基础，至少熟悉一种编程语言，Java优先。
5、有三年以上互联网公司或者海量数据处理工作经验，大数据挖掘、分析、建模经验
5算法工程师
北京算法工程师平均工资：¥ 22640/月，取自 10176 份样本。
算法工程师 招聘要求（引自美团点评数据平台部）：
职位描述：
互联网公司背景优先
A、广告算法
岗位职责：
1.负责点击率预估等主要广告算法的技术选型；
2.负责核心算法的开发；
3.负责广告大数据处理流程的建设及相关工具的研发；
4.负责广告技术研究项目的推进与管理；
职位需求：
1.计算机或相关专业本科以上学历，3年以上相关工作经验;
2.熟练掌握一门开发语言；
3.有机器学习、数据挖掘相关知识；
4.在广告、搜索、推荐等相关领域之一有技术研究工作经验；
5.有较强的沟通协调能力；
B、推荐算法
职位描述：
1. 参与各个产品线的个性化推荐系统的研发；
2. 分析用户行为数据，并设计合理的推荐算法模型及策略，并优化推荐排序；
3. 通过对用户行为数据的挖掘，对用户进行建模，精准刻画用户各种属性；
职位要求：
1. 全日制本科及以上学历，计算机相关专业；
2. 熟练掌握各类个性化推荐算法，并有开发个性化推荐系统的实际项目经验；熟练掌握各类回归及排序算法，能够利用相关算法进行推荐排序的优化；
3. 熟练掌握分类、聚类、回归、降维等经典机器学习算法和技术，能够根据实际问题选择合适的模型和算法并进行相应的开发；
4. 有较强的工程架构和开发能力，能够实现支撑千万级用户和TB级用户行为数据的推荐系统或算法；
5. 掌握python、matlab等脚本语言，熟悉各类数据挖掘工具（如weka、Mahout），能够快速建立模型并进行验证；
C、算法工程师
岗位职责:
1、开发和优化用户行为数据挖掘，文本分类和语义理解，社交网络分析，网页搜索，推荐系统等领域的特定算法
2、能够很快学习和利用state-of-the-art的算法解决实际产品问题，提升产品用户体验
任职资格:
1、有一定的研究、实验的能力，优秀的分析问题和解决问题的能力
2、理解自然语言处理、机器学习、网页搜索，推荐系统，用户数据分析和建模的基本概念和常用方法，有相关领域的实际项目研发或者实习经历者优先。
3、熟悉C++, Java或Python，熟悉Linux或类Unix系统开发,有较强的编程能力。 能独立实现线上算法模块者优先。
4、对大数据处理平台和工具有一定经验者优先, 包括： Hadoop, Hive, Pig, Spark 等
最后一个问题，哪些公司需求大数据人才？
答：所有的公司。大到世界500强，BAT这样的公司，小到创业公司，他们都需求数据人才。
马云爸爸说“我们已从IT时代进入了DT时代，未来我们的汽车、电灯泡、电视机、电冰箱等将全部装上操作系统，并进行数据集成，数据将会让机器更“聪明”。DT时代，数据将成为主要的能源，离开了数据，任何组织的创新都基本上是空壳。”
数据，未来的起点。
