大数据领域入门引导篇
2022-06-07 本文已影响0人
大数据阶梯之路
更多精彩好文，尽在微信公众号《大数据阶梯之路》
一、前言
大家好，我是Akin，考虑写下这篇文章的时候我已在互联网大数据领域工作了几年，主要是给有意向从事大数据领域的朋友们一个入门引导，从而让你们了解大数据概貌入门，大数据领域下分为哪几块方向，大数据领域各岗位方向关注的技能和能力。
二、大数据概貌
- 主要特征：海量数据，数据量极大
- 核心思想：分而治之，集群处理大任务拆分为小任务处理
- 技术栈：hadoop、hive、spark、flink、java、kafka、flume、数仓模型设计等等五花八门，框架多，每一个技术栈下都对应有很多要掌握深入的
- 工作方向：大数据数据开发、大数据平台开发、大数据数据产品、大数据数据架构、大数据数据治理
三、大数据领域细分方向
-
数据产品方向
这里的数据产品主要指的是大数据产品经理岗位，一般需要会懂点数仓理论，还需要有大数据平台产品思维。有了数仓理论就能帮助数仓开发梳理业务口径转化为数据口径，有大数据平台产品思维就能更好地推进平台的升级迭代来提升效率 -
数据开发方向
这里的数据开发主要指的是大数据开发工程师的一类，面向数据开发，一般分为离线和实时，对应岗位主要是数据仓库工程师（离线or实时方向），离线方向的日常主要是Hive，实时方向的日常主要是Flink，但不管哪个方向，作为数仓工程师，都要会数仓建设，数据治理，数据管理，数据架构 等等，说白了这个方向就是围绕着数据走，紧贴着业务，所以业务理解也要具备，当出现数据质量问题才能紧随着了解数据场景 -
平台开发方向
这里的平台开发主要指的是大数据开发工程师的另一类，面向平台开发，一般需要Java功底，常见是java后端工程师的进阶转型吧，日常主要是开发大数据相关的平台，与数仓工程师配合一同建设落地大数据产品，开发提供高效的数据平台，比如任务调度平台，元数据管理平台 等等大数据平台的开发工作
四、经验总结
- 关于大数据领域各岗位哪个前景发展好的话，这个我不便答疑，估摸着也不会有人专门答疑这块，我只能说，当你学得好了了解得深了，你就会发现，这些大数据细分方向其实都会有关联，不是说你从事了数据产品你就不需要懂数仓开发，也不是说你从事了数仓开发就不需要懂大数据平台架构，
这些岗位虽说在大厂里分得很细，但实际上又会息息相关的，面试的时候大数据面试官也不会说只揪着你一个方向问。 - 大数据这个领域，建议是往越大的平台努力靠，小公司数据量不大所以大数据岗不太重要甚至没有，只有大厂会重视大数据带来的价值决策，而且大厂的数据管理体系也有所规范。
同时欢迎大家👏🏻关注我的个人微信公众号《大数据阶梯之路》，未来大数据道路我们一同前行，有何问题都可与我交流，闲时我都会帮助答疑的。 -
我计划建立一个大数据技术交流微信群，主要面向高校学生和应届生，也面向其他行业转行or其他编程方向的朋友们，以及正在从事大数据的朋友们，只要有兴趣学习了解大数据的朋友们都可入群，我会在群内分享关于我的原创技术博文，同时也提供一个技术交流氛围互相讨论，共享大数据学习资料，给大家简单答疑大数据职场方向的规划。 - 一切的入口都可通过《大数据阶梯之路》微信公众号进入，所以务必先关注公众号再按指引获取所需。
