想要朝大数据发展的老铁们注意了,这十大点你清楚吗
现在由于人工智能的大热,这方面的人才稀缺,薪资水平不用说,行业中的NO.1,所以各路人马纷纷集结互联网行业,有转行的,有转岗的。对于初学者在学习这方面肯定有许多疑问,是什么疑问呢,我在这里一 一给你解答。
一、首先要搞清楚一个概念,什么是大数据。
大数据又称巨量资料,就是数据量大、来源广、种类繁多(日志、视频、音频),大到PB级别,现阶段的框架就是为了解决PB级别的数据。
专业的来讲:大数据(big data,mega data),或称巨量资料,指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样的捷径,而采用所有数据进行分析处理。大数据的5V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值密度)、Veracity(真实性)。
二、学习大数据需要什么语言基础?
首先,学习大数据是需要有java,python和R语言的基础。
1)Java学习到什么样的程度才可以学习大数据呢?java需要学会javaSE即可。javaweb,javaee对于大数据用不到。学会了javase就可以看懂hadoop框架。
2)python是最容易学习的,难易程度:python < java < Scala 。python不是比java更直观好理解么,因为会了Python 还是要学习java的,你学会了java,再来学习python会很简单的,一周的时间就可以学会python。
3)R语言也可以学习,但是不推荐,因为java用的人最多(http://www.199it.com/archives/721259.html),大数据的第一个框架Hadoop,底层全是Java写的。就算学会了R还是看不懂handoop。
java在大数据中的作用是构成大数据的语言,大数据的第一个框架Hadoop,底层全是Java写的 ,所以推荐首选学习java。再给你们举例说明下它们的分工和作用,java注重业务,大数据注重数据,前端是脸(页面显示),java是胳膊(业务),大数据是直男大脑,人工智能,深度学习是有情商的大脑。
例:
你:我渴了
直男大脑:呵呵,多喝水!
情商大脑:我这里有橙汁,矿泉水,绿茶,你喜欢哪个?不过看你平时喜欢喝饮料,要不要来一杯橙汁。
三、职业发展方向
学会了大数据,不需要从java做起,可以直接做大数据开发工程师等积累了几年的经验, 就可以做算法工程师了。看看学会了大数据可以从事哪些岗位:
大数据开发工程师
数据分析师
hadoop开发工程师
spark开发工程师
数据仓库开发工程师
数据清洗工程师(ETL)
大数据架构师
算法工程
四、优势
大数据受国家大力支持大量的资源都投资在这方面,大数据中心在贵州落坐,人工智能和云计算都基于大数据,需要大批大数据人才。
五、大数据人才薪资待遇
一般的一线城市大数据相关岗位平均月薪在12-15K 北京平均17K,大数据算法工程师,年薪在30万—50万左右。
六、学习大数据有学历/专业 有要求吗
高中也找到工作,但是大专以上学历更好,虽然是本科学历,但大学四年中也没有学习到实际的操作技能,学习到的东西在工作中用不到,只是在理解某些东西容易些。
七、大数据抓取数据手段有哪些?
爬虫、Flume
八、学大数据用会java的那些框架吗
SSHSSMSpringBootSpringCloud 这些框架在大数据中不会用到,对于学习技术的人来说,当然懂得这些技术会更好。
九、学习路线
javaSE + linux + Hadoop生态圈 + Strom + Spark + 算法
正常来讲学习大数据之前都要做到以下几点:
1.学习基础的编程语言(java,python)
2.掌握入门编程基础(linux操作,数据库操作、git操作)
3.学习大数据里面的各种框架(hadoop、hive、hbase、spark)
这是正常学习大数据必须要做到的三个步骤,如果有了java基础再去学习基本上已经成功了一半,起码不用为了基础语言的学习而恼火了。 真正的大数据的学习不能仅仅停留在理论的层面上,比如现在经常用到的spark框架目前支持两种语言的开发java或者Scala,现在python语言也能支持了。大数据的方向的切入是全方位的,基础语言的学习只是很小的一个方面,编程落实到最后到编程思想,有了指导思想学习起来就能方便很多。
以上是我总结了几点想朝大数据这方面发展学习的学员遇到的一些问题,如果你觉得有用,可以多多关注,当然在学习的过程中还会遇到更多的问题,欢迎与我交流,我的QQ :3348563420 我会一 一帮大家解答。