题记

本文资料来源于拉钩大数据开发高薪训练营。

先说题外话：
比较幸运，能在实习的第一份工作能做自己喜欢的大数据，大数据令人着迷，挖掘数据价值的过程无疑精彩。
在工作中，通过完成需求的过程学习到很多大数据开发的知识，但是各种各样的大数据组件需要进行学习使用。快速的学习和上手各种大数据组件让我拥抱了需求，但是遇到问题大多只能百度谷歌，我认识到我需要回炉重造。
因此，我将会在简书将我各个阶段的学习个人所得进行总结，以此建立我的大数据应用知识体系，并在每篇文章开头标注我的知识来源，以表感谢。

大数据的简介

⼤数据是指⽆法在⼀定时间范围内⽤常规软件⼯具进⾏捕捉、管理和处理的数据集合，是需要新处理模
式才能具有更强的决策⼒、洞察发现⼒和流程优化能⼒的海量、⾼增⻓率和多样化的信息资产。

简而言之：我认为大数据是一种新的数据存储和计算模式，相比较于传统的Oracle数仓等，以hadoop的hdfs文件系统作为比较，其存储数据的方式不同。前者关心每条数据具体的强关系，后者则更注重于数据能否完好存储，不要出现数据的损失为主，发现数据价值的工作则交给各种各样的计算框架来完成。从某种意义上来说，这是一种数据存储和关联的解耦，带来的好处是：大量数据的存储便利和低廉的维护成本，以及架设在分布式生态环境上的分布式计算带来的高速数据计算。

大数据的特点

• 大量
  不用多说，PB级别的数据，传统的数据库不堪重负。
• 高速
  高速体现在数据的创建、存储、分析上，无论是从前就有的离线的指标的计算，例如T+1计算信用卡用户的消费最大金额，通过该指标来分发相应的权益；又或许是实时计算用户的大额分期的消费，实时给顾客发送活动达标的奖励通知，达到激励消费的目的。
  在现有的Lambda架构上，传统的数据库难以达到离线处理大量数据计算指标的目的，更不要说怎么去实现实时的指标计算。
• 多样
  数据的多样化是现在高速互联网的一个显著的特点，例如抖音快手的短视频，以及社交平台上分享的照片，生产上后台不停叠加的日志文件等。无论是结构化数据，半结构化数据，非结构化数据等，都需要能够存储和处理。
• 真实
  没啥说的，保证数据的真实性，是数据分析的大前提。这里涉及ETL的数据清洗，脏数据影响到数据分析的真实性。
• 低价值
  数据的低价值可以说是大数据的一个弊端，当然这也发展的选择，在硬件相对廉价的现在，企业都宁愿花钱在存储设备上，也不愿意抛弃数据，这不像传统的数据库都存储着有直接价值的数据，大数据阶段更愿意对数据的价值抱有一种“宁可信其有不可信其无”的想法，因为事实证明，对大量数据的分析，能够得到一个接近真实情况的结论，这个结论可以带来更多的业务拓展机会，会跟赚钱，赚的钱又可以买更多的服务器，真是一个良性循环。

hadoop的简介

The Apache Hadoop software library is a framework that allows for the distributed processing of large data sets across clusters of computers using simple programming models.

在狭义上： hadoop是一个集大数据分布式存储和计算一体的平台。
在广义上： hadoop代表大数据的一个技术生态圈，主要表现在其hdfs的强大以及yarn的通用性。
如果有人问你，Spark和hadoop最大的不同是什么，记得回答Speak只是一个计算框架，而hadoop则即有存储的能力也有计算的能力。

hadoop的起源

Hadoop最早起源于Nutch，Nutch 的创始⼈是Doug Cutting

老生常谈，说起hadoop的起源，不可不讲谷歌的三驾马车。
这三架马车其实是Google的三篇论文：
GFS：Google的分布式文件系统， 后来演变出HDFS。
MapReduce：Google的分布式计算框架，后来演变为Hadoop上的MapRuduce（注意：两者虽名字相同，但不是一个东西）。
BigTable：大型的非关系型分布式数据库，后来演变出Hbase。

hadoop的特点

• 扩容能力
  hadoop的集群可以很方便得拓展节点。
• 低成本
  hadoop集群使用的服务器可以是低廉的机器，节省成本。
• 高效率
  在节点之间传输数据的动态并行的方式，速度快。
• 可靠性
  虽然集群的节点可以是低廉的机器，但是hdfs上的文件通常都会有多份备份，在数据节点宕机的情况下，hadoop会备份节点上的数据到新的节点上，动态维护文件的备份数量。并且失败的任务也会自动重新部署。

hadoop的发行版本

• Apache Hadoop 原始开源版本
  优点：拥有全世界的开源贡献，代码更新版本⽐较快
  缺点：版本的升级，版本的维护，以及版本之间的兼容性，学习⾮常⽅便
  Apache所有软件的下载地址（包括各种历史版本）：http://archive.apache.org/dist/
• 软件收费版本ClouderaManager CDH版本 --⽣产环境使⽤
  官⽹地址：https://www.cloudera.com/
  Cloudera主要是美国⼀家⼤数据公司在Apache开源Hadoop的版本上，通过⾃⼰公司内部的各种
  补丁，实现版本之间的稳定运⾏，⼤数据⽣态圈的各个版本的软件都提供了对应的版本，解决了版
  本的升级困难，版本兼容性等各种问题，⽣产环境强烈推荐使⽤
• 免费开源版本HortonWorks HDP版本--⽣产环境使⽤
  官⽹地址：https://hortonworks.com/ hortonworks主要是雅⻁主导Hadoop开发的副总裁，带领
  ⼆⼗⼏个核⼼成员成⽴Hortonworks，核⼼产品软件HDP（ambari），HDF免费开源，并且提供
  ⼀整套的web管理界⾯，供我们可以通过web界⾯管理我们的集群状态，web管理界⾯软件HDF⽹
  址（http://ambari.apache.org/）
  先已经被Cloudera公司收购，今后可能推出舞台。

hadoop的优缺点

• hadoop的优点
  • Hadoop具有存储和处理数据能⼒的⾼可靠性。
  • Hadoop通过可⽤的计算机集群分配数据，完成存储和计算任务，这些集群可以⽅便地扩展到数以
    千计的节点中，具有⾼扩展性。
  • Hadoop能够在节点之间进⾏动态地移动数据，并保证各个节点的动态平衡，处理速度⾮常快，具
    有⾼效性。
  • Hadoop能够⾃动保存数据的多个副本，并且能够⾃动将失败的任务重新分配，具有⾼容错性。
• hadoop的缺点
  • Hadoop不适⽤于低延迟数据访问。
  • Hadoop不能⾼效存储⼤量⼩⽂件。
  • Hadoop不⽀持多⽤户写⼊并任意修改⽂件。