大数据技术的四大金刚

2019-08-22 本文已影响2人金光闪闪耶

导读：相信很多朋友是冲着标题来的，一是好奇，想具体了解四大金刚有哪些；第二，如果判断作者是否哗众取宠，如果是送作者一顶言不符实的帽子。我想一个国家的技术的强大，正是点点滴滴积累起来的。说实话，这个标题，我背负着很大的压力。本来想删除这篇文章，最后还是留了下来，就在静等各位的暴风雨的来临吧。

大数据技术产生的原因

我们不妨思考一个问题：最早应用大数据技术的是哪个行业？

估计很少人能够想到。答案：搜索引擎。

为什么搜索引擎是最先利用大数据的公司呢？

在这里相信有许多想要学习大数据的同学，大家可以+下大数据学习裙：957205962，即可免费领取套系统的大数据学习教程

因为搜索引擎，为广大客户提供搜索服务，随着数据量的增大，原理利用连接关联的技术响应速度极慢，客户耐心及满意度急剧下降。于是，为了更好的提升响应速度，搜索引擎公司需要将相关的数据存储到自己的公司的集群服务器上。

为了解决大规模丛集计算与存储海量数据的问题，谷歌开发了MapReduce与HDFS系统。该系统与以往系统的不同在于将计算与存储分开进行管理，从而大大提升了计算与存储的性能，大大缩短了响应时间。

第一金刚：Hadoop（雅虎的错失良机）

历史渊源：2002年，Doug Cutting为了开发一款搜索引擎急的焦头烂额，主要是因为无法开发出一款针对与大规模丛集计算、海量数据存储的技术。而正在这时，谷歌似乎心有灵犀似的开放了MapReduce与HDFS技术。像极了唯美的爱情故事。

于是，Doug Cutting利用谷歌的技术开发了搜索引擎Nucth 与Hadoop（Doug Cutting儿子玩具大象的名字）。也是因为如此，Doug Cutting受到Yahoo（雅虎）首席技术官的邀请，正式进入了Yahoo负责搜索引擎工作。这弯转的好突然。

不过，由于当时对于大数据的存储、计算缺乏具体应用场景。Yahoo只用了Doug Cutting的搜索引擎技术，放弃了Hadoop。果然，骏马易得，伯乐难求。Yahoo啥眼神啊。

后来，该技术被托管到美国的公益软件基金组织Apache，成为了一项的技术，得到全世界各地开发者的开发支持。后来，由于其在大数据的运算及存储上占据得天独厚的优势，很快被谷歌、雅虎等大型公司使用。是金子总会发光的。

Hadoop技术对大数据研究的价值不可预估的，不知后来的雅虎想起这段往事，会是什么心情。

缺点：采用批量处理技术，每一次的处理分析都需要访问HDFS（硬盘存储系统）导致其无法快速响应实时计算的要求。

归属：美国非盈利软件基金会Apache（阿帕奇）（One Kill）

第二金刚：Spark（伯克利大学的贡献）

历史渊源：Hadoop的问世使得大数据的存储、计算得到突破性的发展。但是，其将数据存储在硬盘上，通过访问硬盘进行的计算的机制，却无法满足企业对系统快速反应的需求。所以，Hadoop的应用更多的偏向于对计算响应时间较为宽松的场景。果然，拥有大象庞然大物的命，也拥有大象反应较慢的病。

伯克利大学为了解决该方面的问题，成立了AMPLab，着力解决Hadoop无法快速响应计算分析需求的Spark。Spark同样采用MapReduce技术进行解决丛集问题。但是，其将需要计算的需求存储在了内存上。后续，系统再有计算的需求时，系统可以直接在内存上进行计算。从而大大提高了计算的性能。而快速响应计算分析需求的大数据计算也被称为流式处理技术。果然是高等学府，技术真不是吹的。

缺点：处理能力比不过MapReduce；统计功能与R语言无可比性

归属：美国非盈利软件基金会Apache（阿帕奇）（Double Kill）

第三金刚：Storm（推特的锦上添花）

历史渊源：Twitter在使用大数据技术时，发现针对与社交软件更多的数据存储是无状态的。而Spark的有状态存储与计算很难满足其快速为twitter用户服务的需求。通过市场调研，他们发现Back Type的大数据分析技术Storm更适合自己的使用，后续将其收购进行开发。Spark技术更适合于社交类软件的大数据分析存储应用。总有一款适合自己的灵魂

缺点：资源分配没有考虑任务拓扑的结构特征；采用集中式的作业级容错机制，一定程度限制了系统的可拓展性。智者千虑，必有一失，不怕不怕啦

归属：美国非盈利软件基金会Apache（阿帕奇）（Three Kill）