大数据内容介绍
2018-12-17 本文已影响7人
无羡爱诗诗
大数据的作用和影响:
改变经济社会管理方式;促进行业金融发展;推动产业转型升级;助力智慧城市建设;创新商业模式;改变科学研究的方法论。
![](https://img.haomeiwen.com/i14405984/da987bddd0cfecfc.png)
大数据产业链分析:
商业角度:
大数据提供者:拥有数据的公司;
大数据技术提供者;
大数据服务提供者;
从技术角度分析大数据产业链:
1) 大数据采集;
2)大数据存储、管理和处理;
3)大数据分析和挖掘;
4)大数据呈现和应用。
什么是大数据?
大数据不再仅表示大量的数据,还涵盖了处理数据的速度。
大数据是指大小超过了典型数据库软件工具手机、存储、管理和分析的能力的数据集。
大数据的特征:
1)多样性;
2)速度快;
3)数据量大;
4)价值密度低。
大数据的存储结构
分布式存储和访问是大数据存储的关键技术,它具有经济、高效、容错性好等特点。
大数据的计算模式
目前主要的数据处理计算模型有MapReduce计算模型、DAG计算模型、BSP计算模型等。
MapReduce是一个高性能的批处理分布式计算框架,用于对海量数据进行并行分析和处理。
利用分布式共享内存进行计算,可以有效减少数据读写和移动的开销,及大地提高数据处理的性能,Spark是这种技术的开源实现代表;
适用于大数据实时处理的技术:Storm是其中的开源代表。
Hadoop在大数据中的地位
Hadoop是Apache的一个开源项目,它是一个对大量数据进行分布式处理的软件架构。框架最核心的设计就是:为海量的数据提供了存储的HDFS技术,以及为海量的数据提供了计算的MapReduce技术。
有关Hadoop的问题解答
1、Hadoop的核心通信机制是什么?
RPC即远程过程调用时Hadoop中的核心通信机制。RPC是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。
2、Hadoop1时代与Hadoop2时代的最大不同是什么?
Hadoop2时代增加了YARM----通用资源管理框架。