大数据概述
2019-02-21 本文已影响0人
alpha18
大数据的概念 4V
- 数据量大(Volumn)
- 数据类型繁多(Variety) 结构化数据(10%) 非结构化数据(90%)
- 处理速度快(Velocity)
- 价值密度低(Value)
大数据关键技术
- 分布式存储
- 分布式处理
大数据计算模式
- 批处理计算 解决针对大规模数据的批量处理
MapReduce 将并行计算过程抽象为两个函数 Map和Reduce
数据流从一个稳定的来源，进行一系列加工处理，流出到稳定的文件系统(如HDFS)
Spark 使用内存替代HDFS或磁盘存储中间结果 - 流计算 流数据(在时间分布和数量上无限的动态数据集合体)
数据价值随时间流逝而降低 实时计算 - 图计算
- 查询分析计算
大数据与云计算、物联网
云计算服务模式
- Iaas(基础设施即服务)
- PaaS(平台即服务)
- SaaS(软件即服务)
云计算关键技术
虚拟化、分布式存储、分布式计算、多租户
物联网体系架构
感知层、网络层、处理层、应用层
物联网关键技术
识别和感知、网络与通信、数据挖掘与融合
