第八章 FusionInsight架构原理

一、大数据简介

• 4V：volume,variety,velocity,value
• 互联网数据非结构化为主；企业数据结构化为主
• hadoop：HDFS,mapreduce,hbase

• 华为：

  
  image.png

二、FusionInsight简介

• 包括数据集成、数据洞察、数据处理平台，以及manager统一管理所有部件

• 架构：

  
  image.png
• Hadoop层：大数据处理环境；
• DataFarm层提供支撑端到端数据洞察→包括数据集成服务porter数据挖掘服务miner和数据服务框架farmer

三、FusionInsight组件介绍

• HDFS：Hadoop分布式文件系统；分块分布式存储大文件
• Hive：提供类似SQL的HQL语言完成对存储数据的查询和分析→数据汇总；非实时分析；数据挖掘
• Hbase：分布式数据库
• Yarn：资源管理与调度
• mapreduce：分布式计算架构
• spark：基于mapreduce的改进，输出和结果保存在内存中。适用于近线或准实时应用场景。
• storm：流式数据处理框架

四、功能特性

• 安全：用户权限集中管理