通用大数据平台的六层架构模型

1. 数据源层：包括传统的数据库，数据仓库，分布式数据库，NOSQL数据库，半结构化数据，无结构化数据，爬虫，日志系统等，是大数据平台的数据产生机构。

2. 数据整理层：包括数据清洗、数据转换、数据加工、数据关联、数据标注、数据预处理、数据加载、数据抽取等工作，该层的作用是将raw data加工成product data。

3. 数据存储层（数据中心）：存储了经过清洗处理后的可用于生产系统的数据，比如元数据，业务数据库，模型数据库等，该层直接面向应用系统，要求高可靠、高并发、高精度。

4. 数据建模与挖掘层：该层实现对数据的深加工，根据业务需要，建立适用于业务的数据统计分析模型，建立大数据运行处理平台，运用数据分析、数据挖掘、深度学习等算法从生产数据集中挖掘出数据内在的价值，为业务系统提供数据和决策支持。

5. 行业应用层：深入分析行业数据特点，梳理行业数据产品需求，建立适用于不同行业的数据应用产品。

6. 数据可视化：以智能报表、专题报告、BI展示、平台接口等多种方式提供数据展示和数据共享服务。

大数据平台六层架构模型