大数据技术平台建设实践
[2015年技术沙龙分享]
因工作内容需要，在2010年初公司规划要建设大数据基础平台，以解决公司多业务多系统支持的混乱局面。因为有之前SNS平台的建设经验，深知一个“平台”的建设不是一个简单的项目，需要投入大量的人力、时间、资源，需要有良好的架构设计能力以及大数据技术的实践储备，是一个持续建设的过程，同时对一个中小企业而言，面临着“大”数据的处理挑战。
设立平台目标
- 一平台支持多应用
- 提高运营部门服务客户问题的及时性
- 降低系统的维护成本
- 提高公司技术的复用性
- 建立企业的核心竞争力
需要了解的知识
- 大数据理论和技术体系（中小企业还较少用）
- 云计算（2010年时阿里云也刚起步）
众多的技术名词
需要回答的问题
- 如何获取种类繁多的数据？
- 如何将非结构化数据转为结构化数据？
- 如何将多样的数据格式一致化？
- 如何高效、安全的存储巨大的数据？
- 如何高效的分析处理巨大的数据？
- 如何准确的提供给客户有价值的数据？
- 要做到以上，如何使企业的成本最低？
平台的业务定义
一句话定义
互联网信息采集挖掘服务
扩展定义
互联网在线智能计算平台，面向公司内部产品研发和运营团队、第三方应用开发商及独立开发者，在研发政府、媒体、企业、财经、网站等领域的应用时，提供信息、情报、知识、行为、运算等方面的关键支持；
平台的建设
平台整体分为4大部分，同时也成立了4个团队，数据采集、数据存储、数据挖掘、数据接口。
架构设计
平台逻辑架构图
系统层次
数据流处理面临的几次问题
平台1.0信息架构
问题1： 实时数据在处理过程有延时，时效性不高，业务要求数据处理的及时性在秒级响应
问题2：批处理数据方式效率不高，mfs本质还是文件遍历的方式，无法并行计算
问题3：关联数据的存储和分析
平台2.0信息架构
主要做了两个改动：
（1）加入分布式的消息中间件MQ
实时系统原来的轮循模式改为发布订阅模式
解耦流式数据处理和 批数据处理模式
（2）引入分布式存储以及并行计算Hadoop生态体系
存储规模增大，写入速度更高
批处理采用MapReduce并行计算方式大幅提升历史数据效率
引入的大数据开源技术
随着业界的技术发展以及公司业务的持续性发展，大数据平台也逐步引入了更多的开源技术体系
平台引入的开源技术体系
一点建议和思考
（1）技术方面
- 多向业界学习，扩展自己的视野；
- 了解行业动态，以及技术发展趋势；
- 借鉴业界成熟的技术思想，不闭门造车。
（2）业务方面
- 手中有数，心中少术，甜蜜的烦恼，我们应合理的利用数据；
- 项目到服务模式的改变，应重视运营和运维，系统应尽量绿色和自动化，减少肉搏；
- 以业务驱动技术，不盲目追随，减少成本的投入。
后续备注
大数据平台的建设需要成熟的技术团队和公司大量成本的投入，在平台的建设过程中从业务发展、成本投入、技术方案上需要综合考虑，建议在有强烈的业务驱动力下再去投入，公司在平台的建设过程遇中到的各种技术问题很多，包括文中设计的整体架构随着业务的发展仍然面临着新的问题，后续再逐步分享。
