Apache Spark在海致大数据平台中的优化实践
2019-12-08 本文已影响0人
王知无
本文来自由海致网络技术公司翟士丹分享。专注于大数据技术领域，Apache Spark Contributor，有丰富的Spark SQL引擎调优经验。
海致全称海致网络技术公司，成立于2013年7月。作为一家技术驱动的创业型公司，海致的创始班底拥有丰富的技术经验。核心团队成员来自百度、微软、IBM、EMC、硅谷等知名企业的资深互联网专家。
大数据数据平台的核心组成部分
- 多数据整合
- 自助式数据准备
- 可视化探索式分析
- 安全快捷的分发机制
- 覆盖全面的应用场景
file
产品架构如下：
file
平台的整体技术架构如下：
file
多数据整合，形成统一的数据口径：
file
file
file
灵活易用高性能的可视化探索式分析：
file
file
file
file
大数据平台的技术挑战与建设难点
数据同步：
file
file
OLAP任意多维分析引擎实现：
file
file
file
file
file
数据建模系统实现：
file
机器学习实现：
file
file
file
file
file
file
性能及稳定性优化：
file
file
file
file
file
file
file
大数据平台私有化部署及智能监控
file
file
关注我的公众号，后台回复【JAVAPDF】获取200页面试题！
5万人关注的大数据成神之路，不来了解一下吗？
5万人关注的大数据成神之路，真的不来了解一下吗？
5万人关注的大数据成神之路，确定真的不来了解一下吗？
