网易流计算服务化平台架构实践

起笔之前

网易历经了 20 年的发展，各业务线沉淀了丰富的数据。大数据平台在满足各业务线数据存储、计算的任务，同时承担着整合集团数据，为客户提供全方位的大数据服务。

在满足业务需求的过程中，对 Hadoop 各组件进行了定制优化（如分时调度，权限控制，元数据管理，Spark 多租户，Spark 高可用，流计算相关）。

同时，围绕大数据底层技术平台也孵化出了猛犸大数据开发平台，网易有数敏捷数据分析平台等产品。本次演讲重点介绍网易基于 Flink 研发的流计算服务化平台，以 SQL 为主要开发方式，支持 DDL，支持丰富的 DML，如 Stream join, Window，支持 UDF，提供丰富的 connector。

《网易流计算服务化平台架构实践》演讲视频和节选 PPT 内容如下，完整的 PPT 可在后台回复关键字“网易”获取。在接下来的 12 月 ArchSummit 北京站上，InfoQ 中国团队策划了大数据平台架构、人工智能与业务应用、深入机器学习等技术话题，并邀请了下述专家前来分享各自的架构实践：

Twitter 吴惠君：《实时流系统 Heron 的异常检测和恢复》

Facebook 侯兆炜：《数据分析平台的挑战和解决方案》

百度牟宇航：《MPP 数据仓库 Palo 开源架构解读与应用》

阿里巴巴张佶：《阿里小蜜中的机器阅读理解技术揭秘》

更多大会演讲内容以及完整日程，可识别下方二维码进行了解。

视频

节选 PPT

之后，架构师如何快速成长？

除了 12 月 8-9 日上百个技术演讲分享之外，大会将在 10 月 10-11 日策划了深度培训环节来帮助各位在架构师路上走得更远。目前邀请了 Twitter 吴惠君博士、京东商城研发部架构师周光、新浪微博技术专家张雷、知名微服务专家杨波等顶尖技术人为大家开展为期两天的大数据与微服务技术培训。

《流计算技术 Heron 实践》

吴惠君博士的培训包含流计算的简介以及一些典型应用、流计算架构是什么，不同类型的流计算架构及其优缺点、Heron 在流计算技术栈中的使用场景、Heron 详解、Heron 与上下游的衔接、使用 Heron 来搭建实时数据技术栈时获得的经验教训等等。

《分布式应用架构》

京东架构师周光将以京东这样的大型互联网公司分布式应用架构为例，分析具体的应用场景，结合具体的技术、框架和平台, 应用系统架构设计原则，解决应用架构过程中的各种技术挑战和痛点。

《微博微服务化最佳实践》

新浪微博技术专家张雷将涉及微博服务化架构演进、混合云微服务管理、开源 RPC 框架 Motan 实践、不同服务化阶段遇到的问题及解决方案以及目前微博跨语言服务治理的最新方案等不同方向进行介绍。

《微服务原理、基础架构和开源实践》

知名微服务专家杨波将介绍微服务原理，包括微服务先决条件，适用性和演化性，微服务团队，组织架构和中台战略等内容，以及开展微服务基础架构和开源实践，包含基础架构综述、服务框架和通信模式、监控告警和可靠性工程、后台服务、持续交付等内容。

更多大会的分享、培训内容，欢迎识别下方二维码了解大会完整目录。

目前大会 9 折报名最后一周，可点击下方阅读原文立即报名，如在报名过程中遇到任何问题，敬请联系咨询大会票务经理豆包（微信：aschina666），或直接致电：010-84780850。