企业实践

09：00 网易实践

演进

16年调研Flink，基于1.3，1.5，1.7版本通过写代码跑流计算任务，2019年7月份发现大部分子公司都有流计算平台，决定共建平台，将子公司的任务迁移。
规模：1000+任务，2W+Vcore，80+T内存
业务场景：广告、电商大屏，数据分析，风控，监控，直播，ETL，推荐

FLINK平台化

1. 0.x

   
   图片.png

2. 1.0

   
   图片.png

3. 2.0，平台共建

   
   图片.png

平台模块图

图片.png

事件处理
通过zookeeper实现锁机制和写数据，通过DB来保存任务状态。

图片.png

通过父子进程来守护

图片.png
任务状态图
图片.png
最终任务开发界面
图片.png

日志检索功能

图片.png

监控

图片.png

告警

图片.png

案例分析

1. 数据实时同步

   
   图片.png

2. 实时数仓

   
   图片.png

3. 搜索推荐

   
   图片.png

未来发展与思考

1. 实时计算平台支持flink on k8s的任务
2. 任务的自动配置功能，平台根据业务类型，流量自动配置内存，并发度等，既能保证任务SLA，也能提升计算集群的资源利用率
3. 智能诊断，对UDF以及代码构建的流计算任务，调试成本高，运行出错让业务和平台方疲于奔命，智能诊断来查找任务，减少任务的定位时间
4. 关注Flink1.9级后续版本对SQL的支持，升级版本
5. 更多参与社区

09:40 农业银行实践

背景

数字化转型：外部经济的压力，内部经营的压力
业务发展：农行通过线上贷款，服务了100w+个人客户，金额800亿左右，三农客户线上贷款2000亿
信贷发展与风控：希望能提高普惠金融收益

图片.png

传统风控的不足：经验为主、客户体验、实时性差、模型失灵
18年启动flink，19年通过kafka+flink搭建风控平台
选型要求：实时性、准确性、吞吐率

实践分享

图片.png
图片.png
图片.png
图片.png

典型应用

图片.png
图片.png

未来展望

1. 使用范围扩展
2. 平台化
3. 智能化

10:20 基于Apache Flink的爱奇艺实时计算平台建设实践

发展史

2012年启动大数据
2013升级Hadoop2.0
15年引入kafka
17年引入flink
18年推出自研RAP数据分析平台
19年打造流数据处理平台

图片.png
图片.png
图片.png
图片.png

实践

图片.png
图片.png
图片.png
图片.png

未来规划

1. 批流一体化
2. 推广Streaming SQL
3. 基于Flink的机器学习
4. 提高Flink作业的资源利用率，支持动态资源调整
5. Flink docker化

11:00 实时计算在贝壳的实践

业务规模演进

Hermes实时计算平台

未来发展与规划