Flink 在有赞的实践和应用大纲
2021-05-27 本文已影响0人
bigdata张凯翔
https://blog.csdn.net/huzechen/article/details/117236165
一、Flink 的容器化改造和实践
- 有赞的集群演进历史
- Flink 在内部支持的业务场景
- 有赞在 Flink on Yarn 的痛点
- Flink on k8s 相对于 Yarn 的优势
- 实时集群的部署情况
- Flink on k8s 的容器化流程
- 在 Flink on k8s 的一些实践
- Flink on K8s 当前面临的痛点
- Flink on K8s的一些方案推荐
二、Flink SQL 实践和应用
- 有赞 Flink SQL 的发展历程
- 在 Flink SQL 方面的一些实践
- 业务实践
- 在 HAHBase Connector 的实践
- 无密 Mysql Connector 和指标扩展实践
- Flink 任务血缘元数据自动化采集的实践
三、未来规划
最后是未来的规划,包括四点:
第一,推广 Flink 实时任务 SQL 化。推广 Flink SQL 开发实时任务,提升 Flink SQL 任务比例。
第二,Flink 任务计算资源自动优化配置。从内存、任务处理能力、输入速率等,对任务资源进行分析,对资源配置不合理任务自动化配置,从而降低机器成本。
第三,Flink SQL 任务 k8s 化以及 K8s 云原生。Flink 底层计算资源统一为 k8s,降低运维成本,Flink k8s 云原生,更合理使用 K8s 资源。
第四,Flink 与数据湖以及 CDC 功能技术的调研。新技术的调研储备,为未来其他实时需求奠定技术基础。