玩转大数据Flink大数据

阿里巴巴开源的 Blink 实时计算框架真香

2019-03-09  本文已影响10人  zhisheng_blog
image

Blink 开源了有一段时间了,竟然没发现有人写相关的博客,其实我已经在我的知识星球里开始写了,今天来看看 Blink 为什么香?

我们先看看 Blink 黑色版本:

image

对比下 Flink 版本你就知道黑色版本多好看了。

image

你上传 jar 包的时候是这样的:

image

我们来看看 Blink 运行的 job 长啥样?

image

再来对比一下 Flink 的样子:

image

查看 Job Task 的详情,可以看到开始时间、接收记录、并行度、duration、Queue in/out、TPS

image

查看 subTask,这里可以直接点击这个日志就可以查看 task 日志:

image

查看背压:

image

查看 task metric,可以手动添加,支持的有很多,这点很重要,可以根据每个算子的监控以及时对每个算子进行调优:

image

查看 job 运行时间段的情况:

image

查看 running 的 job:

image

查看已经完成的 job:

image

查看 Task Manager:

image

Task Manager 分配的资源详情:

image

Task Manager metric 监控信息详情:

image

Task Manager log 文件详情,包含运行产生的日志和 GC 日志:

image

Task Manager 日志详情,支持高亮和分页,特别友好,妈妈再也不担心我看不见 "刷刷刷" 的日志了。

image

总结

介绍了 Flink 的 Blink 分支编译后运行的界面情况,总体来说很棒,期待后面 Blink 合并到 Flink!

本文原创地址是: http://www.54tianzhisheng.cn/2019/02/28/blink/ , 未经允许禁止转载。

关注我

微信公众号:zhisheng

另外我自己整理了些 Flink 的学习资料,目前已经全部放到微信公众号了。你可以加我的微信:zhisheng_tian,然后回复关键字:Flink 即可无条件获取到。

image

更多私密资料请加入知识星球!

image

Github 代码仓库

https://github.com/zhisheng17/flink-learning/

以后这个项目的所有代码都将放在这个仓库里,包含了自己学习 flink 的一些 demo 和博客。

相关文章

1、《从0到1学习Flink》—— Apache Flink 介绍

2、《从0到1学习Flink》—— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门

3、《从0到1学习Flink》—— Flink 配置文件详解

4、《从0到1学习Flink》—— Data Source 介绍

5、《从0到1学习Flink》—— 如何自定义 Data Source ?

6、《从0到1学习Flink》—— Data Sink 介绍

7、《从0到1学习Flink》—— 如何自定义 Data Sink ?

8、《从0到1学习Flink》—— Flink Data transformation(转换)

9、《从0到1学习Flink》—— 介绍Flink中的Stream Windows

10、《从0到1学习Flink》—— Flink 中的几种 Time 详解

11、《从0到1学习Flink》—— Flink 写入数据到 ElasticSearch

12、《从0到1学习Flink》—— Flink 项目如何运行?

13、《从0到1学习Flink》—— Flink 写入数据到 Kafka

14、《从0到1学习Flink》—— Flink JobManager 高可用性配置

15、《从0到1学习Flink》—— Flink parallelism 和 Slot 介绍

16、《从0到1学习Flink》—— Flink 读取 Kafka 数据批量写入到 MySQL

上一篇下一篇

猜你喜欢

热点阅读