流批知识文章推荐

2021-04-23  本文已影响0人  清蒸三文鱼_

学习的过程, 需要梳理一些知识点

  1. spark的flink的怎么实现Exactly-once?什么是端到端?为什么spark无法保证(具体需区分批和流)
  2. spark的checkpoint机制, 为何改了代码不能恢复?
  3. 什么是流状态管理?
  4. 流和批的区别是什么?Spark streaming(100ms)和Structured Streaming(1ms)是微批, 区别是什么?持续流和固定流?
  5. flink为什么是流批一体(怎么理解), 和spark的区别?
  6. 任务调度机制, 双层调度, 中心调度等?

硬核!八张图搞懂 Flink 端到端精准一次处理语义 Exactly-once(深入原理,建议收藏)
spark和flink对比
由Dataflow模型聊Flink和Spark
Spark 持续流处理和微批处理的对比

上一篇下一篇

猜你喜欢

热点阅读