Kafka不仅仅是一个消息引擎

2023-09-10  本文已影响0人  自天佑之吉无不利

Apache Kafka 是消息引擎系统,也是一个分布式流处理平台(Distributed Streaming Platform)。今天 Apache Kafka 是和 Apache Storm、Apache Spark 和 Apache Flink 同等级的实时流处理平台。

作为流处理平台,Kafka 与其他主流大数据流式计算框架相比,优势在哪里呢?

第一点是更容易实现端到端的正确性(Correctness)。流处理要最终替代它的“兄弟”批处理需要具备两点核心优势:要实现正确性和提供能够推导时间的工具。实现正确性是流处理能够匹敌批处理的基石。正确性一直是批处理的强项,而实现正确性的基石则是要求框架能提供精确一次处理语义,即处理一条消息有且只有一次机会能够影响系统状态。

目前主流的大数据流处理框架都宣称实现了精确一次处理语义,但这是有限定条件的,即它们只能实现框架内的精确一次处理语义,无法实现端到端的。因为所有的数据流转和计算都在 Kafka 内部完成,故 Kafka 可以实现端到端的精确一次处理语义。

第二点是它自己对于流式计算的定位。

此文章为9月Day7学习笔记,内容来源于极客时间《Kafka核心技术 》,强烈推荐该课程

上一篇 下一篇

猜你喜欢

热点阅读