Kafka Connect

Kafka Connect是kafka的一个开源组件，是一个用于连接kafka与外部系统(eg:mysql，Hbase，Cassandra)的框架。
使用已经存在的 connector 可以把数据导入kafka或者从kafka导出。

Source Connector

将外部系统的数据导入至kafka的topic。
例如：JDBCSourceConnector 将关系数据库数据导入Kafka

Sink Connector

将kafka topic数据导出到外部系统中。
例如：HDFSSinkConnector 将 Kafka topic 的数据导出到HDFS文件。

Kafka Connect专注于数据流传输，我们可以很方便的编写高质量、可靠、高性能的连接器插件。
Kafka Connect可以在单个机器上运行，也可以分布式运行。

使用kafka connect的好处：

1. 以数据为中心的管道-将有意义的数据提取或推送到kafka
2. 灵活性和扩展性-单节点或分布式运行(官方推荐分布式运行)
3. 可重用性可可扩展性-利用现有连接器或扩展以满足需求

相关文章：

Kafka Connect JDBC Connector使用教程

Kafka Connector 开发指南

可以添加作者微信进行相互学习交流，还请填写备注信息。

image