【DataHub】3.源码学习 kafka替换可行性分析

2020-08-06  本文已影响0人  小王爱写BUG

[grale项目构建](https://www.jianshu.com/p/592fd7c10265

confluent Kafka 应用

com\linkedin\metadata\kafka\config\KafkaConfig.java

  @Value("${KAFKA_SCHEMAREGISTRY_URL:http://localhost:8081}")
  private String kafkaSchemaRegistryUrl;
# 读取配置文件的路径,默认为http://localhost:8081

Kafka 中使用 Avro 序列化组件(三):Confluent Schema Registry

KafkaEventProducerFactory.java

datahub-master\gms\factories\src\main\java\com\linkedin\common\factory\KafkaEventProducerFactory.java

kafka自定义消息序列化和反序列化方式

SchemaRegistry
Kafka Schema Registry 原理
Kafka Schema Registry 使用教程(JAVA)

如果没有 Schema Registry服务,自定义的schema需要在数据生产端和数据消费端都保存。Kafka Schema Registry 提供了 KafkaAvroSerializer 和 KafkaAvroDeserializer 两个类。有了 Schema Registry服务,数据生成方设置好Schema,会自动注册到 registry服务中,这样数据消费方就不需要保存schema,直接消费就可以。


shema-registry.png

kafka-rest-proxy 简介

kafka-rest-proxy 简介

上一篇 下一篇

猜你喜欢

热点阅读