Spring Boot + Spring Kafka配置公网接入

2020-05-07  本文已影响0人  那就太谢谢你了

场景说明

今天接到的一个任务是做公网接入阿里云的kafka。不推荐通过公网访问

由于通过公网问,需要配置为客户端接入配置SASL_SSL的鉴权,设置证书,协议,访问模式的账号密码等参数。

自己的应用采用的是spring boot + spring kafka来接入kafka。

因此,在配置上需要做一些适配和调整。

官方文档

https://help.aliyun.com/knowledge_detail/99958.html

原生的配置,主要有几个点:

配置适配

由于采用spring boot + spring kafka来接入kafka,配置的时候需要做一下适配调整。

spring boot读取kafka属性的类为org.springframework.boot.autoconfigure.kafka.KafkaProperties,其中也包含有SSL, JAAS的配置项,这些是我们需要配置的。

当然也有一些额外的配置,需要通过通用的properties给设置进去,让spring读取到,转换成kafka-client的配置。

SSL

主要是设置证书文件的绝对路径和证书解密密码。

这里是分别都为producer, consumer设置ssl的参数

JAAS

主要是配置属性,然后构建一个类似kafka_client_jaas.conf的文件,设置到应用中,最终的实质也仍然是将生成的文件路径设置给java.security.auth.login.config这个应用变量。

spring:
  kafka:
    jaas:
      enabled: true
      loginModule: org.apache.kafka.common.security.plain.PlainLoginModule
      controlFlag: REQUIRED
      options:
        username: aliyun-kafka-username
        password: aliyun-kafka-password
    ...

其中各个属性的值可以对照阿里云官方接入文档中kafka_client_jaas.conf文件内容进行配置

额外参数

通过producer, consumer的properties属性可以添加额外自定义的属性,这里主要设置了

配置例子

spring:
  kafka:
    bootstrap-servers: kafka-server1, kafka-server2, kafka-server3
    jaas:
      enabled: true
      loginModule: org.apache.kafka.common.security.plain.PlainLoginModule
      options:
        username: aliyun-kafka-username
        password: aliyun-kafka-password
    consumer:
      ssl:
        truststorePassword: KafkaOnsClient
        truststoreLocation: file:/etc/kafka/kafka.client.truststore.jks
      properties:
        sasl.mechanism: PLAIN
        security.protocol: SASL_SSL
      group-id: consumer-group
      max-poll-records: 2
    producer:
      ssl:
        truststorePassword: KafkaOnsClient
        truststoreLocation: file:/etc/kafka/kafka.client.truststore.jks
      retries: 3
      acks: 1
      compression-type: lz4
      buffer-memory: 33554432
      batch-size: 51200
      properties:
        send.buffer.bytes: 262144
        sasl.mechanism: PLAIN
        security.protocol: SASL_SSL
上一篇 下一篇

猜你喜欢

热点阅读