Kafka 关于压缩的一点经验

2019-09-19  本文已影响0人  code_solve

前言

就压缩而言,对于数据储存应该是一个比较大的优化,
而 Kafka 自然也是支持这种特性的,
但是这里可能会有那么一点坑。
我们主要从:

  1. 何时产生压缩?
  2. 何时会解压缩?

两个方面来说,并针对一些可能出现的坑做一些说明。

何时产生压缩

  1. 生产者
    为了数据在传输到 Kafka 可以更快,
    那么在生产者启动压缩自然是很正常的。
  2. Broker端
    Broker 主要是负责储存数据,
    压缩能够很好的减少磁盘的占用。
    一般情况而言,
    如果数据已经在 生产者端压缩了,
    那么其实就不需要在Broker端再做处理,
    实际上也确实是这样,
    但是如果发生以下这些情况,
    那么Broker端会再进行压缩,
    这样无疑会导致性能问题,
    所以应该尽量避免:
    • Broker端指定了和Producer端不同的压缩算法,
      这很好理解,因为压缩算法不一致,
      Broker 就需要解压缩,并在此压缩成设定好的算法,
      所以一定要避免这种情况。
    • Broker端发生了消息格式转换。
      这里所谓的消息格式转换,是因为在Kafka更新的过程中,进行了一次消息格式的修改,
      如果生产者 和 Kafka 集群版本的消息格式不一致,
      那么 Broker端为了兼容考虑,
      会将 生产者的消息格式修改为当前版本的消息格式,
      而转换消息格式是必然涉及 解压缩 和 重压缩的,

何时解压缩?

  1. Consumer端
    消费数据自然需要将数据解压缩,这个没什么好说的。

  2. Broker端
    这里可能你要奇怪了,
    为什么Broker端还要解压缩呢?
    实际上Broker端只是为了进行消息的校检,
    以保证数据的正确性,
    这样必然会给Broker端的性能带来一定的影响,
    但是就目前来说,好像也没什么好的解决办法。

最后 附上一张压缩算法对比图
使用lzbench (一种开源内存基准测试工具)在运行Linux Debian的服务器上执行多个快速压缩算法测试获取的结果。

压缩算法对比.jpg

OK!就这样吧....嘿嘿~~~希望对你有一点帮助!!!

上一篇 下一篇

猜你喜欢

热点阅读