Java技术面试-Kafka

1. activeMq与kafka的区别

• 吞吐量
  （1）activeMq较低，磁盘随机读写 ；
  （2）kafka较高吞吐量，内部采用消息的批量处理，数据的存储和获取是本地磁盘顺序批量读写 ；
• 游标位置
  （1）activeMq amq来管理，无法读取历史数据；
  （2）kafka客户端自己管理，不乐意甚至重新读一遍都可以
• HA机制(高可用)
  （1）activeMq，主从机制， 主动复制，竞争锁的方式来选举；
  （2）kafka： 和hadoop系列产品一样，分布式，由zk管理
  -容错
  （1）Kafka每个Partition的数据都会复制到几台服务器上。当某个Broker故障失效时，ZooKeeper服务将通知生产者和消费者，生产者和消费者转而使用其它Broker。

说到底，做为kafka的消费方，能感受到最大的不同还是在于几个：

（1）吞吐量确实非常高；
（2）可以重读历史数据；
（3）但是也有一些缺点：概念上比较复杂，相对于AMQ只需要知道ip和队列名你就能获得数据，Kafka使用起来非常繁琐

2. Kafka 的缺点

• 重复消息
  Kafka 只保证每个消息至少会送达一次，虽然几率很小，但一条消息有可能会被送达多次。
• 消息乱序
  虽然一个Partition 内部的消息是保证有序的，但是如果一个Topic 有多个Partition，Partition 之间的消息送达不保证有序。
• 复杂性
  Kafka需要zookeeper 集群的支持，Topic通常需要人工来创建，部署和维护较一般消息队列成本更高

kafka重复消费问题的说明:

kafka在理论上的确存在重复消费的问题，比清结算平台，对接交易数据时，通过数据库主键来控制重复数据入库，而在消息中心正常情况下，也不会有消息重复，及时在偶尔在部署服务的时候，会有重复消费，也是可以接受的。

消息中心采用的同步提交：手动提交offset，防止业务处理时间过长，offset未及时提交导致重复消费

3. Kafka的基本概念（摘录）

• （1）Broker：消息中间件处理结点，一个Kafka节点就是一个broker，多个broker可以组成一个Kafka集群。
• （2）Topic：一类消息，例如page view日志、click日志等都可以以topic的形式存在，Kafka集群能够同时负责多个topic的分发。
• （3）Partition：topic物理上的分组，一个topic可以分为多个partition，每个partition是一个有序的队列。
• （4）Segment：partition物理上由多个segment组成。
• （5）offset：每个partition都由一系列有序的、不可变的消息组成，这些消息被连续的追加到partition中。partition中的每个消息都有一个连续的序列号叫做offset,用于partition唯一标识一条消息.

4. Kafka消费端的常用参数

Properties props = new Properties();
//zk服务器的地址  xxxx:2181
props.put("zookeeper.connect", zookeeper);
//组的名称，区别于其他group否则会接收不到数据
props.put("group.id", groupId);
props.put("zookeeper.session.timeout.ms", "8000");
props.put("zookeeper.connection.timeout.ms", "20000");
props.put("zookeeper.sync.time.ms", "2000");
props.put("auto.commit.interval.ms", "5000");
props.put("rebalance.max.retries", "5");
props.put("rebalance.backoff.ms", "60000");
props.put("auto.commit.enable", "true");
//重点参数，是否每次都从offset最前面开始读起
props.put("auto.offset.reset", "smallest");