kafka消费者
1.kafka消费组基本概念
kafka消费topic是以group为单位来的，一个group消费一个topic。一个group能容纳多个consumer。consumer消费是以分区(partition)来的，一个consumer可以消费一个或多个partition，一个partition只能被一个consumer消费。(如果一个consumer group中的consumer个数多于topic中的partition的个数，多出来的consumer会闲置(idle),所以如果为了增加消费者能力，只简单增加消费者数量不一定会有用).
消费与分区对应关系
消费者数量小于partition的数量
消费者数量小于partition的数量
消费者数量小于partition的数量
2. consumer group的分区再平衡
每个consumer负责自己对应的分区，但是当group中有consumer退出或者新加入consumer，再或者topic中新增partition，group中的消费者负责的partition都得重新计算，Rebalance 期间consumer不能再消费消息，做rebalance的时候是会影响整个consumer group。
consumer获知自己消费的分区以及group内其他成员信息都是通过向一个叫做Group Coordinator的broker发送心跳来的，不同的group的broker可能不同。只要consumer再给Coordinator发送心跳，就被认为是正常的。触发心跳是通过consumer客户端轮询处理消息来的。如果consumer长时间没有心跳group coordinator就会认为consumer已经挂了，触发rebalance，新版本的java api(kafka_2.11的0.10.2.0已经支持了)支持显示的关闭客户端，这样可以避免有group coordinator因为超时来触发rebalance有此导致消息积压。
分区分配流程:
1.第一个加入group的consumer是consumer的leader（这个consumer奔溃之后会怎么样暂时不清楚）
2.新加入的consumer向group coordinator发送加入请求
3.leader从group coordinator接收消费者列表，然后给每个consumer分配分区
4.leader将重新分配的信息发送给group coordinator，group coordinator再将信息发送给所有的consumer
3.启动一个consumer
使用java api只需要配置 bootstrap.servers, key.deserializer, value.deserializer三个配置就可以。一般还要带上group.id，指定所属的消费组。
Properties properties = new Properties();
properties.put("bootstrap.servers", "127.0.0.1:9092");
properties.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
properties.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
properties.put("group.id", "testTopicGroup1");
new KafkaConsumer<String, String>(properties);
4.订阅topic
consumer.subscribe(Collections.singletonList("testTopic"));
可以指定多个topic，可以使用正则表达式：
consumer.subscribe("test.*");
demo:
private volatile boolean shutdown = false;
public void poll(){
Properties properties = new Properties();
properties.put("bootstrap.servers", "120.27.8.221:9092");
properties.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
properties.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
properties.put("group.id", "testGroup");
KafkaConsumer consumer = new KafkaConsumer<String, String>(properties);
//关闭轮询
Runtime.getRuntime().addShutdownHook(new Thread(new Runnable(){
@Override
public void run() {
shutdown = true;
}
}));
try{
while (!shutdown){
//开始轮询消息，poll会找到group coordinator，加入consumer group，确认消费的分区，获取消息
//poll会获取本地最大的offset之后的消息，而不是commit到kafka中的offset
ConsumerRecords<String, String> records = consumer.poll(100);
for(ConsumerRecord record:records){
System.out.println("topic = " + record.topic()
+ ", partition = " + record.partition()
+ ", offset = " + record.offset()
+ ", customer = " + record.key()
+ ", country = " + record.value());
}
}
}finally {
//及时关闭消费者
consumer.close();
}
}
5.commit offset
不管什么时候调用poll方法都会获取到还未被消费过的消息，这个实现通过消息的offset来实现的，每个分区的offset的管理是通过consumer自己向一个特殊的topic（__consumer_offsets）提交消息来实现的.
1.自动提交
开启自动提交之后，在每次调用poll获取消息的时候会检查时间查看是否需要提交offset，如果已经到时间之后会提交offset，自动提交的好处是方便，劣势是不能灵活控制，如果间隔期间consumer奔溃，已经处理且未提交的消息会被处理两遍。
自动提交配置：
enable.auto.commit=true ##开启自动提交，默认5s提交一次
auto.commit.interval.ms=1000 ##设置自动提交时间间隔
