Kafka 0.8.2.1部署运维指南

2016-08-07 本文已影响842人 openex

相关约定

1.kafka安装在/usr/local下

2.数据目录保存在/data*/kafka-logs下

3.运行日志保存在/data0/kafka_runlog

4.建议使用内存大，磁盘多，带宽高的机器

5.zookeeper地址 : Zookeeper_address/kafka/业务号

一.下载安装

su root

cd /usr/local

wget http://mirror.bit.edu.cn/apache/kafka/0.8.2.1/kafka_2.11-0.8.2.1.tgz

tar xvf kafka_2.11-0.8.2.1.tgz

ln -s ln -s kafka_2.11-0.8.2.1 kafka

二.配置

本文仅介绍重要的配置项和部分优化参数，具体不同的优化项请根据实际业务需求设定

详细配置请参考http://kafka.apache.org/082/documentation.html

cd /usr/local/kafka

vim config/server.properties

重要配置：

粗体部分若配置错误，可能导致无法启动

配置项	推荐值	作用
broker.id	自行规划	broker唯一区分名
port	Default(9092)	工作端口
num.network.threads	不应大于本机逻辑核心数	最大网络处理线程数
num.io.threads	应大于等于使用磁盘数	最大io线程数
socket.send.buffer.bytes	1048576	socket连接发送缓存
socket.receive.buffer.bytes	1048576	socket连接接收缓存
log.dirs	PATH1,PATH2...请参照约定	数据保存位置
log.retention.hours	12	数据保存时间(小时)
log.retention.check.interval.ms	300000	数据文件保存超时检查时间
replica.lag.max.messages	800000	replica与leader消息lag阈值
replica.socket.timeout.ms	30000	判断replica是否存活的阈值
replica.fetch.wait.max.ms	800	leader与replica间数据同步超时时间
zookeeper.connect	参照相关约定	所依赖zookeeper地址
controlled.shutdown.enable	true	开启后，执行shutdown时，broker主动将自己有leader身份的partition转移给ISR里的其他broker
zookeeper.connection.timeout.ms	1000000	broker与zookeeper连接超时阈值，设置较大防止zookeeper leader宕机时的zookeeper不可用问题造成影响
delete.topic.enable	true	是否允许删除topic
auto.create.topics.enable	false	是否允许api自动创建topic

日志存储配置

vim bin/kafka-run-class.sh

mkdir /data0/kafka_runlog

找到LOG_DIR="$base_dir/logs"，将其修改为LOG_DIR="/data0/kafka_runlog"

三、运行：

cd /usr/local/kafka

bin/kafka-server-start.sh config/server.properties &

四、常用运维命令：

创建topic：

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication 2 --topic test1 --partition 1

--creat 创建topic

--replication-factor 每个partition需要的replica数目，

-- zookeeper zookeeper地址

--topic 设置topic名字

--parition 为此topic创建多少个partition

查看全部topic：

bin/kafka-topics.sh --list --zookeeper localhost:2181

查看全部topic的详细信息：

bin/kafka-topics.sh --describe --zookeeper

启动producer生产测试：

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

--broker-list {broker_number} 确定输入到那个broker

启动consumer消费测试：

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

--from-beginning ：去掉此项则消耗当前实时的数据

增加topic的partition数量

bin/kafka-topics.sh --zookeeper localhost:2181 -alter -partitions 5 -topic test

此命令只能增量调整partitions数量

修改topic的replication信息：
1.首先查看topic的describe信息

bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test1

2.根据查询到的describe信息，修改配置文件partitions-to-move.json

注意replicas修改时，只有填写存在的brokerid才有效

内容填写格式如下：

{

"partitions" :

[

{

"topic" : "test1",

"partition" : 0,

"replicas" : [1,3]

{

"topic" : "test1",

"partition" : 1,

"replicas" : [1,3]

}

"version" : 1

}

3.执行命令

bin/kafka-reassign-partitions.sh -zookeeper localhost:2181 -reassignment-json-file partitions-to-move.json -execute

4.查看验topic的describe验证

bin/kafka-topics.sh --zookeeper localhost:2181 --describe -topic test1

设置kafka_topic级别的配置：

当存在topic级别配置时，优先使用此配置，若无则自动使用默认的配置

创建topic时：

bin/kafka-topics.sh --zookeeper 192.168.89.129:2181,192.168.89.128:2181 --create --topic change --replication-factor 2 --partitions 2 --config max.message.bytes=54000

修改已创建的Topic配置：

bin/kafka-topics.sh --zookeeper 192.168.89.129:2181,192.168.89.128:2181 --topic change --alter --config max.message.bytes=5400

删除已创建的topic配置：

bin/kafka-topics.sh --zookeeper 192.168.89.129:2181,192.168.89.128:2181 --topic change --alter --delete-config max.message.bytes

重新负载
1.使用generate模式，生成reassign plan。指定需要重新分配的Topic （{“topics”:[{“topic”:”topic1”}],”version”:1}），并存入/tmp/topics-to-move.json文件中，然后执行

/bin/kafka-reassign-partitions.sh

--zookeeper localhost:2181

--topics-to-move-json-file /tmp/topics-to-move.json

--broker-list "4,5,6,7" --generate

2.　使用execute模式，执行reassign plan

将上一步生成的reassignment plan存入/tmp/reassign-plan.json文件中，并执行

bin/kafka-reassign-partitions.sh

--zookeeper localhost:2181

--reassignment-json-file /tmp/reassign-plan.json --execute

3.使用verify模式，验证reassign是否完成。执行verify命令

bin/kafka-reassign-partitions.sh

--zookeeper localhost:2181 --verify

--reassignment-json-file /tmp/reassign-plan.json