Maxwell + spark + Kafka安装

问题

现在有一个需求，在一定时间段（15分钟）统计交易情况，Hive的话是可以实现功能，但是效率低，最终决定使用Spark Streaming + Kafka。但是业务部门没法通过Kafak报送时间（需求太多没有时间开发），我们开始找实时获取MySQL数据到Kafka的工具。

Maxwell

下面这个文章介绍常见的实时获取MySQL数据到Hadoop的方法

实时抓取MySQL的更新数据到Hadoop

安装Spark + Kafka

Kafka安装
Spark安装

安装Maxwell

具体参考官网

安装完成后执行如下命令：

在maxwell的安装目录下执行如下命令：

数据库每次操作将实现出来
bin/maxwell --user='maxwell' --password='maxwell' --host='127.0.0.1' --producer=stdout

生成一个topic为maxwell的消息
bin/maxwell --user='maxwell' --password='maxwell' --host='localhost' --producer=kafka --kafka.bootstrap.servers=hadoop1:9092  

查看主题信息
kafka-topics -zookeeper hadoop1:2181 -describe -topic maxwell

消费主题
kafka-console-consumer -zookeeper hadoop1:2181 --from-beginning --topic maxwell