KafKa的hello式学习

2019-02-18 本文已影响0人飞_飞

1 首先官网下载kafka安装包。

2、解压并进入Kafka目录，笔者：D:\Kafka\kafka_2.12-0.11.0.0

3、进入config目录找到文件server.properties并打开

4、找到并编辑log.dirs=D:\Kafka\kafka_2.12-0.11.0.0\kafka-logs

5、找到并编辑zookeeper.connect=localhost:2181

6、 Kafka会按照默认，在9092端口上运行，并连接zookeeper的默认端口：2181

7、进入Kafka安装目录D:\Kafka\kafka_2.12-0.11.0.0，按下Shift+右键，选择“打开命令窗口”选项，打开命令行，输入：

（1）启动zookeeper。

.\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties

（2）启动kafka服务

.\bin\windows\kafka-server-start.bat .\config\server.properties

如果遇到如下错误：

1、错误: 找不到或无法加载主类 Files\Java\jdk1.8.0_1.0.1\lib\dt.jar;C:\Program

解决：在kafka安装目录中找到bin\windows目录中的kafka-run-class.bat中，加“”号，如下

修改前：

set COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp %CLASSPATH% %KAFKA_OPTS% %*

修改后：

set COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp "%CLASSPATH%" %KAFKA_OPTS% %*

另外：CLASSPATH环境要配正确，

JAVA_HOME C:\Program Files\Java\jdk1.8.0_101

CLASSPATH .;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar; （注意头部 .；）

1.主要功能

根据官网的介绍，ApacheKafka®是一个分布式流媒体平台，它主要有3种功能：

　　a.发布和订阅消息流，这个功能类似于消息队列，这也是kafka归类为消息队列框架的原因。

　　b.以容错的方式记录消息流，kafka以文件的方式来存储消息流。

　　c.可以再消息发布的时候进行处理。

2.使用场景

a.在系统或应用程序之间构建可靠的用于传输实时数据的管道，消息队列功能。

b.构建实时的流数据处理程序来变换或处理数据流，数据处理功能。

3.详细介绍

Kafka目前主要作为一个分布式的发布订阅式的消息系统使用，下面简单介绍一下kafka的基本机制

消息传输过程:

Producer即生产者，向Kafka集群发送消息，在发送消息之前，会对消息进行分类，即Topic，上图展示了两个producer发送了分类为topic1的消息，另外一个发送了topic2的消息。

Topic即主题，通过对消息指定主题可以将消息分类，消费者可以只关注自己需要的Topic中的消息

Consumer即消费者，消费者通过与kafka集群建立长连接的方式，不断地从集群中拉取消息，然后可以对这些消息进行处理。