华为大牛深入讲解kafka，入门到实践，14个视频4大pdf，总

前言

众所周知Kafka 由于高吞吐量：Kafka 每秒可以生产约 25 万消息（50 MB），每秒处理 55 万消息（110 MB）

可持久化：可进行持久化操作。将消息持久化到磁盘，因此可用于批量消费，例如 ETL，以及实时应用程序。通过将数据持久化到硬盘以及replication 防止数据丢失。

分布式：所有的 producer、broker 和 consumer 都会有多个，均为分布式的。无需停机即可扩展机器。

支持流数据处理：消息被处理的状态是在 consumer 端维护，而不是由 server 端维护。当失败时能自动平衡。等特性而被广泛应用。

但当前关于 Kafka 原理及应用的相关资料较少，本文采取精华，为了能让大家更好的学习kafka，小编特地把kafka分为14个视频4大pdf，从入门到实践，最后还会附上kafka最新的面试题及答案供大家参考。

kafka学习路线

学习kafka需要的14个视频及九大技术文档

kafka入门及实践

作为分布式消息发布－订阅系统， Kafka 具有快速、可扩展、可持久化的特点 可以实时处理海量数据以满足各种需求场景 本书首先详细介绍了 Kafka环境部署过程，让读者能够快速搭建 Kafka 运行环境；接着从 Kafka 原码层面对 Kafka 实现原理进行了深入讲解 以便于读者真正掌握 Kafka 实现细节，然后通过Kafka 与当前主流的大数据框架整合应用，从数据采集（ Flume ）、数据分析（ ELK ）、数据处理（ Spa k)逐步展开，通过实际案例介绍了 Kafka 在工程应用中的使用方法，让读者能够在此基础上搭建自己的海量数据分析处理系统 这对在实际工作中对 Kafka 进行性能调优或是解决 Kafka 实际问题非常高帮助 这是一本关于 Kafka 的理论与实践中目结合的书

第一章Kafka简介

第二章Kafka安装配置

第三章Kafka核心组件

第四章Kafka核心流程分析

第五章Kafka基本操作实战

第六章Kafka API编程实战

第七章Kafka Streams

第八章Kafka 数据采集应用

第九章Kafka ELK 整合应用.

第十章Kafka Spark 整合应用

深入理解Kafka：核心设计与实践原理

本书主要阐述了Kafka 产者客户端、消费者害户端、与分区、日志存储、原理解析、监控管理、应用扩展及流式计算等内部基础篇介绍Kafka 的基础概念、生产者、消费者，以及与分区原理篇包捂对曰志存储、协议设计、控制器、组协调器、事务、致性、可靠性等内窑的探究扩展篇从应用扩展层面来做讲解，包围监控、应用土旦、应用扩展（延时队列、重 式队列、死信队列、消息轨迹等）、与Spark的集成等。

第一章：初始kafka

第二章：生产者

第三章：消费者

第四章：主题与分区

第五章：日志存储

第六章：深入服务器

第七章：沉入客户端

第八章：可靠性探究

第九章：kafka应用

第十章：kafka监控

第十一章：高级应用

第十二章：kafka与spark的集成

附录 Kafka 源码环境搭建

Kafka源码解析与实战

本书从LinkedIn ( 领英)公司内部大数据框架的演变讲起，引申出Kafka消息队列诞生的缘由。接着讲解Kafka的基本架构，围绕Kafka内部的十-条通信协议讲解内部的各个模块的实现细节，包括基本模块和控制管理模块。前者包括SocketServer (监听Socket请求)、KafkaRequestHandlerPool (请求处理资源池)、LogManager (日志管理)、ReplicaManager (分区副本管理)、OffsetManager (偏移量管理)、KafkaScheduler(后台任务调度资源池)、KafkaApis (业务逻辑实现层)、KafkaHealthcheck (提供Broker健康状态)、TopicConfigManager ( Topic配置信息管理) ;后者包括KafkaController (控制管理模块)。然后介绍Kafka的运维工具，不仅介绍具体如何使用，而且分析其内部的代码实现。紧接着介绍Kafka的客户端编程(生产者和消费者的使用方式)，讲解如何进行客户端编程，并分析了生产者和消费者的设计原则和实现原理。最后阐述Kafka和其他开源大数据组件的集成方式以及Kafka在安防整体解决方案中的实际应用。

本书将从Kafka的内部实现原理、运维工具、客户端编程以及实际应用这四个方面出发，系统阐述有关Kafka的各方面知识，全书共10章，每章的大致内容如下。

第1章介绍Kafka诞生的背景、Kafka在LinkedIn 内部的应用、Kafka的主要设计目标以及为什么使用消息系统。

第2章介绍Kafka的基本组成、拓扑结构及其内部的通信协议。

第3章描述Kafka集群组成的基本元素BrokerServer的启动以及内部的模块组成。通过阅读这一章，读者能对Broker Server有整体上的印象，为之后章节的阅读打下基础。

第4章描述Broker Server内部的九大基本模块: SocketServer、 KafkaRequestHandlerPool LogManager、ReplicaManager. OffsetManager、 KafkaScheduler 、KafkaApis、KafkaHealthcheck

和TopicConfigManager。

第5章介绍BrokerServer的控制管理模块KafkaController，这个模块负责整个Kafka集群的管理，例如:Topic的新建和删除、分区状态和副本状态的转换、集群的负载均衡管理等。

第6章介绍三个维护脚本: kafka-topics.sh 、kafka reassign _partitions.sh和kafka-preferred-replica-election.sh,它们分别涉及Topic的生命周期管理、Topic分区的重分配和分区首选副本的选择。

第7章从设计原则、示例代码、模块组成和发送模式四个部分介绍有关消息生产者的相关知识，从设计原则至客户端编程，从客户端编程到内部实现原理，由浅人深,循序渐进地讲解。

第8章分别介绍两种消费者:简单消费者和高级消费者。针对每种消费者都将依次从设计原则、消费者流程、示例代码以及原理解析四个部分介绍消费者的相关知识。

第9章介绍Kafka与典型大数据系统的集成，包括:Kafka和Storm的集成、Kafka和ELK的集成、Kafka和Hadoop的集成以及Kafka和Spark的集成。希望通过本章使读者对Kafka和第三方大数据平台集成有大致的了解。

第10章用综合实例描述了Kafka的应用，案例描述Kafka作为数据总线在安防整体解决方案中的作用，通过车辆人脸图片数据的入库、视频数据的入库、数据延时的监控、数据质量的监控、布控统计和容灾备份6个业务，简要阐述内部的实现原理。

第一章Kafka简介

第二章Kafka架构

第三章Broker概述

第四章Broker的基本模块

第五章Broker的控制管理模块

第六章Topic的管理工具

第七章生产者

第八章消费者

第九章Kfaka的典型应用

第十章Kafka的综合实例

kafka实战

Kafka是由Apache软件基金会开发的一个开源流处理平台，近年来蓬勃发展，在云计算和大数据技术栈

中扮演着重要的角色，对于大型推荐系统、广告系统、搜索系统的实时数据分析非常有价值。本书是一

本很好的Kafka入门及进阶书籍，从部署、原理、大规模生产环境实践及调优等各个方面进行了介绍，

深入浅出。本书既适合作为Kafka的入门书籍，也适合作为系统架构师和-线开发工程师的参考书籍，无

论是泛读还是精读，相信读者都会有较大收获。

———新浪微博技术专家 付稳

学习kafka，需要的视频和课件笔记

kafka面试题及答案

最后附上kafka的面试题及答案供大家参考：

由于篇幅限制，小编在这里就不做过多的介绍了，需要这4大技术文档+面试题及答案和视频的小伙伴，可以转发关注小编之后，私信小编“学习”来得到获取方式啦~~~~