分分钟手撕-分布式技术：Nginx+ZK+ActiveMQ+Ka

前些日子听很多朋友说面试跪在分布式，所以今天特地来总结一波分布式技术专题面试，限流、通讯、缓存：Nginx+ZooKeeper+ActiveMQ+Kafka+RabbitMQ+memcached+MongoDB+Redis等，带你一锅端，我们一起手撕分布式！

image.png

01 分布式限流：Nginx+ZooKeeper

1.1 分布式限流之Nginx

• 请解释一下什么是 Nginx?

• 请列举 x Nginx 的一些特性。

• 请列举 x Nginx 和 和 Apache 之间的不同点

• 请解释 x Nginx 如何处理 P HTTP 请求。

• 在 x Nginx 中，如何使用未定义的服务器名称来阻止处理请求?

• 使用 “ 反向代理服务器 ”

• 请列举 x Nginx 服务器的最佳用途。

• 请解释 x Nginx 服务器上的 r Master 和 和 r Worker 进程分别是什么?

• 请解释你如何通过不同于 0 80 的端口开启 Nginx?

• 请解释是否有可能将 x Nginx 的错误替换为 2 502 错误？

• 在 x Nginx 中，解释如何在 L URL 中保留双斜线? ?

• 请解释 e ngx_http_upstream_module 的作用是什么?

• 请解释什么是 K C10K 问题?

• 请陈述 s stub_status 和 和 r sub_filter 指令的作用是什么?

• 解释 x Nginx 是否支持将请求压缩到上游?

• 解释如何在 x Nginx 中获得当前的时间?

• 用 x Nginx 服务器解释s -s 的目的是什么?

• 解释如何在 x Nginx 服务器上添加模块?

分布式限流之Nginx的答案解析如下：

t2.png

for：Nginx+常见应用技术指南[Nginx++Tips]+第二版

t3.png

1.2 分布式限流之ZooKeeper

• ZooKeeper 是什么？

• ZooKeeper 提供了什么？

• Zookeeper 文件系统

• 四种类型的 znode

• Zookeeper 通知机制

• Zookeeper 做了什么？

• zk 的命名服务（文件系统）

• zk 的配置管理（文件系统、通知机制）

• Zookeeper 集群管理（文件系统、通知机制）

• Zookeeper 分布式锁（文件系统、通知机制）

• 获取分布式锁的流程

• Zookeeper 队列管理（文件系统、通知机制）

• Zookeeper 数据复制

• Zookeeper 工作原理

• zookeeper 是如何保证事务的顺序一致性的？

• Zookeeper 下 Server 工作状态

• zookeeper 是如何选取主 leader 的？

• 分布式通知和协调

• 机器中为什么会有 leader？

• zk 节点宕机如何处理？

• Zookeeper 同步流程

• zookeeper 负载均衡和 nginx 负载均衡区别

• zookeeper watch 机

分布式限流之ZooKeeper的答案解析如下

t4.png

for：ZK开发手册

t5.png

02 分布式通讯：ActiveMQ+Kafka+RabbitMQ

2.1 分布式通讯之ActiveMQ

• 什么是 ActiveMQ?

• ActiveMQ 服务器宕机怎么办？

• 丢消息怎么办？

• 持久化消息非常慢

• 消息的不均匀消费。

• 死信队列。

• ActiveMQ 中的消息重发时间间隔和重发次数吗？

分布式通讯之ActiveMQ的答案解析如下：

t6.png

for：手写RocketMQ笔记

t7.png

2.2 分布式通讯之kafka

• Kafka 的设计时什么样的呢？

• 数据传输的事物定义有哪三种？

• Kafka 判断一个节点是否还活着有那两个条件？

• producer 是否直接将数据发送到 broker 的 leader(主节点)？

• Kafa consumer 是否可以消费指定分区消息？

• Kafka 消息是采用 Pull 模式，还是 Push 模式？

• Kafka 存储在硬盘上的消息格式是什么？

• Kafka 高效文件存储设计特点：

• Kafka 与传统消息系统之间有三个关键区别

• Kafka 创建 Topic 时如何将分区放置到不同的 Broker 中

• Kafka 新建的分区会在哪个目录下创建

• partition 的数据如何保存到硬盘

• kafka 的 ack 机制

• Kafka 的消费者如何消费数据

• 消费者负载均衡策略

• 数据有序

• kafaka 生产数据时数据的分组策略

分布式通讯之kafka的答案解析如下：

t8.png

for：Kafka源码解析与实战

t9.png

2.3 分布式通讯之RabbitMQ

• RabbitMQ 中的 broker 是指什么？cluster 又是指什么？

• 什么是元数据？元数据分为哪些类型？包括哪些内容？与 cluster 相关的元数据有哪些？元数据是如何保存的？元数据在 cluster 中是如何分布的？

• RAM node 和 disk node 的区别？

• RabbitMQ 上的一个 queue 中存放的 message 是否有数量限制？

• RabbitMQ 概念里的 channel、exchange 和 queue 这些东东是逻辑概念，还是对应着进程实体？这些东东分别起什么作用？

• vhost 是什么？起什么作用？

• 在单 node 系统和多 node 构成的 cluster 系统中声明 queue、exchange ，以及进行 binding 会有什么不同？

• 客户端连接到 cluster 中的任意 node 上是否都能正常工作？

• cluster 中 node 的失效会对 consumer 产生什么影响？若是在 cluster 中创建了mirrored queue ，这时 node 失效会对 consumer 产生什么影响？

• 能够在地理上分开的不同数据中心使用 RabbitMQ cluster 么？

• 为什么 heavy RPC 的使用场景下不建议采用 disk node ？

• 向不存在的 exchange 发 publish 消息会发生什么？向不存在的 queue 执行consume 动作会发生什么？

• routing_key 和 binding_key 的最大长度是多少？

• RabbitMQ 允许发送的 message 最大可达多大？

• 什么情况下 producer 不主动创建 queue 是安全的？

• “dead letter”queue 的用途？

• 为什么说保证 message 被可靠持久化的条件是 queue 和 exchange 具有durable 属性，同时 message 具有 persistent 属性才行？

• 什么情况下会出现 blackholed 问题？

• 如何防止出现 blackholed 问题？

• Consumer Cancellation Notification 机制用于什么场景？

• Basic.Reject 的用法是什么？

• 为什么不应该对所有的 message 都使用持久化机制？

• RabbitMQ 中的 cluster、mirrored queue，以及 warrens 机制分别用于解决什么问题？存在哪些问题？

分布式通讯之RabbitMQ的答案解析如下：

t10.png

for：RabbitMQ实战指南

t11.png

03 分布式缓存：memcached+MongoDB+Redis

3.1 分布式缓存之memcached

• memcached 是怎么工作的？

• memcached 最大的优势是什么？

• memcached 和服务器的 local cache （比如 PHP 的 的 APC 、mmap 文件等）相比，有什么优缺点？

• memcached 和 和 MySQL 的 的 query cache 相比，有什么优缺点？

• memcached 的 的 cache 机制是怎样的？

• memcached 如何实现冗余机制？

• 我需要把 memcached 中的 item 批量导出导入，怎么办？

• memcached 如何处理容错的？

• 如何将 memcached 中 中 item 批量导入导出？

• memcached 是如何做身份验证的？

• memcached 的多线程是什么？如何使用它们？

• memcached 能接受的 key 的最大长度是多少？

• memcached 对 对 item 的过期时间有什么限制？

• memcached 最大能存储多大的单个 item ？

• 为什么单个 item 的大小被限制在 1M byte 之内？

分布式缓存之memcached的答案解析如下：

t12.png

3.2 分布式缓存之MongoDB

• 你说的 NoSQL 数据库是什么意思?NoSQL 与 RDBMS 直接有什么区别?为什么要使用和不使用NoSQL 数据库?说一说 NoSQL 数据库的几个优点?

• NoSQL 数据库有哪些类型?

• MySQL 与 MongoDB 之间最基本的差别是什么?

• 你怎么比较 MongoDB、CouchDB 及 CouchBase?

• MongoDB 成为最好 NoSQL 数据库的原因是什么?

• 32 位系统上有什么细微差别?

• journal 回放在条目(entry)不完整时(比如恰巧有一个中途故障了)会遇到问题吗?

• 分析器在 MongoDB 中的作用是什么?

• 名字空间(namespace)是什么?

• 如果用户移除对象的属性，该属性是否从存储层中删除?

• 能否使用日志特征进行安全备份?

• 允许空值 null 吗?

• 更新操作立刻 fsync 到磁盘?

• 如何执行事务/加锁?

• 为什么我的数据文件如此庞大?

• 启用备份故障恢复需要多久?

• 什么是 master 或 primary?

• 什么是 secondary 或 slave?

• 我必须调用 getLastError 来确保写操作生效了么?

• 我应该启动一个集群分片(sharded)还是一个非集群分片的 MongoDB 环境?

• 分片(sharding)和复制(replication)是怎样工作的?

• 数据在什么时候才会扩展到多个分片(shard)里?

• 当我试图更新一个正在被迁移的块(chunk)上的文档时会发生什么?

• 如果在一个分片(shard)停止或者很慢的时候，我发起一个查询会怎样?

• 我可以把 moveChunk 目录里的旧文件删除吗?

• 我怎么查看 Mongo 正在使用的链接?

• 如果块移动操作(moveChunk)失败了，我需要手动清除部分转移的文档吗?

• 如果我在使用复制技术(replication)，可以一部分使用日志(journaling)而其他部分则不使用吗?

• 当更新一个正在被迁移的块（Chunk）上的文档时会发生什么？

• MongoDB 在 A:{B,C}上建立索引，查询 A:{B,C}和 A:{C,B}都会使用索引吗？

• 如果一个分片（Shard）停止或很慢的时候，发起一个查询会怎样？

• MongoDB 支持存储过程吗？如果支持的话，怎么用？

• 如何理解 MongoDB 中的 GridFS 机制，MongoDB 为何使用 GridFS 来存储文件？

分布式缓存之MongoDB的答案解析如下：

t13.png

for：MongoDB权威指南

t14.png

3.3 分布式缓存之Redis

• redis 简介

• 为什么要用 redis /为什么要用缓存（高性能、高并发）

• 为什么要用 redis 而不用 map/guava 做缓存?

• redis 和 memcached 的区别

• redis 常见数据结构以及使用场景分析（String、Hash、List、Set、Sorted Set）

• redis 设置过期时间

• redis 内存淘汰机制（MySQL里有2000w数据，Redis中只存20w的数据，如何保证Redis中的数据都是热点数据？）

• redis 持久化机制（怎么保证 redis 挂掉之后再重启数据可以进行恢复）

• redis 事务

• Redis 常见异常及解决方案（缓存穿透、缓存雪崩、缓存预热、缓存降级）

• 分布式环境下常见的应用场景（分布式锁、分布式自增 ID）

• Redis 集群模式（主从模式、哨兵模式、Cluster 集群模式）

• 如何解决 Redis 的并发竞争 Key 问题

• 如何保证缓存与数据库双写时的数据一致性？

分布式缓存之Redis的答案解析如下：

t15.png

for：Redis设计与实现

t16.png

最后

以上分享的全部分布式技术专题+面试解析+相关的手写和学习的笔记pdf，参考学习→【高清完整版pdf】

还有更多Java笔记分享如下：Java进阶架构核心手册—V终极版

t17.png