Zookeeper概述

2020-03-20  本文已影响0人  北海北_6dc3

zookeeper

是一个分布式协调服务的开源框架。主要用来解决分布式集群中应用系统的一致性问题。
本质上是一个分布式的小文件存储系统,提供基于类似文件系统的目录树方式的数据存储。并且可以对树中的节点进行有效管理,从而用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化,从而可以达到基于数据的集群管理。诸如:统一命名服务、分布式配置管理、分布式消息队列、分布式锁、分布式协调等功能。

Zookeeper特性

  1. 最终一致性: 每个server保存一份相同的数据脚本,client无论连接到哪个server,展示的数据都是一致的。
  2. 顺序性:包括全局有序和偏序两种,全局有序是指如果一台服务器上消息a在消息b前发布,则在所有server上消息a都将在消息b前被发布;偏序是指如果一个消息b在消息a后被同一个发送者发布,a必将排在b的前面
  3. 高可用:如果消息被其中一台服务器接受,那么将被所有的服务器接受
  4. 原子性:一次数据更新要么成功(半数以上节点成功),要么失败,不存在中间状态
  5. 实时性:Zookeeper保证客户端将在一个时间间隔范围内获得服务器的更新信息,或者服务器失效的信息。

Zookeeper集群角色:

Zookeeper集群工作的核心
事务请求(写操作)的唯一调度和处理者,保证集群事务处理的顺序性;集群内部各个服务器的调度者。
对于create,setData,delete等有写操作的请求,则需要统一转发给leader处理,leader需要决定编号,执行操作,这个过程为一个事务。
负责进行投票的发起和决议,更新系统状态
在一个集群中,应该只有一个leader,增加机器后,重启集群,应该最后重启leader

处理客户端非事务(读操作)请求,转发事务请求给Leader.
参与集群Leader选举投票。
用于接收客户端请求并向客户端返回结果,在选举过程中参与投票。
集群中的leader个数应该为奇数个

观察者角色,观察Zookeeper集群的最新状态变化并将这些变化同步过来,其对于非事务请求可以进行独立处理,对于事务请求,则会转发给Leader服务器进行处理。

可以接收客户端的连接,将写请求转发给leader节点,但是observer不参加投票,只同步leader的状态。observer目的是扩展系统,提高读取速度。

我们可以看到zookeeper的三种角色,刚好对应paxos三种角色。

节点数目:

Zookeeper Server数目一般为奇数,Leader选举算法采用了Paxos协议;Paxos核心思想:当多数(一半以上)Server写成功,则任务数据写成功。

Zookeeper集群搭建.

指的是Zookeeper分布式模式安装,通常由2n+1台servers组成。这是因为为了保证Leader选举(基于Paxos算法的实现)能过的多数的支持,所以Zookeeper集群的数量一般为奇数

对于安装leader+follower模式的集群,大致步骤如下:

  1. 配置主机名称到IP地址映射配置
  2. 修改Zookeeper配置文件
  3. 远程复制分发安装文件
  4. 设置myid
  5. 启动Zookeeper集群

如果想用Observer模式,可以在对应节点的配置文件添加如下配置:
peerType=observer
其次,必须在配置文件指定哪些节点被指定为Observer,如:
server.1:localhost:2181:3181:observer

Zookeeper数据模型

在结构上和标准文件系统的非常相似,拥有一个层次的命名空间,都是采用树形层次结构,Zookeeper树中的每个节点被称为Znode.和文件系统的目录树一样,Zookeeper树中的每个节点可以拥有子节点

  1. Znode兼具文件和目录两种特点。
  2. Znode具有原子性操作
  3. Znode存储数据大小有限制
  4. Znode通过路径引用
    数据结构图
image

图中的每个节点称为一个Znode,每个Znode由3部分组成:

1.stat:此为状态信息,描述该Znode的版本,权限等信息

2.data:与该Znode关联的数据

3.children:该Znode下的子节点

节点类型

Znode有两种,分别为临时节点永久节点

节点的类型在创建时即被确定,并且不能改变

  1. 临时节点:该节点的生命周期依赖于创建它们的会话。一旦会话结束,临时节点将被自动删除,当让也可以手动删除。临时节点不允许拥有子节点
  2. 永久节点:该节点的生命周期不依赖于会话,并且只有在客户端显示执行删除操作时,它们才能被删除。

Znode还有一个序列化的特性,如果创建的时候指定的话,该Znode的名字后面会自动追加一个不断增加的序列号。

这样便会存在4种类型的Znode节点,分别对应:

节点属性

每个Znode都包含一系列的属性,通过命令get,可以获得节点的属性。

参考资料:
Zookeeper学习
面试官:说说你对ZooKeeper集群与Leader选举的理解?
Zookeeper工作过程详解

上一篇 下一篇

猜你喜欢

热点阅读