ETCD
2020-12-14 本文已影响0人
voidFan
ETCD
一、ETCD概述
A highly-available key value store for shared configuration and service discovery.
一个用于配置共享和服务发现的KV存储系统。
- 1 键值对存储
- 2 服务注册与发现
- 3 消息发布与订阅
- 4 分布式通知与协调
- 5 分布式锁
- 6 集群监控和Leader选举
常用概念词汇
- Raft：etcd所采用的保证分布式系统强一致性的算法。
- Node：一个Raft状态机实例。
- Member： 一个etcd实例。它管理着一个Node，并且可以为客户端请求提供服务。
- Cluster：由多个Member构成可以协同工作的etcd集群。
- Peer：对同一个etcd集群中另外一个Member的称呼。
- Client： 向etcd集群发送HTTP请求的客户端。
- WAL：预写式日志，etcd用于持久化存储的日志格式。
- snapshot：etcd防止WAL文件过多而设置的快照，存储etcd数据状态。
- Proxy：etcd的一种模式，为etcd集群提供反向代理服务。
- Leader：Raft算法中通过竞选而产生的处理所有数据提交的节点。
- Follower：竞选失败的节点作为Raft中的从属节点，为算法提供强一致性保证。
- Candidate：当Follower超过一定时间接收不到Leader的心跳时转变为Candidate开始竞选。
- Term：某个节点成为Leader到下一次竞选时间，称为一个Term。
- Index：数据项编号。Raft中通过Term和Index来定位数据。
ETCD总体架构图
etcd.png
从上述架构图来看，ETCD主要分为四个部分：
- 1、HTTP Server：用于处理用户发送的 API 请求以及其它 etcd 节点的同步与心跳信息请求。
- 2、Store：用于处理 etcd 支持的各类功能的事务，包括数据索引、节点状态变更、监控与反馈、事件处理与执行等等，是 etcd 对用户提供的大多数 API 功能的具体实现。
- 3、Raft：Raft 强一致性算法的具体实现，是 etcd 的核心。
- 4、WAL：Write Ahead Log（预写式日志），是 etcd 的数据存储方式。除了在内存中存有所有数据的状态以及节点的索引以外，etcd 就通过 WAL 进行持久化存储。WAL 中，所有的数据提交前都会事先记录日志。
- 5、Snapshot 是为了防止数据过多而进行的状态快照；
- 6、Entry 表示存储的具体日志内容。
通常，一个用户的请求发送过来，会经由 HTTP Server 转发给 Store 进行具体的事务处理，
如果涉及到节点的修改，则交给 Raft 模块进行状态的变更、日志的记录，
然后再同步给别的 etcd 节点以确认数据提交，最后进行数据的提交，再次同步。
二、ETCD安装（linux环境）
1、二进制安装： 下载目标版本
单机安装场景
tar zxvf etcd-v3.1.5-linux-amd64.tar.gz
cd etcd-v3.1.5-linux-amd64
ls
Documentation etcd etcdctl README-etcdctl.md README.md READMEv2-etcdctl.md
cp etcd /usr/bin
cp etcdctl /usr/bin
直接使用 etcd启动，会使用默认配置
- etcd 默认将数据存放到当前路径的 default.etcd/ 目录下
- 在 http://localhost:2380 和集群中其他节点通信
- 在 http://localhost:2379 提供 HTTP API 服务，供客户端交互
- 该节点的名称默认为 default
- heartbeat 为 100ms，后面会说明这个配置的作用
- election 为 1000ms，后面会说明这个配置的作用
- snapshot count 为 10000，后面会说明这个配置的作用
- 集群和每个节点都会生成一个 uuid
- 启动的时候，会运行 raft，选举出 leader
通过配置文件conf.yml启动
- name:成员名称
- data-dir:数据存储路径，为空则（默认）会按成员名生成在服务启动路径
- listen-client-urls: 对外提供服务的地址，不可包含域名
- advertise-client-urls: 此成员的客户端URL列表，用于通告群集的其余部分。这些URL可以包含域名
- listen-peer-urls: 和成员之间通信的地址，域名无效
- initial-advertise-peer-urls: 该节点成员对等URL地址，且会通告群集的其余成员节点
- initial-cluster: 集群中所有节点的信息
- initial-cluster-token: 创建集群的 token，这个值每个集群保持唯一
- initial-cluster-state: 初始集群状态，可选new 或 existing
# this is the configuration file for the etcd server.
name: 'etcd_1'
data-dir:
listen-peer-urls: http://0.0.0.0:2380
listen-client-urls: http://0.0.0.0:2379
initial-advertise-peer-urls: http://0.0.0.0:2380
advertise-client-urls: http://0.0.0.0:2379
> etcd -config-file ./config.yml
ETCD server其它启动方式
- 修改etcd server的端口和绑定host(连接时,必须指定endpoints)
./etcd -listen-client-urls http://192.168.1.100:2379 --advertise-client-urls http://192.168.1.100:2380
./etcdctl --endpoints=192.168.1.100:2379 put k v
./etcdctl --endpoints=192.168.1.100:2379 get name
- 绑定所有的host 0.0.0.0代表任意host
./etcd -listen-client-urls http://0.0.0.0:2379 --advertise-client-urls http://0.0.0.0:2380
listen-client-urls 用于指定etcd和客户端的连接端口,
advertise-client-urls 用于指定etcd服务器之间通讯的端口,
etcd有要求,如果-listen-client-urls被设置了,那么就必须同时设置-advertise-client-urls，所以即使设置和默认相同，也必须显式设置。
2、 源码安装与启动(linux)
git clone https://github.com/etcd-io/etcd.git
cd etcd
./build
./etcdctl version #执行测试命令，查看是否编译安装成功
三、etcdctl工具使用
- etcdctl --help #帮助信息
- etcdctl version #查看版本
put 数据入库
etcdctl put /testdir/testkey "Hello world"
get 数据查询
etcdctl get /testdir/testkey
update 数据更新
etcdctl updata /testdir/testkey "New Hello World"
del 删除key
etcdctl del /testdir/testkey #成功返回1 失败返回0
member 集群节点管理
etcdctl member list #查询etcd集群实例
etcdctl member remove #删除 etcd 实例到 etcd 集群中。
etcdctl member add #添加etcd 实例到 etcd 集群中。
四、ETCD集群
集群配置成功：读写访问在集群里任意一台都可以读写。
- 单机多节点
# 启动主ETCD主节点
etcd --name etcd0 --initial-advertise-peer-urls http://10.122.120.122:2380 --listen-peer-urls http://0.0.0.0:2380 --listen-client-urls http://0.0.0.0:2379 --advertise-client-urls http://10.122.120.122:2379 --initial-cluster-token etcd-cluster-1 --initial-cluster etcd0=http://10.122.120.122:2380,etcd1=http://10.122.120.122:12380,etcd2=http://10.122.120.122:22380 --initial-cluster-state new
# 启动主ETCD第一个从节点
etcd --name etcd1 --initial-advertise-peer-urls http://10.122.120.122:12380 --listen-peer-urls http://0.0.0.0:12380 --listen-client-urls http://0.0.0.0:12379 --advertise-client-urls http://10.122.120.122:12379 --initial-cluster-token etcd-cluster-1 --initial-cluster etcd0=http://10.122.120.122:2380,etcd1=http://10.122.120.122:12380,etcd2=http://10.122.120.122:22380 --initial-cluster-state new
# 启动主ETCD第二个从节点
etcd --name etcd2 --initial-advertise-peer-urls http://10.122.120.122:22380 --listen-peer-urls http://0.0.0.0:22380 --listen-client-urls http://0.0.0.0:22379 --advertise-client-urls http://10.122.120.122:22379 --initial-cluster-token etcd-cluster-1 --initial-cluster etcd0=http://10.122.120.122:2380,etcd1=http://10.122.120.122:12380,etcd2=http://10.122.120.122:22380 --initial-cluster-state new
# 查看集群成员
etcdctl member list
a81f9775765c360, started, etcd1, http://10.122.120.122:12380, http://10.122.120.122:12379, false
4482718e78ca3fcb, started, etcd2, http://10.122.120.122:22380, http://10.122.120.122:22379, false
cd9c1c919d8babf1, started, etcd0, http://10.122.120.122:2380, http://10.122.120.122:2379, false
当主节点挂掉时:会触发选举机制
raft2020/12/11 22:55:42 INFO: raft.node: 57ba42bdda8443b7 lost leader 46b60d5e31b21815 at term 12
raft2020/12/11 22:55:42 INFO: 57ba42bdda8443b7 received MsgVoteResp from 68c82a8a88706a94 at term 12
raft2020/12/11 22:55:42 INFO: 57ba42bdda8443b7 has received 2 MsgVoteResp votes and 0 vote rejections
raft2020/12/11 22:55:42 INFO: 57ba42bdda8443b7 became leader at term 12
- 多机多节点
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动
firewall-cmd --state #查看默认防火墙状态（关闭后显示notrunning，开启后显示running）
其它配置类似单机多节点.
五、ETCD身份验证
- 基于身份验证的访问控制
etcdctl user add root #添加root用户并设置密码
etcdctl auth enable #开启身份验证
etcdctl --user=root:123456 get /dir/key2 #客户端请求数据时，需要带上--user
- 基于证书的访问控制
