docker搭建postgresql9.4主从同步复制集群
2020-09-15 本文已影响0人
哆啦A梦_ca52
docker搭建postgresql9.4主从同步复制集群
1. 运行PostgreSQL
主库和从库执行docker命令，构建相应的容器。注意我的docker容器是在不同的主机节点上的。
1.1 主库
[root@master ~]# docker run -d --name pg-master -p 5432:5432 -e POSTGRES_PASSWORD=123123 -v /data/docker/postgresql/data:/var/lib/postgresql/data -d goharbor/harbor-db:v1.8.6
1.2 从库
[root@slave ~]# docker run -d --name pg-slave -p 5432:5432 -e POSTGRES_PASSWORD=123123 -v /data/docker/postgresql/data:/var/lib/postgresql/data -d goharbor/harbor-db:v1.8.6
进入以上主、从库对应的实际挂载目录执行下面的操作
2. 配置master（主库）
2.1 编辑pg_hba.conf，在最下面添加如下：
[root@master data]# vim pg_hba.conf
// replication_username: 复制账号; slave_ip: 从库所在的服务器ip
host replication replica 192.168.65.4/32 md5
其中，replication表示复制权限；
replica表示节点之间复制的账号；
192.168.65.4/32 表示要复制的账号是 192.168.65.4 ，即从节点的账号
2.2 编辑postgresql.conf，更改如下：
[root@master data]# cat postgresql.conf | grep -v "#" | grep -v "^$"
listen_addresses = '*' #全IP监听
max_connections = 100 #连接数
unix_socket_directories = '/run/postgresql'
wal_level = hot_standby #PG10 流复制最高等级replica其他hot_standby
synchronous_commit = local #默认ON 已同步 remote_apply已应用
max_wal_senders = 32
wal_keep_segments = 64
wal_sender_timeout = 60s
synchronous_standby_names = '*'
hot_standby = on #在备份的同时允许查询
log_timezone = 'UTC'
datestyle = 'iso, mdy'
timezone = 'UTC'
default_text_search_config = 'pg_catalog.english'
参考
listen_addresses = '*'
max_connections = 100 # (change requires restart)
wal_level = hot_standby # minimal, archive, hot_standby, or logical
# (change requires restart)
#fsync = on # turns forced synchronization on or off
synchronous_commit = local # synchronization level;
max_wal_senders = 32 # max number of walsender processes
# (change requires restart)
wal_keep_segments = 64 # in logfile segments, 16MB each; 0 disables
wal_sender_timeout = 60s # in milliseconds; 0 disables
synchronous_standby_names = '*'
hot_standby = on # "on" allows queries during recovery
注意，我配置的配置项中某些并不是必须的，每一项的含义需要自己按照提示去理解体会。
2.3 进入容器，登录PostgreSQL，创建复制账号并验证：
# 1.进入容器
[root@master data]# docker exec -it pg-master bash
# 2.连接PostgreSQL
root [ / ]# psql -U postgres -p 5432
psql (9.6.14)
Type "help" for help.
# 3.创建用户
postgres=#
postgres=# set synchronous_commit =off;
SET
postgres=# create role replica login replication encrypted password 'replica';
CREATE ROLE
# 4.验证用户
postgres=# \du
List of roles
Role name | Attributes | Member of
-----------+------------------------------------------------------------+-----------
postgres | Superuser, Create role, Create DB, Replication, Bypass RLS | {}
replica | Replication | {}
server | | {}
signer | | {}
postgres=#
3. 配置Slave（从库）
3.1 编辑postgresql.conf（亲测，非必须），更改如下：
hot_standby_feedback = on
[root@slave data]# cat postgresql.conf | grep -v "#" | grep -v "^$"
listen_addresses = '*'
unix_socket_directories = '/run/postgresql'
hot_standby_feedback = on
log_timezone = 'UTC'
datestyle = 'iso, mdy'
timezone = 'UTC'
default_text_search_config = 'pg_catalog.english'
3.2 新建recovery.conf，添加如下内容：
standby_mode = 'on'
#replication_username: 复制账号(同主库); master_ip: 主库所在的服务器ip; master_port: 主库端口; replication_username_password: 认证密码
primary_conninfo = 'host=192.168.65.78 port=5432 user=replica password=replica'
4. 同步主从库数据及测试
4.1 停止PostgreSQL
docker stop fct-pgmaster
docker stop fct-pgslave1
4.2 同步主从库数据(必须)
pg_basebackup命令
进入从节点容器中，执行直接执行,清除从节点中的数据（该步骤必须的！）
rm -rf /var/lib/postgresql/data/
然后执行备份命令，此时会将主节点中的数据同步到当前从节点的数据目录中；
postgres [ / ]$ pg_basebackup -h 192.168.65.78 -p 5432 -U replica -F p -x -P -R -D /var/lib/postgresql/data/ -l postgresbackup20200914
Password:
59751/59751 kB (100%), 1/1 tablespace
执行完后结果如下，会有进度条显示执行成功！
36643/36643 kB (100%), 1/1 tablespace
注意事项：命令中的-U replica执行的用户名是replica,这是前面创建配置的节点数据复制的用户名角色和密码；不是使用的前面的postgres的账号密码！切记！
（执行完之后，容器自动退出；）
此时在从库的外部容器挂载目录下会自动常见相应的pg_hba.conf文件和recovery.conf文件。
recovery.conf文件内容如下：
standby_mode = 'on'
primary_conninfo = 'user=replica password=replica host=192.168.65.78 port=5432 sslmode=prefer sslcompression=0 gssencmode=prefer krbsrvname=postgres target_session_attrs=any'
4.3 先后启动主库、从库服务
每次修改相应的配置时候，要想使得配置生效，需要重启容器。
docker restart pg-master
docker restart pg-slave
注意：启动容器之后，需要查看容器的日志输出中是否有错误
docker logs pg-master
docker logs pg-slave
4.4 连接测试
// 查看复制状态
psql -U postgres -x -c "select * from pg_stat_replication;"
// 进入主库容器
docker exec -it pg-master bash
// 查看复制状态
root [ / ]# psql -U postgres -h 127.0.0.1 -p 5432 -x -c "select * from pg_stat_replication;"
-[ RECORD 1 ]----+------------------------------
pid | 24
usesysid | 16394
usename | replica
application_name | walreceiver
client_addr | 192.168.65.4
client_hostname |
client_port | 57448
backend_start | 2020-09-14 15:45:12.577634+00
backend_xmin |
state | streaming
sent_location | 0/30002C8
write_location | 0/30002C8
flush_location | 0/30002C8
replay_location | 0/30002C8
sync_priority | 1
sync_state | sync
root [ / ]# psql -U postgres -h 127.0.0.1 -p 5432
psql (9.6.14)
Type "help" for help.
postgres=# select client_addr,sync_state from pg_stat_replication;
client_addr | sync_state
--------------+------------
192.168.65.4 | sync
(1 row)
主节点创建数据库
image.png
从节点查看是否同步过去，已经同步过去了
image.png
5.常见错误总结：
1.DETAIL: The primary’s identifier is , the standby’s identifier is
FATAL: database system identifier differs between the primary and standby
DETAIL: The primary's identifier is 6752676860246843428, the standby's identifier is 6752661973687021603.
这是因为从库没有与主库的数据同步，导致启动时候报错！
确保数据同步，是必须做的步骤 !
2.hot standby is not possible because wal_level was not set to “hot_standby” or higher on the master server
FATAL: hot standby is not possible because wal_level was not set to "hot_standby" or higher on the master server
HINT: Either set wal_level to "hot_standby" on the master, or turn off hot_standby here.
修改配置文件中相关选项, 按照配置项提示修改即可。
补充知识：
pg_basebackup -h 172.19.32.62 -p 5500 -U replica -F p -x -P -R -D /var/lib/postgresql/data/ -l postgresbackup20190129
备份过程实际上就是从主库的data目录里物理拷贝数据的过程。
参数说明
-F 指定了输出的格式，支持p（原样输出）或者t（tar格式输出）。
-x 表示备份开始后，启动另一个流复制连接从主库接收WAL日志。
-p 表示允许在备份的过程中实时的打印备份的进度。
-R 表示会在备份结束后自动生成recovery.conf文件，这样就避免了手动创建。
-D 指定把备份写到哪个目录，注意：在做基础备份之前从库的数据目录需要手动清空。
-1 表示指定一个备份的标识。
