timescaledb升级（pg_upgrade数据库同步升级-

2021-12-21 本文已影响0人游侠胖虎

一、环境

旧版postgres：10.11

安装目录：/opt/software/psql
数据目录：/data/postgresData
/data3/postgresData（附加表空间，有一个大表单独存储在挂载的新硬盘）

旧版timescaleDB：1.4.0

新版postgres：12.9 安装包下载

安装目录：/opt/software/postgresql-12.9
数据目录：/data/pg_data

新版timescaleDB：2.4.0
新版中间版本：1.7.5

参考官网版本，1.7支持10和12版本，所以先将timescaleDB升级到1.7版本，再升级数据库，最后再将时序库升级到2.4.0

版本对应

二、时序库升级1.4.0 --> 1.7.5

cmake下载路径

#安装编译cmake
tar -zxvf cmake-3.16.2.tar.gz -C /opt/software/
pushd /opt/software/cmake-3.16.2/
./bootstrap
gmake
make install
popd

#解压编译timescaledb1.7.5
tar -zxvf timescaledb-1.7.5.tar.gz -C /opt/software/pgsql/
pushd /opt/software/pgsql/timescaledb-1.7.5/
#目前，该`bootstrap`脚本有问题，详见https://github.com/timescale/timescaledb/pull/355，必须带后面属性才能通过运行
./bootstrap -DWARNINGS_AS_ERRORS=OFF -DREGRESS_CHECKS=OFF
cd build && make
make install
popd

#timescaledb文件夹名字不要出现特殊字符，保证postgresql.conf中的shared_preload_libraries和新timescaledb文件夹名称一致即可
mv /opt/software/pgsqltimescaledb/ timescaledb-1.4.0
mv /opt/software/pgsqltimescaledb-1.7.5/ timescaledb


#登录重启
su - postgres
pg_ctl restart
psql
#进入有使用timescaledb的数据库
\c bridge
#更新timescaledb版本
ALTER EXTENSION timescaledb UPDATE;
\q
#停止运行旧库
pg_ctl stop
exit

三、新数据库安装

#安装依赖
yum -y install make gcc readline readline-devel zlib zlib-devel perl tcl openssl openssl-devel openldap pam pam-devel perl-ExtUtils-Embed

#解压
tar -zxvf postgresql-12.9.tar.gz -C /opt/software
pushd /opt/software/postgresql-12.9
mkdir /opt/software/pgsql12

#编译
./configure --prefix=/opt/software/pgsql12 --with-perl --with-openssl --with-pam
make world
make install-world

#创建数据目录并授权
mkdir /data/pgsql_data
chown -R postgres /data/pgsql_data/

#进入postgres用户
su - postgres
#初始化
/opt/software/pgsql12/bin/initdb -D /data/pgsql_data
exit

#将旧数据库pg_hba.conf拷贝到新数据库，
cp -rf /data/postgresData/pg_hba.conf /data/pgsql_data/
popd

配置环境变量

#添加环境变量，如果原先版本的/etc/profile下已存在这两个变量，直接修改就行
echo 'export PGHOME=/opt/software/pgsql12' >>/etc/profile;
echo 'export PGDATA=/data/pgsql_data'>>/etc/profile;
echo 'export PATH=$PGHOME/bin:$PATH'>>/etc/profile;

#生效环境变量
source /etc/profile

配置postgresql.conf， $\color{red}{必须保证新旧版本端口不一样！}$ ，其余的按需自行配置。

sed -i "s/#data_directory = 'ConfigDir'/data_directory = '\/data\/pgsql_data'/" /data/pgsql_data/postgresql.conf
sed -i "s/#listen_addresses = 'localhost'/listen_addresses = '\*'/" /data/pgsql_data/postgresql.conf
sed -i "s/#port = 5432/port = 2345/" /data/pgsql_data/postgresql.conf
sed -i "s/#shared_preload_libraries = ''/shared_preload_libraries = 'timescaledb'/" /data/pgsql_data/postgresql.conf

$\color{red}{不要启动新库！！！}$
$\color{red}{不要启动新库！！！}$
$\color{red}{不要启动新库！！！}$

同步timescaleDB到新版本数据库，保证新旧数据库使用同一版本timescaleDB（1.7.5）

#解压编译timescaledb1.7.5
tar -zxvf timescaledb-1.7.5.tar.gz -C /opt/software/pgsql12/
pushd /opt/software/pgsql12/timescaledb-1.7.5/
./bootstrap -DWARNINGS_AS_ERRORS=OFF -DREGRESS_CHECKS=OFF
cd build && make
make install
popd
mv /opt/software/pgsql12/timescaledb-1.7.5/ /opt/software/pgsql12/timescaledb

四、更新数据库版本

在新库中使用 pg_upgrade 查看帮助信息

/opt/software/pgsql12/bin/pg_upgrade --help

新库 pg_upgrade 检测兼容性，链接方式是添加 –link 参数

chown -R postgres:postgres /opt/software/pgsql12/

su - postgres

cd /opt/software/pgsql12/bin
./pg_upgrade -c --link -b /opt/software/pgsql/bin -B /opt/software/pgsql12/bin -d /data/postgresData/ -D /data/pgsql_data/ -p 5432 -P 2345

-b：指定旧版本软件的bin目录
-B：指定新版本软件的bin目录
-d：指定旧版本对应的数据目录
-D：指定新版本对应的数据目录。

检查成功

如果老postgres安装了一些插件则需要在新的postgres上安装同样的插件

无法加载库 "$libdir/ltree": 错误:  无法访问文件 "$libdir/ltree": 没有那个文件或目录
无法加载库 "$libdir/dblink": 错误:  无法访问文件 "$libdir/dblink": 没有那个文件或目录
无法加载库 "$libdir/file_fdw": 错误:  无法访问文件 "$libdir/file_fdw": 没有那个文件或目录
无法加载库 "$libdir/postgres_fdw": 错误:  无法访问文件 "$libdir/postgres_fdw": 没有那个文件或目录
无法加载库 "$libdir/pg_stat_statements": 错误:  无法访问文件 "$libdir/pg_stat_statements": 没有那个文件或目录

开始更新

#更新
./pg_upgrade --link -b /opt/software/pgsql/bin -B /opt/software/pgsql12/bin -d /data/postgresData/ -D /data/pgsql_data/ -p 5432 -P 2345
exit

更新成功

可将端口改回5432，启动新库

su - postgres
pg_ctl start

由于pg_upgrade并未传输优化器统计信息，在升级的最后按提示运行一个命令来生成这些信息。

cd /opt/software/pgsql12/bin
./analyze_new_cluster.sh

统计信息

删除老版本库的数据目录

#使用超级管理员权限删除
exit
sh /opt/software/pgsql12/bin/delete_old_cluster.sh

五、timescaleDB 1.7.5->2.4.0

gcc版本升级，否则编译timescaleDB2.x版本会失败

#gcc版本升级到9
yum -y install centos-release-scl
yum -y install devtoolset-9-gcc*
#仅对本次会话有效
scl enable devtoolset-9 bash

#查看版本号
gcc -v

升级时序库

#解压编译timescaledb2.4.0
tar -zxvf timescaledb-2.4.0.tar.gz -C /opt/software/pgsql12/
pushd /opt/software/pgsql12/timescaledb-2.4.0/
./bootstrap -DWARNINGS_AS_ERRORS=OFF -DREGRESS_CHECKS=OFF  -DTAP_CHECKS=OFF
cd build && make
make install
popd

#timescaledb文件夹名字不要出现特殊字符，保证postgresql.conf中的shared_preload_libraries和新timescaledb文件夹名称一致即可
mv /opt/software/pgsql12/timescaledb/ /opt/software/pgsql12/timescaledb-1.7.5
mv /opt/software/pgsql12/timescaledb-2.4.0/ /opt/software/pgsql12/timescaledb


#登录重启
su - postgres
pg_ctl restart
psql
#进入有使用timescaledb的数据库
\c bridge
#更新timescaledb版本
ALTER EXTENSION timescaledb UPDATE;
\q
exit

查看时序库版本

检查版本