TiDB在测试环境的安装部署
1. 软件及硬件环境说明
TiDB作为一个分布式的NewSQL数据库产品，其安装部署的要求也是挺高的。下面是官方文档的测试环境的安装需求：
| 组件 | CPU | 内存 | 本地存储 | 网络 | 实例数量(最低要求) |
|---|---|---|---|---|---|
| TiDB | 8核+ | 16 GB+ | 无特殊要求 | 千兆网卡 | 1（可与 PD 同机器） |
| PD | 4核+ | 8 GB+ | SAS, 200 GB+ | 千兆网卡 | 1（可与 TiDB 同机器） |
| TiKV | 8核+ | 32 GB+ | SSD, 200 GB+ | 千兆网卡 | 3 |
如果按照官方文档来做的话，没有几台服务器是没办法玩TiDB的了。为了不只是使用他们提供的Docker版，而是使用更加强大的完整版本。下面我们修改一些检测的参数来降低TiDB对硬件的要求，最后实现用Ansible安装部署。下面是我本次测试环境的说明：
| 组件 | CPU | 内存 | 网络 | 实例数量(最低要求) |
|---|---|---|---|---|
| TiDB | 2核+ | 4 GB+ | 虚拟网卡 | 1（可与 PD 同机器） |
| PD | 2核+ | 4 GB+ | 虚拟网卡 | 1（可与 TiDB 同机器） |
| TiKV | 2核+ | 4 GB+ | 虚拟网卡 | 3 |
测试环境是在我PC的虚拟机上进行的，系统版本为CentOS7.4，TiDB的版本为2.1
2. 准备虚拟机、准备中控机
按照上表的配置要求准备好四台虚拟机，其中TIDB和PD在同一台虚拟机上，同时这台机也作为中控机来使用。
- 在中控机上安装系统依赖包
以 root 用户登录中控机
yum -y install epel-release git curl sshpass
yum -y install python2-pip
- 在中控机上创建 tidb 用户，并生成 ssh key
以 root 用户登录中控机，执行以下命令
useradd -m -d /home/tidb tidb
passwd tidb
配置 tidb 用户 sudo 免密码，将 tidb ALL=(ALL) NOPASSWD: ALL 添加到文件末尾即可。
# visudo
tidb ALL=(ALL) NOPASSWD: ALL
生成 ssh key: 执行 su 命令从 root 用户切换到 tidb 用户下。创建 tidb 用户 ssh key， 提示 Enter passphrase 时直接回车即可。执行成功后，ssh 私钥文件为 /home/tidb/.ssh/id_rsa， ssh 公钥文件为 /home/tidb/.ssh/id_rsa.pub。
su - tidb
ssh-keygen -t rsa
-
在中控机器上下载 TiDB-Ansible
目前TiDB的最新版本为3.0，官方给出的版本图表如下
到TiDB的github上看到2.1的最新版本为2.1.15，本次我们就下载这个版本的TiDB。
下载指定版本的tidb-ansible：
git clone -b v2.1.15 https://github.com/pingcap/tidb-ansible.git
下载指定版本的tidb-ansible：
git clone https://github.com/pingcap/tidb-ansible.git
- 在中控机器上安装 Ansible 及其依赖
以 tidb 用户登录中控机，请务必按以下方式通过 pip 安装 Ansible 及其相关依赖的指定版本，否则会有兼容问题。安装完成后，可通过 ansible --version 查看 Ansible 版本。目前 release-2.0、release-2.1 及 master 版本兼容 Ansible 2.4 及 Ansible 2.5 版本，Ansible 及相关依赖版本记录在 tidb-ansible/requirements.txt 文件中。
cd /home/tidb/tidb-ansible
sudo pip install -r ./requirements.txt
- 在中控机上配置部署机器 ssh 互信及 sudo 规则
以 tidb 用户登录中控机，将你的部署目标机器 IP 添加到 hosts.ini 文件 [servers] 区块下。
[servers]
192.168.113.20
192.168.113.21
192.168.113.22
192.168.113.23
[all:vars]
username = tidb
ntp_server = pool.ntp.org
执行以下命令，按提示输入部署目标机器 root 用户密码。该步骤将在部署目标机器上创建 tidb 用户，并配置 sudo 规则，配置中控机与部署目标机器之间的 ssh 互信。
ansible-playbook -i hosts.ini create_users.yml -u root -k
- 在部署目标机器上安装 NTP 服务
我的这几台服务器在做初始化的时候就装好了NTP服务了，如果你的服务没有安装的话必须要进行安装。
该步骤将在部署目标机器上使用系统自带软件源联网安装并启动 NTP 服务，服务使用安装包默认的 NTP server 列表，见配置文件 /etc/ntp.conf 中 server 参数，如果使用默认的 NTP server，你的机器需要连接外网。 为了让 NTP 尽快开始同步，启动 NTP 服务前，系统会 ntpdate hosts.ini 文件中的 ntp_server 一次，默认为 pool.ntp.org，也可替换为你的 NTP server。
以 tidb 用户登录中控机，执行以下命令：
cd /home/tidb/tidb-ansible
ansible-playbook -i hosts.ini deploy_ntp.yml -u tidb -b
- 分配机器资源，编辑 inventory.ini 文件
以 tidb 用户登录中控机，inventory.ini 文件路径为 /home/tidb/tidb-ansible/inventory.ini。我这里一共有3个kv，pd和db是共用一台服务器，同时这台服务器还担任监控服务器的角色，就是安装了prometheus+grafana。
注意：
请使用内网 IP 来部署集群，如果部署目标机器 SSH 端口非默认 22 端口，需添加 ansible_port 变量，如 TiDB1 ansible_host=172.16.10.1 ansible_port=5555。
## TiDB Cluster Part
[tidb_servers]
192.168.113.20
[tikv_servers]
192.168.113.21
192.168.113.22
192.168.113.23
[pd_servers]
192.168.113.20
## Monitoring Part
# prometheus and pushgateway servers
[monitoring_servers]
192.168.113.20
[grafana_servers]
192.168.113.20
# node_exporter and blackbox_exporter servers
[monitored_servers]
192.168.113.20
192.168.113.21
192.168.113.22
192.168.113.23
[alertmanager_servers]
192.168.113.20
- 部署任务
ansible-playbook 执行 Playbook 时默认并发为 5，部署目标机器较多时可添加 -f 参数指定并发，如 ansible-playbook deploy.yml -f 10
- 确认 tidb-ansible/inventory.ini 文件中 ansible_user = tidb，本例使用 tidb 用户作为服务运行用户，配置如下：
ansible_user 不要设置成 root 用户，tidb-ansible 限制了服务以普通用户运行。
## Connection
# ssh via normal user
ansible_user = tidb
执行以下命令如果所有 server 返回 tidb 表示 ssh 互信配置成功。
ansible -i inventory.ini all -m shell -a 'whoami'
执行以下命令如果所有 server 返回 root 表示 tidb 用户 sudo 免密码配置成功。
ansible -i inventory.ini all -m shell -a 'whoami' -b
- 执行 local_prepare.yml playbook，联网下载 TiDB binary 到中控机：
ansible-playbook local_prepare.yml
- 初始化系统环境，修改内核参数
在做这一步之前，我们先要修改 /home/tidb/tidb-ansible/group_vars/all.yml 这个文件中的一个参数
dev_mode: True
意思就是打开测试模式，这时候TiDB对硬件的需求就不会那么高。然后再执行下面那一步，执行的过程可能不会那么顺利，看到有什么不达标再进行处理。
ansible-playbook bootstrap.yml
- 部署 TiDB 集群软件
ansible-playbook deploy.yml
注意：
Grafana Dashboard 上的 Report 按钮可用来生成 PDF 文件，此功能依赖 fontconfig 包和英文字体。如需使用该功能，登录 grafana_servers 机器，用以下命令安装：
sudo yum install fontconfig open-sans-fonts
- 启动 TiDB 集群
ansible-playbook start.yml
- 测试集群
测试连接 TiDB 集群，推荐在 TiDB 前配置负载均衡来对外统一提供 SQL 接口。
使用 MySQL 客户端连接测试，TCP 4000 端口是 TiDB 服务默认端口。
mysql -u root -h 192.168.113.20 -P 4000
通过浏览器访问监控平台。
地址：http://192.168.113.20:3000 默认帐号密码是：admin/admin
- 下面是TiDB的端口说明
| 组件 | 端口变量 | 默认端口 | 说明 |
|---|---|---|---|
| TiDB | tidb_port | 4000 | 应用及DBA工具访问通信端口 |
| TiDB | tidb_status_port | 10080 | TiDB状态信息上报通信端口 |
| TiKV | tikv_port | 20160 | TiKV通信端口 |
| TiKV | tikv_status_port | 20180 | 上报TiKV状态的通信端口 |
| PD | pd_client_port | 2379 | 提供TiDB和PD通信端口 |
| PD | pd_peer_port | 2380 | PD集群节点间通信端口 |
| Pump | pump_port | 8250 | Pump通信端口 |
| Prometheus | prometheus_port | 9090 | Prometheus服务通信端口 |
| Pushgateway | pushgateway_port | 9091 | TiDB，TiKV，PD监控聚合和上报端口 |
| Node_exporter | node_exporter_port | 9100 | TiDB集群每个节点的系统信息上报通信端口 |
| Blackbox_exporter | blackbox_exporter_port | 9115 | Blackbox_exporter通信端口，用于TiDB集群端口监控 |
| Grafana | grafana_port | 3000 | Web监控服务对外服务和客户端(浏览器)访问端口 |
| Grafana | grafana_collector_port | 8686 | grafana_collector通信端口，用于将Dashboard导出为PDF格式 |
| Kafka_exporter | kafka_exporter_port | 9308 | Kafka_exporter通信端口，用于监控binlogKafka集群 |
