web高可用-基于keepalived和nginx
一．体系架构
在Keepalived + Nginx高可用负载均衡架构中，keepalived负责实现High-availability (HA) 功能控制前端机VIP（虚拟网络地址），当有设备发生故障时，热备服务器可以瞬间将VIP自动切换过来，实际运行中体验只有2秒钟切换时间，DNS服务可以负责前端VIP的负载均衡。
nginx负责控制后端web服务器的负载均衡，将客户端的请求按照一定的算法转发给后端Real Server处理，而Real Server将响应直接返回给客户端。
应用架构拓扑图
二. 优点
1.实现了可弹性化的架构，在压力增大的时候可以临时添加web服务器添加到这个架构里面去;
2.upstream具有负载均衡能力，可以自动判断后端的机器，并且自动踢出不能正常提供服务的机器；
3.相对于lvs而言，正则分发和重定向更为灵活。而Keepalvied可保证单个nginx负载均衡器的有效性，避免单点故障；
4.用nginx做负载均衡，无需对后端的机器做任何改动。
5.nginx部署在docker容器里，即大量地节约开发、测试、部署的时间，又可以在出现故障时通过镜像快速恢复业务。
三. 系统环境
两台负载机器安装：centos7.2+docker+nginx+keepalived，分别命名为：NGINX_MASTER，NGINX_BACKUP。
后端web服务器，可以是提供web服务的任何架构，分别命名为：WEB_1，WEB_2。
后端数据库机器可任意架构，只要能提供数据库服务即可。
服务器 操作系统 IP地址 安装软件
NGINX_MASTER Centos 7.2 64位 10.141.1.32 docker+nginx+keepalived
NGINX_BACKUP Centos 7.2 64位 10.141.9.2 docker+nginx+keepalived
WEB_1 Centos 7.2 64位 10.141.3.73 docker+web
WEB_2 Centos 7.2 64位 10.141.26.218 docker+web
虚拟IP 10.141.1.33
四. 搭建环境
1. 主机准备
全部主机执行命令
setenforce 0 #关闭selinux
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
systemctl stop firewalld #关闭防火墙
systemctl stop iptables #关闭iptables
2. docker安装(全部主机执行命令)
a. 在线安装
参考: (https://docs.docker.com/install/linux/docker-ce/centos/#uninstall-old-versions)
yum install docker
b. 离线二进制安装：
参考：(https://www.jianshu.com/p/46b9a351f749)
3. 准备web服务器
a. 启动服务
web1和web2执行，这里使用python启动一个simplehttpserver
touch 123.txt #在web1执行
touch 456.txt #在web2执行
python -m SimpleHTTPserver #web1,web2都执行
b. 检查
curl 10.141.3.73:8000 #返回123.txt
curl 10.141.26.218:8000 #返回456.txt
4. 安装nginx进行负载均衡，在master和backup执行
a. 拉镜像
docker pull nginx
b. vim nginx.conf ，增加 upstream和server
user nginx;
worker_processes 1;
error_log /var/log/nginx/error.log warn;
pid /var/run/nginx.pid;
events {
worker_connections 1024;
}
http {
include /etc/nginx/mime.types;
default_type application/octet-stream;
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
access_log /var/log/nginx/access.log main;
upstream linuxidc {
server 10.141.3.73:8000;
server 10.141.26.218:8000;
}
server {
listen 80;
server_name localhost;
location / {
root html;
index index.html index.htm;
proxy_pass http://linuxidc;
}
}
sendfile on;
#tcp_nopush on;
keepalive_timeout 65;
#gzip on;
include /etc/nginx/conf.d/*.conf;
}
c. 启动nginx
docker run -it -d -p 80:80 -v /${PWD}/nginx.conf:/etc/nginx/nginx.conf nginx
d. 验证
curl localhost #返回123.txt 或者返回456.txt
5. 搭建keepalived进行热备（在master和backup执行）
a. 安装keepalived
yum install -y keepalived
systemctl start keepalived
systemctl enable keepalived
b. 修改配置文件/etc/keepalived/keepalived.conf
这里使用的是单播模式，解决脑裂问题，云主机（比如阿里云，腾讯云。亚信云等）需要单独申请VIP并绑定主机，否则不能访问VIP
! Configuration File for keepalived
global_defs {
notification_email {
acassen@firewall.loc
failover@firewall.loc
sysadmin@firewall.loc
}
notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 192.168.200.1
smtp_connect_timeout 30
router_id LVS_DEVEL
vrrp_skip_check_adv_addr
#vrrp_strict #单播模式要注释掉
vrrp_garp_interval 0
vrrp_gna_interval 0
}
vrrp_script chk_port { #检测服务是否在运行。有很多方式，比如进程，用脚本检测等等
script "/root/chk_server.sh" #这里通过脚本监测
interval 2 #脚本执行间隔，每2s检测一次
weight -10 #脚本结果导致的优先级变更，检测失败（脚本返回非0）则优先级 -10
fall 2 #检测连续2次失败才算确定是真失败。会用weight减少优先级（1-255之间）
rise 1 #检测1次成功就算成功。但不修改优先级
}
vrrp_instance VI_1 {
state MASTER #backup主机填写BACKUP
unicast_src_ip 10.141.1.32 #写本机地址
unicast_peer {
10.141.9.2 #填写另外一台keepalived主机地址
}
interface eth0 #网卡
virtual_router_id 58 #默认51，可以换一个地址，避免冲突，主备id要一样
priority 100 #权重，backup修改为95,检查失败后优先级变90，低于95会将vip转移到slave
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
10.141.1.33 #虚拟ip
}
track_script {
chk_port
}
}
chk_server.sh脚本
counter=$(netstat -na|grep "LISTEN"|grep "80"|wc -l)
if [ "${counter}" -eq 0 ]; then
exit 0
fi
c. 验证
systemctl restart keepalived
ip a查看master中绑定VIP，backup没有绑定
master上执行systemctl stop keepalived，可以发现VIP漂流到backup上
curl 10.141.1.33 #返回结果为123.txt或者456.txt
