LVS+keepalived实现高可用负载均衡
单独使用LVS如果发生突发情况,会直接导致用户无法访问后端所有的应用程序,避免这种问题可以使用HA故障切换,也就是有一台备用的LVS,主LVS宕机,LVS VIP自动切换到从,可以基于LVS+keepalived实现负载均衡和高可用的功能。
主要原理:利用keepalived的健康检查机制,检测到有问题的机器,就会把它剔除LVS列表,并发邮件到邮箱。当恢复后,keepalived会自动再次将该机器重新加入到LVS集群列表中,全程自动完成。需要人工做的就是修复故障的web机器(lvs虽然可分发请求到后端server,但lvs本身是一台机器属于单点故障,这时加入高可用技术轮询lvs机器,有效解决单点故障)
注意:使用lvs+keepalived 就不用在通过ipvsadm -A去添加均衡的realserver了,直接所有的配置都在keepalived.conf里设置即可。
安装LVS管理工具
yum install ipvsadm -y
安装keepalived
yum install -y keepalieved*
LVS+keepalived--主上的配置(该配置文件默认配置的keep的单主模式,可以双主互备,方法跟纯keepalived的一样)
/etc/keepalived.conf
! Configuration File for keepalived
global_defs {
notification_email {
tianye@lzad.cc
}
notification_email_from tianye@lzad
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id LVS_DEVEL
}
# VIP1
vrrp_instance VI_1 {
state MASTER
interface ens33
virtual_router_id 51
priority 100
advert_int 5
nopreempt
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.1.188
}
}
virtual_server 192.168.1.188 80 {
delay_loop 6 #健康检查时间
lb_algo rr #lvs的轮询算法
lb_kind DR #lvs的转发模式
persistence_timeout 60
protocol TCP
#真实serever1,检查real server 的80端口,每3秒检测一次,超时10秒就会从列表中T出去
real_server 192.168.1.102 80 {
weight 100
TCP_CHECK {
connect_timeout 10
delay_before_retry 3
connect_port 80
}
}
#真实server2
real_server 192.168.1.101 80 {
weight 100
TCP_CHECK {
connect_timeout 10
delay_before_retry 3
connect_port 80
}
}
}
我们重启下keepalived服务。
这是2台real server已经被keepalived添加到列表中
image.png
尝试断开101的80端口
systemctl stop nginx
(可以看日志tail -fn 100 /var/log/messages)
image.png
发现101已经被剔除
image.png
测试VIP:192.168.1.188页面
image.png
恢复101上的80端口访问,发现又被自动加回到了集群列表
image.png
LVS DR客户端(real server)配置VIP
客户通过浏览器访问 director 的 VIP, director 接收请求,将通过相应的转发方式及算法将请求转发给相应的 realserver。在转发的过程中,会修改请求包的目的 mac 地址,目的 IP 地址不变。
Realserver 接收请求,并直接响应客户端。Director 与 realserver 位于同一个物理网络中,当 director 直接将请求转发给realserver 时,如果 realserver 检测到该请求包目的 IP 是 VIP 而并非自己,便会丢弃,而不会响应。
为了解决这个问题,需在所有 Realserver 上都配上 VIP,保证数据包不丢弃,同时由于后端 realserver 都配置 VIP 会导致 IP 冲突,所以需将 VIP 配置在 lo 网卡上,这样限制了 VIP 不会在物理交换机上产生 MAC 地址表,从而避免 IP 冲突。 LVS DR 客户端启动 Realserver.sh 脚本内容如下(也可以手动添加cp ifcfg-lo ifcfg-lo:1 ,编辑文件)
image.png
#!/bin/sh
#LVS Client Server
VIP=192.168.1.188
case $1 in
start)
ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP
/sbin/route add -host $VIP dev lo:0
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p >/dev/null 2>&1
echo "RealServer Start OK"
exit 0
;;
stop)
ifconfig lo:0 down
route del $VIP >/dev/null 2>&1
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
echo "RealServer Stoped OK"
exit 1
;;
*)
echo "Usage: $0 {start|stop}"
;;
esac