使用HAProxy实现4层和7层代理

2018-10-07 本文已影响0人 Devops_cheers

HAProxy是一款负载均衡软件，LVS只实现了4层负载调度，而HAProxy实现了4层和7层的负载调度，它具有以下特点

原生的ssl支持，同时支持客户端和服务端的ssl
支持ipv6和unix套接字
支持http keep-alive
支持http/1.1压缩，以节省带宽
支持优化的健康检查方式
支持7层负载均衡

安装

yum install haproxy

tcp负载均衡配置

# cat /etc/haproxy/haproxy.cfg
global
    daemon
    maxconn 50000
defaults
    mode http
listen www
    bind 0.0.0.0:80
    mode tcp
    server s1 127.0.0.1:8000  # 后端服务器1的ip和端口
    server s2 127.0.0.1:8001  # 后端服务器2的ip和端口

http负载均衡配置

以下配置可将域名www1.example.com的访问调度到web1，将www2.example.com的访问调度到web2

# cat /etc/haproxy/haproxy.cfg
global
    daemon
    maxconn 50000
    log 127.0.0.1 local10
    uid 99
    gid 99
    pidfile /var/run/haproxy-private.pid
    chroot /var/empty
frontend public
    bind 0.0.0.0:80
    mode http  # http模式
    log global
    ...
    acl www1_example_com hdr_beg(host) -i www1.example.com
    use backend backend_www1_example_com if www1_example_com
    acl www2_example_com hdr_beg(host) -i www2.example.com
    use backend backend_www2_example_com if www2_example_com
backend backend_www1_example_com
    mode http
    balance source  # 使用基于源地址的分配方法
    cookie appsession insert indirect preserve
    server www1_example_com_srv1 127.0.0.1:8000 cookie b1 weight 8 check inter 2s rise 3 fall 5
    stats enable
    stats scope .
    ...
backend backend_www2_example_com
    mode http
    balance source  # 使用基于源地址的分配方法
    cookie appsession insert indirect preserve
    server www2_example_com_srv1 127.0.0.1:8001 cookie b2 weight 8 check inter 2s rise 3 fall 5
    stats enable
    stats scope .
    ...

核心参数配置

mode
- tcp:纯tcp模式，4层负载均衡
- http:http模式，实现7层过滤、处理、内容交换
balance
- roundrobin: 轮询
- static-rr: 轮询，在线修改权重时不生效
- leastconn: 最小连接数
- first: 先让一台达到maxconn，然后再使用另外一台没达到的
- source: 基于客户端来源的哈希
- uri: 根据uri的部分或者完成uri进行哈希
acl
可以根据解析出来的内容实现内容交换和做决策，解析出来的内容大致有以下几种
- 3层网络层的匹配：dst,src 目的ip和源ip
- 4层tcp的匹配：dst_port,src_port 目的端口和源端口
- 7层应用信息匹配：req.hdr(${name})匹配http请求里面的header字段，例如req.hdr(Host)匹配header里面的Host字段

会话保持机制

保证同一个客户端的连续的请求被调度到同一个后端服务器，有两种基本方法
- balance source # 基于源地址的调度
- cookie appsession insert indirect preserve
appsession是指HAProxy插入到响应内容中的cookie名称
insert是指如果客户端请求中没有该字段则插入appsession
indirect是指向后端服务器发送客户端请求时删除appsession
preserve与insert或indirect合用时，使得后端发送该名字（appsession）的 cookie时不被HAProxy删除或者替换掉

ip_local_port_range

# sysctl net.ipv4.ip_local_port_range
net.ipv4.ip_local_port_range = 32768    60999  # 单个ip可以使用的端口范围

当并发访问量足够大时，使得HAProxy所在服务器的端口用光，则后续无法向后端建立新的tcp连接导致负载均衡失败
使用如下命令增加端口号

echo 1024 61000 > /proc/sys/net/ipv4/ip_local_port_range
# echo "net.ipv4.ip_local_port_range=1024  61000" >> /etc/sysctl.conf

获取客户端ip

配置如下命令

option forwardfor

此时后端服务器可以分析请求中的X-Forwarded-For来解析客户端来源ip

tcp与http

tcp模式下，当客户端和HAProxy建立了连接后，HAProxy立即向后端请求建立连接，http模式下，只有当客户端发送请求内容时，HAProxy才向后端请求建立连接。http模式下可以进行更精准的调度。