kube-proxy中的IPVS总结

2019-12-25 本文已影响0人一舍

Kubernetes v1.8.0-beta.0后在kube-proxy中引入了ipvs mode。笔者目前使用v1.15.3版本，默认使用ipvs mode。

1. LVS和IPVS

说到IPVS（IP Virtual Server），不得不说说LVS。LVS（Linux Virtual Server），Linux虚拟服务器, 是一个由章文嵩博士发起的自由软件项目，现在已经是 Linux（linux 2.6+）标准内核的一部分。LVS用于负载均衡，转发效率很高，能够处理百万并发的连接请求。IPVS是LVS的核心模块，构建于Netfilter之上，作为Linux内核的一部分提供四层（传输层）的负载均衡。

工作在第四层的协议是TCP/UDP协议，也就是说四层负载均衡，是主要作用于TCP协议报文之上，基于IP和端口来判断需要重定向的报文，并修改报文中目标IP地址以进行重定向的负载均衡方式。OSI七层模型如下：

2. IPVS工作模式

IPVS主要有3中工作模式，各有利弊，先简述下它们各自的工作原理。在此之前，先熟悉几个名词：

DS：Director Server，指的是前端负载均衡器。
RS：Real Server，指的是后端工作的服务器。
VIP：Virtual IP，用户请求的目标IP地址。
DIP：Director Server IP，前端负载均衡器的IP地址。
RIP：Real Server IP，后端服务器的IP地址。
CIP：Client IP，访问客户端的IP地址。

2.1 三种工作模式原理介绍

NAT模式（Network Address Translation）

NAT模式下，请求包和响应包都需要经过LB处理。当客户端的请求到达虚拟服务后，LB会对请求包做目的地址转换（DNAT），将请求包的目的IP改写为RS的IP。当收到RS的响应后，LB会对响应包做源地址转换（SNAT），将响应包的源IP改写为LB的IP。

DR模式（Direct Routing）

DR模式下，客户端的请求包到达负载均衡器的虚拟服务IP端口后，负载均衡器不会改写请求包的IP和端口，但是会改写请求包的MAC地址（源MAC地址是DIP所在接口的MAC，目标MAC是RS的RIP接口所在的MAC，IP首部不会发生变化），然后将数据包转发。

此时数据包将会发至真实服务器，真实服务器发现请求报文的MAC地址是自己的MAC地址，接收此报文，拆了MAC首部，发现目标地址是VIP后，向lo:0转发此报文（每个RS主机上都应有VIP，并且RIP配置在物理接口上，VIP配置在内置接口lo:0上），最终到达用户空间的进程。，然后向外发出。

真实服务器用户空间的进程构建响应报文，将响应报文通过lo:0接口传送给物理网卡处理请求后，响应包直接回给客户端，不再经过负载均衡器。

FULLNAT模式

FULLNAT下，客户端感知不到RS，RS也感知不到客户端，它们都只能看到LB。LB会对请求包和响应包都做SNAT和DNAT。

2.2 三种工作模式利弊分析

转发效率：

DR>NAT>FULLNAT

组网要求：

NAT：LB和RS须位于同一个子网，并且客户端不能和LB/RS位于同一子网

DR：LB和RS须位于同一个子网

FULLNAT：没有要求

端口映射

NAT：支持

DR：不支持

FULLNAT：不支持

3. IPVS支持的调度算法

IPVS常用的负载均衡调度算法如下：

轮询（Round Robin）
加权轮询（Weighted Round Robin）
源地址哈希（SourceIP Hash）
目标地址哈希（Destination Hash）
最小连接数（Least Connections）
加权最小连接数（Weighted Least Connections）
最小期望延迟（ Shortest Expection Delay）

4. IPVS命令行操作

ipvsadm，ipvs在用户空间的命令行工具，命令行参数及使用方式如下：

root@localhost:~# ipvsadm --help
ipvsadm v1.28 2015/02/09 (compiled with popt and IPVS v1.2.1)
Usage:
  ipvsadm -A|E virtual-service [-s scheduler] [-p [timeout]] [-M netmask] [--pe persistence_engine] [-b sched-flags]
  ipvsadm -D virtual-service
  ipvsadm -C
  ipvsadm -R
  ipvsadm -S [-n]
  ipvsadm -a|e virtual-service -r server-address [options]
  ipvsadm -d virtual-service -r server-address
  ipvsadm -L|l [virtual-service] [options]
  ipvsadm -Z [virtual-service]
  ipvsadm --set tcp tcpfin udp
  ipvsadm --start-daemon state [--mcast-interface interface] [--syncid sid]
  ipvsadm --stop-daemon state
  ipvsadm -h

Commands:
Either long or short options are allowed.
  --add-service     -A        add virtual service with options
  --edit-service    -E        edit virtual service with options
  --delete-service  -D        delete virtual service
  --clear           -C        clear the whole table
  --restore         -R        restore rules from stdin
  --save            -S        save rules to stdout
  --add-server      -a        add real server with options
  --edit-server     -e        edit real server with options
  --delete-server   -d        delete real server
  --list            -L|-l     list the table
  --zero            -Z        zero counters in a service or all services
  --set tcp tcpfin udp        set connection timeout values
  --start-daemon              start connection sync daemon
  --stop-daemon               stop connection sync daemon
  --help            -h        display this help message

virtual-service:
  --tcp-service|-t  service-address   service-address is host[:port]
  --udp-service|-u  service-address   service-address is host[:port]
  --sctp-service    service-address   service-address is host[:port]
  --fwmark-service|-f fwmark          fwmark is an integer greater than zero

Options:
  --ipv6         -6                   fwmark entry uses IPv6
  --scheduler    -s scheduler         one of rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq,
                                      the default scheduler is wlc.
  --pe            engine              alternate persistence engine may be sip,
                                      not set by default.
  --persistent   -p [timeout]         persistent service
  --netmask      -M netmask           persistent granularity mask
  --real-server  -r server-address    server-address is host (and port)
  --gatewaying   -g                   gatewaying (direct routing) (default)
  --ipip         -i                   ipip encapsulation (tunneling)
  --masquerading -m                   masquerading (NAT)
  --weight       -w weight            capacity of real server
  --u-threshold  -x uthreshold        upper threshold of connections
  --l-threshold  -y lthreshold        lower threshold of connections
  --mcast-interface interface         multicast interface for connection sync
  --syncid sid                        syncid for connection sync (default=255)
  --connection   -c                   output of current IPVS connections
  --timeout                           output of timeout (tcp tcpfin udp)
  --daemon                            output of daemon information
  --stats                             output of statistics information
  --rate                              output of rate information
  --exact                             expand numbers (display exact values)
  --thresholds                        output of thresholds information
  --persistent-conn                   output of persistent connection info
  --nosort                            disable sorting output of service/server entries
  --sort                              does nothing, for backwards compatibility
  --ops          -o                   one-packet scheduling
  --numeric      -n                   numeric output of addresses and ports
  --sched-flags  -b flags             scheduler flags (comma-separated)

5. Kubernetes和IPVS

Kube-proxy早期一直使用iptables作为其后端的实现机制，但随着kubernetes可支持的规模的不断扩大（5000+），作为为防火墙而设计且基于内核规则列表的iptables显然会出现性能瓶颈。

举例来说，在一个5000节点的集群中全部使用NodePort类型的的service，如果我们创建2000个services，每个service对应10个pods，这将使每个节点上生成至少20000条记录，从而导致内核相当繁忙。

相对而言，使用基于IPVS的负载均衡就要好很多了。IPVS是专门为负载均衡而设计的，并使用了更高效的数据结构（hash tables），从而在底层几乎具有无限的可扩展性。

5.1 开启IPVS

各节点加载ip_vs内核模块，模块列表如下：

ip_vs
ip_vs_rr
ip_vs_wrr
ip_vs_sh
nf_conntrack_ipv4

如果这些内核模块不加载，当kube-proxy会退回到iptables模式

各节点安装软件包：ipset，ipvsadm
配置--proxy-mode=ipvs开启IPVS，Kubernetes 1.15.3的kube-proxy已经默认开启IPVS

5.2 IPVS转发模式选择

kubernetes要求能够进行端口映射，因此只能选择NAT模式。

5.3 负载均衡算法选择

通过参数--ipvs-scheduler配置负载均衡算法，默认为轮询（Round Robin），具体参数值如下：

rr:：round robin
lc：least connection
dh：destination hashing
sh：source hashing
sed：shortest expected delay
nq：never queue

5.4 IPVS创建virtual server步骤

在节点上创建dummy 网卡，默认为kube-ipvs0

10: kube-ipvs0: <BROADCAST,NOARP> mtu 1500 qdisc noop state DOWN group default 
    link/ether 7e:2f:8c:4c:b4:b9 brd ff:ff:ff:ff:ff:ff
    inet 10.10.72.208/32 brd 10.10.72.208 scope global kube-ipvs0
       valid_lft forever preferred_lft forever

将Service IP绑定到kube-ipvs0上

10: kube-ipvs0: <BROADCAST,NOARP> mtu 1500 qdisc noop state DOWN group default 
    link/ether 7e:2f:8c:4c:b4:b9 brd ff:ff:ff:ff:ff:ff
    inet 10.10.72.208/32 brd 10.10.72.208 scope global kube-ipvs0
       valid_lft forever preferred_lft forever

为每个Service IP单独创建virtual servers

TCP  10.10.72.208:443 rr
  -> 10.244.136.55:443            Masq    1      0          0         
  -> 10.244.137.76:443            Masq    1      0          0         
  -> 10.244.180.11:443            Masq    1      0          0

5.4 IPVS常用调优方法

基于ubuntu 18.04环境

调整ulimit

修改文件：/etc/security/limits.conf

*               soft    nofile          655350
*               hard    nofile          655350
*               soft    nproc           655350
*               hard    nproc           655350
root            soft    nofile          655350
root            hard    nofile          655350
root            soft    nproc           655350
root            hard    nproc           655350

调整sysctl.conf

修改文件：/etc/sysctl.conf

kernel.core_pattern = /tmp/core-%p-%e-%t
vm.max_map_count = 655360
net.ipv4.ip_forward = 1
net.ipv4.ip_local_port_range = 2000 65535
net.ipv4.tcp_timestamps = 1
net.ipv4.tcp_tw_recycle = 0
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_synack_retries = 1
net.ipv4.tcp_syn_retries = 1
net.ipv4.tcp_sack = 1
net.ipv4.tcp_window_scaling = 1
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_keepalive_time = 120
net.ipv4.tcp_max_tw_buckets = 10000
net.ipv4.tcp_max_orphans = 3276800
net.ipv4.tcp_max_syn_backlog = 262144
net.ipv4.tcp_mem = 94500000 915000000 927000000
net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 65536 16777216
net.ipv4.tcp_thin_dupack = 1
net.ipv4.tcp_thin_linear_timeouts = 1
net.ipv4.vs.conntrack = 1
net.ipv4.vs.expire_nodest_conn = 1
net.netfilter.nf_conntrack_max = 2048000
net.netfilter.nf_conntrack_tcp_timeout_established = 600
net.core.netdev_max_backlog = 102400
net.core.somaxconn = 65536
net.core.rmem_default = 8388608
net.core.wmem_default = 8388608
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.unix.max_dgram_qlen = 30000
kernel.panic = 1
kernel.core_pattern = core_%e
kernel.sysrq = 0
kernel.msgmax = 65535
kernel.msgmnb = 65535
kernel.shmmax = 30923764530
kernel.shmall = 7549746
vm.panic_on_oom = 1
vm.min_free_kbytes = 1048576
vm.swappiness = 0
fs.inotify.max_user_watches = 8192000
fs.aio-max-nr = 1048576
fs.file-max = 1048575
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 0
net.ipv4.conf.all.rp_filter = 0

调整system.conf

修改文件：/etc/systemd/system.conf

DefaultLimitNOFILE=infinity
DefaultLimitNPROC=infinity
DefaultTasksMax=infinity

调整ip_vs option（默认为4096）

修改文件：/etc/modprobe.conf

options ip_vs conn_tab_bits=20

调整fin/tcp/udp超时时间

ipvsadm --set 30 30 60
ipvsadm -L --timeout //查看调整后的值

启用irqbalance

apt-get install irqbalance
/etc/init.d/irqbalance restart

重启机器

5.5 通过Cluster IP访问Pod的流量转发工作原理

kubernetes里的ipvs使用NAT模式，但ipvs不能实现如包过滤、源地址转换、目标地址转换、masquared转换等能力，这些还需要iptables来处理。

iptables

iptables是Linux防火墙的管理工具，位于/sbin/iptables，真正实现防火墙功能的是netfilter，它是Linux内核中实现包过滤的内部结构。

在说明通过Cluster IP访问Pod时的流量转发之前，先熟悉下iptables的数据包传输过程：

数据包进入网卡时，它首先进入PREROUTING链，内核根据数据包目的IP判断是否需要转送出去;
如果数据包就是进入本机的，它会到达INPUT链。数据包到了INPUT链后，任何进程都会收到它。本机上运行的程序也可以发送数据包，这些数据包会经过OUTPUT链，然后到达POSTROUTING链输出；
如果数据包是要转发出去的，且内核允许转发，数据包经过FORWARD链，然后到达POSTROUTING链输出；

其中，规则链如下：

INPUT：进来的数据包应用此规则链中的策略
OUTPUT：外出的数据包应用此规则链中的策略
FORWARD：转发数据包时应用此规则链中的策略
PREROUTING：对数据包作路由选择前应用此规则链中的策略
POSTROUTING：对数据包作路由选择后应用此规则链中的策略

其中，规则链中的策略，即规则表中的规则，规则表如下：

filter表，作用于INPUT、FORWARD、OUTPUT，用于过滤数据包
Nat表，作用于PREROUTING、POSTROUTING、OUTPUT，用于网络地址转换
Mangle表，作用于PREROUTING、POSTROUTING、INPUT、OUTPUT、FORWARD，用于修改数据包的服务类型
Raw表，作用于OUTPUT、PREROUTING，用于决定数据包是否被状态跟踪机制处理

通过Cluster IP访问Pod时的流量转发工作过程

外部流量匹配

root@localhost:~# iptables -S -tnat | grep OUTPUT
-P OUTPUT ACCEPT
-A OUTPUT -m comment --comment "kubernetes service portals" -j KUBE-SERVICES

将流量引入到KUBE-SERVICES规则中处理

root@localhost:~# iptables -S -tnat | grep KUBE-SERVICES
-N KUBE-SERVICES
-A PREROUTING -m comment --comment "kubernetes service portals" -j KUBE-SERVICES
-A OUTPUT -m comment --comment "kubernetes service portals" -j KUBE-SERVICES
-A KUBE-SERVICES -m comment --comment "Kubernetes service cluster ip + port for masquerade purpose" -m set --match-set KUBE-CLUSTER-IP src,dst -j KUBE-MARK-MASQ
-A KUBE-SERVICES -m addrtype --dst-type LOCAL -j KUBE-NODE-PORT
-A KUBE-SERVICES -m set --match-set KUBE-CLUSTER-IP dst,dst -j ACCEPT

root@localhost:~# ipset list KUBE-CLUSTER-IP
Name: KUBE-CLUSTER-IP
Type: hash:ip,port
Revision: 5
Header: family inet hashsize 1024 maxelem 65536
Size in memory: 7552
References: 2
Members:
10.10.79.163,tcp:8888
10.10.155.215,tcp:8080
10.10.103.103,tcp:3306
10.10.151.229,tcp:8000
10.10.67.231,tcp:9200

将KUBE-SERVICES规则中的流量进行打标签处理

root@localhost:~# iptables -S -tnat | grep KUBE-MARK-MASQ
-N KUBE-MARK-MASQ
-A KUBE-LOAD-BALANCER -j KUBE-MARK-MASQ
-A KUBE-MARK-MASQ -j MARK --set-xmark 0x4000/0x4000
-A KUBE-NODE-PORT -p tcp -m comment --comment "Kubernetes nodeport TCP port for masquerade purpose" -m set --match-set KUBE-NODE-PORT-TCP dst -j KUBE-MARK-MASQ
-A KUBE-SERVICES -m comment --comment "Kubernetes service cluster ip + port for masquerade purpose" -m set --match-set KUBE-CLUSTER-IP src,dst -j KUBE-MARK-MASQ

将所有外部流量的源地址转换成该Cluster IP

root@localhost:~# iptables -S -tnat | grep POSTROUTING
-P POSTROUTING ACCEPT
-N KUBE-POSTROUTING
-A POSTROUTING -m comment --comment "kubernetes postrouting rules" -j KUBE-POSTROUTING
-A KUBE-POSTROUTING -m comment --comment "kubernetes service traffic requiring SNAT" -m mark --mark 0x4000/0x4000 -j MASQUERADE
-A KUBE-POSTROUTING -m comment --comment "Kubernetes endpoints dst ip:port, source ip for solving hairpin purpose" -m set --match-set KUBE-LOOP-BACK dst,dst,src -j MASQUERADE

通过ipvs将流量转发到后端pod上

TCP  10.10.72.208:443 rr
  -> 10.244.136.55:443            Masq    1      0          0         
  -> 10.244.137.76:443            Masq    1      0          0         
  -> 10.244.180.11:443            Masq    1      0          0

参考资料

IPVS从入门到精通kube-proxy实现原理：https://mp.weixin.qq.com/s?__biz=MzA5OTAyNzQ2OA==&mid=2649703848&idx=1&sn=863b60fdd8f33dec7c3154f3539df8ca&chksm=88937acbbfe4f3dd6d199af8cb77ee2058291a9e83de8af37719d8bb1014a92f1f78ffe3438e&mpshare=1&scene=1&srcid=&sharer_sharetime=1575940520892&sharer_shareid=0723e5d1a7c981d460238a9c9d97e0d8#rd
浅析kube-proxy中的IPVS模式：https://cloud.tencent.com/developer/article/1477638
Linux负载均衡--LVS（IPVS）：https://www.jianshu.com/p/36880b085265
k8s实践3:ipvs结合iptables使用过程分析：https://blog.51cto.com/goome/2369150
k8s集群中ipvs负载详解：https://www.jianshu.com/p/89f126b241db?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendation