kubernetes源码改造 - Host网络模式下实现动态Po
前言：Host网络模式在Kubernetes中使用比较少，但是对于一些特殊场景下，还是有它的用武之地。我们公司的历史包袱比较重，有大量的应用部署在物理机，即使部署了Kubernetes集群，也不可能将所有的应用都迁移到k8s上面，而且现在的物理机遍布全国各地多个机房，而K8S对于超大集群以及多IDC的支撑也不是很理想，所以物理机与容器应用的共存是不可避免的。而且我们大量的应用之间的通讯都是基于一套旧的服务发现系统，服务发现系统就是通过暴漏每个服务的物理机IP和Port给其他服务。
Host网络模式
从前言中，我们可以看出在上述前提的限制下，要实现容器化与物理机共存的模式的最简单方案就是采用Host网络。否则，容器能够与外部物理机应用通讯，但是反之则不行。
Host网络是Docker的一种网络模式，这种模式下的容器共享了宿主机的网络栈，即容器的网络配置与Host宿主机完全一样。
K8S也支持这种网络模式，但是一般而言K8S不建议使用它，基于Host模式调度的容器他的PodIp与NodeIp相同，如果容器内应用需要侦听一个端口（TCP或UDP），那他实际也是使用的整个宿主机的资源，所以如果在一台宿主机上调度多个容器的话，他们的使用的端口号不能冲突，这个功能可以通过K8S调度器中的PodFitsHostPorts调度算法来进行调度。保证已经占用了相同端口的宿主机不会再次调度相同端口的容器，但是注意，K8S是不会实际去检查宿主机上已经占用的端口号的，所有的端口信息都记录在Scheduler中。
改造K8S适配我们的应用场景
下面我们所有的内容都是在Host网络模式下谈的。
在应用中，我们有些应用需要固定一个端口号，譬如：8080，这时候，我们可以通过containerPort:8080参数来进行调度，但是我们有大多数的应用是不需要固定端口的，由于有服务发现应用的存在，服务发现可以把应用侦听的端口暴漏给所有其他的服务，所以我们可以考虑实现动态分配端口的功能。
改造步骤：
- 改造Scheduler从一个固定的端口范围（譬如：20000-32767）分配给需要动态端口的应用；
- 设置linux的tcp默认非配端口范围为：32768-65535，这样使得系统的连接端口与侦听端口不冲突
echo '32768 65535' > /proc/sys/net/ipv4/ip_local_port_range - 改造Scheduler，分配完成后把分配的端口号绑定要特定的Annotation中
Annotations["DYNAMIC_TCP_PORTS"]="20000,20001" - 改造kubelet在构建容器配置时生成环境变量
DYNAMIC_TCP_PORT_0=20000
DYNAMIC_TCP_PORT_1=20001 - 应用从环境变量中读取需要的使用的动态端口号
这里有两种模式可以实现，第一种，通过启动脚本读取环境变量，更新程序的配置文件中的端口号。
另外一种，就是程序本身能够从环境变量中读取所需的环境变量。
一般来说我们都是采用第一种方案，这样不需要应用程序去适配，思路如下：
应用配置文件如下所示：
[conf]
port={{.DYNAMIC_TCP_PORT_0}}
基于text/template我们可以改变配置文件：
ports := make(map[string]string)
for _, e := range os.Environ() {
pair := strings.Split(e, "=")
if strings.StartWith(pair[0], "DYNAMIC_TCP_PORT") {
ports[pair[0]] = pair[1]
}
}
tmpl, _ := template.New("test").ParseFile(confFile)
content, _ := tmpl.Write(ports)
实际运行例子
- 准备hello_world.yaml文件
apiVersion: v1
kind: Pod
metadata:
name: hw
spec:
restartPolicy: Never
hostNetwork: true
containers:
- name: hello
image: "ubuntu:14.04"
command: [ "/bin/bash", "-c", "--" ]
args: [ "while true; do sleep 1; echo helloworld; done;" ]
env:
- name: DYNAMIC_TCP_PORTS
value: "2"
- 创建Pod
root@bogon:~/k8s# kubectl create -f hello_world.yaml
pod "hw" created
root@bogon:~/k8s# kubectl get pods
NAME READY STATUS RESTARTS AGE
hw 1/1 Running 0 14s
- 查看动态分配的端口号
root@bogon:~/k8s# kubectl exec hw env | grep DYNAMIC
DYNAMIC_TCP_PORTS=2
DYNAMIC_TCP_PORTS_0=20000
DYNAMIC_TCP_PORTS_1=20001
