kubelet 理解

Pod 的创建

2018-05-10  本文已影响0人  shinwing

pkg/kubelet/kubelet.go   -->  HandlePodAdditions 方法

Pod创建首先来看看 HandlePodAdditions 函数。

1. 函数首先将pods按照创建日期排列,保证最先创建的 pod 会最先被处理;

sort.Sort(sliceutils.PodsByCreationTime(pods))

2. 然后按照创建日期依次处理Pod:调用 kl.podManager.AddPod(pod),将Pod加入podManager,podManager 是一个重要的结构,前面说过的 manager 都依赖于这个结构体工作。它是 kubelet 的 source of truth,所有被管理的 pod 都要出现在里面。如果 podManager 中找不到某个 pod,就认为这个 pod 被删除了

kl.podManager.AddPod(pod)

3. 这里还有一个mirrorpod的概念,mirrorpod主要与kubelet运行于standalone模式有关,假如pod是通过file或http的形式获得的,这个pod被称为static pod,k8s会在集群中创建一个对应的mirror pod;

if kubepod.IsMirrorPod(pod) {

        kl.handleMirrorPod(pod, start)

        continue

}

4. 验证 pod 是否能在该节点运行,如果不可以直接拒绝;

5. 接着函数调用kl.dispatchWork,把 pod 分配给给 worker 做异步处理;

6. 在 probeManager 中添加 pod,如果 pod 中定义了 readiness 和 liveness 健康检查,启动 goroutine 定期进行检测;

dispatchWork 

它的作用就是根据 pod 把把接收到的参数封装成 UpdatePodOptions,发送给特定的执行者 podWorkers (调用 kl.podWorkers.UpdatePod 方法) 。

1. 在PodWorkers里比较重要的是 podUpdates, 是一个map类型,每一个Pod的uuid作为key,而 UpdatePodOptions 的 channel 作为 value 传递 pod 信息;

2. UpdatePod方法首先会去检查 podUpdates 这个map,如果新创建的 Pod 没有update goroutine,它会创建一个 goroutine,执行函数 mannagePodLoop。注意每一个pod都会有一个相应的 goroutine 执行 mannagePodLoop,其参数 podUpdates 这个 channel 则用来传递pod update的信息;除此之外,它还会更新 podUpdate 和 isWorking,填入新 Pod 的信息,并往 podUpdates 管道中发送接收到的 pod 选项信息。

managePodLoop

managePodLoop方法调用syncPodFn函数去同步Pod,syncPodFn这个函数实际上是syncPod函数;(定义在pkg/kubelet/kubelet.go Run方法中)

klet.podWorkers = newPodWorkers(klet.syncPod, kubeDeps.Recorder, klet.workQueue, klet.resyncInterval, backOffPeriod, klet.podCache))

syncPod

pkg/kubelet/kubelet.go   -->  syncPod 方法

syncPod  是单个Pod同步的事务脚本(syncPod is the transaction script for the sync of a single pod.)。

1. 如果是删除 pod,立即执行并返回;

kl.killPod(pod, nil, podStatus, killPodOptions.PodTerminationGracePeriodSecondsOverride)

2. 检查 pod 是否能运行在本节点,主要是权限检查(是否能使用主机网络模式,是否可以以 privileged 权限运行等)。如果没有权限,就删除本地旧的 pod 并返回错误信息;

kl.canRunPod(pod)

kl.killPod(pod, nil, podStatus, nil)

return syncErr

3. 如果是 static Pod,就创建或者更新对应的 mirrorPod;

kubepod.IsStaticPod(pod)

kl.podManager.CreateMirrorPod(pod)

4. 创建 pod 的数据目录,存放 volume 和 plugin 信息,即目录/var/lib/kubelet/uuid;

kl.makePodDataDirs(pod)

5. 如果定义了 PV,等待所有该Pod依赖的 volume mount 完成(volumeManager 会在后台做这些事情);

kl.volumeManager.WaitForAttachAndMount(pod)

6. 如果有 image secrets,去 apiserver 获取对应的 secrets 数据;

kl.getPullSecretsForPod(pod)

7. 调用 container runtime 的 SyncPod 方法,去实现真正的容器创建逻辑;

kl.containerRuntime.SyncPod(pod, apiPodStatus, podStatus, pullSecrets, kl.backOff)

这里所有的事情都和具体的容器没有关系,可以看做是提前做的准备工作。最重要的事情发生在 kl.containerRuntime.SyncPod() 里,也就是上面过程的最后一个步骤,它调 runtime 执行具体容器的创建

docker 的话 

pkg/kubelet/kuberuntime/kuberuntime_manager.go --> SyncPod方法

rkt 的话

pkg/kubelet/rkt/rkt.go --> SyncPod方法


以docker为例,看一下 SyncPod 方法

1. 计算沙箱和容器的更改,根据最新拿到的 pod 配置与当前运行的容器配置进行对比,计算其中的变化;

podContainerChanges := m.computePodActions(pod, podStatus)

1)  podSandboxChanged 

      * 如果已经有pause容器创建起来,或者pause容器不是最新的,需要创建

      * 如果network namespace 改变了,需要创建一个新的

      * 如果pause容器没有 ip 地址,需要创建一个新的

2) 如果需要(重)建,那么需要杀死旧容器并重建,而且初始化的容器需要重新初始化。

( 以下内容需要再确认一下

      应用容器要重建的原因包括:

            容器异常退出infrastructure 容器要重启(pod 新建也属于这种情况)

            init 容器运行失败container 配置的哈希值发生了变化(对 pod 的内容做了更新操作)

            liveness 检测失败

      容器创建就是根据配置得到 docker client 新建容器需要的所有参数,最终发送给 docker API。创建应用容器的时候,会把沙箱容器的网络模式和 pidMode 传过去,这也是 pod 中所有容器共享网络和 pid 资源的地方。

2. 如果沙箱容器改变了,那么杀掉这个容器。这个主要是当沙箱变化的时候,需要重建pod,譬如切换了pause镜像,就会触发这个操作;

m.killPodWithSyncResult(pod, kubecontainer.ConvertPodStatusToRunningPod(m.runtimeName, podStatus), nil)

如果需要新建容器,那么创建一个沙箱容器

m.purgeInitContainers(pod, podStatus)

3. 如果 Pod 不存在了,那么杀死其中的所有容器;

for containerID, containerInfo := range podContainerChanges.ContainersToKill {

     m.killContainer(pod, containerID, containerInfo.name, containerInfo.message, nil)

}

4. 如果有必要,创建一个沙盒。获取 PodSandbox 的配置 (e.g., metadata, clusterDNS, 容器的端口映射等)。kubelet之所以引入沙箱,是想建立一个容器标准,这里可以简单理解成那个pause容器。所有的网络都是挂在这个基础容器里面;

m.createPodSandbox(pod, podContainerChanges.Attempt)

m.generatePodSandboxConfig(pod, podContainerChanges.Attempt)

5. 启动初始化容器。init容器是为业务容器做初始化工作的,譬如可以预先从网络上面加载一些动态资源;

m.startContainer(podSandboxID, podSandboxConfig, container, pod, podStatus, pullSecrets, podIP)

6. 启动普通容器。就是通过读取podContainerChanges.ContainersToStart管道里面,需要启动的容器,然后for循环逐一创建这个pod里面的container;

m.startContainer(podSandboxID, podSandboxConfig, container, pod, podStatus, pullSecrets, podIP)

上一篇 下一篇

猜你喜欢

热点阅读