K8S 网络详解 3 CNI 与 CNM 网络模型
CNI 与 CNM 网络模型
CNM 模型
CNM 模型主要通过 Network Sanbox , Endpoint 和 Network 这三个朱建进行实现
- Network Sanbox: 容器内部的网络栈, 包括网络接口,路由表, dns 等配置,一个 network sanbox 可以包含多个 endpoint
- endpoint: 用于将容器内的sanbox 与外部网络相关联的网络接口. 可用使用veth ovs , 内部port 等技术实现
- network: 可以直接互联的endpoint 集合. 可以通过linux 网桥, vlan等技术实现.
image.png
CNI 模型
image.png
CNI 的规范比较小巧。它规定了一个容器runtime和网络插件之间的简单的契约。这个契约通过JSON的语法定义了CNI插件所需要提供的输入和输出。
一个容器可以被加入到被不同插件所驱动的多个网络之中。一个网络有自己对应的插件和唯一的名称。CNI 插件需要提供两个命令：一个用来将网络接口加入到指定网络，另一个用来将其移除。这两个接口分别在容器被创建和销毁的时候被调用。
CNI 规范
CNI 模型只涉及2个概念: 容器和网络
- 容器: 用于独立 linux 网络命名空间的环境
- 网络: 表示可以互联的一组实体, 这些实体拥有各自独立且唯一的 IP 地址, 可以是容器, 物理机, 或者其他网络设备等
对网络的设置通过插件进行实现, CNI 包括 CNI Plugin 和 IPAM ( IP address management) Plugin 两类插件. CNI Plugin 负责为容器配置网络资源, IPAM plugin 负责对容器的IP 地址进行分配和管理 IPAM Plugin 作为 CNI plugin 的一部分, 与CNI plugin 一起工作.
CNI 插件详解
CNI plugin 包括三个基本的接口定义, add check, version 这些接口的具体实现要求插件提供一个可执行的程序,在容器网络添加或删除时进行调用, 以完成具体操作
1 add 接口参数定义如下
- Version: CNI 版本号
- Container ID
- Network namespace path : 容器网络命名空间路径 例如 /proc/pid/ns/net
- Network configuration: 网络配置json文档
- Extra arguments: 其他参数
- Name of the interface inside the container : 容器内的网卡名
返回信息如下
- interfaces list: 网卡列表
- ip assgined to interface : ip 4 /6 地址 网关地址,路由信息等
- DNS
2 删除接口参数如下
- Version: CNI 版本号
- Container ID
- Network namespace path : 容器网络命名空间路径 例如 /proc/pid/ns/net
- Network configuration: 网络配置json文档
- Extra arguments: 其他参数
- Name of the interface inside the container : 容器内的网卡名
3 检查接口参数如下
- Container ID
- Network namespace path : 容器网络命名空间路径 例如 /proc/pid/ns/net
- Network configuration: 网络配置json文档
- Extra arguments: 其他参数
- Name of the interface inside the container : 容器内的网卡名
CNI plugin 可以支持环境变量映射到对应的参数
- CNI_COMMAND: 接口方法, 包括 ADD DEL VERSION
- CNI_CONTAINERID
- CIN_NETNS: 网络命名空间路径
- CNI_IFNAME: 待设置的网络接口名称
- CNI_ARGS: 其他参数 为KEY=VALUE格式,多个参数间用逗号分隔.
- CNI_PATH: 可执行文件的查找路径
json 配置文件的格式说明
{
cniVersion(string):cni平版本号,
name(string): 网络名称,
type(string): CNI插件的可执行文件名称
args(map): 其他参数
ipMasq(boolean): 是否设置 IP masquerade(需插件支持)
ipam(object): ip地址管理的相关配置{
type(string): IPAM 可执行文件名
},
dns(object): DNS相关配置{
nameservers (string list):名字服务器列表,可以使用IP地址,
domain(string): 本地域名,用于段主机名查询,
search(string list): 按优先级排序的域名查询列表
options(string list): 传递给resolver的选项列表
}
}
例子
{
cniVersion: "0.4.0",
name: "dbnet",
type: "bridge",
bridge: "cni0"
ipam: {
type: "host-local",
"subnet": "10.1.0.0/16"
"gateway": "10.1.0.1"
},
dns{
nameservers: ["10.1.0.1"]
}
}
IPAM Plugin 详解
IPAM 可执行程序也处理传递给CNI plugin的参数,并返回包含ips routes dns 三段内容的结果
多网络插件
一个容器可以运行多个CNI plugin, 多个plugin 按照 配置文件中定义的先后顺序从前到后执行, 删除时, 则反序执行, 最后执行的plugin, 最先被删除, 多网络配置的json 格式为
{
cniVersion: CNI版本号
name: 网络名称,应在一个管理域内唯一
plugins(object list): [{
type: "bridge",
bridge: "cni0" //args,
args:{
labels:{
verions: 1.0
}
}
ipam: {
type: "host-local",
"subnet": "10.1.0.0/16"
"gateway": "10.1.0.1"
},
dns{
nameservers: ["10.1.0.1"]
}
}]
}
在 K8S 中使用网络插件
K8S 目前支持两种网络插件的实现
- CNI 插件
- kubenet插件: 使用 bridge 和 hostlocal CNI 插件实现一个基本的cbr0
启用插件的命令, 字启动kubelet 服务的启动参数上设置下面的参数
- --network-plugin-dir: kubelet 启动时扫描网络插件的目录
- --network-plugin: 网络插件名称, 对于 CNI 插件, 设置为cni即可, 无序关注 --network-plugin-dir 的路径, 对于 kubenet, 设置为 kubenet
在--network-plugin 为 cni 时, 还需下面两个参数
- --cni-conf-dir CNI 插件的配置文件目录, 默认为 /etc/cni/net.d 该目录下配置文件的内容需符合 CNI 规范
- --cni-bin-dir CNI插件的可执行文件目录, 默认为 /opt/cni/bin
目前开源的cni 插件有 calico canal cilium contiv flannel 等
如果文章对您有帮助,请点一下下面的 "喜欢"
