ResourceQuota的用途

ResourceQuota和LimitRange类似，都是用于限制namespace中资源的使用量。但是他们又有很大区别。ResourceQuota用于限制某个namespace下某种类型资源的总数量，也可以限制某个资源对象消耗的计算资源的总量。LimitRange限制的则是container/pod和PVC级别的资源消耗。

启用ResourceQuota

默认来说k8s集群已经启用了ResourceQuota。ResourceQuota的生效范围是它所在namespace。

和LimitRange一样，ResourceQuota只在资源创建时检查是否超出配额，对于已经存在的资源，ResourceQuota不会干预。

计算资源配额

ResourceQuota支持如下的计算资源配额(统计所有非terminated状态的pod)：

• limits.cpu
• limits.memory
• requests.cpu
• requests.memory

存储资源配额

ResourceQuota支持如下的存储资源配额：

• requests.storage：所有PVC请求的存储容量不得超过这个值
• persistentvolumeclaims：PVC总数量不得超过这个值
• <storage-class-name>.storageclass.storage.k8s.io/requests.storage：所有和<storage-class-name>关联的PVC请求的存储容量不得超过这个值
• <storage-class-name>.storageclass.storage.k8s.io/persistentvolumeclaims：所有和<storage-class-name>关联的PVC数量不得超过这个值

对象数量配额

k8s 1.9之后增加了如下的限制对象数量的配置。格式如下：

count/<resource>.<group>

k8s支持的对象数量配额限制的种类如下：

• count/persistentvolumeclaims
• count/services
• count/secrets
• count/configmaps
• count/replicationcontrollers
• count/deployments.apps
• count/replicasets.apps
• count/statefulsets.apps
• count/jobs.batch
• count/cronjobs.batch
• count/deployments.extensions

注意：k8s 1.15版本新增了任意资源的配额限制。举例说明，如果我们需要限制来自example.com API group的名字为widgets的资源，写法如下所示：

count/widgets.example.com

k8s 1.9之前（现在可以可用）可以使用的对象数量配额如下所示：

• configmaps
• persistentvolumeclaims
• pods
• replicationcontrollers
• resourcequotas
• services
• services.loadbalancers
• services.nodeports
• secrets

配额的范围

ResourceQuota可以给出配置，单独限制如下4种状态的pod：

• Terminating：匹配.spec.activeDeadlineSeconds >= 0的pod
• NotTerminating：匹配.spec.activeDeadlineSeconds为nil的pod
• BestEffort
• NotBestEffort

其中，BestEffort范围可以配置pods数量限制。
其他3个可以配置：

• cpu
• limits.cpu
• limits.memory
• memory
• pods
• requests.cpu
• requests.memory

针对PriorityClass范围设置ResourceQuota

Pod可以指定一个PriorityClassName。ResourceQuota可以包含一个scopeSelector，如果一个pod的PriorityClassName能够被某个ResourceQuota的scopeSelector匹配，那么这个ResourceQuota对这个pod生效。

一个例子如下：
首先创建一组ResourceQuota：

apiVersion: v1
kind: List
items:
- apiVersion: v1
  kind: ResourceQuota
  metadata:
    name: pods-high
  spec:
    hard:
      cpu: "1000"
      memory: 200Gi
      pods: "10"
    scopeSelector:
      matchExpressions:
      - operator : In
        scopeName: PriorityClass
        values: ["high"]
- apiVersion: v1
  kind: ResourceQuota
  metadata:
    name: pods-medium
  spec:
    hard:
      cpu: "10"
      memory: 20Gi
      pods: "10"
    scopeSelector:
      matchExpressions:
      - operator : In
        scopeName: PriorityClass
        values: ["medium"]
- apiVersion: v1
  kind: ResourceQuota
  metadata:
    name: pods-low
  spec:
    hard:
      cpu: "5"
      memory: 10Gi
      pods: "10"
    scopeSelector:
      matchExpressions:
      - operator : In
        scopeName: PriorityClass
        values: ["low"]

这里创建了3个ResourceQuota，分别对high，medium，low三个PriorityClass生效。

接下来创建一个pod：

apiVersion: v1
kind: Pod
metadata:
  name: high-priority
spec:
  containers:
  - name: high-priority
    image: ubuntu
    command: ["/bin/sh"]
    args: ["-c", "while true; do echo hello; sleep 10;done"]
    resources:
      requests:
        memory: "10Gi"
        cpu: "500m"
      limits:
        memory: "10Gi"
        cpu: "500m"
  priorityClassName: high

这个pod关联的priorityClass为high，相应的pods-high这个ResourceQuota对这个pod生效。

scopeSelector可用的operator有：

• In
• NotIn
• Exist
• DoesNotExist

查看quota信息

kubectl describe quota

可以看到ResourceQuota名称，资源类型，已用的资源数和可用的上限数。

ResourceQuota描述文件

一个样板ResourceQuota描述文件的例子如下：

apiVersion: v1
kind: ResourceQuota
metadata:
  name: object-counts
spec:
  hard:
    configmaps: "10"
    persistentvolumeclaims: "4"
    pods: "4"
    replicationcontrollers: "20"
    secrets: "10"
    services: "10"
    services.loadbalancers: "2"

限制Priority Class的使用

下面举例说明这种场景。比如说对于cluster-services这个priority class而言，只有某个namespace中配置了匹配这个priority class的ResourceQuota，才能创建带有该priority class的pod。否则此类pod不允许被创建。

配置方法如下：

创建一个AdmissionConfiguration，如下所示。

apiVersion: apiserver.config.k8s.io/v1
kind: AdmissionConfiguration
plugins:
- name: "ResourceQuota"
  configuration:
    apiVersion: apiserver.config.k8s.io/v1
    kind: ResourceQuotaConfiguration
    limitedResources:
    - resource: pods
      matchScopes:
      - scopeName: PriorityClass 
        operator: In
        values: ["cluster-services"]

然后在需要使用这个priority class的namespace中创建ResourceQuota，需要包含下方所示配置：

    scopeSelector:
      matchExpressions:
      - scopeName: PriorityClass
        operator: In
        values: ["cluster-services"]

此时，该namespace就可以允许创建priority class为cluster-services的pod了。