高并发下的Nginx实用配置 - 限流和黑白名单

2022-08-17 本文已影响0人右耳菌

1. 限流算法

漏桶算法
令牌桶算法
更多限流算法相关知识，请查看【单机限流 - 限流算法及隔离策略】

2. Nginx 限流

Nginx按请求速率限速模块使用的是漏桶算法，即能够强行保证请求的实时处理速度不会超过设置的阈值。

Nginx官方版本限制IP的连接和并发分别有两个模块:

limit_req_zone 用来限制单位时间内的请求数，即速率限制,采用的漏桶算法"leaky bucket"。
limit_conn_zone 用来限制同一时间连接数，即并发限制。

limit_req_zone参数配置

例子1

limit_req_zone $binary_remote_addr zone=one:10m rate=1r/s;

参数说明：
第一个参数: $binary_remote_addr 表示通过 remote_addr 这个标识来做限制，“binary_”的目的是缩写内存占用量,是限制同一客户端ip地址。
第二个参数: zone=one:10m 表示生成一个大小为 10M，名字为one的内存区域，用来存储访问的频次信息。1M能存储16000 IP地址的访问信息，10M可以存储16WIP地址访问信息。
第三个参数: rate=1r/s 表示允许相同标识的客户端的访问频次，这里限制的是每秒1次，还可以有比如30r/m的。

例子2

limit_reqzone=one burst=5 nodelay;

参数说明：
第一个参数: zone=one 设置使用哪个配置区域来做限制，与上面 limit_req_zone 里的 name 对应。
第二个参数: burst=5，重点说明一下这个配置，burst爆发的意思，这个配置的意思是设置一个大小为5的缓冲区当有大量请求（爆发）过来时，超过了访问频次限制的请求可以先放到这个缓冲区内。
第三个参数: nodelay，如果设置，超过访问频次而且缓冲区也满了的时候就会直接返回503，如果没有设置，则所有请求会等待排队。

limit_conn_zone参数配置

这个模块用来限制单个IP的请求数。并非所有的连接都被计数。只有在服务器处理了请求并且已经读取了整个请求头时，连接才被计数。

一次只允许每个IP地址一个连接。

limit_conn_zone $binary_remote_addr zone=addr:10m;

server {
  location /download/ {
    limit_conn addr 1;  
  }
}
}

可以配置多个limit_conn指令。例如，以上配置将限制每个客户端IP连接到服务器的数量，同时限制连接到虚拟服务器的总数。

limit_conn_zone $binary_remote_addr zone=perip:10m;
limit_conn_zone $server_name zone=perserver:10m;
server {
  ...  
  limit_conn perip 10;
  limit_conn perserver 100;
}

限流配置实例，注意看重点内容即可

user www-data;
worker_processes auto; #表示服务器有几个内核就起几个work
pid /run/nginx.pid;  #进程编号

http {

  proxy_cache_path /data/nginx/cache keys_zone=one:10m max_size=10g;

  # 这里是重点，配置了限流
  limit_req_zone  $binary_remote_addr zone=necoRateLimit:10m rate=2r/s;
  
  upstream test.lazyfennec.cn {
    server 127.0.0.1:8881; # 第一台服务器
    server 127.0.0.1:8882; # 第二台服务器
  }

  server {
    listen 80; # 监听80端口
    proxy_cache one; # 指定缓存配置
    server_name test.lazyfennec.cn; # 自己的域名或者IP

    location / {
      # 设置限流
      limit_req zone=necoRateLimit;
      proxy_pass    http://test.lazyfennec.cn;
      proxy_set_header Host  $host;
      proxy_set_header X-Real-IP $remote_addr;
    }
  }
}

加入应对突发访问的情况 burst

user www-data;
worker_processes auto; #表示服务器有几个内核就起几个work
pid /run/nginx.pid;  #进程编号

http {

  proxy_cache_path /data/nginx/cache keys_zone=one:10m max_size=10g;

  # 这里是重点，配置了限流
  limit_req_zone  $binary_remote_addr zone=necoRateLimit:10m rate=2r/s;
  
  upstream test.lazyfennec.cn {
    server 127.0.0.1:8881; # 第一台服务器
    server 127.0.0.1:8882; # 第二台服务器
  }

  server {
    listen 80; # 监听80端口
    proxy_cache one; # 指定缓存配置
    server_name test.lazyfennec.cn; # 自己的域名或者IP

    location / {
      # 设置限流，加入burst
      limit_req zone=necoRateLimit burst=4;
      proxy_pass    http://test.lazyfennec.cn;
      proxy_set_header Host  $host;
      proxy_set_header X-Real-IP $remote_addr;
    }
  }
}

加入突发时降低处理时间的配置 nodelay，即进入了burst中的请求内容会被立即处理，不配置则进入等待队列后再进行处理。但是无论如何，其吞吐上限都受限于rate。

user www-data;
worker_processes auto; #表示服务器有几个内核就起几个work
pid /run/nginx.pid;  #进程编号

http {

  proxy_cache_path /data/nginx/cache keys_zone=one:10m max_size=10g;

  # 这里是重点，配置了限流
  limit_req_zone  $binary_remote_addr zone=necoRateLimit:10m rate=2r/s;
  
  upstream test.lazyfennec.cn {
    server 127.0.0.1:8881; # 第一台服务器
    server 127.0.0.1:8882; # 第二台服务器
  }

  server {
    listen 80; # 监听80端口
    proxy_cache one; # 指定缓存配置
    server_name test.lazyfennec.cn; # 自己的域名或者IP

    location / {
      # 设置限流，加入nodelay
      limit_req zone=necoRateLimit burst=4 nodelay;
      proxy_pass    http://test.lazyfennec.cn;
      proxy_set_header Host  $host;
      proxy_set_header X-Real-IP $remote_addr;
    }
  }
}

可以通过limit_req_status xxx 配置返回被限流时候的状态码

    location / {
      # 设置限流，加入nodelay
      limit_req zone=necoRateLimit burst=4 nodelay;
     # 设置被限流时返回的状态码400~599 之间
      limit_req_status 503;
      proxy_pass    http://test.lazyfennec.cn;
      proxy_set_header Host  $host;
      proxy_set_header X-Real-IP $remote_addr;
    }

Nginx 黑白名单

例子
只允许192.168.1.0/24、10.1.1.0/16网段的主机访问，拒绝其他所有:
白名单配置

location /admin/ {
  allow 192.168.1.0/24;
  allow 10.1.1.0/16;
  deny all;
}

也可以写成黑名单的方式禁止192.168.1.0/24、10.1.1.0/16等某些地址访问，允许其他所有，例如:

location /ops-coffee/ {
  deny 192.168.1.0/24;
  deny 10.1.1.0/16;
  allow all;
}