Nginx作为webserver的搭建和优化配置手册

2019-11-08 本文已影响0人 laod_wh

安装步骤
1、安装pcre
将pcre-8.32.rar解压，上传到服务器/usr/local目录下，执行：

cd /usr/local/pcre-8.32
chmod +x configure
./configure
make
make install

2、安装Nginx
安装nginx，将nginx-1.10.1.tar.gz上传到服务器的到/usr/local目录下，进行解压：

cd /usr/local
tar -zxvf nginx-1.10.1.tar.gz
cd nginx-1.10.1
./configure --prefix=/usr/local/nginx --with-pcre=/usr/local/pcre-8.32/
make
make install

Nginx配置
nginx配置，配置文件路径：/usr/local/nginx/conf/nginx.conf

下面这个完整的nginx.conf，概括了常见的几种nginx服务，包括图片等静态资源缓存、反向代理（负载均衡）、本地代理、正向代理等，可根据需要选用。

worker_processes  auto; #根据服务器cpu调整子进程数

error_log  logs/error.log  crit;
pid        logs/nginx.pid;

events {
    worker_connections  65535;
    use epoll;
}

http {
    include       mime.types;
    default_type  application/octet-stream;

    sendfile        on;
    keepalive_timeout  65;

    proxy_cache_path /tmp/nginx_cache/image levels=1:2 keys_zone=image-cache:1024m max_size=10g inactive=1d;
    proxy_temp_path /tmp/nginx_cache/tmp; #设置缓存图片的路径，有效时间1天硬盘缓存空间10G内存缓存空间1G

    proxy_pass_header Server;
    proxy_set_header Host $http_host;
    proxy_redirect off;
    proxy_http_version 1.1;
    proxy_set_header Connection "";
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_set_header X-Scheme $scheme;

    client_max_body_size    3000m; #设置默认上传文件大小

    #反向代理
    upstream portal_service_pool {
        ip_hash;#默认为轮询，可修改为iphash
        server 192.168.105.64:8080;
        server 192.168.105.65:8080;
        server 192.168.105.30:8080 down;
        keepalive 8192;
    }

    server {
        listen 9090;

        charset utf-8;

        location / {
            proxy_pass http://portal_service_pool;
        }

    }

    #图片服务代理
    server {
    listen 8082;
    charset utf-8;

    location / {
        proxy_cache image-cache; #缓存路径名称
        proxy_cache_key $scheme$proxy_host$uri$is_args$args; #保存的键值格式
        proxy_cache_valid 200 304 1d; #过期时间，这个是不管有没有访问，都1天过期
        proxy_pass http://192.168.105.77:8082;
    }
    }
    #代理本地服务端口,提供文件下载
    server {
        listen 8765;
        charset utf-8;

        location / {
            root /home/jsserver/;
        }
    }
    #正向代理,提供内网服务器联网
    server {
        listen       8000;
        server_name  proxy;

        resolver 114.114.114.114;

        location / {
            proxy_pass $scheme://$http_host$request_uri;
            proxy_set_header Host $http_host;

            proxy_buffers 256 4k;
            proxy_max_temp_file_size 0;
        }
    }
}

Nginx运行调优
1、服务器ulimit优化
通过ulimit -n命令可以查看linux系统里打开文件描述符的最大值，一般缺省值是1024，对一台繁忙的服务器来说，这个值偏小，所以有必要重新设置linux系统里打开文件描述符的最大值。

这个值可用ulimit 命令来修改，如：

ulimit -n 65535
但ulimit命令修改的数值只对当前登录用户的目前使用环境有效，系统重启或者用户退出后就会失效。

vim /etc/security/limits.conf

文件末尾追加

soft nofile 65535
hard nofile 65535
重新登录shell，通过ulimit -n 或者 ulimit -a 查看是否生效

2、内核参数优化
Nginx提供高并发的代理服务时，一般都需要进行系统内核网络参数优化。

将/etc/sysctl.conf文件清空，把以下内容复制进去；

net.ipv4.ip_forward = 0
net.ipv4.conf.default.rp_filter = 1
net.ipv4.conf.default.accept_source_route = 0
kernel.sysrq = 0
kernel.core_uses_pid = 1
net.ipv4.tcp_syncookies = 1            //这四行标红内容，一般是发现大量TIME_WAIT时的解决办法
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.shmmax = 68719476736
kernel.shmall = 4294967296
net.ipv4.tcp_max_tw_buckets = 6000
net.ipv4.tcp_sack = 1
net.ipv4.tcp_window_scaling = 1
net.ipv4.tcp_rmem = 4096 87380 4194304
net.ipv4.tcp_wmem = 4096 16384 4194304
net.core.wmem_default = 8388608
net.core.rmem_default = 8388608
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.core.netdev_max_backlog = 262144
net.core.somaxconn = 262144
net.ipv4.tcp_max_orphans = 3276800
net.ipv4.tcp_max_syn_backlog = 262144
net.ipv4.tcp_timestamps = 1            //在net.ipv4.tcp_tw_recycle设置为1的时候，这个选择最好加上
net.ipv4.tcp_synack_retries = 1
net.ipv4.tcp_syn_retries = 1
net.ipv4.tcp_tw_recycle = 1 //开启此功能可以减少TIME-WAIT状态，但是NAT网络模式下打开有可能会导致tcp连接错误，慎重。
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_mem = 94500000 915000000 927000000
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_keepalive_time = 30
net.ipv4.ip_local_port_range = 1024 65000
net.ipv4.ip_conntrack_max = 6553500
然后执行systcl –p刷新设置。

记一次小事故：

net.ipv4.tcp_tw_recycle = 1

这个功能打开后，确实能减少TIME-WAIT状态，习惯上我都会将这个参数打开。

但是也因为这个参数踩过一次坑：

公司的一个发布新闻的CMS后台系统，采用haproxy+keepalived代理架构，后端的real server服务器外网ip全部拿掉。

现象：在某一天早上发文高峰期，CMS后台出现访问故障，重启php服务后会立刻见效，但持续一段时间后，访问就又出现故障。

排查nginx和php日志也没有发现什么，后来google了一下，发现就是net.ipv4.tcp_tw_recycle这个参数捣的鬼！

这种网络架构对于后端的realserver来说是NAT模式，打开这个参数后，会导致大量的TCP连接建立错误，从而引起网站访问故障。

最后将net.ipv4.tcp_tw_recycle设置为0，关闭这个功能后，后台访问即刻恢复正常

Nginx启动
启动nginx，执行以下指令可以启动nginx，

cd /usr/local/nginx/sbin
./nginx

并且nginx支持热部署，即可以再不停止nginx服务的情况下修改nginx的配置，执行以下命令重新加载配置

cd /usr/local/nginx/sbin
/nginx–s reload

如果想要停止nginx，则执行

killall nginx

并杀死该进程即可

异常处理
在做Nginx高压力测试时，偶尔某台WEB的logs抛出Too Many Open Files，一般从以下3方面调优：

第一：nginx.conf参数规划与设置

worker_rlimit_nofile ：限制单个工作进程打开的最大文件数：首先查看这个值设置，推荐设置：越大越好

第二：系统级别的检查与设置

就是 /etc/security/limits.conf的配置与修改，请参考Linux系统资源限制汇总

第三：内核级别的检查与设置：

fs.file-max值的大小设置：注意：file-max的默认值大概是系统内存的10%（系统内存以kb计算），别设置的比系统默认的还小.

在合理规划以上3个层次的设置后，必须做验证：

1.验证nginx程序的限制

ps -ef |grep nginx

将得出的PID XXX带入下面

cat /proc/XXX/limits

查看Max open files 那一行

2.验证系统级别的限制

ulimit -n

3.验证内核级别的限制

cat /proc/sys/fs/file-max

Nginx负载均衡介绍
nginx的 upstream目前支持 4 种方式的分配

1)、轮询（默认）每个请求按时间顺序逐一分配到不同的后端服务器，如果后端服务器down掉，能自动剔除。

2)、weight

指定轮询几率，weight和访问比率成正比，用于后端服务器性能不均的情况。

2)、ip_hash

每个请求按访问ip的hash结果分配，这样每个访客固定访问一个后端服务器，可以解决session的问题。

3)、fair（第三方）

按后端服务器的响应时间来分配请求，响应时间短的优先分配。

4)、url_hash（第三方）

nginx负载均衡设置

在http节点里添加:

定义负载均衡设备的Ip及设备状态

upstream myServer { 
    server 127.0.0.1:9090 down; 
    server 127.0.0.1:8080 weight=2; 
    server 127.0.0.1:6060; 
    server 127.0.0.1:7070 backup; 
}

在需要使用负载的Server节点下添加

proxy_passhttp://myServer;
upstream 每个设备的状态:

down 表示单前的server暂时不参与负载

weight 默认为1.weight越大，负载的权重就越大。

max_fails：允许请求失败的次数默认为1.当超过最大次数时，返回proxy_next_upstream模块定义的错误

fail_timeout:max_fails次失败后，暂停的时间。

backup：其它所有的非backup机器down或者忙的时候，请求backup机器。所以这台机器压力会最轻。

配置案例如下：

设定http服务器，利用它的反向代理功能提供负载均衡支持

http {
#设定mime类型,类型由mime.type文件定义
include /etc/nginx/mime.types;
default_type application/octet-stream;
#设定日志格式
access_log /var/log/nginx/access.log;
#省略上文有的一些配置节点
#设定负载均衡的服务器列表
upstream mysvr {
#weigth参数表示权值，权值越高被分配到的几率越大
server 192.168.8.1x:3128 weight=5;#本机上的Squid开启3128端口
server 192.168.8.2x:80 weight=1;
server 192.168.8.3x:80 weight=6;
}
upstream mysvr2 {
#weigth参数表示权值，权值越高被分配到的几率越大
server 192.168.8.x:80 weight=1;
server 192.168.8.x:80 weight=6;
}
#第一个虚拟服务器
server {
#侦听192.168.8.x的80端口
listen 80;
server_name 192.168.8.x;
#对aspx后缀的进行负载均衡请求
location ~ .*\.aspx$ {
root /root; #定义服务器的默认网站根目录位置
index index.php index.html index.htm; #定义首页索引文件的名称
proxy_pass http://mysvr ;#请求转向mysvr定义的服务器列表
#以下是一些反向代理的配置可删除.
proxy_redirect off;
#后端的Web服务器可以通过X-Forwarded-For获取用户真实IP

proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
client_max_body_size 10m; #允许客户端请求的最大单文件字节数
client_body_buffer_size 128k; #缓冲区代理缓冲用户端请求的最大字节数，
proxy_connect_timeout 90; #nginx跟后端服务器连接超时时间(代理连接超时)
proxy_send_timeout 90; #后端服务器数据回传时间(代理发送超时)
proxy_read_timeout 90; #连接成功后，后端服务器响应时间(代理接收超时)
proxy_buffer_size 4k; #设置代理服务器（nginx）保存用户头信息的缓冲区大小
proxy_buffers 4 32k; #proxy_buffers缓冲区，网页平均在32k以下的话，这样设置
proxy_busy_buffers_size 64k; #高负荷下缓冲大小（proxy_buffers*2）
proxy_temp_file_write_size 64k; #设定缓存文件夹大小，大于这个值，将从upstream服务器传
}
}
}

Nginx作为webserver的搭建和优化配置手册

定义负载均衡设备的Ip及设备状态

猜你喜欢

热点阅读