第四十二天 Nginx代理与负载均衡
2019-09-26 本文已影响0人
杨小倪
第四十二天 Nginx代理与负载均衡
代理
1.什么是代理？
代理 ---> 代为办理
2.Nginx 正向代理 反向代理
正向代理： ---> 比如NAT地址转换技术 科学上网
反向代理： --->
正向代理与反向代理的区别：
区别在于形式上的服务的“对象”不一样
正向代理代理的对象是 客户端，为客户端服务
反向代理代理的对象是服务端，为服务端服务
3.Nginx代理支持那些协议、常用的是那些？
1.Nginx作为代理服务，可支持的代理协议非常的多，具体如下图
img
2.如果将Nginx作为反向代理服务，常常会用到如下几种代理协议，如下图所示
[图片上传失败...(image-a402ff-1569486932940)]
反向代理模式 Nginx反向代理模块
http、websocket、https ngx_http_proxy_module
fastcgi ngx_http_fastcgi_module
uwsgi ngx_HTTP_UWSGI_module
grpc ngx_http_v2_module
4.nginx 反向代理语法
4.1.Nginx代理配置语法
Syntax: proxy_pass URL;
Default: —
Context: location, if in location, limit_except
http://localhost:8000/uri/
http://192.168.56.11:8000/uri/
http://unix:/tmp/backend.socket:/uri/
4.2.url跳转修改返回Location[不常用]参考URL
Syntax: proxy_redirect default;
proxy_redirect off;proxy_redirect redirect replacement;
Default: proxy_redirect default;
Context: http, server, location
4.3.添加发往后端服务器的请求头信息
Syntax: proxy_set_header field value;
Default: proxy_set_header Host $proxy_host;
proxy_set_header Connection close;
Context: http, server, location
# 用户请求的时候HOST的值是www.bgx.com, 那么代理服务会像后端传递请求的还是www.bgx.com
proxy_set_header Host $http_host;
# 将$remote_addr的值放进变量X-Real-IP中，$remote_addr的值为客户端的ip
proxy_set_header X-Real-IP $remote_addr;
# 客户端通过代理服务访问后端服务, 后端服务通过该变量会记录真实客户端地址
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
4.4.代理到后端的TCP连接、响应、返回等超时时间
//nginx代理与后端服务器连接超时时间(代理连接超时)
Syntax: proxy_connect_timeout time;
Default: proxy_connect_timeout 60s;
Context: http, server, location
//nginx代理等待后端服务器的响应时间
Syntax: proxy_read_timeout time;
Default: proxy_read_timeout 60s;
Context: http, server, location
//后端服务器数据回传给nginx代理超时时间
Syntax: proxy_send_timeout time;
Default: proxy_send_timeout 60s;
Context: http, server, location
4.5.proxy_buffer代理缓冲区
//nignx会把后端返回的内容先放到缓冲区当中，然后再返回给客户端,边收边传, 不是全部接收完再传给客户端
Syntax: proxy_buffering on | off;
Default: proxy_buffering on;
Context: http, server, location
//设置nginx代理保存用户头信息的缓冲区大小
Syntax: proxy_buffer_size size;
Default: proxy_buffer_size 4k|8k;
Context: http, server, location
//proxy_buffers 缓冲区
Syntax: proxy_buffers number size;
Default: proxy_buffers 8 4k|8k;
Context: http, server, location
4.6.Proxy代理网站常用优化配置如下，将配置写入新文件，调用时使用include引用即可
[root@Nginx ~]# vim /etc/nginx/proxy_params
proxy_set_header Host $http_host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_connect_timeout 30;
proxy_send_timeout 60;
proxy_read_timeout 60;
proxy_buffering on;
proxy_buffer_size 32k;
proxy_buffers 4 128k;
4.7.代理配置location时调用, 方便后续多个Location重复使用
location / {
proxy_pass http://127.0.0.1:8080;
include proxy_params;
}
5.nginx反向代理实例？
1.如果后端监听80端口，会不会出现问题
2.后端主机获取的客户端IP是否真实的
3.代理像后端请求时，走的是http1.0协议？
#代理配置
[root@lb01 conf.d]# cat proxy_web.oldxu.com.conf
server {
listen 80;
server_name web.oldxu.com;
location / {
proxy_pass http://10.0.0.7:80;
proxy_http_version 1.1;
proxy_set_header Host $http_host;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
}
后端web配置
[root@web01 conf.d]# cat web.oldxu.com.conf
server {
listen 80;
server_name web.oldxu.com;
location / {
root /html;
index index.html;
}
}
6.Nginx反向代理参数
额外扩展知识:
服务器默认有65535个端口，通常系统服务需要占用部分端口:1~10000
配置一台主机作为nginx代理服务，最多支持5w的tcp连接，因为端口数受限
配置一台后端的应用服务，最多能支持2w-3w左右的tcp连接，因为当一个请求过来
nginx代理通过随机端口--请求-->nginx应用服务--通过-->随机端口--请求-->php动态程序--通过-->随机端口-->mysql
负载均衡
1.什么是负载均衡
负载均衡，英文名称为Load Balance，其含义就是指将负载（工作任务）进行平衡、分摊到多个操作单元上进行运行，例如FTP服务器、Web服务器、企业核心应用服务器和其它主要任务服务器等，从而协同完成工作任务。
负载均衡构建在原有网络结构之上，它提供了一种透明且廉价有效的方法扩展服务器和网络设备的带宽、加强网络数据处理能力、增加吞吐量、提高网络的可用性和灵活性。
2.为什么要使用负载均衡
当web服务器直接面向用户，往往需要承载大量的并发请求，单台服务器难以负荷，使用多台web服务器组成集群，前端使用Nginx负载均衡，将请求分散的打到我们的后端服务器集群中，实现负载均衡。
优点： 提升系统的吞吐率、请求性能、高容灾。
img
往往我们接触的最多的是SLB(Server Load Balance)负载均衡，实现最多的也是SLB、那么SLB它的调度节点和服务节点通常是在一个地域里面。那么它在这个小的逻辑地域里面决定了他对部分服务的实时性、响应性是非常好的。
所以说当海量用户请求过来以后，它同样是请求调度节点，调度节点将用户的请求转发给后端对应的服务节点，服务节点处理完请求后在转发给调度节点，调度节点最后响应给用户节点。这样也能实现一个均衡的作用，那么Nginx则是一个典型的SLB
img
3.负载均衡使用的场景
1.负载均衡能实现的应用场景一: 四层负载均衡
所谓四层负载均衡指的是OSI七层模型中的传输层，那么传输层Nginx已经能支持TCP/IP的控制，所以只需要对客户端的请求进行TCP/IP协议的包转发就可以实现负载均衡，那么它的好处是性能非常快、只需要底层进行应用处理，而不需要进行一些复杂的逻辑。
img
2.负载均衡能实现的应用场景二: 七层负载均衡
七层负载均衡它是在应用层，那么它可以完成很多应用方面的协议请求，比如我们说的http应用的负载均衡，它可以实现http信息的改写、头信息的改写、安全应用规则控制、URL匹配规则控制、以及转发、rewrite等等的规则，所以在应用层的服务里面，我们可以做的内容就更多，那么Nginx则是一个典型的七层负载均衡SLB
img
4.四层负载均衡与七层负载均衡区别
四层负载均衡数据包在底层就进行了分发，而七层负载均衡数据包则是在最顶层进行分发、由此可以看出，七层负载均衡效率没有四负载均衡高。
但七层负载均衡更贴近于服务，如:http协议就是七层协议，我们可以用Nginx可以作会话保持，URL路径规则匹配、head头改写等等，这些是四层负载均衡无法实现的
5.七层负载均衡配置实例
[root@lb01 conf.d]# cat proxy_web.oldxu.com.conf
upstream web {
server 172.16.1.7:80;
server 172.16.1.8:80;
}
server {
listen 80;
server_name web.oldxu.com;
location / {
proxy_pass http://web;
include proxy_params;
}
}
[root@lb01 conf.d]# cat /etc/nginx/proxy_params
proxy_http_version 1.1;
proxy_set_header Host $http_host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_connect_timeout 30;
proxy_send_timeout 60;
proxy_read_timeout 60;
proxy_buffering on;
proxy_buffer_size 32k;
proxy_buffers 4 128k;
#后端web配置 (为了区分,将两台web的站点配置的不一样,以便测试效果)
[root@web01 conf.d]# cat web.oldxu.com.conf
server {
listen 80;
server_name web.oldxu.com;
location / {
root /html;
index index.html;
}
}
6.七层负载均衡整合架构实例
blog
zh （后期补全）
7.七层负载均衡调度算法、后端状态
| 调度算法 | 概述 |
|---|---|
| 轮询 | 按时间顺序逐一分配到不同的后端服务器(默认) |
| weight | 加权轮询,weight值越大,分配到的访问几率越高 |
| ip_hash | 每个请求按访问IP的hash结果分配,这样来自同一IP的固定访问一个后端服务器 |
| url_hash | 按照访问URL的hash结果来分配请求,是每个URL定向到同一个后端服务器 |
| least_conn | 最少链接数,那个机器链接数少就分发 |
1.负载均衡如何让分配流量
1.能者多劳
2.平均分配
轮询: 要求机器的配置一样
加权轮询： 机器硬件不一致时使用
ip_hash 能够保持会话，但会造成后端负载不均衡
| 状态 | 概述 |
|---|---|
| down | 当前的server暂时不参与负载均衡 |
| backup | 预留的备份服务器 |
| max_fails | 允许请求失败的次数 |
| fail_timeout | 经过max_fails失败后, 服务暂停时间 |
| max_conns | 限制最大的接收连接数 |
a max_fails=2 fail_timeout=10s 运维
b max_fails=2 fail_timeout=10s 运维
c backup; 开发 运维
d down; 离职
8.七层负载均衡实现Redis会话共享
1.粘性session
粘性session是指Nginx每次都将同一用户的所有请求转发至同一台服务器上，也就是相对应的 ip_hash
2.session复制
即每次发生变化时，创建或者修改，就广播给集群中的服务器，是所有的服务器上的session相同。
3.session持久化（慢）
将session存储至数据库中，像操作服务器一样操作session。
4.session共享
缓存session至内存数据库中，使用redis（将redis内存中的数据写到磁盘中）memcached（内存数据库）
配置思路
1.在web服务器上按装 phpmyadmin
先分别进行测试---测试能否登上
#1.安装phpmyadmin（web01和web02上都装）
[root@web01 ~]# cd /code
[root@web01 code]# wget https://files.phpmyadmin.net/phpMyAdmin/4.8.4/phpMyAdmin-4.8.4-all-languages.zip
[root@web01 code]# unzip phpMyAdmin-4.8.4-all-languages.zip
#2.配置phpmyadmin连接远程的数据库
[root@web01 code]# cd phpMyAdmin-4.8.4-all-languages/
[root@web01 phpMyAdmin-4.8.4-all-languages]# cp config.sample.inc.php config.inc.php
[root@web01 phpMyAdmin-4.8.4-all-languages]# vim config.inc.php
/* Server parameters */
$cfg['Servers'][$i]['host'] = '172.16.1.51';
2.接入负载均衡 ---代理制后端的服务器
[root@lb01 conf.d]# cat proxy_php.oldxu.com.conf
upstream php {
server 172.16.1.7;
server 172.16.1.8;
}
server {
listen 80;
server_name php.oldxu.com;
location / {
proxy_pass http://php;
proxy_set_header Host $http_host;
}
}
3.发现无法正常登录
1.解决方法:
在负载均衡上配置 ip_hash 会话保持 ( 造成用户仅访问后端的某一台主机 )
[root@lb01 conf.d]# cat proxy_php.oldxu.com.conf
upstream php {
ip_hash;
server 172.16.1.7;
server 172.16.1.8;
}
server {
listen 80;
server_name php.oldxu.com;
location / {
proxy_pass http://php;
proxy_set_header Host $http_host;
}
}
4。即希望能够实现流量的均摊，又希望会话的问题得以保持，所以引入了redis
1.安装redis
[root@db01 ~]# yum install redis -y
2.配置redis
[root@db01 ~]# sed -i '/^bind/c bind 127.0.0.1 172.16.1.51' /etc/redis.conf
3.启动redis
[root@db01 ~]# systemctl enable redis
[root@db01 ~]# systemctl start redis
4.改造php，session写入本地修改写入redis中 （此配置需要在所有的web进行）
修改前提：已经安装过redis的模块--->php71w-pecl-redis
1）.修改php存储session至redis中
[root@db01 ~]# vim /etc/php.ini
session.save_handler = redis
session.save_path = "tcp://172.16.1.51:6379?weight=1"
2）.修改php-fpm 注释默认存储session的位置
[root@web01 ~]# vim /etc/php-fpm.d/www.conf
;php_value[session.save_handler] = files
;php_value[session.save_path] = /var/lib/php/session
3）.将修改后的配置文件,推送至172.16.1.8
[root@web01 ~]# scp /etc/php.ini root@172.16.1.8:/etc/
[root@web01 ~]# scp /etc/php-fpm.d/www.conf root@172.16.1.8:/etc/php-fpm.d/www.conf
4）.重启172.16.1.7 172.16.1.8两台服务器的php-fpm
[root@web02 conf.d]# systemctl restart php-fpm
5.测试效果
1.浏览器登录测试
2.查看redis的sessionID和 浏览器cookie中提交的sessionID是否一致
[root@db01 ~]# redis-cli
127.0.0.1:6379> keys *
1) "PHPREDIS_SESSION:38ecc8696c70a7252d943e7cb9b20f70"
企业实例
企业案例:使用nginx负载均衡时，如何将后端请求超时的服务器流量平滑的切换到另一台上。如果后台服务连接超时，Nginx是本身是有机制的，如果出现一个节点down掉的时候，Nginx会更据你具体负载均衡的设置，将请求转移到其他的节点上，但是，如果后台服务连接没有down掉，但是返回错误异常码了如:504、502、500，应该如何处理。
可以在负载均衡添加如下配置proxy_next_upstream http_500 | http_502 | http_503 | http_504 |http_404;意思是，当其中一台返回错误码404,500...等错误时，可以分配到下一台服务器程序继续处理，提高平台访问成功率。
nginx本身是有剔除机制, 指的是 后端的nginx没有正常工作
proxy_next_upstream nginx是正常工作,只不过后端的php或者其他程序出现问题 502
server {
listen 80;
server_name xuliangwei.com;
location / {
proxy_pass http://node;
proxy_next_upstream error timeout http_500 http_502 http_503 http_504;
}
}
