nginx+keeplived安装详解(linux)

1、 Nginx相关概念

1.1、反向代理
反向代理（Reverse Proxy）方式是指以代理服务器来接受internet上的连接请求，然后将请求转发给内部网络上的服务器，并将从服务器上得到的结果返回给internet上请求连接的客户端，此时代理服务器对外就表现为一个服务器。

1.2、负载均衡
负载均衡，英文名称为Load Balance，是指建立在现有网络结构之上，并提供了一种廉价有效透明的方法扩展网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性。其原理就是数据流量分摊到多个服务器上执行，减轻每台服务器的压力，多台服务器共同完成工作任务，从而提高了数据的吞吐量。

2、Nginx的安装

2.1、 下载Nginx
官网：http://nginx.org/

2.2 上传并解压
tar -zxvf nginx-1.8.1.tar.gz

2.3、编译Nginx

# 进入到nginx源码目录
cd /opt/soft/nginx-1.8.1

# 检查安装环境,并指定将来要安装的路径
./configure --prefix=/opt/app/nginx

# 缺包报错./configure: error: C compiler cc is not found
# 使用YUM安装缺少的包
yum -y install gcc pcre-devel openssl openssl-devel

./configure --prefix=/opt/app/nginx
# 编译安装
make&& make install
启动： /opt/app/nginx/sbin/nginx

查看端口是否有ngnix进程监听
netstat -ntlp | grep 80

3、配置Nginx

3.1、配置反向代理
1、修改nginx.conf 文件 vi /opt/app/nginx/conf/nginx.conf

server {

    listen80;
    server_name  mini4;   #nginx所在服务器的主机名
    
    #反向代理的配置
    location / {  #拦截所有请求
    root html;
    proxy_pass  http://192.168.206.131:8081;   #这里是代理走向的目标服务器：tomcat
    }
}

2、重启Nginx:
./opt/app/nginx/sbin/nginx -s reload

3、启动tomcat , 访问服务，端口为80

3.2、配置动静分离
# 动态资源

location ~ .*\.(jsp|do|action)$ {

proxy_pass  http://tomcat-01.itcast.cn:8080;

}

# 静态资源

location ~.*\.(html|js|css|gif|jpg|jpeg|png)$ {

expires 3d;

}

3.3 负载均衡
在http这个节点下面配置一个叫upstream的，后面的名字可以随意取，但是要和location下的proxy_pass http://后的保持一致。

http {
#  是在http里面的,已有http,不是在server里,在server外面
upstream tomcats{

    server 192.168.206.128:8080 weight=1; #weight表示多少个
    server 192.168.206.129:8080 weight=1;
    server 192.168.206.130:8080 weight=1;
}
#卸载server里
location ~ .*\.(jsp|do|action) {

    proxy_pass  http://tomcats;  #tomcats是后面的tomcat服务器组的逻辑组号

 }

}

4、用keeplived 实现高可用（HA）

4.1 高可用概念
HA(High Available),高可用性集群，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，且分为活动节点及备用节点。

4.2、高可靠软件keepalived
keepalived是一款可以实现高可靠的软件，通常部署在2台服务器上，分为一主一备。Keepalived可以对本机上的进程进行检测，一旦Master检测出某个进程出现问题，将自己切换成Backup状态，然后通知另外一个节点切换成Master状态。

4.3、 keepalived 安装
下载keepalived官网: http://keepalived.org
上传源码包，并解压（1.3.8版本）

tar -zxvf keepalived-1.3.8.tar.gz

进入到 解压后的keepalived目录

cd /opt/soft/keepalived-1.3.8

# 检查安装环境,并指定将来要安装的路径

./configure --prefix=/opt/app/keepalived

# 系统出现警告

WARNING - this build will not support IPVS with IPv6. Please install libnl/libnl-3 dev libraries to support IPv6 with IPVS.

安装依赖包： yum -y install libnl libnl-devel

然后再执行： ./configure --prefix=/opt/app/keepalived

这次出现错误：

configure: error: libnfnetlink headers missing

安装依赖包： yum install -y libnfnetlink-devel

然后再执行：./configure --prefix=/opt/app/keepalived

# 编译并安装 make && make install

结果报错。（没有解决）

安装1.2.19版本：

./configure --prefix=/opt/app/keepalived

make && make install

安装过程中没有报错。

4.4、将keepalived添加到系统服务中

# 拷贝执行文件

cp /opt/app/keepalived/sbin/keepalived /usr/sbin/

# 将init.d文件拷贝到etc下,加入开机启动项

cp /opt/app/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/keepalived

# 将keepalived文件拷贝到etc下

cp /opt/app/keepalived/etc/sysconfig/keepalived /etc/sysconfig/

# 创建keepalived文件夹

mkdir -p /etc/keepalived

# 将keepalived配置文件拷贝到etc下

cp /opt/app/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf

# 添加可执行权限

chmod +x /etc/init.d/keepalived

# 最后，添加keepalived到开机启动

chkconfig --add keepalived

chkconfig keepalived on

4.5、配置keepalived虚拟IP

修改配置文件： /etc/keepalived/keepalived.conf

# master节点配置

global_defs {
}
vrrp_instance VI_1 {

    state MASTER  #指定A节点为主节点 备用节点上设置为BACKUP即可
    
    interface eth0    #绑定虚拟IP的网络接口
    
    virtual_router_id 51  #VRRP组名，两个节点的设置必须一样，以指明各个节点属于同一VRRP组
    
    priority 100  #主节点的优先级（1-254之间），备用节点必须比主节点优先级低
    
    advert_int 1  #组播信息发送间隔，两个节点设置必须一样
    
    authentication {    #设置验证信息，两个节点必须一致
    
    auth_type PASS
    
    auth_pass 1111
}

virtual_ipaddress {    #指定虚拟IP, 两个节点设置必须一样

    192.168.206.110/24    #如果两个nginx的ip分别是192.168.206.128,,...129，则此处的虚拟ip跟它俩同一个网段即可
    }
}

# BACKUP节点

global_defs {
}
vrrp_instance VI_1 {

    state BACKUP
    interface eth0
    virtual_router_id 51
    priority 99
    advert_int 1
    authentication {
    auth_type PASS
    auth_pass 1111
}


virtual_ipaddress {

    192.168.206.110/24
    }
}

# 分别启动两台机器上的keepalived

service keepalived start

测试：

杀掉master上的keepalived进程，你会发现，在slave机器上的eth0网卡多了一个ip地址

查看ip地址的命令： ip addr

4.6、配置keepalived心跳检查

原理：

Keepalived并不跟nginx耦合，它俩完全不是一家人

但是keepalived提供一个机制：让用户自定义一个shell脚本去检测用户自己的程序，返回状态给keepalived就可以了

# MASTER节点

global_defs {
}
vrrp_script chk_health {

script "[[ `ps -ef | grep nginx | grep -v grep | wc -l` -ge 2 ]] && exit 0 || exit 1"

interval 1    #每隔1秒执行上述的脚本，去检查用户的程序ngnix

weight -2

}
vrrp_instance VI_1 {
    state MASTER
    interface eth0
    virtual_router_id 1
    priority 100
    advert_int 2
    authentication {
    auth_type PASS
    auth_pass 1111
}

track_script {
    chk_health
}

virtual_ipaddress {
    192.168.206.110/24
}

notify_master "/opt/app/keepalived/sbin/notify.sh master"
notify_backup "/opt/app/keepalived/sbin/notify.sh backup"
notify_fault "/opt/app/keepalived/sbin/notify.sh fault"

}

# BACKUP节点

global_defs {
}

vrrp_script chk_health {

script "[[ `ps -ef | grep nginx | grep -v grep | wc -l` -ge 2 ]] && exit 0 || exit 1"

interval 1

weight -2

}
vrrp_instance VI_1 {
    state BACKUP
    interface eth0
    virtual_router_id 1
    priority 99
    advert_int 1
    authentication {
    auth_type PASS
    auth_pass 1111
}

track_script {
    chk_health
}
virtual_ipaddress {
    192.168.206.110/24
}

notify_master "/usr/local/keepalived/sbin/notify.sh master"
notify_backup "/usr/local/keepalived/sbin/notify.sh backup"
notify_fault "/usr/local/keepalived/sbin/notify.sh fault"
}

# 添加切换通知脚本

vi /opt/app/keepalived/sbin/notify.sh

#!/bin/bash
case "$1" in
master)
    /opt/app/nginx/sbin/nginx
exit 0
;;

backup)
    /opt/app/nginx/sbin/nginx -s stop
    /opt/app/nginx/sbin/nginx
exit 0
;;

fault)
    /opt/app/nginx/sbin/nginx -s stop
    exit 0
;;

*)
    echo 'Usage: notify.sh {master|backup|fault}'
    exit 1
;;
esac

# 添加执行权限

chmod +x /opt/app/keepalived/sbin/notify.sh

# 在第二台机器上添加notify.sh脚本

#分别在两台机器上启动keepalived

service keepalived start

keepalived 详细配置:

（以下配置没有实际用过）

global_defs {
   notification_email {  #指定keepalived在发生切换时需要发送email到的对象，一行一个
    sysadmin@fire.loc
   }
   notification_email_from Alexandre.Cassen@firewall.loc #指定发件人
   smtp_server localhost #指定smtp服务器地址
   smtp_connect_timeout 30 #指定smtp连接超时时间
   router_id LVS_DEVEL #运行keepalived机器的一个标识
}

vrrp_sync_group VG_1{ #监控多个网段的实例
    group {
    inside_network #实例名
    outside_network
    }
    notify_master /path/xx.sh #指定当切换到master时，执行的脚本
    netify_backup /path/xx.sh #指定当切换到backup时，执行的脚本
    notify_fault "path/xx.sh VG_1" #故障时执行的脚本
    notify /path/xx.sh 
    smtp_alert #使用global_defs中提供的邮件地址和smtp服务器发送邮件通知
}

vrrp_instance inside_network {
    state BACKUP #指定那个为master，那个为backup，如果设置了nopreempt这个值不起作用，主备考priority决定
    interface eth0 #设置实例绑定的网卡
    dont_track_primary #忽略vrrp的interface错误（默认不设置）
    track_interface{ #设置额外的监控，里面那个网卡出现问题都会切换
        eth0
        eth1
    }
    mcast_src_ip #发送多播包的地址，如果不设置默认使用绑定网卡的primary ip
    garp_master_delay #在切换到master状态后，延迟进行gratuitous ARP请求
    virtual_router_id 50 #VPID标记
    priority 99 #优先级，高优先级竞选为master
    advert_int 1 #检查间隔，默认1秒
    nopreempt #设置为不抢占 注：这个配置只能设置在backup主机上，而且这个主机优先级要比另外一台高
    preempt_delay #抢占延时，默认5分钟
    debug #debug级别
    authentication { #设置认证
        auth_type PASS #认证方式
        auth_pass 111111 #认证密码
    }
    virtual_ipaddress { #设置vip
        192.168.202.200
    }
}
virtual_server 192.168.202.200 23 {
    delay_loop 6 #健康检查时间间隔
    lb_algo rr  #lvs调度算法rr|wrr|lc|wlc|lblc|sh|dh
    lb_kind DR  #负载均衡转发规则NAT|DR|RUN
    persistence_timeout 5 #会话保持时间
    protocol TCP #使用的协议
    persistence_granularity <NETMASK> #lvs会话保持粒度
    virtualhost <string> #检查的web服务器的虚拟主机（host：头）    
    sorry_server<IPADDR> <port> #备用机，所有realserver失效后启用
    
real_server 192.168.200.5 23 {
            weight 1 #默认为1,0为失效
            inhibit_on_failure #在服务器健康检查失效时，将其设为0，而不是直接从ipvs中删除 
            notify_up <string> | <quoted-string> #在检测到server up后执行脚本
            notify_down <string> | <quoted-string> #在检测到server down后执行脚本
            
TCP_CHECK {
            connect_timeout 3 #连接超时时间
            nb_get_retry 3 #重连次数
            delay_before_retry 3 #重连间隔时间
            connect_port 23  健康检查的端口的端口
            bindto <ip>   
          }
HTTP_GET | SSL_GET{
    url{ #检查url，可以指定多个
         path /
         digest <string> #检查后的摘要信息
         status_code 200 #检查的返回状态码
        }
    connect_port <port> 
    bindto <IPADD>
    connect_timeout 5
    nb_get_retry 3
    delay_before_retry 2
}

SMTP_CHECK{
    host{
    connect_ip <IP ADDRESS>
    connect_port <port> #默认检查25端口
    bindto <IP ADDRESS>
         }
    connect_timeout 5
    retry 3
    delay_before_retry 2
    helo_name <string> | <quoted-string> #smtp helo请求命令参数，可选
}
    MISC_CHECK{
        misc_path <string> | <quoted-string> #外部脚本路径
        misc_timeout #脚本执行超时时间
        misc_dynamic #如设置该项，则退出状态码会用来动态调整服务器的权重，返回0 正常，不修改；返回1，
        检查失败，权重改为0；返回2-255，正常，权重设置为：返回状态码-2
    }
  }
}