大数据运维问题记录(六)

2016-08-26 本文已影响74人火车飞侠

问题描述:公司之前的采集产品由于对大数据这块水土不服,入库慢等原因,再加上负责这个产品的团队全部走光,导致现在出了问题没人能解决,谁都不愿意踩这个坑,于是让我们部门重新出个方案来取代这个产品(背锅侠),项目需求是基于sdtp协议传输数据，老大说用netty来做,让我研究了一下netty集群的部署方式,网上各种研究了一番决定采用zookeeper来管理netty集群,这个方案要求netty服务端启动的时候将本机进行注册服务,同时要求客户端要调用zookeeper的api来发现服务。但是在这个项目中客户端不是我们来做，我们只做数据接收，也就是服务端，要想采用此方案还需要做客户端的厂商配合，经过沟通结果人家不接受，原因是自己的客户端是一个产品，不可能为我们来开这个口，只能重新想方案了

问题解决:又是一番研究，决定采用nginx+keepalived的方式。nginx可以配置负载均衡，keepalived可以配置HA实现高可用，最开始没想用nginx是以为nginx只支持http，后来才发现从nginx1.9.11版本开始支持TCP协议

Paste_Image.png
以下是我测试方案时的环境:
netty服务器1:192.168.160.136(host:lip1)
netty服务器2:192.168.160.135(host:lip2)
nginx服务器1,keepalived主服务器:192.168.160.134(host:lip4)
nginx服务器2,keepalived备服务器:192.168.160.133(host:lip3)
现在将nginx和keepalived的安装和配置过程记录一下
首先记录下安装nginx的步骤
1.安装GCC 和GCC-C++
yum install -y gcc
yum install -y gcc-c++
2.安装pcre库
cd/usr/local/
wget ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.39.tar.gz
tar -zxvf pcre-8.39.tar.gz
cd pcre-8.39/
./configure
make
make install
3.安装zlib库
cd /usr/local/
wget http://zlib.net/zlib-1.2.8.tar.gz
tar -xvf zlib-1.2.8.tar.gz
cd zlib-1.2.8/
./configure
make
make install
4.安装ssl
yum install openssl
5.安装nginx
到官网http://nginx.org/ 下载包
cd /usr/local/
tar -zxvf nginx-1.10.1.tar.gz
./configure --with-stream(注意默认nginx不安装stream模块的,因为需要支持tcp协议，所以需要加上--with-stream)
make
make install

Nginx使用了一个新的stream模块来实现TCP负载均衡，这个模块，类似于http和mail模块，允许我们配置一组监听TCP连接的服务。允许你配置多个服务的TCP连接，通过在upstream的server组中配置proxy_pass指令。

6.分别在nginx服务器1和2上修改nginx.conf文件，在http同级下添加一个stream模块（和http等同级）：

stream {
    server {
        listen 3456;#要监听的端口号
        proxy_pass netty;
    }
 
    upstream netty {
        server 192.168.160.136:3456;#netty服务器1的ip和要监听的端口号
        server 192.168.160.135:3456;#netty服务器2的ip和要监听的端口号
    }
}

7.修改下nginx目录下的html中的index.html文件做个标识
8.分别在两台nginx服务器上/usr/local/nginx/sbin/nginx启动nginx
9.验证nginx是否安装成功
在浏览器输入http://192.168.160.134 和 http://192.168.160.133

Paste_Image.png

看到这个页面说明启动成功

下面是安装keepalived的步骤
1.在官网http://www.keepalived.org/ 下载
cd /usr/local/
tar -zxvf keepalived-1.2.23.tar.gz
cd keepalived-1.2.23/
./configure
make
makeinstall

2.在nginx服务器1上修改keepalived.conf文件

global_defs {               #主要是配置故障发生时的通知对象以及机器标识
   notification_email {
     xxx@xxxx.com.cn
   }
   notification_email_from xxx@xxxx.com.cn
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id nginx_master
}

vrrp_instance VI_1 {
    state MASTER            #将此台服务器定义为主服务器
    interface eno16777736   #网卡名
    virtual_router_id 51
    priority 100            #优先级最高
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.160.200     #设置VIP供调用
    }
}

3.在nginx服务器2上修改keepalived.conf文件

global_defs {                    #主要是配置故障发生时的通知对象以及机器标识
   notification_email {
     xxx@xxxx.com.cn
   }
   notification_email_from xxx@xxxx.com.cn
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id nginx_backup
}

vrrp_instance VI_1 {
    state BACKUP                 #将此台服务器做为备服务器
    interface eno16777736        #网卡名
    virtual_router_id 51
    priority 50                  #优先级设置的比master低就行
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.160.200          #设置VIP供调用
    }
}

4.启动keepalived主服务器
/etc/rc.d/init.d/keepalived start
5.验证虚拟IP是否启用
ip a