Swarm和Mesos集成部署

2016-03-13 本文已影响0人 sky丨轨迹

安装步骤

1.准备环境

准备三台Ubuntu 14.40的环境（物理机和虚拟机都可以），配置DNS或者/etc/hosts文件来保证相互通过机器名可以访问，并且关闭防火墙。

2.在两台计算节点上安装Docker

登陆computer1.wyq.com和computer2.wyq.com执行以下命令安装Docker：

# apt-get update # apt-get install wget# wget -qO- https://get.docker.com/ | sh

默认情况下，Docker只允许通过unix socket来访问Docker Engine，所以根据以上理论的分析，如果Swarm Manager节点master.wyq.com想要访问计算节点上的Docker Engine，我们必须修改Swarm默认配置来开启一个TCP的端口供外部访问：

编辑/etc/default/docker文件，修改DOCKER_OPTS参数如下：

# vim /etc/default/docker DOCKER_OPTS="-H 0.0.0.0:2375 -H unix:///var/run/docker.sock"# service docker restart

3.在master节点安装Golang和godep

由于master.wyq.com上需要安装Swarm Manager服务，Swarm 是由GO语言编写，所以需要在master.wyq.com上安装Golang来支持Swarm Manager的运行。

注：这里使用Swarm的最新的版本：

/# wgethttps://storage.googleapis.com/golang/go1.5.3.linux-amd64.tar.gz

/# tar -C /usr/local -xzf go1.5.3.linux-amd64.tar.gz

Swarm像大多数GO语言的项目一样，使用godep来管理包的依赖，由于Swarm官方没有提供Swarm的安装包，所以需要我们自己编译，所以在编译之前我们需要安装godep来帮助下载Swarm的依赖。

首先由于godep的一些依赖使用了mercurial，先安装mercurial

# apt-get install -y mercurial

安装godep：

\# mkdir $HOME/go-tools && export GOPATH=$HOME/go-tools

\# go get github.com/tools/godep

\# ll /root/go-tools/bin/

-rwxr-xr-x 1 root root 10327064 Jan 22 16:47 godep*

在安装完Golang和godep之后，编辑/etc/profile,添加环境变量：

export PATH=$PATH:/usr/local/go/bin:$HOME/go-tools/bin

安装验证：

\# go versiongo version go1.5.3 linux/amd64

\# godep versiongodep v51 (linux/amd64/go1.5.3)

4.在master节点上build Mesos

Mesos官方目前没有提供Mesos的安装包，需要自己下载源码包进行build。这里是以Mesos最新的版本为例进行安装。

登陆master节点master.wyq.com执行以下步骤进行build：

首先需要安装build Mesos 必须的第三方软件包：

# apt-get update# apt-get install -y openjdk-7-jdk# apt-get install -y autoconf libtool# apt-get -y install build-essential python-dev python-boto libcurl4-nss-dev libsasl2-dev maven libapr1-dev libsvn-dev

下载源码包进行编译安装：

# wget http://mirror.bit.edu.cn/apache/mesos/0.26.0/mesos-0.26.0.tar.gz# tar -xzvf mesos-0.26.0.tar.gz# cd mesos-0.26.0# ./bootstrap# mkdir build && cd build# ../configure# make# make install DESTDIR=/opt/apache/mesos# ll /opt/apache/mesos/usr/local/sbin/total 2632drwxr-xr-x 2 root root 4096 Jan 28 16:41 ./

drwxr-xr-x 9 root root 4096 Jan 15 20:02 ../

-rwxr-xr-x 1 root root 406 Jan 28 16:41 mesos-daemon.sh*

-rwxr-xr-x 1 root root 1698505 Jan 28 16:41 mesos-master*

-rwxr-xr-x 1 root root 954864 Jan 28 16:41 mesos-slave*

-rwxr-xr-x 1 root root 888 Jan 28 16:41 mesos-start-cluster.sh*

-rwxr-xr-x 1 root root 1366 Jan 28 16:41 mesos-start-masters.sh*

-rwxr-xr-x 1 root root 1349 Jan 28 16:41 mesos-start-slaves.sh*

-rwxr-xr-x 1 root root 635 Jan 28 16:41 mesos-stop-cluster.sh*

-rwxr-xr-x 1 root root 1200 Jan 28 16:41 mesos-stop-masters.sh*

-rwxr-xr-x 1 root root 1185 Jan 28 16:41 mesos-stop-slaves.sh*

配置：

编辑/opt/apache/mesos/usr/local/sbin/mesos-daemon.sh文件：

•修改prefix变量的值为：/opt/apache/mesos/usr/local

•在prefix的下一行添加行：

export LD_LIBRARY_PATH=${prefix}/lib

export MESOS_LAUNCHER_DIR=${prefix}/libexec/mesos

export MESOS_EXECUTOR_ENVIRONMENT_VARIABLES="{\"PATH\": \"${PATH}\",\"LD_LIBRARY_PATH\": \"${LD_LIBRARY_PATH}\"}"

5.在master节点上编译Swarm

下载源码包：

# mkdir /opt/docker/swarm && cd /opt/docker/swarm# wget https://github.com/docker/swarm/archive/v1.0.1.tar.gz

构建build目录结构：

# mkdir -p $PWD/src/github.com/docker# tar -C src/github.com/docker -xzf v1.0.1.tar.gz# mv src/github.com/docker/swarm-1.0.1 src/github.com/docker/swarm# export GOPATH=$PWD# cd src/github.com/docker/swarm/

编译Swarm binary：

# godep go install .# $PWD/bintotal 22680-rwxr-xr-x 1 root root 23215632 Feb 1 19:25 swarm*

6.在master节点上安装NFS

为了节省安装时间，我们不需要在三台机器上分别build Mesos，可以直接将build的安装目录拷贝到其他两台机器上即可。但是我们需要定期的和社区最新的代码进行同步和重新build，所以为了避免每次重复的拷贝，我们采用共享文件的方式。

登陆master.wyq.com执行如下命令安装配置NFS：

# apt-get install -y nfs-common nfs-kernel-server# vim /etc/exports/opt/apache/mesos *(rw,sync,no_root_squash,no_subtree_check)# /etc/init.d/nfs-kernel-server start# showmount -e localhostExport list for localhost:

/opt/apache/mesos *

7.配置两台计算节点

登陆computer1.wyq.com和computer2.wyq.com，执行如下命令：

在两台计算节点上安装运行Mesos需要的安装包：

Mount Mesos安装目录：

# mkdir /opt/apache/mesos

# mount -t nfs -o nolock maser.wyq.com:/opt/apache/mesos /opt/apache/mesos

# ll /opt/apache/mesos/usr/local/sbin/

total 2632

drwxr-xr-x 2 root root 4096 Jan 28 16:41 ./

drwxr-xr-x 9 root root 4096 Jan 15 20:02 ../

-rwxr-xr-x 1 root root 406 Jan 28 16:41 mesos-daemon.sh*-rwxr-xr-x 1 root root 1698505 Jan 28 16:41 mesos-master*-rwxr-xr-x 1 root root 954864 Jan 28 16:41 mesos-slave*-rwxr-xr-x 1 root root 888 Jan 28 16:41 mesos-start-cluster.sh*-rwxr-xr-x 1 root root 1366 Jan 28 16:41 mesos-start-masters.sh*-rwxr-xr-x 1 root root 1349 Jan 28 16:41 mesos-start-slaves.sh*-rwxr-xr-x 1 root root 635 Jan 28 16:41 mesos-stop-cluster.sh*-rwxr-xr-x 1 root root 1200 Jan 28 16:41 mesos-stop-masters.sh*-rwxr-xr-x 1 root root 1185 Jan 28 16:41 mesos-stop-slaves.sh*

8.启动服务

登陆master.wyq.com启动Mesos master和Swarm manager：

# cd /opt/apache/mesos/usr/local/sbin/# mkdir /opt/mesoslog# ./mesos-daemon.sh mesos-master --work_dir=/var/lib/mesos --log_dir=/opt/mesoslog# cd /opt/docker/swarm/bin# ./swarm manage -c mesos-experimental --cluster-opt mesos.address=9.111.255.10 --cluster-opt mesos.port=3375 gradyhost1.eng.platformlab.ibm.com:5050

登陆computer1.wyq.com和computer2.wyq.com启动Mesos agent：

# cd /opt/apache/mesos/usr/local/sbin/# mkdir /opt/mesoslog# ./mesos-daemon.sh mesos-slave --master=gradyhost1.eng.platformlab.ibm.com:5050 --log_dir=/opt/mesoslog --containerizers=mesos,docker

9.验证：

打开Mesos portal：http://master.wyq.com:5050查看Slaves,Frameworks和offers的信息。

在任意一个计算节点上查看docker info：

# docker -H manager.wyq.com:2375 infoContainers: 0Images: 1Role: primaryStrategy: spreadFilters: health, port, dependency, affinity, constraintOffers: 2

Offer: 98085d1e-4516-4c4c-b6a3-4f8cde32c980-O19

└ cpus: 2

└ mem: 2.851 GiB

└ disk: 29.79 GiB

└ ports: 31000-32000

Offer: 98085d1e-4516-4c4c-b6a3-4f8cde32c980-O20

└ cpus: 2

└ mem: 2.851 GiB

└ disk: 29.79 GiB

└ ports: 31000-32000CPUs: 4Total Memory: 5.701 GiBName: manager.wyq.com

执行docker run，创建hello-world container：

# docker -H manager.wyq.com:2375 run --cpu-shares 1 hello-worldHello from Docker.

Swarm和Mesos集成部署

猜你喜欢

热点阅读