详解基于docker-swarm搭建持续集成集群服务

详解基于docker-swarm搭建持续集成集群服务

前言

本文只为自己搭建过程中的一些简单的记录。如果实践中有疑问，可以一起探讨。

为了能在本机（macOS)模拟集群环境，使用了vb和docker-machine。整体持续集成的几个机器设施如下：

1、服务节点：三个manager节点，一个worker节点。manager需要占用更多的资源，manager配置尽量高一些。swarm的manager节点的容错率是 (N-1)/2 。N是manager节点数。也就是如果有3个manager，那就能容忍一个manager节点挂掉。官方的算法说明：Raft consensus in swarm mode。

2、本地的镜像仓库 registry：用来存储所有需要部署的服务docker镜像。

https://docs.docker.com/registry/deploying/

因为使用swarm机制，所以不需要在服务间通信问题考虑服务发现以及负载均衡的问题（代替原有的consul&registor方式）。

3、构建镜像的运维节点 ops:

也即运维机器。一个独立的节点即可。主要负责build镜像，push镜像。在ops里可以构建gitlab的私库。维护构建脚本。机器所需配置不高,对网络宽带还是尽量多一些。

用docker-machine 模拟集群环境

创建registry节点

docker-machine create -d virtualbox --virtualbox-memory "512" registry 

–engine-registry-mirror 这个参数是可以设置一些加速仓库的地址。

创建manager,worker节点

manager

复制代码 代码如下:docker-machine create -d virtualbox --virtualbox-memory "800"  manager1    

worker:

docker-machine create -d virtualbox --virtualbox-memory "800" worker1 
docker-machine create -d virtualbox --virtualbox-memory "800" worker2 
docker-machine create -d virtualbox --virtualbox-memory "800" worker3 

创建ops 节点

docker-machine create -d virtualbox --virtualbox-memory "512" ops 

查看机器列表状态

docker-machine ls 

创建registry服务

登录到registry机器上。

docker-machine ssh registry

创建一个registry服务。

docker run -d -p 5000:5000 --restart=always --name registry \
 -v `pwd`/data:/var/lib/registry \
 registry:2

命令设置了-v volumn选项，这样在每次容器服务重启的时候，不会丢失已经pull的镜像数据。registry,mysql等存储类型的容器，建议设置一下volumn.如果为了更好的扩展，也可以将镜像仓库备份到其他driver里，如阿里云的OSS.

运行docker ps就可以看到一个启动好的registry服务。当然，为了更好的扩展，也可以挂载在自己的域名下，重新run 的时候添加认证信息。

为了更方便管理容器，可以使用docker-compose 组件。安装：

复制代码 代码如下:curl -L "https://github.com/docker/compose/releases/download/1.9.0/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose 

也可以写好compose文件之后直接启动：

docker-compose up -d

本地仓库push镜像

现在可以尝试拉一个镜像，然后tag到本地的registry仓库，如

复制代码 代码如下:docker pull lijingyao0909/see:1.0.3 && docker tag lijingyao0909/see:1.0.3 localhost:5000/see:1.0.3

然后再执行push 命令：

docker push localhost:5000/see:1.0.3

这个镜像就push到了registry服务中，最直接的方式可以通过查看本地的volumn目录，如本例中的 data目录查看到镜像数据。
如果为了更方便的可视化管理registry,也可以试用下registry UI 相关的镜像如hyper/docker-registry-web。

复制代码 代码如下:docker run -it -p 8080:8080 --name registry-web --link registry-srv -e REGISTRY_URL=http://registry-srv:5000/v2 -e REGISTRY_NAME=localhost:5000 hyper/docker-registry-web

然后访问 hostname:5000/registory/index可以看到简单的镜像列表UI。

https 问题

在本地测试时如果执行以上步骤，在push，或者在其他vb中pull镜像时遇到以下问题：

Error response from daemon: Get https://registry:5000/v1/_ping: dial tcp 218.205.57.154:5000: i/o timeout

处理方式是，修改registry的认证，如下先修改“/var/lib/boot2docker/profile”：

sudo vi /var/lib/boot2docker/profile

添加

DOCKER_OPTS="--insecure-registry <host-name>:5000"
DOCKER_OPTS="--insecure-registry registry:5000"

因为registry的hostname就是 registry。所以执行docker ifno命令可以看到:

Insecure Registries:
 registry:5000
 127.0.0.0/8 

同时，在其他的worker机器，manager机器也需要修改–insecure-registry属性，才可以pull私库的镜像。修改之后需重新restart vb。

重启后，在manager重新尝试pull

docker pull registry:5000/see:1.0.3 

 可以看到成功连接仓库并拉取镜像。注意，本示例使用的是机器名，registry，而不是IP地址。所以，在拉取镜像的时候，需在各自的vb 的etc/hosts文件配置ip和机器名的映射。用机器名的方式比较 *** 作易记。当然最好的方式还是通过域名访问仓库。

参考资源

部署registry服务

创建ops服务

swarm的服务集群会直接从registry上pull镜像，直接启动应用的service服务。服务的镜像直接打在registry仓库中，但是源码可以维护在ops机器上。前面创建的ops的virtual-box，可以部署gitlab服务。启动参数可以参考Deploy GitLab Docker images

先pull一个gitlab镜像

docker run --detach \
 --hostname gitlab.lijingyao.com \
 --publish 443:443 --publish 80:80 --publish 22:22 \
 --name gitlab \
 --restart always \
 --volume `pwd`/gitlab/config:/etc/gitlab \
 --volume `pwd`/gitlab/logs:/var/log/gitlab \
 --volume `pwd`/gitlab/data:/var/opt/gitlab \
 gitlab/gitlab-ce:8.14.4-ce.0

使用git私库

因绑定了80端口，启动gitlab后访问：http://machine-host/

第一次进入gitlab会自动跳转到重置密码。可以设置一个新的密码,这个是root账号的密码。后续就可以注册其他git用户使用了。
这里，如果申请了域名服务，或者本地绑定gitlab.lijingyao.com 到这个virtualbox的ip地址，就可以直接访问gitlab.lijingyao.com地址。在实际生产环境有固定公网ip，自己的dns服务，就不需要绑定host。这里只是本地测试，所以暂时就通过绑定host的方式。

swarm

本例中的服务是一个简单的springboot 和gradle的工程，服务镜像可以在docker hub pull,see service image。打包好镜像后，直接在gradle task中push到registry仓库中。在本地环境可以直接在工程目录里执行。gradle task然后push到vb的registry中，再在registry 仓库pull镜像即可。现在开始准备初始化swarm 集群。

现在整个vb 集群的机器，查看如下：

$docker-machine ls

NAME  ACTIVE DRIVER  STATE  URL       SWARM DOCKER ERRORS
haproxy -  virtualbox Running tcp://192.168.99.103:2376   v1.12.3 
manager1 -  virtualbox Running tcp://192.168.99.100:2376   v1.12.3 
ops  -  virtualbox Running tcp://192.168.99.106:2376   v1.12.3 
registry -  virtualbox Running tcp://192.168.99.107:2376   v1.12.3 
worker1 -  virtualbox Running tcp://192.168.99.101:2376   v1.12.3 
worker2 -  virtualbox Running tcp://192.168.99.102:2376   v1.12.3 
worker3 -  virtualbox Running tcp://192.168.99.105:2376   v1.12.3 

然后用docker-machine ssh manager1登陆到manager1机器上。

初始化swarm manager节点

在manager1 机器上初始化swarm，这个初始化的机器就是swarm的manager.执行：

 docker swarm init --advertise-addr 192.168.99.100

会看到以下执行输出：

Swarm initialized: current node (03x5vnxmk2gc43i0d7xpycvjg) is now a manager.

To add a worker to this swarm, run the following command:

 docker swarm join \
 --token SWMTKN-1-5ru6lyco3upj7oje6hidug3erqczok84wk7bekzfaca4uv51r9-22bcjhkbxnclmw3nl3ui8601l \
 192.168.99.100:2377

To add a manager to this swarm, run 'docker swarm join-token manager' and follow the instructions.

这个生成的token值，是其他swarm集群节点join到整个swarm的key。如果忘记了token，可以在manager1上执行：

$docker swarm join-token manager 

来查看目前的token值。官方建议至少6个月更换以下token。更换命令：

$docker swarm join-token --rotate worker 

添加worker节点

分别登录 worker1，worker2，worker3,执行join命令。

在join之前，先查看下docker 网络设施。执行

$ docker network ls
NETWORK ID   NAME    DRIVER    SCOPE
4b7fe1416322  bridge    bridge    local    
06ab6f3352b0  host    host    local    
eebd5c8e0d5d  none    null    local 

按照manager1 初始化之后的命令，执行：

docker swarm join \
 --token SWMTKN-1-5ru6lyco3upj7oje6hidug3erqczok84wk7bekzfaca4uv51r9-22bcjhkbxnclmw3nl3ui8601l \
 192.168.99.100:2377

此时在任何worker节点再执行docker network ls 即可看到多了一个overlay的覆盖范围为swarm的网络通道。

三个worker都加入之后，在manager1 上即可看到manager的node节点情况

docker node ls
ID       HOSTNAME STATUS AVAILABILITY MANAGER STATUS
03x5vnxmk2gc43i0d7xpycvjg * manager1 Ready Active  Leader  
2y5wrndibe8c8sqv6851vrlgp worker1 Ready Active  Reachable
dwgol1uinkpsybigc1gm5jgsv worker2 Ready Active  
etgyky6zztrapucm59yx33tg1 worker3 Ready Active  Reachable

manager status的Reachable状态表示该节点也是manager节点。这是因为我们在worker1,worker3分别执行了

docker node promote worker1
docker node promote worker3

worker1,worker3此时也可以执行swarm命令，在manager1关停时，就会选举其中之一作为新的leader。如果要去除node的manager状态，可以通过demote命令去除。执行后，worker节点就变成普通的任务节点。

docker node demote worker1 worker3 

swarm节点的其他状态

swarm节点可以设置drain状态，drain状态的节点不会执行任何service。

将某个node设置不可用：

docker node update --availability drain worker1 

Pause,Drain,Active三个状态，pause标识有任务运行，不接受新任务。

如果要将worker1 节点去除swarm中心，现在需被移除的节点（worker1）执行：docker swarm leave 然后在manager上执行：docker node rm worker1，即可移除一个swarm节点。

创建swarm服务

本例中使用swarm部署一个基于springboot的rest api服务。仓库的地址：springboot-restful-exam,创建的服务name是deftsee，绑定80端口，并且扩展4个运行容器服务。

docker service create \
 --replicas 4 \
 --name deftsee \
 --update-delay 10s \
 --publish 8080:80 \
 lijingyao0909/see:1.0.3

服务创建之后，可以查看服务节点的状态

docker@manager1:~$ docker service ls
ID   NAME  REPLICAS IMAGE     COMMAND
a6s5dpsyz7st deftsee 4/4  lijingyao0909/see:1.0.3 

REPLICAS 代表服务的运行容器数，如果是0/4就代表所有服务都没有起来。详细查看各个节点运行状态可以用docker service ps servicename

docker@manager1:~$ docker service ps deftsee
ID       NAME  IMAGE     NODE  DESIRED STATE CURRENT STATE   ERROR
8lsdkf357lk0nmdeqk7bi33mp deftsee.1 lijingyao0909/see:1.0.3 worker2 Running  Running 5 minutes ago 
cvqm5xn7t0bveo4btfjsm04jp deftsee.2 lijingyao0909/see:1.0.3 manager1 Running  Running 7 minutes ago 
6s5km76w2vxmt0j4zgzi4xi5f deftsee.3 lijingyao0909/see:1.0.3 worker1 Running  Running 5 minutes ago 
4cl9vnkssedpvu2wtzu6rtgxl deftsee.4 lijingyao0909/see:1.0.3 worker3 Running  Running 6 minutes ago 

可以看到任务被平分到所有的四个任务节点运行。下面再扩容deftsee服务

docker@manager1:~$ docker service scale deftsee=6
deftsee scaled to 6
docker@manager1:~$ docker service ps deftsee
ID       NAME  IMAGE     NODE  DESIRED STATE CURRENT STATE   ERROR
8lsdkf357lk0nmdeqk7bi33mp deftsee.1 lijingyao0909/see:1.0.3 worker2 Running  Running 8 minutes ago 
cvqm5xn7t0bveo4btfjsm04jp deftsee.2 lijingyao0909/see:1.0.3 manager1 Running  Running 10 minutes ago 
6s5km76w2vxmt0j4zgzi4xi5f deftsee.3 lijingyao0909/see:1.0.3 worker1 Running  Running 8 minutes ago 
4cl9vnkssedpvu2wtzu6rtgxl deftsee.4 lijingyao0909/see:1.0.3 worker3 Running  Running 9 minutes ago 
71uv51uwvso4l340xfkbacp2i deftsee.5 lijingyao0909/see:1.0.3 manager1 Running  Running 5 seconds ago 
4r2q7q782ab9fp49mdriq0ssk deftsee.6 lijingyao0909/see:1.0.3 worker2 Running  Running 5 seconds ago 

lijingyao0909/see:1.0.3是dockerhub的公共仓库的镜像，服务创建时会去pull镜像，整体速度偏慢，所以可以结合私有仓库，直接在registry机器上pull镜像。服务可以直接用docker service rm deftsee移除服务，然后通过registry重建服务。

docker service create \
 --replicas 6 \
 --name deftsee \
 --update-delay 10s \
 --publish 8080:80 \
 registry:5000/see:1.0.4

此时登录任何一台worker服务，查看运行的容器镜像：

docker@worker2:~$ docker ps
CONTAINER ID  IMAGE      COMMAND     CREATED    STATUS    PORTS    NAMES
89d4f588290b  registry:5000/see:1.0.4 "/bin/sh -c 'java -Dc" About a minute ago Up About a minute 8080/tcp   deftsee.1.eldpgb1aqtf9v49cxolydfjm9

如果要更新服务，可以直接通过update命令更新版本，并且服务滚动发布，通过设置*–update-delay 10s *可以改变更新时各个节点的延迟时间。

docker service update --image registry:5000/see:1.0.5 deftsee

重启某个node的服务

关闭：docker node update –availability drain worker1

开启：docker node update –availability active worker1

更新服务端口

更新一个服务的端口会重启服务（关闭原有服务，重新创建服务并启动）：

 docker service update \
 --publish-add <PUBLISHED-PORT>:<TARGET-PORT> \
 <SERVICE>

docker@manager1:~$docker service update \
 --publish-add 8099:8080 \
 deftsee

docker@manager1:~$ docker service ps deftsee
ID       NAME   IMAGE     NODE  DESIRED STATE CURRENT STATE    ERROR
3xoe34msrht9eqv7eplnmlrz5 deftsee.1  registry:5000/see:1.0.4 manager1 Running  Running 39 seconds ago  
eldpgb1aqtf9v49cxolydfjm9 \_ deftsee.1 registry:5000/see:1.0.4 worker2 Shutdown  Shutdown 39 seconds ago  
9u4fh3mi5kxb14y6gih5d8tqv deftsee.2  registry:5000/see:1.0.4 manager1 Running  Running about a minute ago 
0skgr5fx4xtt6y71yliksoft0 \_ deftsee.2 registry:5000/see:1.0.4 worker1 Shutdown  Shutdown about a minute ago 
8hposdkqe92k7am084z6kt1j0 deftsee.3  registry:5000/see:1.0.4 worker3 Running  Running about a minute ago 
c5vhx1wx0q8mxaweaq0mia6n7 \_ deftsee.3 registry:5000/see:1.0.4 manager1 Shutdown  Shutdown about a minute ago 
9se1juxiinmetuaccgkjc3rr2 deftsee.4  registry:5000/see:1.0.4 worker1 Running  Running about a minute ago 
4wofho0axvrjildxhckl52s41 \_ deftsee.4 registry:5000/see:1.0.4 worker3 Shutdown  Shutdown about a minute ago 

服务验证和网络

例子中的服务启动后，可以直接通过ip:port访问。如http://192.168.99.100:8099/see，可以看到服务请求会分发到各个运行的节点中。也就是swarm的overlay网络层，各个节点的网络是互通的，swarm做了load balance,在swarm的lb的基础上也可搭建自己定义的overlay网络,创建的这个overlay 网络，所有节点都可以和这个network互通。但是在服务创建的时候需要制定network选项。

$docker network create \
 --driver overlay \
 --subnet 10.0.9.0/24 \
 --opt encrypted \  
 my-network

$docker service create \
 --name deftsee \
 --publish 8099:80 \
 --replicas 4 \
 --network my-network \
 -l com.df.serviceDomain=deftsee.com \
 -l com.df.notify=true \
 lijingyao0909/see:1.0.3

–network my-network制定了服务可连接到的docker network，可以在swarm的节点创建一个name为my-network的网络。所以也可以在swarm机制中搭建consul和haproxy的服务发现和lb机制。

当为一个服务指定一个network的时候，swarm上执行的任务也必须都在这个指定的网络上才能和服务互通。如果节点上没有加入到swarm模式的node中，或者没有运行挂载在这个指定网络的时候，也不会和这个network互通.docker network ls也不会查出该网络。创建服务时通过–network my-network这个标签链接到这个网络。在查看网络时，docker network inspect my-network可以查看返回的Containers 列出的该节点的挂载容器。

创建了一个网络服务，有service连接到网络时，swarm会给这个网络下的服务(service)指定一个vip. swarm 内部的lb会自动分发服务，不需要指定每个服务端口，即在同一个network连接的容器，通过service name就可以访问到服务。因为所有加入到这个network的容器都会通过gossip协议共享一个DNS映射（vip映射根据service name 绑定到的dns别名映射）。

查看服务的vip网络信息：

$docker service inspect \
 --format='{{json .Endpoint.VirtualIPs}}' \
 deftsee

输出：[{"NetworkID":"dn05pshfagohpebgonkhj5kxi","Addr":"10.255.0.6/16"}]

swarm管理

为了保持manager节点的可用性（心跳机制，leader选举），可以将manager节点设置成不接受服务运行，节省manager节点资源，将manager节点隔离出任务环境。

docker node update --availability drain <NODE>

备份/var/lib/docker/swarm/raft 状态

清理不可用的节点

docker node demote <NODE> 
docker node rm <id-node>.

节点重新加入manager re-join

$docker node demote <NODE>.
$docker node rm <NODE>.
$docker swarm join ...

初始化的时候指定固定ip ，init –advertise-addr。worker节点可以用动态ip 。

参考资源

Swarm mode

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。