k8s中的Mysql数据库持久化存储

 

一、配置：

环境：

CentOS7 

VMware

笔者配置了四台虚拟机：

K8S-Master节点: 3GB内存   2核CPU   20GB硬盘空间

K8S-node1节点:  2GB内存   2核CPU   30GB硬盘空间

K8S-node2节点:  2GB内存   2核CPU   30GB硬盘空间

镜像仓库节点:      2GB内存   2核CPU   50GB硬盘空间

二、节点规划：

使用三台虚拟机搭建K8S集群，使用一台虚拟机搭建镜像仓库。

每台虚拟机配置两块网卡，其中一块为“NAT模式”，用于拉取镜像等功能。

另外一块网卡为“仅主机模式”，用于集群节点间的通信。归划如下：

K8s-master节点:

仅主机模式：10.10.10.200

NAT模式：  192.168.200.130

K8S-node1节点:

仅主机模式：10.10.10.201

NAT模式：  192.168.200.131

K8S-node2节点:

仅主机模式：10.10.10.202

NAT模式：  192.168.200.132

镜像仓库节点:

仅主机模式：10.10.10.101

NAT模式：  192.168.200.150

三、版本信息

Linux内核版本：

Linux version 3.10.0-862.el7.x86_64 (builder@kbuilder.dev.centos.org)

(gcc version 4.8.5 20150623 (Red Hat 4.8.5-28) (GCC) )

 #1 SMP Fri Apr 20 16:44:24 UTC 2018

K8s集群版本为1.15.0版本：

四、基于StatefulSet与PV/PVC的MySql持久化存储实验

1. 在每个节点安装nfs服务

在“镜像仓库”节点，执行以下命令：

yum install -y nfs-common nfs-utils rpcbind

在k8s集群，执行以下命令：

yum install -y nfs-utils rpcbind

2. 在“镜像仓库”节点下，配置nfs服务器

mkdir /nfs_mysql

Chmod 777 /nfs_mysql/

(在测试环境中，为了不考虑用户属性，暂时赋予777权限，但在生产环境不推荐这样做)

Chown nfsnobody /nfs_mysql/

echo “/nfs_mysql *(rw,no_root_squash,no_all_squash,sync)” >>/etc/exports

cat /etc/exports

/nfs_mysql *(rw,no_root_squash,no_all_squash,sync)

systemctl start rpcbind

systemctl start nfs

3. 测试nfs服务是否可用

mkdir /test

showmount -e 10.10.10.101

可见/nfs_mysql *已暴露于共享目录，接下来测试挂载是否可用：

在master节点下执行：

mount -t nfs 10.10.10.101:/nfs_mysql /test/

echo "hello-world">>/test/1.txt

在镜像仓库节点下查看1.txt是否存在，若存在则挂载成功：

可见nfs服务可以正常使用，接下来删除test目录和1.txt

在镜像仓库下：

[root@hub nfs_mysql]# rm -f 1.txt

在Master节点下:

[root@k8s-master ~]# umount /test/

[root@k8s-master ~]# rm -rf /test/

同理,依照以上步骤同时创建：（提供多个mysql副本进行挂载）

nfs_mysql1

nfs_mysql2

完成后需要重启nfs服务

systemctl restart rpcbind

systemctl restart nfs

最终效果：

4. 将nfs封装成pv

创建mysql_test文件夹，将yaml文件统一保存在此目录下

mkdir mysql_test

cd mysql_test

vim mysql-pv.yml

mysql-pv.yml配置如下：

apiVersion: v1

kind: PersistentVolume

metadata:

  name: mysql-pv

spec:

  capacity:

    storage: 5Gi

  accessModes:

    -  ReadWriteOnce

  persistentVolumeReclaimPolicy: Retain

  storageClassName: nfs

  nfs:

    path: /nfs_mysql

    server: 10.10.10.101

---

apiVersion: v1

kind: PersistentVolume

metadata:

  name: mysql-pv1

spec:

  capacity:

    storage: 5Gi

  accessModes:

    -  ReadWriteOnce

  persistentVolumeReclaimPolicy: Retain

  storageClassName: nfs

  nfs:

    path: /nfs_mysql1

    server: 10.10.10.101

---

apiVersion: v1

kind: PersistentVolume

metadata:

  name: mysql-pv2

spec:

  capacity:

    storage: 5Gi

  accessModes:

    -  ReadWriteOnce

  persistentVolumeReclaimPolicy: Retain

  storageClassName: nfs

  nfs:

    path: /nfs_mysql2

    server: 10.10.10.101

注意：

在k8s集群15版本中recycle回收策略已被删除，只能用retain策略或者Delete策略。这里我们使用 persistentVolumeReclaimPolicy: Retain

 

执行命令：

kubectl create -f mysql-pv.yml

kubectl get pv

如图所示，即为Pv创建成功。

5. 部署MySQL，在mysql_test目录下编写mysql.yml，配置文件如下

apiVersion: v1

kind: Service

metadata:

  name: mysql

  labels:

    app: mysql

spec:

  ports:

  - port: 3306

    name: mysql

  clusterIP: None

  selector:

    app: mysql

---

apiVersion: apps/v1

kind: StatefulSet

metadata:

  name: mysql

spec:

  selector:

    matchLabels:

      app: mysql

  serviceName: "mysql"

  replicas: 3

  template:

    metadata:

      labels:

        app: mysql

    spec:

      containers:

      - name: mysql

        image: mysql:5.6

        env:

        - name: MYSQL_ROOT_PASSWORD

          value: password

        ports:

        - containerPort: 3306

          name: mysql

        volumeMounts:

        - name: mysql-persistent-storage

          mountPath: /var/lib/mysql

  volumeClaimTemplates:

  - metadata:

      name: mysql-persistent-storage

    spec:

      accessModes: ["ReadWriteOnce"]

      storageClassName: "nfs"

      resources:

        requests:

          storage: 1Gi  

执行以下命令，部署mysql服务：

kubectl create -f mysql.yml

如图可知，mysql按StatefulSet依次创建了mysql-0 mysql-1 mysql-2

查看各个Pod部在哪个节点：

6. 通过创建临时容器，使用MySQL客户端发送测试请求给MySQL master节点

注意：

主机名为mysql-0.mysql；跨命名空间的话，主机名请使用mysql-0.mysql. [NAMESPACE_NAME].如果没有指定命名空间，默认为default，即 mysql-0.mysql. default。

   

这里笔者打算关闭node2节点来模拟node2宕机，来测试是否实现数据的持久化存储，

所以我们向node2上的mysql1写入数据。

 

执行以下命令，访问mysql1：

kubectl run mysql-client --image=mysql:5.6 -it --rm --restart=Never -- mysql -h mysql-1.mysql.default -p password

创建数据库demo,并向messages表中写入hello-world

CREATE DATABASE demo 

CREATE TABLE demo.messages (message VARCHAR(250)) 

INSERT INTO demo.messages VALUES ('hello-world')

如图所示

接下来我们来关闭k8s-node2虚拟机，模拟宕机

查看nodes的运行状态，可知node2的状态已转变为NotReady

一段时间后，k8s将Pod MySql -1迁移到节点k8s-node1

由于时间过长，笔者把三个Pod都删除重启后，验证数据：

MySQL服务恢复，数据完好无损！

1、pom.xml引mysql和sql server依赖

2、application.yml配置mysql和sql server连接数据源的信息

3、创建DataSourceConfig.java工具类

4、创建mysql数据源配置工具类MySqlConfig.java

5、创建sql server数据源配置工具类SqlServerConfig.java

如果您有什么好的想法与方法，欢迎在评论区留言，我们一起讨论~

一.首先docker-compose.yml的版本必须在version3之上有的必须在3.4之上

二.为支持在swarm上部署应用，docker-compose.yml语法新增的功能模块是deploy。

A.新增模块名称：deploy模块：

B.新增模块参数为：

[1] endpoint_mode:  vip  /dnsrr

vip: Docker为服务分配了一个虚拟IP（VIP），该虚拟IP充当客户端访问网络上服务的前端。Docker在客户端和服务的可用工作节点之间路由请求，而无需客户端知道有多少节点正在参与服务或其IP地址或端口。（ 这是默认设置 ）

dnsrr:DNS轮询（DNSRR）服务发现不使用单个虚拟IP。Docker设置服务的DNS条目，以便对服务名称的DNS查询返回IP地址列表，并且客户端直接连接到其中之一。在想要使用自己的负载平衡器或混合Windows和Linux应用程序的情况下，DNS轮询很有用

[2] labels： 指定服务标签。这些标签 仅 在服务上设置， 而不 在服务的任何容器上设置

[3] mode: global/replicated

global:  不能使用scale扩展应用，只能被部署到指定的docker上

replicated:可以上用scale扩展，默认情况

[4]placement:指定约束和首选项的位置

[5]replicas: 请指定在任何给定时间应运行的容器数。

[6]resources:  配置资源约束

[7]restart_policy:配置是否以及如何在退出容器时重新启动容器

condition：其一none，on-failure或者any（默认值：any）。

delay：重新启动尝试之间等待的 时间 ,指定为 持续时间 (默认值:0)。

max_attempts：放弃之前尝试重新启动容器的次数（默认值：永不放弃）。如果重新启动未在configure内成功完成 window，则此尝试不会计入配置max_attempts值。例如，如果max_attempts设置为“ 2”，并且第一次尝试重启失败，则可能会尝试两次以上重启。

window：决定重新启动是否成功之前要等待的 时间 ，指定为 持续时间 （默认值：立即决定）。

[8]update_config:配置应如何更新服务。对于配置滚动更新很有用

parallelism：一次更新的容器数。

delay：在更新一组容器之间等待的时间。

failure_action：如果更新失败，该怎么办。其中一个continue，rollback或者pause （默认：pause）。

monitor：更新每个任务以监视失败后的持续时间(ns|us|ms|s|m|h)（默认为0s）。

max_failure_ratio：更新期间可以容忍的故障率。

order：更新期间的 *** 作顺序。其中一个stop-first（旧任务，开始新的一个前停止），或者start-first（新的任务首先启动，并且正在运行的任务简单重叠）（默认stop-first） 注 ：仅支持V3.4及更高版本。

三.docker-compose.yml 详细内容：

此次部署的是wordpress-mysql的服务：

重点关注deploy的参数说明 。

注意image不能使用build参数 。

四.在swarm中使用docker-compose.yml需要使用的命令是

docker stack ----->docker的版本必须高于1.25

1)创建服务：

docker stack deploy 服务名称 --compose-file=docker-compose.yml

2)查看stack中的任务：

3）查看服务：

4） 列表stack

5)移除一个或多个stack

六.可视化容器：

---