k8s中的Mysql数据库持久化存储

 

一、配置：

环境：

CentOS7 

VMware

笔者配置了四台虚拟机：

K8S-Master节点: 3GB内存   2核CPU   20GB硬盘空间

K8S-node1节点:  2GB内存   2核CPU   30GB硬盘空间

K8S-node2节点:  2GB内存   2核CPU   30GB硬盘空间

镜像仓库节点:      2GB内存   2核CPU   50GB硬盘空间

二、节点规划：

使用三台虚拟机搭建K8S集群，使用一台虚拟机搭建镜像仓库。

每台虚拟机配置两块网卡，其中一块为“NAT模式”，用于拉取镜像等功能。

另外一块网卡为“仅主机模式”，用于集群节点间的通信。归划如下：

K8s-master节点:

仅主机模式：10.10.10.200

NAT模式：  192.168.200.130

K8S-node1节点:

仅主机模式：10.10.10.201

NAT模式：  192.168.200.131

K8S-node2节点:

仅主机模式：10.10.10.202

NAT模式：  192.168.200.132

镜像仓库节点:

仅主机模式：10.10.10.101

NAT模式：  192.168.200.150

三、版本信息

Linux内核版本：

Linux version 3.10.0-862.el7.x86_64 (builder@kbuilder.dev.centos.org)

(gcc version 4.8.5 20150623 (Red Hat 4.8.5-28) (GCC) )

 #1 SMP Fri Apr 20 16:44:24 UTC 2018

K8s集群版本为1.15.0版本：

四、基于StatefulSet与PV/PVC的MySql持久化存储实验

1. 在每个节点安装nfs服务

在“镜像仓库”节点，执行以下命令：

yum install -y nfs-common nfs-utils rpcbind

在k8s集群，执行以下命令：

yum install -y nfs-utils rpcbind

2. 在“镜像仓库”节点下，配置nfs服务器

mkdir /nfs_mysql

Chmod 777 /nfs_mysql/

(在测试环境中，为了不考虑用户属性，暂时赋予777权限，但在生产环境不推荐这样做)

Chown nfsnobody /nfs_mysql/

echo “/nfs_mysql *(rw,no_root_squash,no_all_squash,sync)” >>/etc/exports

cat /etc/exports

/nfs_mysql *(rw,no_root_squash,no_all_squash,sync)

systemctl start rpcbind

systemctl start nfs

3. 测试nfs服务是否可用

mkdir /test

showmount -e 10.10.10.101

可见/nfs_mysql *已暴露于共享目录，接下来测试挂载是否可用：

在master节点下执行：

mount -t nfs 10.10.10.101:/nfs_mysql /test/

echo "hello-world">>/test/1.txt

在镜像仓库节点下查看1.txt是否存在，若存在则挂载成功：

可见nfs服务可以正常使用，接下来删除test目录和1.txt

在镜像仓库下：

[root@hub nfs_mysql]# rm -f 1.txt

在Master节点下:

[root@k8s-master ~]# umount /test/

[root@k8s-master ~]# rm -rf /test/

同理,依照以上步骤同时创建：（提供多个mysql副本进行挂载）

nfs_mysql1

nfs_mysql2

完成后需要重启nfs服务

systemctl restart rpcbind

systemctl restart nfs

最终效果：

4. 将nfs封装成pv

创建mysql_test文件夹，将yaml文件统一保存在此目录下

mkdir mysql_test

cd mysql_test

vim mysql-pv.yml

mysql-pv.yml配置如下：

apiVersion: v1

kind: PersistentVolume

metadata:

  name: mysql-pv

spec:

  capacity:

    storage: 5Gi

  accessModes:

    -  ReadWriteOnce

  persistentVolumeReclaimPolicy: Retain

  storageClassName: nfs

  nfs:

    path: /nfs_mysql

    server: 10.10.10.101

---

apiVersion: v1

kind: PersistentVolume

metadata:

  name: mysql-pv1

spec:

  capacity:

    storage: 5Gi

  accessModes:

    -  ReadWriteOnce

  persistentVolumeReclaimPolicy: Retain

  storageClassName: nfs

  nfs:

    path: /nfs_mysql1

    server: 10.10.10.101

---

apiVersion: v1

kind: PersistentVolume

metadata:

  name: mysql-pv2

spec:

  capacity:

    storage: 5Gi

  accessModes:

    -  ReadWriteOnce

  persistentVolumeReclaimPolicy: Retain

  storageClassName: nfs

  nfs:

    path: /nfs_mysql2

    server: 10.10.10.101

注意：

在k8s集群15版本中recycle回收策略已被删除，只能用retain策略或者Delete策略。这里我们使用 persistentVolumeReclaimPolicy: Retain

 

执行命令：

kubectl create -f mysql-pv.yml

kubectl get pv

如图所示，即为Pv创建成功。

5. 部署MySQL，在mysql_test目录下编写mysql.yml，配置文件如下

apiVersion: v1

kind: Service

metadata:

  name: mysql

  labels:

    app: mysql

spec:

  ports:

  - port: 3306

    name: mysql

  clusterIP: None

  selector:

    app: mysql

---

apiVersion: apps/v1

kind: StatefulSet

metadata:

  name: mysql

spec:

  selector:

    matchLabels:

      app: mysql

  serviceName: "mysql"

  replicas: 3

  template:

    metadata:

      labels:

        app: mysql

    spec:

      containers:

      - name: mysql

        image: mysql:5.6

        env:

        - name: MYSQL_ROOT_PASSWORD

          value: password

        ports:

        - containerPort: 3306

          name: mysql

        volumeMounts:

        - name: mysql-persistent-storage

          mountPath: /var/lib/mysql

  volumeClaimTemplates:

  - metadata:

      name: mysql-persistent-storage

    spec:

      accessModes: ["ReadWriteOnce"]

      storageClassName: "nfs"

      resources:

        requests:

          storage: 1Gi  

执行以下命令，部署mysql服务：

kubectl create -f mysql.yml

如图可知，mysql按StatefulSet依次创建了mysql-0 mysql-1 mysql-2

查看各个Pod部在哪个节点：

6. 通过创建临时容器，使用MySQL客户端发送测试请求给MySQL master节点

注意：

主机名为mysql-0.mysql；跨命名空间的话，主机名请使用mysql-0.mysql. [NAMESPACE_NAME].如果没有指定命名空间，默认为default，即 mysql-0.mysql. default。

   

这里笔者打算关闭node2节点来模拟node2宕机，来测试是否实现数据的持久化存储，

所以我们向node2上的mysql1写入数据。

 

执行以下命令，访问mysql1：

kubectl run mysql-client --image=mysql:5.6 -it --rm --restart=Never -- mysql -h mysql-1.mysql.default -p password

创建数据库demo,并向messages表中写入hello-world

CREATE DATABASE demo 

CREATE TABLE demo.messages (message VARCHAR(250)) 

INSERT INTO demo.messages VALUES ('hello-world')

如图所示

接下来我们来关闭k8s-node2虚拟机，模拟宕机

查看nodes的运行状态，可知node2的状态已转变为NotReady

一段时间后，k8s将Pod MySql -1迁移到节点k8s-node1

由于时间过长，笔者把三个Pod都删除重启后，验证数据：

MySQL服务恢复，数据完好无损！

你所说的持久性连接是开机就自动运行吗，不大懂意思，请作下补充！

Mysql的服务安装完就会有，只要一开机就会自动运行这项服务，只要不用杀毒软件禁止就行了。右键我的电脑——管理——服务和应用程序——服务；里面可以看到这项服务，你的要是禁用了，启动就可以了。

如果想开机就启动Mysql这个程序，首先建立它的快捷方式。左下角点开始——程序——启动；双击点开，把快捷方式放进去就行了。或者直接打开那个文件夹，位置C:\Documents and Settings\Administrator\「开始」菜单\程序\启动，放进去一样的效果。

    最近在做mysql中间件的docker，搞了mycat、mysql route都拉不起来容器，最后试试proxysql可以，proxysql官方发布了镜像，感觉比较可靠。但是遇到一个小问题，笔者以前写过一篇文章-Docker MySQL数据持久化，用数据卷挂载的方式将mysql的数据（映射数据目录）持久化到宿主机。那么配置文件也是有必要来映射的，注意就可以避免在容器内安装编辑器。

    容器内有apt  和ap-get工具，安装前要apt update（或者apt-get  update，较慢）更新软件列表，然后apt install（或者apt-get  install），这样会增大容器空间，是没有必要的。笔者以前就是这样 *** 作的，但是比较麻烦，而且容器如果是内部网络的话来安装的话就更加不方便了。笔者在映射数据目录时使用-v /home/mysql/data:/var/lib/mysql 。但是使用同样的分发，今天在映射proxysql的配置文件proxysql.cnf时遇到一个麻烦。

    先看看笔者挂载时遇到的问题： Are you trying to mount a directory onto a file。

    都是文件，那里来的目录呢。映射的意思是将可以将宿主机目录挂载到容器中，那么可能就是将/home/mycentos/proxysql.cnf设别为一个目录了，因为容器内/etc/proxysql.cnf的是真实存在的文件。在/home/mycentos/目录下ls -l查看一下。

    果然是目录！辗转反侧找到原因是 docker启动容器进行挂载的时候,如果路径不存在,那么docker会自动创建一个目录。

    笔者的home/mycentos/目录下没有proxysql.cnf文件，挂载时docker就新建了一个proxysql.cnf的目录，但是这个对于挂载数据目录时是十分有用的，对于配置文件来说是不行的。于是笔者在目录home/mycentos/下新建了一个proxysql.cnf文件，再次运行docker run成功（前面运行失败的容器需要删除，不然名称冲突）。

docker run -itd --name proxysql -p 16032:6032 -p 16033:6033 -p 16070:6070 -v /home/mycentos/proxysql.cnf:/etc/proxysql.cnf proxysql/proxysql

    挂载后，容器内的/etc/proxysql.cnf配置文件是空的，不挂载的情况下是保持默认配置文件内容的，使用徐需要在编辑/home/mycentos/proxysql.cnf文件，然后进入容器后/etc/proxysql.cnf配置文件会跟随改变的。但是配置文件为空，那么就要从头开始配置，这对于配置文件很多的话是不方便的，保留原来的配置配置文件，再在里面修改会更加方便。这里笔者只能想到先运行一个容器，然后docker cp拷贝容器内的文件或者文件夹，在删除这个容器，另外开一个配置文件映射的容器。

    映射配置文件避免在容器内进行apt *** 作，使得容器膨胀过大。比如你要安装编辑器vi，首先要apt update更新，然后apt install ，相比于在容器外对其进行 *** 作来说，更加麻烦没必要。

---