minio_随笔_内存溢出

minio

一、竞品调研

当前的一些开源方案，这些存储方案里面可以分为两种：

一种是可以自定对象名称的；
另外一种是系统自动生成对象名称。

我们的对象名是自己生成的，里面包含了业务逻辑。

1、像 FS 就是国内大佬开源的一个分支存储，但是因为不能自定义文件名所以不合适。
2、还有像领英的 Ambry、MogileFS 其实都不能自定对象名的，所以是不合适的。
3、LeoFS 对我们来说不是很可控，所以不合适。
4、TFS 是淘宝开源的，但是目前已经很少有人维护它并且也不是很活跃，所以当时就没有考虑。
5、ceph 是一个比较强大的分布式存储，但是它整个系统非常复杂需要大量的人力进行维护，对我们的产品不是很符合，所以暂时不考虑。

因为原项目文件使用阿里云OSS上传,现需求要部署到客户本地不可以使用外网,所以要替换文件存储方案MinIO文档地址
MinIO 是在 GNU Affero 通用公共许可证 v3.0 下发布的高性能对象存储。它是与 Amazon S3 云存储服务兼容的 API。使用 MinIO 为机器学习、分析和应用程序数据工作负载构建高性能基础架构。，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等

MinIO可单点部署,可分布式集群部署, *** 作部署方便,可支持扩容,SDK和阿里OSS用起来差不多,刚好满足我的需求,唯一缺陷就是不支持动态扩容.

minio是开源对象存储产品，具有简单、稳定、高性能特性。本文将minio的基本配置的一些方法。minio有单点运行、纠删码、分布式纠删码三种方式。单点运行配置简单，只需启动minio服务并指定相关数据目录即可。在生产环境中常用的纠删码和分布式纠删码两种，纠删码类型是minio在单节点服务器配置多个数据盘作为数据存放目录的配置方式。分布式纠删码是minio跨节点配置方式，所有节点的盘位组建纠删码，保证业务数据访问的高可用。

1、MinIO的架构

左边是 MINIO 集群的示意图，整个集群是由多个角色完全相同的节点所组成的。因为没有特殊的节点，所以任何节点宕机都不会影响整个集群节点之间的通信。
通过 rest 跟 RPC 去通信的，主要是实现分布式的锁跟文件的一些 *** 作。

右边这张图是单个节点的示意图，每个节点都单独对外提供兼容 S3 的服务。

2 概念

Drive：可以理解为一块磁盘

Set：一组Drive的集合
- 一个对象存储在一个Set上
- 一个集群划分为多个Set
- 一个Set包含的Drive数量是固定的
  - 默认由系统根据集群规模自动计算得出
  - MINIO_ERASURE_SET_DRIVE_COUNT
- 一个SET中的Drive尽可能分布在不同的节点上

(1)上图中，每一行是一个机器节点，这里有32个集群，每个节点里有一个小方块，我们称之为Drive，Drive可简单地理解为磁盘。一个节点有32个Drive，相当于32个磁盘。
(2)Set是另外的概念，Set是一组Drive的集合，所有红色标识的Drive组成了一个Set。

(3)一个对象最终是存储在一个Set里面的。

3、MinIO核心流程 3.1、数据编码

Erasure Code：冗余编码

将一个对象编码成若干个数据块和校验块
Reed-Solomon算法
低冗余、高可靠

MinIO的编码方式，我们简称为Erasure Code码，是通过算法还原数据的方法。MinIO使用Reed-Solomon算法，该算法把对象编码成若干个数据块和校验块。
为了表述方便，把数据库和校验块统称为编码块，之后我们可以通过编码块的一部分就能还原出整个对象。

如上图，如我们所知，一个对象存储在一个Set上面，这个Set包含16个Drive，其中灰色的一半是数据库，橙色的一半是校验块，这种方式最多能忍受一半的编码丢失或损坏。所有编码块的大小是原对象的2倍，跟传统多副本存储方案相比，他只冗余存了一份，但可靠性更高。

接下来讲Bit Rot Protection，直译就是腐烂。它只物理设备上的一些文件细微的损坏，还没有被 *** 作系统所硬件所察觉，但是他已经损坏了。
Bit Rot Protection：

HighwayHash

MinIO把之前的编码块进行 HighwayHash 编码，最后要校验这个编码，以确保每个编码是正确的。

基于 Erasure Code 和 Bit Rot Protection 这两个特性，所以MinIO的数据可靠性做的高。

另外，MinIO提供了一个管理工具，可以对所有编码块进行校验，如果发现编码块有问题，再去修复它。

3.2、存储形式

上图直观地展示了每个节点上的数据存放形式。所有对象的编码块和meta信息，最终是以目录和文件的形式，存储在文件系统上的。

比如My Bucket就是在所有节点的顶级目录创建了对应的目录叫My Bucket。然后当我们上传一个对象的时候，就会在这个对象所对应的Set上面创建一个目录叫My Object，之后把所有编码块的数据跟meta信息都保存在此目录下面，这就是MinIO的真实存储数据的方式。

meta数据是json文件，编码块是part.1文件。黑色的右图是meta信息示例图，里面除了包含正常的meta信息外，还包括了怎样做ec编码，以便之后可以解码出来。

3.3 存储机制

Minio 使用纠删码 erasure code和校验和 checksum。即便丢失一半数量（N/2）的硬盘，仍然可以恢复数据。

校验和

保护数据免受硬件故障和无声数据损坏

纠删码

纠删码是一种恢复丢失和损坏数据的数学算法，目前，纠删码技术在分布式存储系统中的应用主要有三类，阵列纠删码（Array Code: RAID5、RAID6等）、RS(Reed-Solomon)里德-所罗门类纠删码和LDPC(LowDensity Parity Check Code)低密度奇偶校验纠删码。Erasure Code是一种编码技术，它可以将n份原始数据，增加m份数据，并能通过n+m份中的任意n份数据，还原为原始数据。即如果有任意小于等于m份的数据失效，仍然能通过剩下的数据还原出来。

Minio采用Reed-Solomon code将对象拆分成N/2数据和N/2 奇偶校验块。这就意味着如果是12块盘，一个对象会被分成6个数据块、6个奇偶校验块，可以丢失任意6块盘（不管其是存放的数据块还是奇偶校验块），仍可以从剩下的盘中的数据进行恢复。

RS code编码数据恢复原理

RS编码以word为编码和解码单位，大的数据块拆分到字长为w（取值一般为8或者16位）的word，然后对word进行编解码。数据块的编码原理与word编码原理相同，后文中以word为例说明，变量Di, Ci将代表一个word。
把输入数据视为向量D=(D1，D2，..., Dn）, 编码后数据视为向量（D1, D2,..., Dn, C1, C2,.., Cm)，RS编码可视为如下（图1）所示矩阵运算。
图1最左边是编码矩阵（或称为生成矩阵、分布矩阵，Distribution Matrix），编码矩阵需要满足任意n*n子矩阵可逆。为方便数据存储，编码矩阵上部是单位阵（n行n列），下部是m行n列矩阵。下部矩阵可以选择范德蒙德矩阵或柯西矩阵。

RS最多能容忍m个数据块被删除。数据恢复的过程如下：
（1）假设D1、D4、C2丢失，从编码矩阵中删掉丢失的数据块/编码块对应的行。（图2、3）
（2）由于B' 是可逆的，记B'的逆矩阵为 (B'^-1)，则B' * (B'^-1) = I 单位矩阵。两边左乘B' 逆矩阵。（图4、5）
（3）得到如下原始数据D的计算公式。

（4）对D重新编码，可得到丢失的编码

3.4、上传和下载流程

1、上传流程：
1）先根据对象名去做一个Hash，计算出对应的Set，然后来创建临时目录。创建临时目录的目的是为了确保数据强一致性，所以中间数据都会被写入到这个临时目录里（直到所有数据写完后，再统一把目录写入到最终的路径上）
2）接下来读数据编码，每次最多读10M的数据处理，然后做编码，再被写入到磁盘上，循环的过程就是把数据保存下来。
3）数据保存完后，再写meta信息。
4）然后挪到最终的位置上，删除临时目录。

2、读取流程：
1）先根据对象名做Hash，找到对象对应的Set
2）然后去读取meta信息，通过meta信息来获得编码的方式，然后去解码。它是以10M数据做EC编码，读的时候也是逐个part解析，每个part给他做解码，然后写入到一个io write里面。
备注：我们刚刚说了，做EC码时，只要一半的编码块就能还原整个对象，所以读meta时读了N份，但是读数据时只要读N/2就可以了。

四、部署和扩容 1、如何部署

#启动一个12个节点的MinIO集群，每个节点有12个Drive
minio server http://10.3.1.{1...12}/data/{1...12}

MinIO的部署默认不需要配置文件，几秒钟就可以把集群搭建起来，把简洁做到了极致。

2、MinIO压测

可采用 cosBench 工具做压测，cosBench是专门对对象存储做压测的工具。

在12个节点，每个节点12个盘，混合读写64KB。
结果是：
1、读请求：4千QPS，响应的平均延迟是35毫秒；
2、写请求：900 QPS时，平均响应时间是45毫秒。

五、MinIO的局限

局限1、搭建集群后，不允许扩容

MinIO一旦集群搭建成功后，就不可以更改集群节点数。因为存在在MinIO的对象到底存储在哪个

局限2、大集群最大节点数为32

MinIO实现了一个峰值锁叫DSync。它在节点数量少时，性能非常高；但节点数量过多时，性能就下降了。功能实现的最大节点就是32，所以导致MinIO单个集群的最大节点数也是32。

官方回复是，他们十年做GlusterFS的经验看，一个超大的集群是难以维护的，尤其是宕机之后的恢复时间也特别长，所以他们在做MinIO的时候一个核心设计理念就是简单，易于维护。

扩容方案

1、可同时向多个集群写入
2、当集群容量达到阈值，从写集群中剔除，变成只读
3、读取的时候，根据编码到文件名上的集群信息，从而路由到正确的集群。

MinIO本身提供一个叫联合模式的方式来组建集群，但是要额外引入其他依赖。可以考虑在LB层根据其请求里面的一些header信息做流量转发。

当配置多个集群的时候，可以先从配置中获取可用的集群，再从LB上根据请求的header信息，可控制向哪个集群写。当某个集群的容量达到阈值时，可以从配置中剔除该集群，把他变成只读集群。读取的时候把集群ID或信息码编码到文件名上去，这样可以通过解析文件名就能获取到对应的集群。

六、关于IO

IO有Buffered IO 和 Direct IO：

buffered IO：在读写的时候回经过一个page Cache
Direct IO：是绕过page Cache，直接对磁盘 *** 作，所以性能会差些。

再回顾下MinIO的写入流程：MinIO数据最终的形式是写入文件系统的文件，也就是随机写的。随机写的性能肯定不如顺序写。
其次，EC编码在低冗余情况下是高可靠的，但同时也让他写入数量变多了，基本上一个对象写入需要做2N次 *** 作，其实N次是数据的 *** 作，N是meta的 *** 作。基于上述原理，可总结出下述优化方案：
优化方案1、小文件合并成大文件

小文件合并成大文件，只需要把底层文件的部分稍微改一下，把原来随机写的小文件改成顺序写的大文件，这样就可以利用page cache来提供磁盘的能力。

具体实现：预先打开一个文件，分配一个固定的空间，目的是保证文件在磁盘上真是存储的数据是连续的。当写文件的时候，就给加锁，保证数据写入，因为这些原因，小文件的索引需要保存下来，所以我们引入了一个levelDB像大文件的ID和size的一些东西，之所以采用level DB是因为他的性能非常好。

接下来看MinIO的读流程：它主要发生在IO的地方有两个：一个是meta信息，然后再读data的时候，至少从N/2个节点上读取。每一次读取meta或者data的时候包括两部分：第一个从levelDB中读取索引，从大文件中读取对应的数据。

然后我们针对这个做了一个优化方案，我们把meta信息，因为meta信息没多少，我们把他压缩到level DB里，直接读就行了，不用读索引了。

再回顾下MinIO的读流程：
1、从N个节点上读取meta信息
2、至少从N/2个几点上读取data
3、每一次读取的时间包括两部分：
- 从level DB读取索引
- 从大文件中读取对应的数据
4、并发读的最终时间取决于最长的一个

优化方案总结

1、将meta信息压缩后，直接存入level DB，减少一组IO
2、将level DB存在性能更高的SSD
3、降低单个Set的Drive数量

Minio 是个基于 Golang 编写的开源对象存储套件，基于Apache License v3.0开源协议，虽然轻量，却拥有着不错的性能。它兼容亚马逊S3云存储服务接口。可以很简单的和其他应用结合使用，例如 NodeJS、Redis、MySQL等。

MinIO 的应用场景

场景1：如下图，MinIO 的应用场景除了可以作为私有云的对象存储服务来使用，也可以作为云对象存储的网关层，无缝对接 Amazon S3 或者 MicroSoft Azure 。

场景2：单主机单硬盘模式

场景3：单主机多硬盘模式

场景4：多主机多硬盘分布式

特点

高性能：作为高性能对象存储，在标准硬件条件下它能达到55GB/s的读、35GG/s的写速率，并而 MinIO 支持一个对象文件可以是任意大小，从几kb到最大5T不
可扩容：不同MinIO集群可以组成联邦，并形成一个全局的命名空间，并跨越多个数据中心
云原生：容器化、基于K8S的编排、多租户支持
Amazon S3兼容：Minio使用Amazon S3 v2 / v4 API。可以使用Minio SDK，Minio Client，AWS SDK和AWS CLI访问Minio服务器。
可对接后端存储: 除了Minio自己的文件系统，还支持DAS、 JBODs、NAS、Google云存储和Azure Blob存储。
SDK支持:基于Minio轻量的特点，它得到类似Java、Python或Go等语言的sdk支持
- GO SDK： https://github.com/minio/minio-go
- JavaSDK： https://github.com/minio/minio-java
- PythonSDK： https://github.com/minio/minio-py
Lambda计算: Minio服务器通过其兼容AWS SNS / SQS的事件通知服务触发Lambda功能。支持的目标是消息队列，如Kafka，NATS，AMQP，MQTT，Webhooks以及Elasticsearch，Redis，Postgres和MySQL等数据库。
有 *** 作页面
功能简单: 这一设计原则让MinIO不容易出错、更快启动
支持纠删码：MinIO使用纠删码、Checksum来防止硬件错误和静默数据污染。在最高冗余度配置下，即使丢失1/2的磁盘也能恢复数据

参考

minio原理和使用 - 简书

MinIO学习笔记_胜天半子-CSDN博客_minio

单节点部署

MinIO | Code and downloads to create high performance object storage

1.docker 方式

[root@localhost s3]# docker run -p 9001:9001  -d harbor.jettech.com/jettechtools/k3s/minio:latest server ./data --console-address ":9001"

MinIO 部署开始使用默认的根凭据minioadmin:minioadmin。您可以使用 MinIO 控制台测试部署，这是一个
内置于 MinIO 服务器的嵌入式对象浏览器。将主机上运行的 Web 浏览器指向http://127.0.0.1:9000并使用

您还可以使用任何与 S3 兼容的工具进行连接，例如 MinIO 客户端mc命令行工具。有关
使用mcmc命令行工具的更多信息，请参阅使用 MinIO 客户端进行测试。对于应用程序开发，
见MinIO | The MinIO Quickstart Guide并单击MinIO的SDK中导航，查看MinIO的SDK支持的语言。

注意：要在持久存储上部署 MinIO，您必须使用该podman -v选项将本地持久目录从主机 *** 作系统映射到容器。例如，-v /mnt/data:/data将主机 *** 作系统驱动器映射/mnt/data到/data容器上。

2.二进制或rpm包方式

rpm：
[root@localhost data]# wget https://dl.min.io/server/minio/release/linux-amd64/minio-20211229064906.0.0.x86_64.rpm
或
二进制
[root@localhost s3]# wget https://dl.minio.io/server/minio/release/linux-amd64/minio

2.1 配置,编辑 /etc/default/minio 配置文件，按照实际目录配置 MINIO_VOLUMES、 MINIO_ACCESS_KEY 、 MINIO_SECRET_KEY 等参数，如果自定义minio占用端口号，需要配置 MINIO_OPTS 参数，但一般使用默认端口号9000，所以无需配置该参数。但要确保 MINIO_VOLUMES 有读写权限。https://github.com/minio/minio-service/tree/master/linux-systemd

MINIO_VOLUMES 目录有读写权限
[root@localhost s3]# cat /etc/default/minio 
MINIO_VOLUMES="/root/wubo/s3/data"
MINIO_ACCESS_KEY=admin
MINIO_SECRET_KEY=123456aA
MINIO_OPTS="--address :9000  --console-address :9001   --listeners 1"



[root@localhost s3]# cat <> /etc/default/minio
# Volume to be used for MinIO server.
MINIO_VOLUMES="/tmp/minio/"
# Use if you want to run MinIO on a custom port.
MINIO_OPTS="--address :9199 --console-address :9001"
# Root user for the server.
MINIO_ROOT_USER=Root-User
# Root secret for the server.
MINIO_ROOT_PASSWORD=Root-Password
EOT

本地NAS运行minio,注解：此种方式适合在数据存储目录为NAS目录时的配置方法。

gluster v set fareyes disperse.eager-lock off
export MINIO_ACCESS_KEY=minio
export MINIO_SECRET_KEY=minio123
minio gateway nas /shared/nasvol

2.2 在 /etc/systemd/system 目录下，配置 minio.service 服务。rpm自动就已经有了不用下载

cd /etc/systemd/system/; curl -O https://raw.githubusercontent.com/minio/minio-service/master/linux-systemd/minio.service

编辑 /etc/systemd/system/minio.service 文件，可采用默认 User=root 、Group=root参数，也可根据实际情况配置此参数。

[root@localhost s3]# cat /etc/systemd/system/minio.service 
[Unit]
Description=MinIO
documentation=https://docs.min.io
Wants=network-online.target
After=network-online.target
AssertFileIsExecutable=/usr/local/bin/minio

[Service]
WorkingDirectory=/usr/local

User=root
Group=root
ProtectProc=invisible

EnvironmentFile=-/etc/default/minio
ExecStartPre=/bin/bash -c "if [ -z "${MINIO_VOLUMES}" ]; then echo "Variable MINIO_VOLUMES not set in /etc/default/minio"; exit 1; fi"
ExecStart=/usr/local/bin/minio server $MINIO_OPTS $MINIO_VOLUMES

# Let systemd restart this service always
Restart=always

# Specifies the maximum file descriptor number that can be opened by this process
LimitNOFILE=1048576

# Specifies the maximum number of threads this process can create
TasksMax=infinity

# Disable timeout logic and wait until process is stopped
TimeoutStopSec=infinity
SendSIGKILL=no

[Install]
WantedBy=multi-user.target

# Built for ${project.name}-${project.version} (${project.name})

2.3 启动服务

systemctl enable minio.service --now

参考官方链接：
https://github.com/minio/minio-service/tree/master/linux-systemd

服务器数据目录结构

[root@localhost s3]# find data/bucket*
data/bucket1
data/bucket1/b1
data/bucket1/b1/b1.txt
data/bucket2
data/bucket2/b2
data/bucket2/b2/b2.tx

在服务器上面创建

mkdir data/bucket3/b3 -p
echo b3b3b3b3 >data/bucket3/b3/b3.txt

此时也有了。

我可以理解为是个文件服务器，实时能反映出系统目录下面的情况，类似NFS，ftp，nginx等文件服务器，这些知识不能在线 *** 作而已。不知道我理解的对不对

客户端【mc】

MinIO Client (mc) — MinIO Baremetal documentation

MinIO | MinIO Client Quickstart Guide

MinIO Client (mc) — MinIO Baremetal documentation

1）下载赋权限

[root@localhost s3]# wget https://dl.min.io/client/mc/release/linux-amd64/mc
[root@localhost s3]# chmod +x mc 
[root@localhost s3]# mv /usr/local/bin/

MinIO Client (mc) — MinIO Baremetal documentation2）Add a Cloud Storage Service

To add one or more Amazon S3 compatible hosts, please follow the instructions below. mc stores all its configuration information in ~/.mc/config.json file.

重要的

以下示例临时禁用 bash 历史记录以降低身份验证凭据以纯文本形式泄露的风险。这是一项基本的安全措施，并不能减轻所有可能的攻击媒介。在命令行上输入敏感信息时，请遵循 *** 作系统的安全最佳实践。

bash +o history
mc alias set     --api  --path 
bash -o history

Example

: 可以是用户名或 Service Accounts 创建账户
：可以是密码或 Service Accounts 创建秘钥

[root@localhost s3]# mc config host add jettechminio http://172.16.10.5:9000 3NY2SNH36G6JLU84IOBH AgTeNj6D9rxJQGbh2MSYbfKzSfmJkzrvmlLqzyb3 --api s3v4



mc 别名使用
mc alias set ALIAS URL ACCESSKEY SECRETKEY
[root@localhost s3]# mc alias set jettechminio http://172.16.10.5:9000 admin 123456aA --api s3v4
Added `jettechminio` successfully.

[root@localhost s3]# mc alias set jettechminio http://172.16.10.5:9000 3NY2SNH36G6JLU84IOBH AgTeNj6D9rxJQGbh2MSYbfKzSfmJkzrvmlLqzyb3 --api s3v4
Added `jettechminio` successfully.

测试连接

[root@localhost s3]# mc admin info jettechminio
●  172.16.10.5:9000
   Uptime: 2 hours 
   Version: 2021-12-29T06:49:06Z
   Network: 1/1 OK 

30 B Used, 6 Buckets, 4 Objects

列出数据列表

[root@localhost s3]# mc ls jettechminio/
[2021-12-31 14:57:07 CST]     0B bucket1/
[2021-12-31 15:00:47 CST]     0B bucket2/
[2021-12-31 15:13:30 CST]     0B bucket3/
[2021-12-31 16:57:24 CST]     0B bucket4/
[2021-12-31 16:59:21 CST]     0B bucket5/
[root@localhost s3]# mc ls jettechminio/bucket1/b1
[2021-12-31 14:59:41 CST]     5B b1.txt

创建bucket

[root@localhost s3]# mc mb data/bucket6/b6
Bucket created successfully `data/bucket6/b6`.
[root@localhost s3]# ls
b4.txt  data  mc  minio  minio-20211229064906.0.0.x86_64.rpm
[root@localhost s3]# ls data/
bucket1  bucket2  bucket3  bucket4  bucket5  bucket6

测试上传一个文件

[root@localhost s3]# mc cp b4.txt data/bucket4/b4
 0 B / ? ┃░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░b4.txt:                          8 B / 8 B ┃▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓┃ 1.55 KiB/s 0s[root@localhost s3]# 
[root@localhost s3]# mc ls jettechminio/bucket4/b4
[2021-12-31 17:16:56 CST]     8B b4

Shell autocompletionMinIO | MinIO Client Quickstart Guide

In case you are using bash, zsh or fish. Shell completion is embedded by default in mc, to install auto-completion use mc --autocompletion. Restart the shell, mc will auto-complete commands as shown below.

 [root@localhost s3]# mc --autocompletion.

[root@localhost s3]#  mc 
admin    config   diff     find     ls       mirror   policy   session  sql      update   watch
cat      cp       event    head     mb       pipe     rm       share    stat     version

纠删码类型是minio在单节点服务器配置多个数据盘作为数据存放目录的配置方式,我这类采用4个目录方式，相当于4个磁盘，官方介绍：分布式Minio至少需要4个硬盘，使用分布式Minio自动引入了纠删码功能

[root@localhost s3]# ls
data1  data2  data3  data4

高可用分布式纠删码是minio跨节点配置方式，所有节点的盘位组建纠删码，保证业务数据访问的高可用。

欢迎分享，转载请注明来源：内存溢出

原文地址: https://outofmemory.cn/zaji/5686148.html

minio

发表评论

评论列表（0条）