理解k8s 的 Ingress

service 是 k8s 暴露>

本文会以 最简单 、 最直接 、 最完整 的方式记录kubernetes（下面统称K8S）单master多工作节点（worker nodes）的集群步骤

首先要简单了解一下本文的3个核心概念：

内存建议至少4G

问：如何查看主机名？

答：执行命令hostname

问：如何修改主机名？

答：永久生效的做法：执行命令vi /etc/hostname，把第一行去掉（不能注释掉，要去掉），然后重新写上自定义的主机名（注意命名规范），保存并重启后生效；

临时生效的做法：执行以下命令

问：如何查看MAC地址？

答：执行命令ip link，然后看你的第一网卡

问：如何查看product_uuid？

答：执行命令sudo cat /sys/class/dmi/id/product_uuid

注意：30000-32767这个端口范围是我们创建服务的端口必须要设置的一个范围（如果设置范围以外的会有限制提示并创建失败），这是K8S规定的。

另外，如果你要直接关闭防火墙可以执行

⑥必须禁用Swap

Swap total大于0，说明Swap分区是开启的

问：如何关闭Swap？

答：编辑文件/etc/fstab，在swap行前面加上#号注释， 保存并重启服务器

再次查看分区状态，已生效

常见的容器引擎（Container runtime，简称runtime）：

本文使用的容器引擎是Docker

安装完成后查看版本：

当出现可能跟Docker引擎相关的奇怪异常时可以尝试把Docker卸载干净并重新安装，但一定要注意镜像、容器、卷或配置文件这些是否需要备份。

下面记录卸载Docker引擎的步骤：

①卸载 Docker Engine、CLI 和 Containerd 包：

②主机上的映像、容器、卷或自定义配置文件不会自动删除。删除所有镜像、容器和卷：

③配置文件如果有不合法的字符时会导致启动失败，我们需要将其删除然后重建

此时Docker引擎已卸载干净

官网用的是谷歌的yum源，因为国内是连不上的，所以这里替换成阿里提供的yum源

①安装

从安装信息中可以看到版本号是122

Installing:

kubeadm x86_64 1224-0 kubernetes 93 M

kubectl x86_64 1224-0 kubernetes 97 M

kubelet x86_64 1224-0 kubernetes 20 M

②启动

这就是一个驱动程序，注意cgroup和cgroupfs不要混淆了

引用官方的一段话

“由于 kubeadm 把 kubelet 视为一个系统服务来管理，所以对基于 kubeadm 的安装， 我们推荐使用 systemd 驱动，不推荐 cgroupfs 驱动。”

kubeadm默认是使用systemd 驱动，而我们的Docker默认驱动是cgroupfs（docker info可以查看），所以需要将Docker的驱动改成systemd

①编辑Docker配置文件

②重启Docker服务

再次docker info查看驱动信息已变成了systemd

工作节点（worker nodes）的最小配置就到这里了

①镜像源参数说明

默认情况下, kubeadm 会从 k8sgcrio 仓库拉取镜像，国内是拉不了的。官方文档明确表示允许你使用其他的 imageRepository 来代替 k8sgcrio。

--image-repository 你的镜像仓库地址

接下来我找了一些国内的镜像源，并简单做了下分析

综合上述统计，我选择阿里云的镜像源

②ip地址范围参数说明

--pod-network-cidr =19216800/16

注意:如果19216800/16已经在您的网络中使用，您必须选择一个不同的pod网络CIDR，在上面的命令中替换19216800/16。

集群初始化命令：

因为我用的是演示机器，所以这里把完整的执行信息都贴出来方便查阅，平时工作中一定要注意保护好敏感的信息（我的ip地址范围是自定义的便于下面的功能演示，另外初次init需要下载镜像文件，一般需要等几分钟）

如上所示，集群初始化成功，此时一定要注意看上面执行结果最后的那部分 *** 作提示，我已用标明了初始化成功后还需要执行的3个步骤

注意：如果init成功后发现参数需要调整，可以执行kubeadm reset，它的作用是尽最大努力恢复kubeadm init 或者 kubeadm join所做的更改。

To start using your cluster, you need to run the following as a regular user:

翻译：开始使用集群前，如果你是普通用户（非root），你需要执行以下的命令：

Alternatively, if you are the root user, you can run:

翻译：或者，如果你使用的是root，你可以执行以下命令：

（注意：export只是临时生效，意味着每次登录你都需要执行一次）

网络配置配的就是Pod的网络，我的网络插件选用calico

cidr就是ip地址范围，如果您使用 pod CIDR 19216800/16，请跳到下一步。

但本文中使用的pod CIDR是19210000/16，所以我需要取消对清单中的 CALICO_IPV4POOL_CIDR 变量的注释，并将其设置为与我选择的 pod CIDR 相同的值。（注意一定要注意好格式，注意对齐）

可根据需求自定义清单，一般不需要的就直接跳过这步

在所有的工作节点上执行join命令（复制之前初始化成功后返回的加入集群命令到所有的工作节点执行即可）

master上查看所有节点的状态

到这里集群已经创建完成

最后我再安装K8S的可视化界面kubernetes-dashboard，方便我们日常使用

①下载yaml文件

②修改yaml文件，新增type和nodePort，使服务能够被外部访问

③安装并查看运行情况

④新建用户

文件创建完成后保存并apply

⑤获取Token，用于界面登录

⑥登录dashboard

192168189128是我的master服务器ip，另外要注意必须使用>

基于k8s搭建的一套CI/CD系统，其目的是方便k8s和服务端相关技术的实践，在搭建过程中会涉及docker、dockerhub、k8s、github、jenkins、kubesphere

一台Mac物理机+3台Centos虚拟机

Docker是这个教程的基石，对Docker一点都不了解的同学，建议去B站看一下我发布的 Docker小白快速入门+实战 ，课程比较简洁，主要帮助不了解Docker的同学快速掌握并应用
安装命令如下

k8s是一个容器编排工具，可以轻松实现应用的扩/缩容、集群等，具体安装方式参考文档我的 k8s集群安装

这是k8s的一个web管理界面，用于简化k8s的 *** 作。

在k8s继续的所有节点上都需要安装nfs-utils、rpcbind，搭建步骤参考我的 Centos7搭建NFS服务端

kubesphere明确说明基于k8s安装需要配置DefaultStorageclass，创建步骤参考我的 k8s基于NFS创建Storageclass

安装时间会有一点长，安装步骤参考我的 k8s集群安装Kubersphere

jenkins在这里是作为一个纽带的作用，因为jenkins在构建项目时可以执行shell脚本，因此通过shell脚本轻松的将github、docker注册服务器、k8s集群三者关联起来，从而简化jenkins的使用（就是一个偏运维的工具而已）

这里之所以使用Docker安装Jenkins，是因为我不想在物理机上安装jenkins（毕竟只是一个工具），而虚拟机已经启动了三台，再创建就会影响我的物理机性能，所以这里直接使用物理机的Docker跑Jenkins，用完就删了。
安装步骤参考我的 基于Docker安装Jenkins

免密访问k8s集群的master服务器
参考我的 Linux配置免密登录 ，这里需要进入jenkins容器内部进行 *** 作

配置github的ssh key访问

在jenkins创建一个自由风格的软件->填写仓库地址->编写如下脚本

一个简单的CI/CD系统就搭建完成了，后面可以把更多的重心放在k8s资源文件的编写上，理解yaml中各节点的含义也是一项不小的工作量，搞清楚k8s的各个模块，对服务端的架构设计是有益的。

Pod是非永久性资源，会动态创建和销毁，pod的ip会变化。这会导致一类Pod（业务1）访问另一类Pod（业务2）需要找出并跟踪Pod（业务2）的IP地址，再者Pod（业务2）是多个的，如何提供负载均衡呢？虽然Pod1通过轮询一组Pod的ip可以实现，但会Pod就需要增加负载均衡的逻辑，Pod就变得不纯粹了，不符合单一设计原则。于是有了Service，把一类Pods上的应用程序抽象成服务，并提供可以访问他们的策略。

有两种方式： 选择算符的Service 和 没有选择算符的Service

这是最常见的方式，指定 specselector 即通过打标签的方式，主要是针对集群内部同命名空间的Pod

创建上面的Service,会自动创建相应的 Endpoint 对象

查看自动创建的Endpoint对象

主要是针对希望服务指向另一个名字空间或者其他集群中的服务，比如外部的ES集群

此服务没有选择算符，因此不会自动创建相应的 Endpoint 对象, 需要手动动添加 Endpoint 对象，将服务手动映射到运行该服务的网络地址和端口

该模式下，节点上kube-proxy 持续监听 Service 以及 Endpoints 对象的变化，并设置进本地节点iptables，请求反向代理全部交给 iptables 来实现。每个Node节点都会配置所有Service进iptables，当捕获到Service的clusterIP和端口请求，利用注入的iptables，将请求重定向到Service的对应的Pod，v12版本之后的默认模式。

通过查看iptables规则可以看到：

kube-proxy 在 iptables 模式下随机选择一个后端Pod，利用Pod 就绪探测器验证Pod是否正常，kube-proxy只会把正常的Pod写入iptables，避免流量进入不正常的Pod。

kube-proxy 会监视 Kubernetes 控制平面对 Service 对象和 Endpoints 对象的添加和移除 *** 作。 对每个 Service，它会在本地 Node 上打开一个端口（随机选择）。请求先经过iptables规则，当捕获到达Service 的 clusterIP和 Port 的请求，并重定向到代理端口（kube-proxy），再由代理端口再代理请求到后端Pod（v12版本之前的默认模式）

IPVS模式是利用linux的IPVS模块实现，同样是由kube-proxy实时监视集群的service和endpoint，调用netlink接口相应的创建ipvs规则，由ipvs实现负载均衡访问。IPVS 专为负载平衡而设计，并基于内核内哈希表，有更高的网络流量吞吐量（iptables 模式在大规模集群 比如10000 个服务中性能下降显著），并且具有更复杂的负载均衡算法（最小连接、局部性、 加权、持久性）。（v18以后新支持的）

上面讲的Pod之间调用，采用Service进行抽象，服务之间可以通过clusterIP 进行访问调用，不用担心Pod的销毁重建带来IP变动，同时还能实现负载均衡。但是clusterIP也是有可能变动，况且采用IP访问始终不是一种好的方式。通过 DNS 和 环境变量 可以实现通过服务名现在访问。

k8s采用附加组件（CoreDNS）为集群提供DNS服务，会为每个服务创建DNS记录，CoreDNS只为Service和Pod创建DNS记录。kubernetes强烈推荐采用DNS方式

例如，如果你在 Kubernetes 命名空间 my-ns 中有一个名为 my-service 的服务， 则控制平面和 DNS 服务共同为 my-servicemy-ns 创建 DNS 记录。 my-ns 命名空间中的 Pod 应该能够通过按名检索 my-service 来找到服务，其他命名空间中的 Pod 必须将名称限定为 my-servicemy-ns 。 这些名称将解析为为服务分配的集群 IP。

Kubernetes 还支持命名端口的 DNS SRV（服务）记录。 如果 my-servicemy-ns 服务具有名为 >