Kubeadm部署K8S（kubernetes)集群（测试、学习环境）-单主双从

Kubeadm部署K8S（kubernetes)集群（测试、学习环境）-单主双从 1. kubernetes介绍 1.1 kubernetes简介

kubernetes的本质是一组服务器集群，它可以在集群的每个节点上运行特定的程序，来对节点中的容器进行管理。

目的是实现资源管理的自动化，主要提供了如下的主要功能：

自我修复：一旦某一个容器崩溃，能够在1秒中左右迅速启动新的容器

d性伸缩：可以根据需要，自动对集群中正在运行的容器数量进行调整

服务发现：服务可以通过自动发现的形式找到它所依赖的服务

负载均衡：如果一个服务起动了多个容器，能够自动实现请求的负载均衡

版本回退：如果发现新发布的程序版本有问题，可以立即回退到原来的版本

存储编排：可以根据容器自身的需求自动创建存储卷

1.2 kubernetes组件

一个kubernetes集群主要是由控制节点(master)、工作节点(node)构成，每个节点上都会安装不同的组件。

master：集群的控制平面，负责集群的决策(管理)

ApiServer:资源 *** 作的唯一入口，接收用户输入的命令，提供认证、授权、API注册和发现等机制

Scheduler:负责集群资源调度，按照预定的调度策略将Pod调度到相应的node节点上

ControllerManager:负责维护集群的状态，比如程序部署安排、故障检测、自动扩展、滚动更新等

Etcd：负责存储集群中各种资源对象的信息

node：集群的数据平面，负责为容器提供运行环境(干活)

Kubelet:负责维护容器的生命周期，即通过控制docker，来创建、更新、销毁容器

KubeProxy:负责提供集群内部的服务发现和负载均衡

Docker:负责节点上容器的各种 *** 作

举例：以部署一个nginx服务来说明kubernetes系统各个组件调用关系

1. 首先要明确，一旦kubernetes环境启动之后，master和node都会将自身的信息存储到etcd数据库中，
2. 一个nginx服务的安装请求会首先被发送到master节点的apiServer组件，
3. apiServer组件会调用scheduler组件来决定到底应该把这个服务安装到哪个node节点上，在此时，它会从etcd中读取各个node节点的信息，然后按照一定的算法进行选择，并将结果告知apiServer，
4. apiServer调用controller-manager去调度Node节点安装nginx服务，
5. kubelet接收到指令后，会通知docker，然后由docker来启动一个nginx的pod，pod是kubernetes的最小 *** 作单元，容器必须跑在pod中至此，
6. 一个nginx服务就运行了，如果需要访问nginx，就需要通过kube-proxy来对pod产生访问的代理，

最后，外界用户就可以访问集群中的nginx服务了。

1.3 kubernetes概念

Master：集群控制节点，每个集群需要至少一个master节点负责集群的管控

Node：工作负载节点，由master分配容器到这些node工作节点上，然后node节点上的docker负责容器的运行

Pod：kubernetes的最小控制单元，容器都是运行在pod中的，一个pod中可以有1个或者多个容器

Controller：控制器，通过它来实现对pod的管理，比如启动pod、停止pod、伸缩pod的数量等等

Service：pod对外服务的统一入口，下面可以维护者同一类的多个pod

Label：标签，用于对pod进行分类，同一类pod会拥有相同的标签

NameSpace：命名空间，用来隔离pod的运行环境

2. kubernetes集群

目前生产部署Kubernetes 集群主要有两种方式：

Kubeadm：

Kubeadm 是一个K8s 部署工具，提供kubeadm init 和kubeadm join，用于快速部署Kubernetes 集群。

官方地址：https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/

二进制包：

从github 下载发行版的二进制包，手动部署每个组件，组成Kubernetes 集群。

Kubeadm 降低部署门槛，但屏蔽了很多细节，遇到问题很难排查。

如果想更容易可控，推荐使用二进制包部署Kubernetes 集群，虽然手动部署麻烦点，期间可以学习很多工作原理，也利于后期维护。

3. Kubeadm方式部署（一主多从） 3.1 kubeadm介绍

kubeadm是官方社区推出的一个用于快速部署 kubernetes集群的工具，这个工具能通过两条指令完成一个 kubernetes 集群的部署：

第

一、创建一个 Master 节点 kubeadm init

第

二、将 Node 节点加入到当前集群中 # kubeadm join <Master节点的 IP和端口 >

3.2 安装要求

在开始之前，部署 Kubernetes集群机器需要满足以下几个条件：

- 一台或多台机器， *** 作系统 CentOS7.x-86_x64

- 硬件配置：2GB或更多 RAM，2 个 CPU或更多 CPU，硬盘 30GB或更多

- 集群中所有机器之间网络互通

- 可以访问外网，需要拉取镜像

- 禁止 swap分区

3.3 实现目标

（1）在所有节点上安装 Docker 和 kubeadm

（2）部署 Kubernetes Master

（3）部署容器网络插件

（4）部署 Kubernetes Node，将节点加入 Kubernetes 集群中

（5）部署 Dashboard Web页面，可视化查看 Kubernetes资源

3.4 环境准备

角色

IP

组件

master

10.27.134.250

docker、kubectl、kubeadm、kubelet

node1

10.27.134.251

docker、kubectl、kubeadm、kubelet

node2

10.27.134.252

docker、kubectl、kubeadm、kubelet

3.5 系统初始化（所有节点均需 *** 作） 3.5.1 主机名解析

##修改主机名

[root@jss-k8s-1 ~]# hostnamectl set-hostname master  #master节点

[root@jss-k8s-2 ~]# hostnamectl set-hostname node1   #node1节点

[root@jss-k8s-3 ~]# hostnamectl set-hostname node2   #node2节点

##三台服务器的地址和主机名添加到三个节点的/etc/hosts文件中

[root@master ~]# cat >> /etc/hosts << EOF

10.27.134.250 master

10.27.134.251 node1

10.27.134.252 node2

EOF

3.5.2 时间同步

kubernetes要求集群中的节点时间必须精确一直，这里使用chronyd服务从网络同步时间

# 启动chronyd服务并设置开机启动

# systemctl start chronyd && systemctl enable chronyd

# 核验时间

# date

3.5.3 禁用iptable和firewalld服务

kubernetes和docker 在运行的中会产生大量的iptables规则，为了不让系统规则跟它们混淆，直接关闭系统的规则

##关闭firewalld服务

# systemctl stop firewalld && systemctl disable firewalld

##关闭iptables服务

# systemctl stop iptables && systemctl disable iptables

3.5.4 禁用selinux

selinux是linux系统下的一个安全服务，如果不关闭它，在安装集群中会产生各种各样的奇葩问题

# 永久关闭

# sed -i 's/enforcing/disabled/' /etc/selinux/config

# 临时关闭

# setenforce 0

3.5.5 禁用swap分区

swap分区指的是虚拟内存分区，它的作用是物理内存使用完，之后将磁盘空间虚拟成内存来使用，启用swap设备会对系统的性能产生非常负面的影响，因此kubernetes要求每个节点都要禁用swap设备，但是如果因为某些原因确实不能关闭swap分区，就需要在集群安装过程中通过明确的参数进行配置说明

# 永久关闭

# vim /etc/fstab

# 临时关闭

# swapoff -a

3.5.6 将桥接的 IPv4流量传递到 iptables的链上

##加载网桥过滤模块

# cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf

br_netfilter

EOF

##修改内核参数

# cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf

net.bridge.bridge-nf-call-ip6tables = 1

net.bridge.bridge-nf-call-iptables = 1

EOF

##配置生效

# sysctl --system

##建议重启下系统，让配置彻底生效

# reboot

3.5.7 配置yum源

# curl -o /etc/yum.repos.d/Centos-7.repo http://mirrors.aliyun.com/repo/Centos-7.repo

# curl -o /etc/yum.repos.d/docker-ce.repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

# cat > /etc/yum.repos.d/kubernetes.repo << EOF

[kubernetes]

name=Kubernetes

baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64

enabled=1

gpgcheck=0

repo_gpgcheck=0

gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg

http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg

EOF

# yum clean all && yum makecache

3.6 所有节点安装 docker

##查看所有的可用版本

# yum list docker-ce --showduplicates | sort -r

##安装旧版本（稳定性问题）

yum install docker-ce-cli-18.09.9-3.el7  docker-ce-18.09.9-3.el7

##安装源里最新版本

# yum install docker-ce

##配置docker加速

# mkdir -p /etc/docker

cat > /etc/docker/daemon.json << EOF

{

"insecure-registries": [

"10.27.134.250:5000"

],

"registry-mirrors" : [

"https://8xpk5wnt.mirror.aliyuncs.com"

]

}

EOF

##启动docker

# systemctl enable docker && systemctl start docker

3.7 部署kubernetes master

（1）安装 kubeadm, kubelet 和 kubectl， *** 作节点：所有的节点需要执行

##可以指定版本，不指定即安装最新

# yum install -y kubelet-1.16.2 kubeadm-1.16.2 kubectl-1.16.2 --disableexcludes=Kubernetes

##查看kubeadm 版本

# kubeadm version

##设置kubelet开机启动

# systemctl enable kubelet

（2）初始化配置文件， *** 作节点： 只在master节点执行

# kubeadm config print init-defaults > kubeadm.yaml

##修改kubeadm的yaml文件

# vim kubeadm.yaml

（3）下载镜像

*** 作节点：只在master节点执行

##查看需要使用的镜像列表,若无问题，将得到如下列表

# kubeadm config images list --config kubeadm.yaml

##提前下载镜像到本地

# kubeadm config images pull --config kubeadm.yaml

（4）初始化master节点

*** 作节点：只在master节点执行

kubeadm init --config kubeadm.yaml

##按照上述提示信息 *** 作，配置kubectl客户端的认证

mkdir -p #HOME/.kube

sudo cp -i /etc/kubernetes/admin.conf #HOME/.kube/config

sudo chown #(id -u):#(id -g) #HOME/.kube/config

##此时查看节点应该处于notReady状态，因为还未配置网络插件。

若执行初始化过程中出错，根据错误信息调整后，执行kubeadm reset后再次执行init *** 作即可

# kubectl get nodes

3.8 添加node节点到集群中

*** 作节点：所有的node节点需要执行

在每台node节点，执行如下命令，该命令是在kubeadm init成功后提示信息中打印出来的，需要替换成实际init后打印出的命令。

kubeadm join 10.27.134.250:6443 --token abcdef.0123456789abcdef \

--discovery-token-ca-cert-hash sha256:99006ec72f04c1e61ebd6d9037eec86c5dad7e239164e4928902e46ad7887d16

3.9 安装flannel网络插件

*** 作节点：只在master节点（k8s-master）执行

（1）下载flannel的yaml文件

wget https://raw.githubusercontent.com/coreos/flannel/2140ac876ef134e0ed5af15c65e414cf26827915/Documentation/kube-flannel.yml

##若是无法进行下载，可以本地浏览器打开地址后复制网页内容粘贴到本地，修改文件名和格式后再导入到master节点底层。

（2）修改flannel插件yml文件，新增一行配置指定网卡名称

（3）执行安装

##先拉取镜像,此过程国内速度比较慢

# docker pull quay.io/coreos/flannel:v0.11.0-amd64

##执行flannel安装

# kubectl create -f kube-flannel.yml

##若是网页复制粘贴的方式，安装出现下面报错，建议使用notepad打开转换为unix格式

3.10 集群验证

（1） *** 作节点： 在master节点执行

# kubectl get nodes  #观察集群节点是否全部Ready

（2）创建一个nginx服务进行测试

# kubectl run  test-nginx --image=nginx:alpine

（3）查看pod是否创建成功，并访问pod ip测试是否可用

# kubectl get pods -o wide

# curl 10.244.1.2

3.11（可选）设置master节点参与pod调度

*** 作节点：master

##默认部署成功后，master节点无法调度业务pod，如需设置master节点也可以参与pod的调度，需执行：

# kubectl taint node k8s-master node-role.kubernetes.io/master:NoSchedule-

3.12 部署dashboard可视化模块

（1）服务部署

##下载yml文件

# wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.0-rc5/aio/deploy/recommended.yaml

##修改yam文件，service改为NodePort类型

##创建服务

# kubectl create -f recommended.yaml

##查看服务对外暴露的端口号

# kubectl get svc -n kubernetes-dashboard

（2）访问测试

##使用浏览器访问

（3）创建ServiceAccount进行登录

##创建admin.conf配置文件

# cat > /opt/kubernetes/cfg/admin.conf << EOF

kind: ClusterRoleBinding

apiVersion: rbac.authorization.k8s.io/v1beta1

metadata:

name: admin

annotations:

rbac.authorization.kubernetes.io/autoupdate: "true"

roleRef:

kind: ClusterRole

name: cluster-admin

apiGroup: rbac.authorization.k8s.io

subjects:

- kind: ServiceAccount

name: admin

namespace: kubernetes-dashboard

---

apiVersion: v1

kind: ServiceAccount

metadata:

name: admin

namespace: kubernetes-dashboard

EOF

##查看命名空间内的加密信息是否有token和名称

# kubectl get secret -n kubernetes-dashboard

##使用该命令拿到token，替换上条命令查询的名称admin-token-qt24k，然后粘贴到浏览器中进行登录

# kubectl -n kubernetes-dashboard get secret admin-token-qt24k -o jsonpath={.data.token}|base64 -d

##使用token登录dashboard

3.13 环境重置

如果在集群安装过程中遇到了其他问题，也可以使用下面的命令来进行重置：

# kubeadm reset

# ifconfig cni0 down && ip link delete cni0

# ifconfig flannel.1 down && ip link delete flannel.1

# rm -rf /var/lib/cni/