K8s - 目录
K8s - 2 集群搭建
一、kubernetes 集群搭建(kubeadm 方式)
1. 安装要求2. 准备环境3. 所有节点安装Docker/kubeadm/kubelet
3.1 安装Docker3.2 添加阿里云YUM软件源3.3 安装kubeadm，kubelet和kubectl 4. 部署Kubernetes Master5. 加入Kubernetes Node6. 部署CNI网络插件7. 测试kubernetes集群 二、kubernetes 集群搭建(二进制方式)
1. 安装要求2. 准备环境3. *** 作系统初始化4. 部署 Etcd 集群
4.1 准备 cfssl 证书生成工具4.2 生成 Etcd 证书4.3 从 Github 下载二进制文件4.4 部署 Etcd 集群 5. 安装 Docker6. 部署 Master Node
6.1 生成 kube-apiserver 证书6.2 从 Github 下载二进制文件6.3 解压二进制包6.4 部署 kube-apiserver6.5 部署 kube-controller-manager6.6 部署 kube-scheduler 7. 部署 Worker Node
7.1 创建工作目录并拷贝二进制文件7.2 部署 kubelet7.3 批准 kubelet 证书申请并加入集群7.4 部署 kube-proxy7.5 部署 CNI 网络7.6 授权 apiserver 访问 kubelet7.7 新增加 Worker Node
前置知识点
目前生产部署 Kubernetes 集群主要有两种方式：
kubeadm
Kubeadm 是一个 K8s 部署工具，提供 kubeadm init 和 kubeadm join，用于快速部 署 Kubernetes 集群。官方地址： https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/
二进制包
从 github 下载发行版的二进制包，手动部署每个组件，组成 Kubernetes 集群。
Kubeadm 降低部署门槛，但屏蔽了很多细节，遇到问题很难排查。如果想更容易可控，推荐使用二进制包部署 Kubernetes 集群，虽然手动部署麻烦点，期间可以学习很 多工作原理，也利于后期维护。
一、kubernetes 集群搭建(kubeadm 方式)
kubeadm是官方社区推出的一个用于快速部署kubernetes集群的工具。
这个工具能通过两条指令完成一个kubernetes集群的部署：
# 创建一个 Master 节点 $ kubeadm init # 将一个 Node 节点加入到当前集群中 $ kubeadm join1. 安装要求
在开始之前，部署Kubernetes集群机器需要满足以下几个条件：
一台或多台机器， *** 作系统 CentOS7.x-86_x64；硬件配置：2GB或更多RAM，2个CPU或更多CPU，硬盘30GB或更多；集群中所有机器之间网络互通；可以访问外网，需要拉取镜像，如果服务器不能上网，需要提前下载镜像并导入节点；禁止swap分区。
2. 准备环境
角色 IP
# 关闭防火墙 systemctl stop firewalld systemctl disable firewalld # 关闭selinux sed -i 's/enforcing/disabled/' /etc/selinux/config # 永久 setenforce 0 # 临时 # 关闭swap swapoff -a # 临时 sed -ri 's/.*swap.*/#&/' /etc/fstab # 永久 # 根据规划设置主机名 hostnamectl set-hostname3. 所有节点安装Docker/kubeadm/kubelet# 在master添加hosts cat >> /etc/hosts << EOF 192.168.0.200 k8s-master 192.168.0.201 k8s-node1 192.168.0.202 k8s-node2 EOF # 将桥接的IPv4流量传递到iptables的链 cat > /etc/sysctl.d/k8s.conf << EOF net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 EOF sysctl --system # 生效 # 时间同步 yum install ntpdate -y ntpdate time.windows.com
Kubernetes默认CRI（容器运行时）为Docker，因此先安装Docker。
3.1 安装Docker$ wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo $ yum -y install docker-ce-18.06.1.ce-3.el7 $ systemctl enable docker && systemctl start docker $ docker --version Docker version 18.06.1-ce, build e68fc7a
$ cat > /etc/docker/daemon.json << EOF
{
"registry-mirrors": ["https://b9pmyelo.mirror.aliyuncs.com"]
}
EOF
3.2 添加阿里云YUM软件源
$ cat > /etc/yum.repos.d/kubernetes.repo << EOF [kubernetes] name=Kubernetes baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64 enabled=1 gpgcheck=0 repo_gpgcheck=0 gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg EOF3.3 安装kubeadm，kubelet和kubectl
由于版本更新频繁，这里指定版本号部署：
$ yum install -y kubelet-1.18.0 kubeadm-1.18.0 kubectl-1.18.0 $ systemctl enable kubelet4. 部署Kubernetes Master
在192.168.31.61（Master）执行。
$ kubeadm init --apiserver-advertise-address=192.168.0.200 --image-repository registry.aliyuncs.com/google_containers --kubernetes-version v1.18.0 --service-cidr=10.96.0.0/12 --pod-network-cidr=10.244.0.0/16
由于默认拉取镜像地址k8s.gcr.io国内无法访问，这里指定阿里云镜像仓库地址。
使用kubectl工具：
mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config $ kubectl get nodes5. 加入Kubernetes Node
在192.168.0.201/202（Node）执行。
向集群添加新节点，执行在kubeadm init输出的kubeadm join命令：
$ kubeadm join 192.168.0.200:6443 --token esce21.q6hetwm8si29qxwn
--discovery-token-ca-cert-hash sha256:00603a05805807501d7181c3d60b478788408cfe6cedefedb1f97569708be9c5
默认token有效期为24小时，当过期之后，该token就不可用了。这时就需要重新创建token， *** 作如下：
kubeadm token create --print-join-command6. 部署CNI网络插件
wget https://raw.githubusercontent.com/coreos/flannel/master/documentation/kube-flannel.yml
默认镜像地址无法访问，sed命令修改为docker hub镜像仓库。
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/documentation/kube-flannel.yml kubectl get pods -n kube-system NAME READY STATUS RESTARTS AGE kube-flannel-ds-amd64-2pc95 1/1 Running 0 72s7. 测试kubernetes集群
在Kubernetes集群中创建一个pod，验证是否正常运行：
$ kubectl create deployment nginx --image=nginx $ kubectl expose deployment nginx --port=80 --type=NodePort $ kubectl get pod,svc
访问地址：http://NodeIP:Port
二、kubernetes 集群搭建(二进制方式)
1. 安装要求
在开始之前，部署Kubernetes集群机器需要满足以下几个条件：
一台或多台机器， *** 作系统 CentOS7.x-86_x64；硬件配置：2GB或更多RAM，2个CPU或更多CPU，硬盘30GB或更多；集群中所有机器之间网络互通；可以访问外网，需要拉取镜像，如果服务器不能上网，需要提前下载镜像并导入节点；禁止swap分区。 2. 准备环境
软件环境：
服务器规划：
# 根据规划设置主机名 hostnamectl set-hostname
# 关闭防火墙 systemctl stop firewalld systemctl disable firewalld # 关闭selinux sed -i 's/enforcing/disabled/' /etc/selinux/config # 永久 setenforce 0 # 临时 # 关闭swap swapoff -a # 临时 sed -ri 's/.*swap.*/#&/' /etc/fstab # 永久 # 在master添加hosts cat >> /etc/hosts << EOF 192.168.80.220 k8s-master 192.168.80.221 k8s-node1 192.168.80.222 k8s-node2 EOF # 将桥接的IPv4流量传递到iptables的链 cat > /etc/sysctl.d/k8s.conf << EOF net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 EOF sysctl --system # 生效 # 时间同步 yum install ntpdate -y ntpdate time.windows.com4. 部署 Etcd 集群
Etcd 是一个分布式键值存储系统，Kubernetes 使用 Etcd 进行数据存储，所以先准备一个 Etcd 数据库，为解决 Etcd 单点故障，应采用集群方式部署，这里使用 3 台组建集群，可容忍 1 台机器故障，当然，你也可以使用 5 台组建集群，可容忍 2 台机器故障。
注意： 为了节省机器，这里与 K8s 节点机器复用。也可以独立于 k8s 集群之外部署，只要 apiserver 能连接到就行。
4.1 准备 cfssl 证书生成工具cfssl 是一个开源的证书管理工具，使用 json 文件生成证书，相比 openssl 更方便使用。（可以使用任意一台服务器 *** 作，这里用 Master 节点）
wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 chmod +x cfssl_linux-amd64 cfssljson_linux-amd64 cfssl-certinfo_linux-amd64 mv cfssl_linux-amd64 /usr/local/bin/cfssl mv cfssljson_linux-amd64 /usr/local/bin/cfssljson mv cfssl-certinfo_linux-amd64 /usr/bin/cfssl-certinfo4.2 生成 Etcd 证书
- 自签证书颁发机构（CA）
创建工作目录：
mkdir -p ~/TLS/{etcd,k8s}
cd TLS/etcd
自签 CA：cat > ca-config.json<< EOF
{
"signing" : {
"default" : {
"expiry" : "87600h"
},
"profiles" : {
"www" : {
"expiry" : "87600h",
"usages" : [
"signing",
"key encipherment",
"server auth",
"client auth"
]
}
}
}
}
EOF
cat > ca-csr.json<< EOF
{
"CN" : "etcd CA",
"key" : {
"algo" : "rsa",
"size" : 2048
},
"names" : [
{
"C" : "CN",
"L" : "Beijing",
"ST" : "Beijing"
}
]
}
EOF
生成证书：cfssl gencert -initca ca-csr.json | cfssljson -bare ca - ls *pem
ca-key.pem ca.pem使用自签 CA 签发 Etcd HTTPS 证书
创建证书申请文件：
cat > server-csr.json<< EOF
{
"CN" : "etcd",
"hosts" : [
"192.168.80.220",
"192.168.80.221",
"192.168.80.222",
"192.168.80.223",
"192.168.80.224",
"192.168.80.225",
"192.168.80.226",
"192.168.80.227",
"192.168.80.228",
"192.168.80.229"
],
"key" : {
"algo" : "rsa",
"size" : 2048
},
"names" : [
{
"C" : "CN",
"L" : "BeiJing",
"ST" : "BeiJing"
}
]
}
EOF
注意：上述文件 hosts 字段中 IP 为所有 etcd 节点的集群内部通信 IP，一个都不能少！ 为了方便后期扩容可以多写几个预留的IP。生成证书：cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=www server-csr.json | cfssljson -bare server ls server*pem
server-key.pem server.pem
下载地址：https://github.com/etcd-io/etcd/releases/download/v3.4.9/etcd-v3.4.9-linux-amd64.tar.gz
4.4 部署 Etcd 集群以下在节点 1 上 *** 作， *** 作完成后将节点 1 生成的所有文件拷贝到节点 2 和节点 3。
创建工作目录并解压二进制包
mkdir -p /opt/etcd/{bin,cfg,ssl}
tar zxvf etcd-v3.4.9-linux-amd64.tar.gz
mv etcd-v3.4.9-linux-amd64/{etcd,etcdctl} /opt/etcd/bin/
创建 etcd 配置文件
cat > /opt/etcd/cfg/etcd.conf << EOF #[Member] # 节点名称，集群中唯一 ETCD_NAME="etcd-1" # 数据目录 ETCD_DATA_DIR="/var/lib/etcd/default.etcd" # 集群通信监听地址 ETCD_LISTEN_PEER_URLS="https://192.168.80.220:2380" # 客户端访问监听地址 ETCD_LISTEN_CLIENT_URLS="https://192.168.80.220:2379" #[Clustering] # 集群通告地址 ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.80.220:2380" # 客户端通告地址 ETCD_ADVERTISE_CLIENT_URLS="https://192.168.80.220:2379" # 集群节点地址 ETCD_INITIAL_CLUSTER="etcd-1=https://192.168.80.220:2380,etcd- 2=https://192.168.80.221:2380,etcd-3=https://192.168.80.222:2380" # 集群 Token ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster" # 加入集群的当前状态，new 是新集群，existing 表示加入 已有集群 ETCD_INITIAL_CLUSTER_STATE="new" EOF
systemd 管理 etcd
cat > /usr/lib/systemd/system/etcd.service << EOF [Unit] Description=Etcd Server After=network.target After=network-online.target Wants=network-online.target [Service] Type=notify EnvironmentFile=/opt/etcd/cfg/etcd.conf ExecStart=/opt/etcd/bin/etcd --cert-file=/opt/etcd/ssl/server.pem --key-file=/opt/etcd/ssl/server-key.pem --peer-cert-file=/opt/etcd/ssl/server.pem --peer-key-file=/opt/etcd/ssl/server-key.pem --trusted-ca-file=/opt/etcd/ssl/ca.pem --peer-trusted-ca-file=/opt/etcd/ssl/ca.pem --logger=zap Restart=on-failure LimitNOFILE=65536 [Install] WantedBy=multi-user.target EOF
拷贝刚才生成的证书
将生成的证书拷贝到配置文件中的路径：
cp ~/TLS/etcd/ca*pem ~/TLS/etcd/server*pem /opt/etcd/ssl/
启动并设置开机启动
systemctl daemon-reload systemctl start etcd systemctl enable etcd systemctl status etcd
将上面节点 1 所有生成的文件拷贝到节点 2 和节点 3
scp -r /opt/etcd/ root@192.168.80.221:/opt/ scp /usr/lib/systemd/system/etcd.service root@192.168.80.221:/usr/lib/systemd/system/ scp -r /opt/etcd/ root@192.168.80.222:/opt/ scp /usr/lib/systemd/system/etcd.service root@192.168.80.222:/usr/lib/systemd/system/
然后在节点 2 和节点 3 分别修改 etcd.conf 配置文件中的节点名称和当前服务器 IP：
vi /opt/etcd/cfg/etcd.conf #[Member] ETCD_NAME="etcd-1" # 修改此处，节点 2 改为 etcd-2，节点 3 改为 etcd-3 ETCD_DATA_DIR="/var/lib/etcd/default.etcd" ETCD_LISTEN_PEER_URLS="https://192.168.80.220:2380" # 修改此处为当前服务器 IP ETCD_LISTEN_CLIENT_URLS="https://192.168.80.220:2379" # 修改此处为当前服务器 IP #[Clustering] ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.80.220:2380" # 修改此处为当前 服务器 IP ETCD_ADVERTISE_CLIENT_URLS="https://192.168.80.220:2379" # 修改此处为当前服务器 IP ETCD_INITIAL_CLUSTER="etcd-1=https://192.168.80.220:2380,etcd- 2=https://192.168.31.72:2380,etcd-3=https://192.168.31.73:2380" ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster" ETCD_INITIAL_CLUSTER_STATE="new"
最后启动 etcd 并设置开机启动，同上。
查看集群状态
ETCDCTL_API=3 /opt/etcd/bin/etcdctl --cacert=/opt/etcd/ssl/ca.pem --cert=/opt/etcd/ssl/server.pem --key=/opt/etcd/ssl/server-key.pem --endpoints="https://192.168.80.220:2379,https://192.168.80.221:2379,https://192.168.80.222:2379" endpoint health
https://192.168.80.221:2379 is healthy: successfully committed proposal: took = 23.326647ms https://192.168.80.222:2379 is healthy: successfully committed proposal: took = 23.536207ms https://192.168.80.220:2379 is healthy: successfully committed proposal: took = 24.116646ms
如果输出上面信息，就说明集群部署成功。如果有问题第一步先看日志：
/var/log/message 或 journalctl -u etcd
下载地址：https://download.docker.com/linux/static/stable/x86_64/docker-19.03.9.tgz
以下在所有节点 *** 作。这里采用二进制安装，用 yum 安装也一样。
解压二进制包
tar zxvf docker-19.03.9.tgz mv docker/* /usr/bin
systemd 管理 docker
cat > /usr/lib/systemd/system/docker.service << EOF [Unit] Description=Docker Application Container Engine documentation=https://docs.docker.com After=network-online.target firewalld.service Wants=network-online.target [Service] Type=notify ExecStart=/usr/bin/dockerd ExecReload=/bin/kill -s HUP $MAINPID LimitNOFILE=infinity LimitNPROC=infinity LimitCORE=infinity TimeoutStartSec=0 Delegate=yes KillMode=process Restart=on-failure StartLimitBurst=3 StartLimitInterval=60s [Install] WantedBy=multi-user.target EOF
创建配置文件
mkdir /etc/docker
cat > /etc/docker/daemon.json << EOF
{
"registry-mirrors": ["https://82m9ar63.mirror.aliyuncs.com"],
"exec-opts": ["native.cgroupdriver=systemd"],
"log-driver": "json-file",
"log-opts": {
"max-size": "100m"
},
"storage-driver": "overlay2"
}
EOF
registry-mirrors 阿里云镜像加速
启动并设置开机启动
systemctl daemon-reload systemctl start docker systemctl enable docker systemctl status docker
自签证书颁发机构（CA）
cd TLS/k8s
cat > ca-config.json<< EOF
{
"signing": {
"default": {
"expiry": "87600h"
},
"profiles": {
"kubernetes": {
"expiry": "87600h",
"usages": [
"signing",
"key encipherment",
"server auth",
"client auth"
]
}
}
}
}
EOF
cat > ca-csr.json<< EOF
{
"CN": "kubernetes",
"key": {
"algo": "rsa",
"size": 2048
},
"names": [
{
"C": "CN",
"L": "Beijing",
"ST": "Beijing",
"O": "k8s",
"OU": "System"
}
]
}
EOF
生成证书：
cfssl gencert -initca ca-csr.json | cfssljson -bare ca - ls *pem
ca-key.pem ca.pem
使用自签 CA 签发 kube-apiserver HTTPS 证书
创建证书申请文件：
cat > server-csr.json<< EOF
{
"CN": "kubernetes",
"hosts": [
"10.0.0.1",
"127.0.0.1",
"192.168.80.220",
"192.168.80.221",
"192.168.80.222",
"192.168.80.223",
"192.168.80.224",
"192.168.80.225",
"192.168.80.226",
"192.168.80.227",
"192.168.80.228",
"192.168.80.229",
"kubernetes",
"kubernetes.default",
"kubernetes.default.svc",
"kubernetes.default.svc.cluster",
"kubernetes.default.svc.cluster.local"
],
"key": {
"algo": "rsa",
"size": 2048
},
"names": [
{
"C": "CN",
"L": "BeiJing",
"ST": "BeiJing",
"O": "k8s",
"OU": "System"
}
]
}
EOF
生成证书：cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes server-csr.json | cfssljson -bare server ls server*pem
server-key.pem server.pem
下载地址：https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG/
注意：打开链接你会发现里面有很多包，选择对应的版本下载一个 server 包就够了，包含了 Master 和 Worker Node 二进制文件。
6.3 解压二进制包mkdir -p /opt/kubernetes/{bin,cfg,ssl,logs}
tar zxvf kubernetes-server-linux-amd64.tar.gz
cd kubernetes/server/bin
cp kube-apiserver kube-scheduler kube-controller-manager /opt/kubernetes/bin
cp kubectl /usr/bin/
6.4 部署 kube-apiserver
创建配置文件
cat > /opt/kubernetes/cfg/kube-apiserver.conf << EOF KUBE_APISERVER_OPTS="--logtostderr=false \ --v=2 \ --log-dir=/opt/kubernetes/logs \ --etcd-servers=https://192.168.80.220:2379,https://192.168.80.221:2379,https://192.168.80.222:2379 \ --bind-address=192.168.80.220 \ --secure-port=6443 \ --advertise-address=192.168.80.220 \ --allow-privileged=true \ --service-cluster-ip-range=10.0.0.0/24 \ --enable-admission-plugins=NamespaceLifecycle,LimitRanger,ServiceAccount,ResourceQuota,NodeRestriction \ --authorization-mode=RBAC,Node \ --enable-bootstrap-token-auth=true \ --token-auth-file=/opt/kubernetes/cfg/token.csv \ --service-node-port-range=30000-32767 \ --kubelet-client-certificate=/opt/kubernetes/ssl/server.pem \ --kubelet-client-key=/opt/kubernetes/ssl/server-key.pem \ --tls-cert-file=/opt/kubernetes/ssl/server.pem \ --tls-private-key-file=/opt/kubernetes/ssl/server-key.pem \ --client-ca-file=/opt/kubernetes/ssl/ca.pem \ --service-account-key-file=/opt/kubernetes/ssl/ca-key.pem \ --etcd-cafile=/opt/etcd/ssl/ca.pem \ --etcd-certfile=/opt/etcd/ssl/server.pem \ --etcd-keyfile=/opt/etcd/ssl/server-key.pem \ --audit-log-maxage=30 \ --audit-log-maxbackup=3 \ --audit-log-maxsize=100 \ --audit-log-path=/opt/kubernetes/logs/k8s-audit.log" EOF
注意：上面两个 第一个是转义符，第二个是换行符，使用转义符是为了使用 EOF 保留换行符。
–logtostderr： 启用日志
–v： 日志等级
–log-dir： 日志目录
–etcd-servers： etcd 集群地址
–bind-address： 监听地址
–secure-port： https 安全端口
–advertise-address： 集群通告地址
–allow-privileged： 启用授权
–service-cluster-ip-range： Service 虚拟 IP 地址段
–enable-admission-plugins： 准入控制模块
–authorization-mode： 认证授权，启用 RBAC 授权和节点自管理
–enable-bootstrap-token-auth： 启用 TLS bootstrap 机制
–token-auth-file： bootstrap token 文件
–service-node-port-range： Service nodeport 类型默认分配端口范围
–kubelet-client-xxx： apiserver 访问 kubelet 客户端证书
–tls-xxx-file： apiserver https 证书
–etcd-xxxfile： 连接 Etcd 集群证书
–audit-log-xxx： 审计日志
k8s 1.20.x+可能需要这两个参数：
–service-account-signing-key-file=/opt/kubernetes/ssl/ca-key.pem
–service-account-issuer=api
拷贝刚才生成的证书
将生成的证书拷贝到配置文件中的路径：
cp ~/TLS/k8s/ca*pem ~/TLS/k8s/server*pem /opt/kubernetes/ssl/
启用 TLS Bootstrapping 机制
TLS Bootstraping：Master apiserver 启用 TLS 认证后，Node 节点 kubelet 和 kube-proxy 要与 kube-apiserver 进行通信，必须使用 CA 签发的有效证书才可以，当 Node节点很多时，这种客户端证书颁发需要大量工作，同样也会增加集群扩展复杂度。为了简化流程，Kubernetes 引入了 TLS bootstraping 机制来自动颁发客户端证书，kubelet 会以一个低权限用户自动向 apiserver 申请证书，kubelet 的证书由 apiserver 动态签署。所以强烈建议在 Node 上使用这种方式， 目前主要用于 kubelet ，kube-proxy 还是由我们统一颁发一个证书。
TLS bootstraping 工作流程：
创建上述配置文件中 token 文件：
cat > /opt/kubernetes/cfg/token.csv << EOF b6533c33b65dfd9836534253be322740,kubelet-bootstrap,10001,"system:node-bootstrapper" EOF
格式： token ，用户名，UID ，用户组
token 也可自行生成替换：
head -c 16 /dev/urandom | od -An -t x | tr -d ' '
systemd 管理 apiserver
cat > /usr/lib/systemd/system/kube-apiserver.service << EOF [Unit] Description=Kubernetes API Server documentation=https://github.com/kubernetes/kubernetes [Service] EnvironmentFile=/opt/kubernetes/cfg/kube-apiserver.conf ExecStart=/opt/kubernetes/bin/kube-apiserver $KUBE_APISERVER_OPTS Restart=on-failure [Install] WantedBy=multi-user.target EOF
启动并设置开机启动
systemctl daemon-reload systemctl start kube-apiserver systemctl enable kube-apiserver systemctl status kube-apiserver
注意：若发现启动失败可通过以下命令查看错误。
journalctl -xe -u kube-apiserver cat /var/log/messages|grep kube-apiserver|grep -i error
授权 kubelet-bootstrap 用户允许请求证书
kubectl create clusterrolebinding kubelet-bootstrap --clusterrole=system:node-bootstrapper --user=kubelet-bootstrap
注意：若发现该命令执行失败，可先部署其他组件，最后再执行该步骤。如以下错误：
error: no matches for kind "ClusterRoleBinding" in version "rbac.authorization.k8s.io/v1"
创建配置文件
cat > /opt/kubernetes/cfg/kube-controller-manager.conf << EOF KUBE_CONTROLLER_MANAGER_OPTS="--logtostderr=false \ --v=2 \ --log-dir=/opt/kubernetes/logs \ --leader-elect=true \ --master=127.0.0.1:8080 \ --bind-address=127.0.0.1 \ --allocate-node-cidrs=true \ --cluster-cidr=10.244.0.0/16 \ --service-cluster-ip-range=10.0.0.0/24 \ --cluster-signing-cert-file=/opt/kubernetes/ssl/ca.pem \ --cluster-signing-key-file=/opt/kubernetes/ssl/ca-key.pem \ --root-ca-file=/opt/kubernetes/ssl/ca.pem \ --service-account-private-key-file=/opt/kubernetes/ssl/ca-key.pem \ --experimental-cluster-signing-duration=87600h0m0s" EOF
–master： 通过本地非安全本地端口 8080 连接 apiserver。
–leader-elect： 当该组件启动多个时，自动选举（HA）。
–cluster-signing-cert-file/ –cluster-signing-key-file： 自动为 kubelet 颁发证书 的 CA，与 apiserver 保持一致。
systemd 管理 controller-manager
cat > /usr/lib/systemd/system/kube-controller-manager.service << EOF [Unit] Description=Kubernetes Controller Manager documentation=https://github.com/kubernetes/kubernetes [Service] EnvironmentFile=/opt/kubernetes/cfg/kube-controller-manager.conf ExecStart=/opt/kubernetes/bin/kube-controller-manager $KUBE_CONTROLLER_MANAGER_OPTS Restart=on-failure [Install] WantedBy=multi-user.target EOF
启动并设置开机启动
systemctl daemon-reload systemctl start kube-controller-manager systemctl enable kube-controller-manager systemctl status kube-controller-manager
创建配置文件
cat > /opt/kubernetes/cfg/kube-scheduler.conf << EOF KUBE_SCHEDULER_OPTS="--logtostderr=false \ --v=2 \ --log-dir=/opt/kubernetes/logs \ --leader-elect \ --master=127.0.0.1:8080 \ --bind-address=127.0.0.1" EOF
–master： 通过本地非安全本地端口 8080 连接 apiserver。
–leader-elect： 当该组件启动多个时，自动选举（HA）。
systemd 管理 scheduler
cat > /usr/lib/systemd/system/kube-scheduler.service << EOF [Unit] Description=Kubernetes Scheduler documentation=https://github.com/kubernetes/kubernetes [Service] EnvironmentFile=/opt/kubernetes/cfg/kube-scheduler.conf ExecStart=/opt/kubernetes/bin/kube-scheduler $KUBE_SCHEDULER_OPTS Restart=on-failure [Install] WantedBy=multi-user.target EOF
启动并设置开机启动
systemctl daemon-reload systemctl start kube-scheduler systemctl enable kube-scheduler systemctl status kube-scheduler
查看集群状态
所有组件都已经启动成功，通过 kubectl 工具查看当前集群组件状态：
kubectl get cs
NAME
scheduler STATUS MESSAGE ERROR
controller-manager Healthy ok
etcd-2 Healthy {"health":"true"}
etcd-1 Healthy {"health":"true"}
etcd-0 Healthy {"health":"true"}
如上输出说明 Master 节点组件运行正常。
下面还是在 Master Node 上 *** 作，即同时作为 Worker Node
7.1 创建工作目录并拷贝二进制文件在所有 worker node 创建工作目录：
mkdir -p /opt/kubernetes/{bin,cfg,ssl,logs}
从 master 节点拷贝：
cd kubernetes/server/bin cp kubelet kube-proxy /opt/kubernetes/bin # 本地拷贝7.2 部署 kubelet
创建配置文件
cat > /opt/kubernetes/cfg/kubelet.conf << EOF KUBELET_OPTS="--logtostderr=false \ --v=2 \ --log-dir=/opt/kubernetes/logs \ --hostname-override=k8s-master \ --network-plugin=cni \ --kubeconfig=/opt/kubernetes/cfg/kubelet.kubeconfig \ --bootstrap-kubeconfig=/opt/kubernetes/cfg/bootstrap.kubeconfig \ --config=/opt/kubernetes/cfg/kubelet-config.yml \ --cert-dir=/opt/kubernetes/ssl \ --pod-infra-container-image=lizhenliang/pause-amd64:3.0" EOF
–hostname-override： 显示名称，集群中唯一
–network-plugin： 启用 CNI
–kubeconfig： 空路径，会自动生成，后面用于连接 apiserver
–bootstrap-kubeconfig： 首次启动向 apiserver 申请证书
–config： 配置参数文件
–cert-dir： kubelet 证书生成目录
–pod-infra-container-image： 管理 Pod 网络容器的镜像
配置参数文件
cat > /opt/kubernetes/cfg/kubelet-config.yml << EOF
kind: KubeletConfiguration
apiVersion: kubelet.config.k8s.io/v1beta1
address: 0.0.0.0
port: 10250
readOnlyPort: 10255
cgroupDriver: cgroupfs
clusterDNS:
- 10.0.0.2 clusterDomain: cluster.local
failSwapOn: false
authentication:
anonymous:
enabled: false
webhook:
cacheTTL: 2m0s
enabled: true
x509:
clientCAFile: /opt/kubernetes/ssl/ca.pem
authorization:
mode: Webhook
webhook:
cacheAuthorizedTTL: 5m0s
cacheUnauthorizedTTL: 30s
evictionHard:
imagefs.available: 15%
memory.available: 100Mi
nodefs.available: 10%
nodefs.inodesFree: 5%
maxOpenFiles: 1000000
maxPods: 110
EOF
生成 bootstrap.kubeconfig 文件
KUBE_APISERVER="https://192.168.31.71:6443" # apiserver IP:PORT TOKEN="c47ffb939f5ca36231d9e3121a252940" # 与 token.csv 里保持一致 # 生成 kubelet bootstrap kubeconfig 配置文件
kubectl config set-cluster kubernetes
--certificate-authority=/opt/kubernetes/ssl/ca.pem
--embed-certs=true
--server=${KUBE_APISERVER}
--kubeconfig=bootstrap.kubeconfig
kubectl config set-credentials "kubelet-bootstrap"
--token=${TOKEN}
--kubeconfig=bootstrap.kubeconfig
kubectl config set-context default
--cluster=kubernetes
--user="kubelet-bootstrap"
--kubeconfig=bootstrap.kubeconfig
kubectl config use-context default --kubeconfig=bootstrap.kubeconfig
拷贝到配置文件路径：
cp bootstrap.kubeconfig /opt/kubernetes/cfg
systemd 管理 kubelet
cat > /usr/lib/systemd/system/kubelet.service << EOF [Unit] Description=Kubernetes Kubelet After=docker.service [Service] EnvironmentFile=/opt/kubernetes/cfg/kubelet.conf ExecStart=/opt/kubernetes/bin/kubelet $KUBELET_OPTS Restart=on-failure LimitNOFILE=65536 [Install] WantedBy=multi-user.target EOF
启动并设置开机启动
systemctl daemon-reload systemctl start kubelet systemctl enable kubelet
# 查看 kubelet 证书请求 kubectl get csr NAME AGE SIGNERNAME REQUESTOR ConDITION node-csr-uCEGPOIiDdlLODKts8J658HrFq9CZ--K6M4G7bjhk8A 6m3s kubernetes.io/kube-apiserver-client-kubelet kubelet-bootstrap Pending # 批准申请 kubectl certificate approve node-csr-uCEGPOIiDdlLODKts8J658HrFq9CZ-- K6M4G7bjhk8A # 查看节点 kubectl get node
注意：由于网络插件还没有部署，节点会没有准备就绪NotReady。。
7.4 部署 kube-proxy创建配置文件
cat > /opt/kubernetes/cfg/kube-proxy.conf << EOF KUBE_PROXY_OPTS="--logtostderr=false \ --v=2 \ --log-dir=/opt/kubernetes/logs \ --config=/opt/kubernetes/cfg/kube-proxy-config.yml" EOF
配置参数文件
cat > /opt/kubernetes/cfg/kube-proxy-config.yml << EOF kind: KubeProxyConfiguration apiVersion: kubeproxy.config.k8s.io/v1alpha1 bindAddress: 0.0.0.0 metricsBindAddress: 0.0.0.0:10249 clientConnection: kubeconfig: /opt/kubernetes/cfg/kube-proxy.kubeconfig hostnameOverride: k8s-master clusterCIDR: 10.0.0.0/24 EOF
生成 kube-proxy.kubeconfig 文件
生成 kube -proxy 证书：
# 切换工作目录
cd TLS/k8s
# 创建证书请求文件
cat > kube-proxy-csr.json<< EOF
{
"CN": "system:kube-proxy",
"hosts": [],
"key": {
"algo": "rsa",
"size": 2048
},
"names": [
{
"C": "CN",
"L": "BeiJing",
"ST": "BeiJing",
"O": "k8s",
"OU": "System"
}
]
}
EOF
# 生成证书
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json - profile=kubernetes kube-proxy-csr.json | cfssljson -bare kube-proxy
ls kube-proxy*pem
kube-proxy-key.pem kube-proxy.pem
生成 kubeconfig 文件：
KUBE_APISERVER="https://192.168.31.71:6443"
kubectl config set-cluster kubernetes
--certificate-authority=/opt/kubernetes/ssl/ca.pem
--embed-certs=true
--server=${KUBE_APISERVER}
--kubeconfig=kube-proxy.kubeconfig
kubectl config set-credentials kube-proxy
--client-certificate=./kube-proxy.pem
--client-key=./kube-proxy-key.pem
--embed-certs=true
--kubeconfig=kube-proxy.kubeconfig
kubectl config set-context default
--cluster=kubernetes
--user=kube-proxy
--kubeconfig=kube-proxy.kubeconfig
kubectl config use-context default --kubeconfig=kube-proxy.kubeconfig
拷贝到配置文件指定路径：
cp kube-proxy.kubeconfig /opt/kubernetes/cfg/
systemd 管理 kube-proxy
cat > /usr/lib/systemd/system/kube-proxy.service << EOF [Unit] Description=Kubernetes Proxy After=network.target [Service] EnvironmentFile=/opt/kubernetes/cfg/kube-proxy.conf ExecStart=/opt/kubernetes/bin/kube-proxy $KUBE_PROXY_OPTS Restart=on-failure LimitNOFILE=65536 [Install] WantedBy=multi-user.target EOF
启动并设置开机启动
systemctl daemon-reload systemctl start kube-proxy systemctl enable kube-proxy
先准备好 CNI 二进制文件：
下载地址：https://github.com/containernetworking/plugins/releases/download/v0.8.6/cni-plugins-linux-amd64-v0.8.6.tgz
解压二进制包并移动到默认工作目录：
mkdir /opt/cni/bin tar zxvf cni-plugins-linux-amd64-v0.8.6.tgz -C /opt/cni/bin
部署 CNI 网络：
wget https://raw.githubusercontent.com/coreos/flannel/master/documentation/kube- flannel.yml sed -i -r "s#quay.io/coreos/flannel:.*-amd64#lizhenliang/flannel:v0.12.0- amd64#g" kube-flannel.yml
默认镜像地址无法访问，修改为 docker hub 镜像仓库。
kubectl apply -f kube-flannel.yml kubectl get pods -n kube-system kubectl get node
部署好网络插件，Node 准备就绪。
7.6 授权 apiserver 访问 kubeletcat > apiserver-to-kubelet-rbac.yaml<< EOF apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
annotations:
rbac.authorization.kubernetes.io/autoupdate: "true"
labels:
kubernetes.io/bootstrapping: rbac-defaults
name: system:kube-apiserver-to-kubelet
rules:
- apiGroups:
- ""
resources:
- nodes/proxy
- nodes/stats
- nodes/log
- nodes/spec
- nodes/metrics
- pods/log
verbs:
- "*"
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
name: system:kube-apiserver
namespace: ""
roleRef:
apiGroup: rbac.authorization.k8s.io
kind: ClusterRole
name: system:kube-apiserver-to-kubelet
subjects:
- apiGroup: rbac.authorization.k8s.io
kind: User
name: kubernetes
EOF
kubectl apply -f apiserver-to-kubelet-rbac.yaml
7.7 新增加 Worker Node
拷贝已部署好的 Node相关文件到新节点
在 master 节点将 Worker Node 涉及文件拷贝到新节点 192. 168.31.72/73
scp -r /opt/kubernetes root@192.168.31.72:/opt/
scp -r /usr/lib/systemd/system/{kubelet,kube-proxy}.service
root@192.168.31.72:/usr/lib/systemd/system
scp -r /opt/cni/ root@192.168.31.72:/opt/
scp /opt/kubernetes/ssl/ca.pem root@192.168.31.72:/opt/kubernetes/ssl
删除 kubelet 证书和 kubeconfig 文件
rm /opt/kubernetes/cfg/kubelet.kubeconfig rm -f /opt/kubernetes/ssl/kubelet*
注意：这几个文件是证书申请审批后自动生成的，每个 Node 不同，必须删除重新生成。
修改主机名
vi /opt/kubernetes/cfg/kubelet.conf --hostname-override=k8s-node1 vi /opt/kubernetes/cfg/kube-proxy-config.yml hostnameOverride: k8s-node1
启动并设置开机启动
systemctl daemon-reload systemctl start kubelet systemctl enable kubelet systemctl start kube-proxy systemctl enable kube-proxy
在 Master 上批准新 Node kubelet 证书申请
kubectl get csr NAME AGE SIGNERNAME REQUESTOR ConDITION node-csr-4zTjsaVSrhuyhIGqsefxzVoZDCNKei-aE2jyTP81Uro 89s kubernetes.io/kube-apiserver-client-kubelet kubelet-bootstrap Pending kubectl certificate approve node-csr-4zTjsaVSrhuyhIGqsefxzVoZDCNKei- aE2jyTP81Uro
查看 Node状态
kubectl get node
Node2 （ 192. 168.31.73 ）节点同上。记得修改主机名！
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）