基于Linux自己初步搭建Kubernetes(k8s)集群基础,详细教程

基于Linux自己初步搭建Kubernetes(k8s)集群基础,详细教程,第1张

k8s官方网站:https://kubernetes.io/zh/,可自行查看相关文档说明

k8s-master:Ubuntu--192.168.152.100

k8s-node01:Ubuntu--192.168.152.101

k8s-node02:Ubuntu--192.168.152.102

全部已安装docker,未安装可根据官方文档安装:https://docs.docker.com/get-docker/

1,禁止swap分区

K8s的要求,确保禁止掉swap分区,不禁止,初始化会报错。

在每个宿主机上执行:

2,确保时区和时间正确

时区设置

3,关闭防火墙和selinux

ubuntu 查看防火墙命令,ufw status可查看状态,ubuntu20.04默认全部关闭,无需设置。

4,主机名和hosts设置(可选)

非必须,但是为了直观方便管理,建议设置。

在宿主机分别设置主机名:k8s-master,k8s-node01,k8s-node02

hosts设置

1,更改docker默认驱动为systemd

为防止初始化出现一系列的错误,请检查docker和kubectl驱动是否一致,否则kubectl没法启动造成报错。版本不一样,docker有些为cgroupfs,而kubectl默认驱动为systemd,所以需要更改docker驱动。

可查看自己docker驱动命令:

更改docker驱动,编辑 /etc/docker/daemon.json (没有就新建一个),添加如下启动项参数即可:

重启docker

需要在每台机器上安装以下的软件包:

2,更新 apt 包索引并安装使用 Kubernetes apt 仓库所需要的包

安装软件包以允许apt通过HTTPS使用存储库,已安装软件的可以忽略

3,下载公开签名秘钥、并添加k8s库

国外 :下载 Google Cloud 公开签名秘钥:

国内:可以用阿里源即可:

请注意,在命令中,使用的是Ubuntu 16.04 Xenial 版本, 是可用的最新 Kubernetes 存储库。所以而非20.04 的focal。

4,更新 apt 包索引,安装 kubelet、kubeadm 和 kubectl,并锁定其版本

锁定版本,防止出现不兼容情况,例如,1.7.0 版本的 kubelet 可以完全兼容 1.8.0 版本的 API 服务器,反之则不可以。

只需要在master上 *** 作即可。

1,初始化错误解决(没有报错的可以跳过这条)

错误提示1:

原因:kubectl没法启动,journalctl -xe查看启动错误信息。

解决方案:k8s建议systemd驱动,所以更改docker驱动即可,编辑 /etc/docker/daemon.json (没有就新建一个),添加如下启动项参数即可:

重启docker和kubectel

错误提示2:

原因:初始化生产的文件,重新初始化,需要删除即可

错误提示3:

解决方法:重置配置

2,初始化完成

无报错,最后出现以下,表示初始化完成,根据提示还需要 *** 作。

根据用户是root或者普通用户 *** 作,由于大多环境不会是root用户,我也是普通用户,所以选择普通用户 *** 作命令:

如果是root用户,执行以下命令:

初始化完成,用最后的提示命令 kubeadm join.... 在node机器上加入集群即可。

3,主节点pod网络设置

节点支持网络插件:https://kubernetes.io/zh/docs/concepts/cluster-administration/addons/

这里安装Calico网络插件:https://docs.projectcalico.org/getting-started/kubernetes/self-managed-onprem/onpremises

Calico官网提供三种安装方式,1)低于50个节点,2)高于50个节点,3)etcd datastore(官方不建议此方法)。

这里选择第一种:

安装完成后, kubectl get node 可查看节点状态,由NotReady变成Ready则正常,需要等几分钟完成。

1,node加入master节点

在所有node节点机器 *** 作,统一已安装完成 kubelet、kubeadm 和 kubectl,用master初始化完成后最后提示命令加入,切记要用root用户。

加入成功后,提示如下:

再次查看kubelet服务已正常启动。

2,需注意的坑

1:加入主节点,需要 root 用户执行词条命令,才可以加入master主节点。

node在没有加入主节点master之前,kubelet服务是没法启动的,是正常情况,会报错如下:

原因是缺失文件,主节点master初始化 `kubeadm init`生成。

node节点是不需要初始化的,所以只需要用root用户`kubeadm join`加入master即可生成。

2:如果加入提示某些文件已存在,如:

原因是加入过主节点,即使没成功加入,文件也会创建,所以需要重置节点,重新加入即可,重置命令:

3,在master查看节点

加入完成后,在master节点 kubectl get node 可查看已加入的所有节点:

这里k8s集群创建完成,下一步使用可参考我的下一篇文章:k8s初步熟悉使用介绍,实践搭建nginx集群

install docker centos ubuntu

本地安装 k8s 推荐使用 K3s , dashboard 推荐 Kuboard

如果需要更改端口,可以使用 --apiserver-bind-port 8443

or

如果是本地部署建议 memory 16g+

单机部署解除 master 污点设置

后面的步骤和 ubuntu 安装相同

docker-compose 安装

可以先执行

然后重新安装

K8s集群搭建

1 centos版本信息查看

[root@localhost ~]# uname -a

Linux localhost.localdomain 3.10.0-862.el7.x86_64 #1 SMP Fri Apr 20 16:44:24 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux

k8s集群机器关闭防火墙

[root@localhost ~]# systemctl stop firewalld

[root@localhost ~]# systemctl disable firewalld

Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.

Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.

2 安装必要的包

k8s集群安装以下安装包

[root@k8s-node ~]# yum -y install net-tools wget vim ntpd

[root@k8s-node ~]# systemctl enable ntpd

[root@k8s-node ~]# systemctl start ntpd

3配置hosts

[root@k8s-node ~]# cat /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4

::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.248.141 k8s-master

192.168.248.142 k8s-node

4 部署master节点

4.1 Master节点安装必要的安装包

[root@k8s-master ~]# yum -y install etcd

4.2更改/etc/etcd/etcd.conf配置文件

[root@k8s-master etcd]# cat /etc/etcd/etcd.conf | grep -v "^#"

ETCD_DATA_DIR="/var/lib/etcd/default.etcd"

ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379,http://0.0.0.0:4001"

ETCD_NAME="master"

ETCD_ADVERTISE_CLIENT_URLS= http://k8s-master:2379,http://k8s-master:4001

4.3设置开机启动并验证状态

[root@k8s-master ~]#systemctl enable etcd

[root@k8s-master ~]#systemctl start etcd

etcd检查

[root@k8s_master ~]# etcdctl -C http://k8s-master:4001 cluster-health

member 8e9e05c52164694d is healthy: got healthy result from http://k8s_master:2379 cluster is healthy

[root@k8s_master ~]# etcdctl -C http://k8s-master:2379 cluster-health

member 8e9e05c52164694d is healthy: got healthy result from http://k8s_master:2379 cluster is healthy

5 安装部署docker环境(略)

6 安装kubernetes

[root@k8s_master ~]# yum install kubernetes

安装过程中报错如下

Error: docker-ce conflicts with 2:docker-1.13.1-75.git8633870.el7.centos.x86_64

可以执行如下命令解决

1、查看安装过的docker:yum list installed | grep docker

2、卸载docker:yum remove -y docker-ce.x86_64 0:18.03.0.ce-1.el7.centos

3、删除容器镜像:rm -rf /var/lib/docker

再次安装kubernetes,安装成功,而且会自动安装docker

6.1修改apiserver服务的配置文件

[root@k8s-master kubernetes]# cat /etc/kubernetes/apiserver | grep -v "^#"

KUBE_API_ADDRESS="--insecure-bind-address=0.0.0.0"

KUBE_API_PORT="--port=8080"

KUBE_ETCD_SERVERS="--etcd-servers=http://192.168.248.141:2379"

KUBE_SERVICE_ADDRESSES="--service-cluster-ip-range=10.254.0.0/16"

KUBE_ADMISSION_CONTROL="--admission-control=NamespaceLifecycle,NamespaceExists,LimitRanger,SecurityContextDeny,ResourceQuota"

KUBE_API_ARGS=""

6.2修改config配置文件:

[root@k8s-master kubernetes]# cat /etc/kubernetes/config | grep -v "^#"

KUBE_LOGTOSTDERR="--logtostderr=true"

KUBE_LOG_LEVEL="--v=0"

KUBE_ALLOW_PRIV="--allow-privileged=false"

KUBE_MASTER="--master=http://192.168.248.141:8080"

设置开机启动,开启服务

[root@k8s-master ~]#systemctl enable kube-apiserver kube-controller-manager kube-scheduler docker

[root@k8s-master ~]#systemctl start kube-apiserver kube-controller-manager kube-scheduler docker

6.3查看服务端口:

[root@k8s-master ~]# netstat –tnlp

Active Internet connections (only servers)

Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name   

tcp        0      0 127.0.0.1:25            0.0.0.0:*               LISTEN      1273/master        

tcp        0      0 127.0.0.1:2380          0.0.0.0:*               LISTEN      2126/etcd          

tcp        0      0 0.0.0.0:111             0.0.0.0:*               LISTEN      571/rpcbind        

tcp        0      0 192.168.122.1:53        0.0.0.0:*               LISTEN      1362/dnsmasq       

tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      998/sshd           

tcp        0      0 127.0.0.1:631           0.0.0.0:*               LISTEN      996/cupsd          

tcp6       0      0 ::1:25                  :::*                    LISTEN      1273/master        

tcp6       0      0 :::4001                 :::*                    LISTEN      2126/etcd          

tcp6       0      0 :::6443                 :::*                    LISTEN      3216/kube-apiserver

tcp6       0      0 :::10251                :::*                    LISTEN      3222/kube-scheduler

tcp6       0      0 :::2379                 :::*                    LISTEN      2126/etcd          

tcp6       0      0 :::10252                :::*                    LISTEN      3221/kube-controlle

tcp6       0      0 :::111                  :::*                    LISTEN      571/rpcbind        

tcp6       0      0 :::8080                 :::*                    LISTEN      3216/kube-apiserver

tcp6       0      0 :::22                   :::*                    LISTEN      998/sshd           

tcp6       0      0 ::1:631                 :::*                    LISTEN      996/cupsd 

7部署node节点

7.1安装docker(略)安装k8s(略)

7.2 Node节点主机做以下配置:

修改config配置文件

[root@k8s-node kubernetes]# cat /etc/kubernetes/config | grep -v "^#"

KUBE_LOGTOSTDERR="--logtostderr=true"

KUBE_LOG_LEVEL="--v=0"

KUBE_ALLOW_PRIV="--allow-privileged=false"

KUBE_MASTER="--master=http://192.168.248.141:8080"

修改kubelet配置文件

[root@k8s-node kubernetes]# cat /etc/kubernetes/kubelet | grep -v "^#"

KUBELET_ADDRESS="--address=0.0.0.0"

KUBELET_HOSTNAME="--hostname-override=192.168.248.142"

KUBELET_API_SERVER="--api-servers=http://192.168.248.141:8080"

KUBELET_POD_INFRA_CONTAINER="--pod-infra-container-image=registry.access.redhat.com/rhel7/pod-infrastructure:latest"

KUBELET_ARGS=""

设置开机启动、开启服务

[root@k8s_client1 ~]# systemctl enable kubelet kube-proxy

[root@k8s_client1 ~]# systemctl start kubelet kube-proxy

查看端口:

[root@k8s_client1 ~]# netstat –ntlp

Active Internet connections (only servers)

Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name   

tcp        0      0 127.0.0.1:25            0.0.0.0:*               LISTEN      1277/master        

tcp        0      0 127.0.0.1:10248         0.0.0.0:*               LISTEN      3246/kubelet       

tcp        0      0 127.0.0.1:10249         0.0.0.0:*               LISTEN      3133/kube-proxy    

tcp        0      0 0.0.0.0:111             0.0.0.0:*               LISTEN      575/rpcbind        

tcp        0      0 192.168.122.1:53        0.0.0.0:*               LISTEN      1332/dnsmasq       

tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      1000/sshd          

tcp        0      0 127.0.0.1:631           0.0.0.0:*               LISTEN      998/cupsd          

tcp6       0      0 ::1:25                  :::*                    LISTEN      1277/master        

tcp6       0      0 :::4194                 :::*                    LISTEN      3246/kubelet       

tcp6       0      0 :::10250                :::*                    LISTEN      3246/kubelet       

tcp6       0      0 :::10255                :::*                    LISTEN      3246/kubelet       

tcp6       0      0 :::111                  :::*                    LISTEN      575/rpcbind        

tcp6       0      0 :::22                   :::*                    LISTEN      1000/sshd          

tcp6       0      0 ::1:631                 :::*                    LISTEN      998/cupsd      

Master上查看集群中的节点及节点状态

[root@k8s-master kubernetes]# kubectl get node

NAME              STATUS    AGE

192.168.248.142   Ready     2m

[root@k8s-master kubernetes]# kubectl -s http://k8s-master:8080 get node

NAME              STATUS    AGE

192.168.248.142   Ready     2m

kubernetes集群搭建完成。

在k8s集群中创建pod,如果出现如下错误

其中最主要的问题是:details: (open /etc/docker/certs.d/registry.access.redhat.com/redhat-ca.crt: no such file or directory)

解决方案:

查看/etc/docker/certs.d/registry.access.redhat.com/redhat-ca.crt (该链接就是上图中的说明) 是一个软链接,但是链接过去后并没有真实的/etc/rhsm,所以需要使用yum安装:

yum install *rhsm*

安装完成后,执行一下docker pull registry.access.redhat.com/rhel7/pod-infrastructure:latest

如果依然报错,可参考下面的方案:

wget http://mirror.centos.org/centos/7/os/x86_64/Packages/python-rhsm-certificates-1.19.10-1.el7_4.x86_64.rpm

rpm2cpio python-rhsm-certificates-1.19.10-1.el7_4.x86_64.rpm | cpio -iv --to-stdout ./etc/rhsm/ca/redhat-uep.pem | tee /etc/rhsm/ca/redhat-uep.pem

 注释:rpm2cpio命令用于将rpm软件包转换为cpio格式的文件

cpio命令主要是用来建立或者还原备份档的工具程序,cpio命令可以复制文件到归档包中,或者从归档包中复文件。          

           -i   还原备份档  

           -v  详细显示指令的执行过程

这两个命令会生成/etc/rhsm/ca/redhat-uep.pem文件.

[root@k8s-node ~]# docker pull registry.access.redhat.com/rhel7/pod-infrastructure:latest

在master节点新建pod并查看起状态为正常

flannel是CoreOS提供用于解决Dokcer集群跨主机通讯的覆盖网络工具。它的主要思路是:预先留出一个网段,每个主机使用其中一部分,然后每个容器被分配不同的ip;让所有的容器认为大家在同一个直连的网络,底层通过UDP/VxLAN等进行报文的封装和转发。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/yw/8752512.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-04-20
下一篇 2023-04-20

发表评论

登录后才能评论

评论列表(0条)

保存