k8s三节点部署文档

K8s三节点部署文档参考文档：https://zhuanlan.zhihu.com/p/138876909https://zhuanlan.zhihu.com/p/165572107https://zhuanlan.zh

K8s三节点部署文档

参考文档：

https://zhuanlan.zhihu.com/p/138876909

https://zhuanlan.zhihu.com/p/165572107

https://zhuanlan.zhihu.com/p/163107995

1、更改主机名（三节点）

主节点：hostnamectl set-hostname master

副节点：hostnamectl set-hostname node1

副节点：hostnamectl set-hostname node2

2、查看Linux内核版本（三节点）

uname -r

建议使用4.4，3.1与k8s不稳定；

3、关闭防火墙（三节点）

systemctl disable firewalld

systemctl stop firewalld

4、关闭selinux（三节点）

vi /etc/selinux/config

将enabled改为disabled重启生效

5、关闭swap分区（三节点）

临时关闭：

swapoff -a

永久关闭：

vi /etc/fstab

将选中区域注释

6、修改/etc/hosts（三节点）

192.168.100.30 master

192.168.100.31 node1

192.168.100.32 node2

7、安装yum源

8、设置时间同步（主节点master）

（1）安装ntpdate

yum install -y ntpdate

（2）注释默认ntp服务器

sed -i 's/^server/#&/' /etc/chrony.conf

（3）指定上游公共 ntp 服务器，并允许其他节点同步时间

cat >> /etc/chrony.conf << EOF

server http://0.asia.pool.ntp.org iburst

server http://1.asia.pool.ntp.org iburst

server http://2.asia.pool.ntp.org iburst

server http://3.asia.pool.ntp.org iburst

allow all

EOF

（4）重启chrony服务器并设置开机自启动

systemctl enable chronyd && systemctl restart chronyd

（5）开启网络时间同步功能

timedatectl set-ntp true

9、安装chrony（辅助节点nodde）

（1）安装chrony

yum install chrony -y

（2）注释默认服务器

sed -i 's/^server/#&/' /etc/chrony.conf

（3）指定master为上游ntp服务器

echo server 192.168.100.30 iburst >> /etc/chrony.conf

（4）重启服务并设为开机启动

systemctl enable chronyd && systemctl restart chronyd

（5）检查配置

所有NODE节点执行chronyc sources命令，查看存在以^*开头的行，说明已经与服务器时间同步

10、将桥接的IPv4流量传递到iptables的链（所有节点）

（1）RHEL / CentOS 7上的一些用户报告了由于iptables被绕过而导致流量路由不正确的问题。创建/etc/sysctl.d/k8s.conf文件，添加如下内容：

vm.swappiness = 0

net.bridge.bridge-nf-call-ip6tables = 1

net.bridge.bridge-nf-call-iptables = 1

net.ipv4.ip_forward = 1

（2）使配置生效

modprobe br_netfilter

sysctl -p /etc/sysctl.d/k8s.conf

11、加载ipvs相关模块（所有节点）

（1）由于ipvs已经加入到了内核的主干，所以为kube-proxy开启ipvs的前提需要加载以下的内核模块：

在所有的Kubernetes节点执行以下脚本:

cat > /etc/sysconfig/modules/ipvs.modules <<EOF

#!/bin/bash

modprobe -- ip_vs

modprobe -- ip_vs_rr

modprobe -- ip_vs_wrr

modprobe -- ip_vs_sh

modprobe -- nf_conntrack_ipv4

EOF

（2）增加权限

chmod +x /etc/sysconfig/modules/ipvs.modules

（3）执行脚本

sh /etc/sysconfig/modules/ipvs.modules

（4）解释：上面脚本创建了/etc/sysconfig/modules/ipvs.modules文件，保证在节点重启后能自动加载所需模块。 使用lsmod | grep -e ip_vs -e nf_conntrack_ipv4命令查看是否已经正确加载所需的内核模块。

接下来还需要确保各个节点上已经安装了ipset软件包。 为了便于查看ipvs的代理规则，最好安装一下管理工具ipvsadm。

（5）安装管理工具

yum install ipset ipvsadm -y

12、所有节点安装Docker kubeadm-引导集群的工具 / kubelet-容器管理

注：Kubernetes默认CRI（容器运行时）为Docker，因此先安装Docker。

Kubernetes默认的容器运行时仍然是Docker，使用的是kubelet中内置dockershim CRI实现。需要注意的是，Kubernetes 1.13最低支持的Docker版本是1.11.1，最高支持是18.06，而Docker最新版本已经是18.09了，故我们安装时需要指定版本为18.06.1-ce。

（1）设置yum源

wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo

（2）安装docker

yum -y install docker-ce-18.06.1.ce-3.el7

设置开机自启动以及启动docker

systemctl enable docker && systemctl start docker

查看docer的版本

docker --version

（3）设置docker加速器

cat > /etc/docker/daemon.json << EOF

{

"registry-mirrors": ["https://b9pmyelo.mirror.aliyuncs.com"]

}

EOF

（4）将添加k8s阿里yum软件源

cat > /etc/yum.repos.d/kubernetes.repo << EOF

[kubernetes]

name=Kubernetes

baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64

enabled=1

gpgcheck=0

repo_gpgcheck=0

gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg

EOF

（5）所有节点安装kubeadm，kubelet和kubectl

注：由于版本更新频繁，这里指定版本号部署：

yum install -y kubelet-1.17.0 kubeadm-1.17.0 kubectl-1.17.0

systemctl enable kubelet && systemctl start kubelet

13、部署Kubernetes（master节点）

（1）手动拉取镜像

curl -sfL

https://gitlab.abcxlab.com/bootcamp/k8s-quick-start/-/raw/master/k8s/pull-kube-image.sh | bash -

（2）由于默认拉取镜像地址http://k8s.gcr.io国内无法访问，这里指定阿里云镜像仓库地址

kubeadm init --apiserver-advertise-address=192.168.100.30 --image-repository http://registry.aliyuncs.com/google_containers --kubernetes-version v1.17.0 --service-cidr=10.96.0.0/12 --pod-network-cidr=10.244.0.0/16

(注意记录下初始化结果中的kubeadm join命令，部署worker节点时会用到)

kubeadm join 192.168.100.30:6443 --token gz68wt.0utdk93fce1rqo79

--discovery-token-ca-cert-hash sha256:3d69ea8ab91d3bc728425645aa318ba86faf1f0d21186dedb5b4600a6963a22c

13、使用kubectl工具

（1）配置工具

mkdir -p $HOME/.kube

sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

sudo chown $(id -u):$(id -g) $HOME/.kube/config

（2）查看节点状态可以看到，当前只存在1个master节点，并且这个节点的状态是 NotReady。

kubectl get nodes

（3）查看集群状态：确认各个组件都处于healthy状态。

kubectl get cs

（4）查看当前节点详细信息

kubectl api-resources

（5）注：通过 kubectl describe 指令的输出，我们可以看到 NodeNotReady 的原因在于，我们尚未部署任何网络插件，kube-proxy等组件还处于starting状态。 另外，我们还可以通过 kubectl 检查这个节点上各个系统 Pod 的状态，其中，kube-system 是 Kubernetes 项目预留的系统 Pod 的工作空间（Namepsace，注意它并不是 Linux Namespace，它只是 Kubernetes 划分不同工作空间的单位）：

# 5.3.4检查这个节点上各个系统 Pod 的状态

可以看到，CoreDNS依赖于网络的 Pod 都处于 Pending 状态，即调度失败。这当然是符合预期的：因为这个 Master 节点的网络尚未就绪。 集群初始化如果遇到问题，可以使用kubeadm reset命令进行清理然后重新执行初始化。

14、安装Pod网络插件（CNI）

（1）直接获取

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

（2）如果下不下来可以使用浏览器下载然后上传到服务器中

kubectl apply -f kube-flannel.ym

（3）重新检查Pod

kubectl get pod -n kube-system -o wide

可以看到，所有的系统 Pod 都成功启动了，而刚刚部署的flannel网络插件则在 kube-system 下面新建了一个名叫kube-flannel-ds-amd64-lkf2f的 Pod，一般来说，这些 Pod 就是容器网络插件在每个节点上的控制组件。 Kubernetes 支持容器网络插件，使用的是一个名叫 CNI 的通用接口，它也是当前容器网络的事实标准，市面上的所有容器网络开源项目都可以通过 CNI 接入 Kubernetes，比如 Flannel、Calico、Canal、Romana 等等，它们的部署方式也都是类似的“一键部署”。

（4）重新检查master节点状态

kubectl get nodes

至此，Kubernetes 的 Master 节点就部署完成了。如果你只需要一个单节点的 Kubernetes，现在你就可以使用了。不过，在默认情况下，Kubernetes 的 Master 节点是不能运行用户 Pod 的。

15、部署work节点

（1）加入Kubernetes Node（node节点）

向集群添加新节点，执行在kubeadm init输出的kubeadm join命令：

kubeadm join 192.168.100.30:6443 --token gz68wt.0utdk93fce1rqo79

--discovery-token-ca-cert-hash sha256:3d69ea8ab91d3bc728425645aa318ba86faf1f0d21186dedb5b4600a6963a22c

如果执行kubeadm init时没有记录下加入集群的命令，可以通过以下命令重新创建

kubeadm token create --print-join-command

（2）使用 kubectl get nodes 命令检查集群各节点状态是否Ready

（3）等所有的节点都已经 Ready，Kubernetes Cluster 创建成功，一切准备就绪。 如果pod状态为Pending、ContainerCreating、ImagePullBackOff都表明 Pod 没有就绪，Running 才是就绪状态。 如果有pod提示Init:ImagePullBackOff，说明这个pod的镜像在对应节点上拉取失败，我们可以通过 kubectl describe pod 查看 Pod 具体情况，以确认拉取失败的镜像：

（4）其他操作

docker images

查看节点下载了那些镜像

16、测试kubernetes集群（master）

（1）首先验证kube-apiserver, kube-controller-manager, kube-scheduler, pod network 是否正常：

部署一个 Nginx Deployment，包含2个Pod 参考： https://kubernetes.io/docs/concepts/workloads/controllers/deployment/

在Kubernetes集群中创建一个pod，验证是否正常运行：

[root@master ~]# kubectl create deployment nginx --image=nginx:alpine

[root@master ~]# kubectl scale deployment nginx --replicas=2

# 验证Nginx Pod是否正确运行，并且会分配10.244.开头的集群IP

[root@master ~]# kubectl get pods -l app=nginx -o wide

# 再验证一下kube-proxy是否正常：以 NodePort 方式对外提供服务

[root@master ~]# kubectl expose deployment nginx --port=80 --type=NodePort

[root@master ~]# kubectl get services nginx

# 可以通过任意 NodeIP:Port 在集群外部访问这个服务,都可以访问到nginx的初始化页面：

（2）最后验证一下dns, pod network是否正常： 运行Busybox并进入交互模式

kubectl run -it curl --image=radial/busyboxplus:curl

# 输入nslookup nginx查看是否可以正确解析出集群内的IP，以验证DNS是否正常

nslookup nginx

# 通过服务名进行访问，验证kube-proxy是否正常

curl http://nginx/

17、部署Dashboard

（1）准备安装kubernetes dashboard的yaml文件

https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.0-beta8/aio/deploy/recommended.yaml

（2）默认Dashboard只能集群内部访问，修改Service为NodePort类型，并暴露端口到外部：

（3）创建service account并绑定默认cluster-admin管理员集群角色：

kubectl create serviceaccount dashboard-admin -n kube-system

kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin

kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk '/dashboard-admin/{print $1}')

此处的token,下文dashboard 登陆时需要使用，记得找地方记下来，实在忘了记录，也有重新输出的操作

（4）应用配置文件启动服务

拉取文件：

wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.0-beta8/aio/deploy/recommended.yaml

修改servcie部分

使用文件安装：kubectl apply -f kubernetes-dashboard.yaml

验证状态

kubectl get pods -n kubernetes-dashboard

kubectl get svc -n kubernetes-dashboard

登陆网址：https://192.168.100.30:30443/

（5）解决Dashboard chrome无法访问问题

（1）K8S Dashboard安装好以后，通过Firefox浏览器是可以打开的，但通过Google Chrome浏览器，无法成功浏览页面。如图：

（2）解决方案

kubeadm自动生成的证书，很多浏览器不支持。所以我们需要自己创建证书。

（3）创建一个key的目录，存放证书等文件

mkdir kubernetes-key

cd kubernetes-key

（4）生成证书请求的key

openssl genrsa -out dashboard.key 2048

（5）生成证书请求

openssl req -new -out dashboard.csr -key dashboard.key -subj '/CN=192.168.100.30'

（6）生成自签证书

openssl x509 -req -in dashboard.csr -signkey dashboard.key -out dashboard.crt

（7）删除原有证书

kubectl delete secret kubernetes-dashboard-certs -n kubernetes-dashboard

（8）创建新证书的sercret

kubectl create secret generic kubernetes-dashboard-certs --from-file=dashboard.key --from-file=dashboard.crt -n kubernetes-dashboard

（9）查找正在运行的Pod

kubectl get pod -n kubernetes-dashboard

（10）删除旧有的Pod

kubectl get pod -n kubernetes-dashboard

kubectl delete po kubernetes-dashboard-5996555fd8-jn9tr -n kubernetes-dashboard

kubectl delete po dashboard-metrics-scraper-76585494d8-h6nbw -n kubernetes-dashboard

（11）检查状态

kubectl get pod -n kubernetes-dashboard

（12）访问网址

使用之前保存的Token访问