Kubernetes——K8s集群构建实战

阿里云国内75折 回扣 微信号：monov8
阿里云国际，腾讯云国际，低至75折。AWS 93折 免费开户实名账号 代冲值 优惠多多 微信号：monov8 飞机：@monov6


摘要

Kubernetes是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单并且高效（powerful）,Kubernetes提供了应用部署，规划，更新，维护的一种机制。Kubernetes一个核心的特点就是能够自主的管理容器来保证云平台中的容器按照用户的期望状态运行着管理员可以加载一个微型服务，让规划器来找到合适的位置，同时，Kubernetes也系统提升工具以及人性化方面，让用户能够方便的部署自己的应用。现在Kubernetes着重于不间断的服务状态（比如web服务器或者缓存服务器）和原生云平台应用（Nosql）,在不久的将来会支持各种生产云平台中的各种服务，例如，分批，工作流，以及传统数据库。总之就是一句话：用于管理docker容器的平台。


Kubernetes——K8s集群构建实战_Kubernetes


Kubernetes——K8s集群构建实战_vim_02


一、K8s在Ubuntu18.04的集群构建实战

虚拟机主机名

服务器类型

IP地址集和端口号

k8s-master

Ubuntu18.04

192.168.25.137

k8s-node1

Ubuntu18.04

192.168.25.138

k8s-node2

Ubuntu18.04

192.168.25.139

k8s-node3

Ubuntu18.04

192.168.25.140

1.1 环境准备


# 1 开启Ubuntu的远程ssh访问

# 首先在服务器上安装ssh的服务器端。

sudo apt-get install ssh

# 启动ssh访问

sudo /etc/init.d/ssh start


# 2 关闭三台机器的防火墙：

#临时关闭

systemctl stop firewalld

#永久关闭

systemctl disable firewalld


# 3、关闭swap

swapoff -a

rm -f /swap.img

# 或者是使用

vim /etc/fstab

# /swap.img


# 4、开启ip转发

vim /etc/sysctl.conf

net.ipv4.ip_forward=1

#查看状态

sysctl -p


1.2 容器安装


#1、更新 apt 包索引
sudo apt-get update
 
#2、添加 Docker 的官方 GPG 密钥：
curl -fsSL https://mirrors.ustc.edu.cn/docker-ce/linux/ubuntu/gpg | sudo apt-key add -
 
#3、更新 apt 包索引
sudo apt-get update
 
#4、安装最新版本的 Docker Engine-Community 和 containerd ，或者转到下一步安装特定版本：
sudo apt-get install docker-ce docker-ce-cli containerd.io
 
#5、设置开机启动
systemctl enable docker && systemctl start docker


# 1修改镜像源
 
vim /etc/docker/daemon.json
 
{
  "registry-mirrors": ["https://b9pmyelo.mirror.aliyuncs.com"]
}
 
#2、重启docker
 
systemctl restart docker
 
#3、查看docker 信息
 
docker info


1.3 k8s安装


#1、安装依赖

sudo apt-get update

sudo apt-get -y install apt-transport-https ca-certificates curl software-properties-common

#2、安装GPG证书

curl -fsSL https://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -

#3、写入软件源信息

sudo add-apt-repository "deb [arch=amd64] https://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"


#1、安装k8s 添加证书

curl https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | apt-key add - 

#2、添加apt源

cat <<EOF >/etc/apt/sources.list.d/kubernetes.list
deb https://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main
EOF  

apt-get update


# 1、安装指定版本

apt-get install -y kubelet=1.19.0-00 kubeadm=1.19.0-00 kubectl=1.19.0-00

# 2、设置开机启动

sudo systemctl enable kubelet && sudo systemctl start kubelet

# 3、查看所需镜像

kubeadm config images list --kubernetes-version=v1.19.0

k8s.gcr.io/kube-apiserver:v1.19.0-00
k8s.gcr.io/kube-controller-manager:v1.19.0-00
k8s.gcr.io/kube-scheduler:v1.19.0-00
k8s.gcr.io/kube-proxy:v1.19.0-00
k8s.gcr.io/pause:3.2
k8s.gcr.io/etcd:3.4.9-1
k8s.gcr.io/coredns:1.7.0

# 4、从新地址下载镜像

docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-apiserver:v1.19.0
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-controller-manager:v1.19.0
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-scheduler:v1.19.0
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-proxy:v1.19.0
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.2
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/etcd:3.4.9-1
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/coredns:1.7.0


1.4 主节点配置


# 1、master节点初始化

kubeadm init --kubernetes-version=v1.18.4 --pod-network-cidr=10.244.0.0/16 --service-cidr=10.96.0.0/12 --ignore-preflight-errors=all

#2、 按照提示实行相关的命令

mkdir -p $HOME/.kube
 
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
 
sudo chown $(id -u):$(id -g) $HOME/.kube/config
 
kubectl get nodes
 
NAME         STATUS   ROLES    AGE   VERSION
k8s-master   Ready    master   2m   v1.18.0


#1、添加网络组件

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

#2、检查状态

kubectl get pods -n kube-system -l app=flannel

#3、检查节点是否准备完成

kubectl get nodes


1.5 从节点配置


# 加入集群相关命令

kubeadm join 192.168.25.137:6443 --token 7mhyb8.8551b40phda2ysep \
    --discovery-token-ca-cert-hash sha256:8aefb406e7d36c0be1e883b2c5489a1795e966316cf41e463858cd9c9c59c988

#默认token有效期为24小时，当过期之后，该token就不可用了。这时就需要重新创建token，操作如下：

kubeadm token create --print-join-command
 
kubeadm join 192.168.25.137:6443 --token nuja6n.o3jrhsffiqs9swnu --discovery-token-ca-cert-hash sha256:63bca849e0e01691ae14eab449570284f0c3ddeea590f8da988c07fe2729e924


1.6 集群网络配置


在 master 的时候就已经完了

#1、添加网络组件

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

#2、检查状态

kubectl get pods -n kube-system -l app=flannel

#3、检查节点是否准备完成

kubectl get nodes

[点击并拖拽以移动]


二、k8s在Centos7.04的集群构建实战

虚拟机主机名

服务器类型

IP地址集和端口号

k8s-master

Centos7.04

192.168.25.137

k8s-node1

Centos7.04

192.168.25.138

k8s-node2

Centos7.04

192.168.25.139

2.1 环境准备


#1、三台虚拟机关闭防火墙：

#临时关闭

systemctl stop firewalld

#永久关闭

systemctl disable firewalld


#2、关闭selinux：

setenforce 0  # 临时

sed -i 's/enforcing/disabled/' /etc/selinux/config  # 永久


#3、关闭swap：

swapoff -a  # 临时

vim /etc/fstab  # 永久


#4、设置今天主机名和配置动态主机名：

vim /etc/hostname
k8s-master

vim /etc/hostname
k8s-node1

vim /etc/hostname
k8s-node2


#5、分别设置三个机器的IP地址 这样可以保证能够相互ping

vim /etc/hosts

192.168.25.137 k8s-master
192.168.25.138 k8s-node1
192.168.25.139 k8s-node2


#6、将桥接的IPv4流量传递到iptables的链
$ cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF


# 7、使得设置的系统文件生效

sysctl --system  # 生效


# 8、时间同步：

yum install ntpdate -y

ntpdate time.windows.com


2.2 docker容器安装


#更新 apt 包索引
sudo apt-get update
 
#添加 Docker 的官方 GPG 密钥：
curl -fsSL https://mirrors.ustc.edu.cn/docker-ce/linux/ubuntu/gpg | sudo apt-key add -
 
#更新 apt 包索引
sudo apt-get update
 
#安装最新版本的 Docker Engine-Community 和 containerd ，或者转到下一步安装特定版本：
sudo apt-get install docker-ce docker-ce-cli containerd.io
 
# 设置开机启动
systemctl enable docker && systemctl start docker


#1、修改镜像源

vim /etc/docker/daemon.json

{
  "registry-mirrors": ["https://b9pmyelo.mirror.aliyuncs.com"]
}

#2、重启docker

systemctl restart docker

#3、查看docker 信息

docker info


# 添加阿里云YUM软件源

vim /etc/yum.repos.d/kubernetes.repo

[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg


2.3 k8s安装


安装kubeadm，kubelet和kubectl  由于版本更新频繁，这里指定版本号部署：

yum install -y kubelet-1.19.0 kubeadm-1.19.0 kubectl-1.19.0

systemctl enable kubelet


2.4 主节点配置


# 在192.16825.137（k8s-master）执行

kubeadm init \
--apiserver-advertise-address=192.168.25.137 \
--image-repository registry.aliyuncs.com/google_containers \
--kubernetes-version v1.19.0 \
--service-cidr=10.96.0.0/12 \
--pod-network-cidr=10.244.0.0/16 \
--ignore-preflight-errors=all

配置说明：

–apiserver-advertise-address 集群通告地址
–image-repository 由于默认拉取镜像地址k8s.gcr.io国内无法访问，这里指定阿里云镜像仓库地址
–kubernetes-version K8s版本，与上面安装的一致
–service-cidr 集群内部虚拟网络，Pod统一访问入口
–pod-network-cidr Pod网络，，与下面部署的CNI网络组件yaml中保持一致


 或者使用配置文件引导：


# vim kubeadm.conf

apiVersion: kubeadm.k8s.io/v1beta2
kind: ClusterConfiguration
kubernetesVersion: v1.18.0
imageRepository: registry.aliyuncs.com/google_containers 
networking:
  podSubnet: 10.244.0.0/16 
  serviceSubnet: 10.96.0.0/12 

# 主节点初始化

kubeadm init --config kubeadm.conf --ignore-preflight-errors=all


安装成功与命令提示


Your Kubernetes control-plane has initialized successfully!

# 一定要执行的步骤

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

#集群节点加入命令

kubeadm join 192.168.25.137:6443 --token 7mhyb8.8551b40phda2ysep \
    --discovery-token-ca-cert-hash sha256:8aefb406e7d36c0be1e883b2c5489a1795e966316cf41e463858cd9c9c59c988


 拷贝kubectl使用的连接k8s认证文件到默认路径：


mkdir -p $HOME/.kube

sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

sudo chown $(id -u):$(id -g) $HOME/.kube/config

kubectl get nodes

NAME         STATUS   ROLES    AGE   VERSION
k8s-master   Ready    master   2m   v1.18.0


2.5 从节点配置


kubeadm join 192.168.25.137:6443 --token 7mhyb8.8551b40phda2ysep \
    --discovery-token-ca-cert-hash sha256:8aefb406e7d36c0be1e883b2c5489a1795e966316cf41e463858cd9c9c59c988


默认token有效期为24小时，当过期之后，该token就不可用了。这时就需要重新创建token，操作如下：


kubeadm token create --print-join-command

kubeadm join 192.168.25.137:6443 --token nuja6n.o3jrhsffiqs9swnu --discovery-token-ca-cert-hash sha256:63bca849e0e01691ae14eab449570284f0c3ddeea590f8da988c07fe2729e924


2.6 集群网络配置

注意：只需要部署下面其中一个，推荐Calico。Calico是一个纯三层的数据中心网络方案，Calico支持广泛的平台，包括Kubernetes、OpenStack等。Calico 在每一个计算节点利用 Linux Kernel 实现了一个高效的虚拟路由器（ vRouter） 来负责数据转发，而每个 vRouter 通过 BGP 协议负责把自己上运行的 workload 的路由信息向整个 Calico 网络内传播。此外，Calico 项目还实现了 Kubernetes 网络策略，提供ACL功能。


wget https://docs.projectcalico.org/manifests/calico.yaml


或者是使用kubectl apply -f calico.yaml文件


kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v2.3.1/aio/deploy/recommended.yaml


2.7 集群测试与启动


Kubernetes——K8s集群构建实战_docker_03


Kubernetes——K8s集群构建实战_docker_04


Kubernetes——K8s集群构建实战_docker_05


三、k8s在集群服务部署与管理实战

3.1 Dashboard可视化管理


# 下载 kubernetes官方提供的可视化界面

kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.3/aio/deploy/recommended.yaml

# 编辑的文件 设置访问端口

# type: ClusterIP 改为 type: NodePort

kubectl edit svc kubernetes-dashboard -n kubernetes-dashboard

#找到端口，在安全组放行

kubectl get svc -A |grep kubernetes-dashboard


*****************************************************************************************************************************
kubernetes-dashboard   dashboard-metrics-scraper   ClusterIP   10.110.130.254   <none>        8000/TCP                 43m
kubernetes-dashboard   kubernetes-dashboard        NodePort    10.104.232.122   <none>        443:30475/TCP            43m

# 创建访问账号

#创建访问账号，准备一个yaml文件； vi dash.yaml
apiVersion: v1
kind: ServiceAccount
metadata:
  name: admin-user
  namespace: kubernetes-dashboard
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: admin-user
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: cluster-admin
subjects:
- kind: ServiceAccount
  name: admin-user
  namespace: kubernetes-dashboard

# k8s执行的相关的命令

kubectl apply -f dash.yaml

# 创建访问令牌

kubectl -n kubernetes-dashboard get secret $(kubectl -n kubernetes-dashboard get sa/admin-user -o jsonpath="{.secrets[0].name}") -o go-template="{{.data.token | base64decode}}"


 创建service account并绑定默认cluster-admin管理员集群角色：


# 创建用户
$ kubectl create serviceaccount dashboard-admin -n kube-system
# 用户授权
$ kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin
# 获取用户Token
$ kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk '/dashboard-admin/{print $1}')


Kubernetes——K8s集群构建实战_vim_06


Kubernetes——K8s集群构建实战_vim_07


四、k8s在集群维护管理

如果出现的节点坏死需要重新加入的话的的命令是

在master中，查看节点数和要删除的节点数，因集群ip进行了修改，节点出现了异常。

[root@k8s-master ~]# kubectl  get nodes

NAME         STATUS     ROLES    AGE   VERSION

k8s-master   Ready      master   13d   v1.19.3

k8s-node1    NotReady   <none>   13d   v1.19.3

k8s-node2    NotReady   <none>   13d   v1.19.3
2. 进行删除节点操作。

[root@k8s-master ~]# kubectl  delete nodes k8s-node1

node "k8s-node1" deleted

[root@k8s-master ~]# kubectl  delete nodes k8s-node2

node "k8s-node2" deleted
在被删除的node节点中清空集群数据信息。

kubeadm reset
在集群中查看集群的token值并重新加入到里面

kubeadm token create --print-join-command


kubeadm join 10.0.1.48:6443 --token 8xwcaq.qxekio9xd02ed936     --discovery-token-ca-cert-hash sha256:d988ba566675095ae25255d63b21cc4d5a9a69bee9905dc638f58b217c651c14
6. 查看pod情况

kubectl get pods -n kube-system -o wide
7.查看node情况

\[root@k8s-master ~\]# kubectl  get nodes
NAME         STATUS   ROLES    AGE   VERSION
k8s-master   Ready    master   13d   v1.19.3
k8s-node1    Ready    <none>   24m   v1.19.3
k8s-node2    Ready    <none>   24m   v1.19.3

参考博文

ubuntu20.04安装k8s（适用于任何版本的kubernetes安装）_professorman的博客

k8s安装部署(kubeadm)_lvbibir的博客

Kubernetes基础概念 · 语雀


阿里云国内75折 回扣 微信号：monov8
阿里云国际，腾讯云国际，低至75折。AWS 93折 免费开户实名账号 代冲值 优惠多多 微信号：monov8 飞机：@monov6
标签: k8s
返回列表

上一篇：RabbitMQ——RabbitMQ基础组件（生产者、消费者、队列、交换器、路由键、绑定、连接及信道）

下一篇：一位宝石爱好者的零起点建站攻略

“Kubernetes——K8s集群构建实战” 的相关文章

从 Kubectl Top 说起， 谈谈 Kubernetes 是如何进行资源监控的？1年前 (2023-02-02)
K8s超详细安装部署流程1年前 (2023-02-02)
k8s部署 wiki.js ,带中文分词1年前 (2023-02-02)
第02讲：使用kubeadm搭建k8s集群的准备工作1年前 (2023-02-02)
【Kubernetes 企业项目实战】04、基于 K8s 构建 EFK+logstash+kafka 日志平台（中）1年前 (2023-02-02)
【Kubernetes 企业项目实战】04、基于 K8s 构建 EFK+logstash+kafka 日志平台（下）1年前 (2023-02-02)
kubernetes 入门部署1年前 (2023-02-02)
三十四、Kubernetes1.25中Ingress介绍、安装1年前 (2023-02-02)
记一次虚机强制断电 K8s 集群 etcd pod 挂掉快照丢失(没有备份)问题处理1年前 (2023-02-02)
KMS加密K8S Secret技术方案研究1年前 (2023-02-02)

阿里云国际版