Kubernetes(K8S)中StorageClass(SC)详解、实例

阿里云国内75折 回扣 微信号：monov8
阿里云国际，腾讯云国际，低至75折。AWS 93折 免费开户实名账号 代冲值 优惠多多 微信号：monov8 飞机：@monov6

1、概念

StorageClass是一个存储类通过创建StorageClass可以动态生成一个存储卷供k8s用户使用。

使用StorageClass可以根据PVC动态的创建PV减少管理员手工创建PV的工作。

StorageClass的定义主要包括名称、后端存储的提供者privisioner和后端存储的相关参数配置。StorageClass一旦被创建就无法修改如需修改只能删除重建。

2、创建

要使用 StorageClass我们就得安装对应的自动配置程序比如本篇文章使用的存储后端是 nfs那么我们就需要使用到一个 NFS-Subdir-External-Provisioner 的自动配置程序我们也叫它 Provisioner

教程https://github.com/kubernetes-sigs/nfs-subdir-external-provisioner这个程序使用我们已经配置好的 nfs 服务器来自动创建持久卷也就是自动帮我们创建 PV。

  • 自动创建的 PV 以{namespace}-{pvcName}-{pvName} 这样的命名

  • 格式创建在 NFS 服务器上的共享数据目录中

  • 当这个 PV 被回收后会以archieved-{namespace}-{pvcName}-{pvName} 这样的命名格式存在 NFS 服务器上。

2.1、集群环境

[root@k8s-master ~]# kubectl cluster-info
Kubernetes control plane is running at https://10.211.55.11:6443
CoreDNS is running at https://10.211.55.11:6443/api/v1/namespaces/kube-system/services/kube-dns:dns/proxy

To further debug and diagnose cluster problems, use 'kubectl cluster-info dump'.
[root@k8s-master ~]#
[root@k8s-master ~]# kubectl get nodes -owide
NAME         STATUS   ROLES           AGE   VERSION   INTERNAL-IP    EXTERNAL-IP   OS-IMAGE          KERNEL-VERSION          CONTAINER-RUNTIME
k8s-master   Ready    control-plane   19h   v1.25.0   10.211.55.11   <none>        CentOS Stream 8   4.18.0-408.el8.x86_64   docker://20.10.22
k8s-node1    Ready    <none>          19h   v1.25.0   10.211.55.12   <none>        CentOS Stream 8   4.18.0-408.el8.x86_64   docker://20.10.22
k8s-node2    Ready    <none>          19h   v1.25.0   10.211.55.13   <none>        CentOS Stream 8   4.18.0-408.el8.x86_64   docker://20.10.22
[root@k8s-master ~]#

2.2、创建 ServiceAccount

现在的 Kubernetes 集群大部分是基于 RBAC 的权限控制所以我们需要创建一个拥有一定权限的 ServiceAccount 与后面要部署的 NFS Subdir Externa Provisioner 组件绑定。

注意ServiceAccount是必须的否则将不会动态创建PVPVC状态一直为Pending

RBAC 资源文件 nfs-rbac.yaml

apiVersion: v1
kind: ServiceAccount
metadata:
  name: nfs-client-provisioner
  namespace: dev
---
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: nfs-client-provisioner-runner
rules:
  - apiGroups: [""]
    resources: ["persistentvolumes"]
    verbs: ["get", "list", "watch", "create", "delete"]
  - apiGroups: [""]
    resources: ["persistentvolumeclaims"]
    verbs: ["get", "list", "watch", "update"]
  - apiGroups: ["storage.k8s.io"]
    resources: ["storageclasses"]
    verbs: ["get", "list", "watch"]
  - apiGroups: [""]
    resources: ["events"]
    verbs: ["create", "update", "patch"]
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: run-nfs-client-provisioner
subjects:
  - kind: ServiceAccount
    name: nfs-client-provisioner
    namespace: dev
roleRef:
  kind: ClusterRole
  name: nfs-client-provisioner-runner
  apiGroup: rbac.authorization.k8s.io
---
kind: Role
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: leader-locking-nfs-client-provisioner
  namespace: dev
rules:
  - apiGroups: [""]
    resources: ["endpoints"]
    verbs: ["get", "list", "watch", "create", "update", "patch"]
---
kind: RoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: leader-locking-nfs-client-provisioner
  namespace: dev
subjects:
  - kind: ServiceAccount
    name: nfs-client-provisioner
    namespace: dev
roleRef:
  kind: Role
  name: leader-locking-nfs-client-provisioner
  apiGroup: rbac.authorization.k8s.io

2.3、部署NFS-Subdir-External-Provisioner

我们以master10.211.55.11为nfs服务器共享目录为/root/data/nfsStorageClass名称为storage-nfs 部署NFS-Subdir-External-Provisioner

创建nfs-provisioner-deploy.yaml

kind: Deployment
apiVersion: apps/v1
metadata:
  name: nfs-client-provisioner
  namespace: dev
spec:
  replicas: 1
  selector:
    matchLabels:
      app: nfs-client-provisioner
  strategy:
    type: Recreate        #设置升级策略为删除再创建(默认为滚动更新)
  template:
    metadata:
      labels:
        app: nfs-client-provisioner
    spec:
      serviceAccountName: nfs-client-provisioner  #上一步创建的ServiceAccount名称
      containers:
        - name: nfs-client-provisioner
          image: registry.cn-beijing.aliyuncs.com/mydlq/nfs-subdir-external-provisioner:v4.0.0
          volumeMounts:
            - name: nfs-client-root
              mountPath: /persistentvolumes
          env:
            - name: PROVISIONER_NAME  # Provisioner的名称,以后设置的storageclass要和这个保持一致
              value: storage-nfs
            - name: NFS_SERVER        # NFS服务器地址,需和valumes参数中配置的保持一致
              value: 10.211.55.11
            - name: NFS_PATH          # NFS服务器数据存储目录,需和valumes参数中配置的保持一致
              value: /root/data/nfs
            - name: ENABLE_LEADER_ELECTION
              value: "true"
      volumes:
        - name: nfs-client-root
          nfs:
            server: 10.211.55.11        # NFS服务器地址
            path: /root/data/nfs        # NFS共享目录

执行效果

# 创建
[root@k8s-master ~]# kubectl apply -f nfs-provisioner-deploy.yaml
deployment.apps/nfs-client-provisioner created
[root@k8s-master ~]#
[root@k8s-master ~]#

# 查看
[root@k8s-master ~]# kubectl get deploy,pod -n dev
NAME                                     READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/nfs-client-provisioner   1/1     1            1           9s

NAME                                         READY   STATUS    RESTARTS   AGE
pod/nfs-client-provisioner-59b496764-5kts2   1/1     Running   0          9s
[root@k8s-master ~]#

2.4、创建 NFS StorageClass

我们在创建 PVC 时经常需要指定 storageClassName 名称这个参数配置的就是一个 StorageClass 资源名称PVC 通过指定该参数来选择使用哪个 StorageClass并与其关联的 Provisioner 组件来动态创建 PV 资源。所以这里我们需要提前创建一个 Storagelcass 资源。

创建nfs-storageclass.yaml

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  namespace: dev
  name: nfs-storage
  annotations:
    storageclass.kubernetes.io/is-default-class: "false"  ## 是否设置为默认的storageclass
provisioner: storage-nfs                                   ## 动态卷分配者名称必须和上面创建的deploy中环境变量“PROVISIONER_NAME”变量值一致
parameters:
  archiveOnDelete: "true"                                 ## 设置为"false"时删除PVC不会保留数据,"true"则保留数据
mountOptions: 
  - hard                                                  ## 指定为硬挂载方式
  - nfsvers=2                                             ## 指定NFS版本,这个需要根据NFS Server版本号设置

查看nfs-server版本号

[root@k8s-master ~]# nfsstat --version
nfsstat: 2.3.3

执行效果

# 创建
[root@k8s-master ~]# kubectl apply -f nfs-storageclass.yaml
storageclass.storage.k8s.io/nfs-storage created
[root@k8s-master ~]#

# 查看
[root@k8s-master ~]# kubectl get sc -n dev
NAME          PROVISIONER       RECLAIMPOLICY   VOLUMEBINDINGMODE   ALLOWVOLUMEEXPANSION   AGE
nfs-storage   storage-nfs   Delete          Immediate           false                  7s

3、测试PVC使用StorageClass

创建storage-pvc.yaml

kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: storage-pvc
  namespace: dev
spec:
  storageClassName: nfs-storage    ## 需要与上面创建的storageclass的名称一致
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 1Mi

执行效果

# 创建
[root@k8s-master ~]# kubectl apply -f storage-pvc.yaml
persistentvolumeclaim/storage-pvc created
[root@k8s-master ~]#
[root@k8s-master ~]#
# 查看pvc
[root@k8s-master ~]# kubectl get pvc -n dev
NAME          STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS   AGE
storage-pvc   Bound    pvc-8b5da590-2436-472e-a671-038822f15252   1Mi        RWO            nfs-storage    6s
[root@k8s-master ~]#
[root@k8s-master ~]#
# 查看是否动态创建了pv
[root@k8s-master ~]# kubectl get pv -n dev
NAME                                       CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM             STORAGECLASS   REASON   AGE
pvc-8b5da590-2436-472e-a671-038822f15252   1Mi        RWO            Delete           Bound    dev/storage-pvc   nfs-storage             19s
[root@k8s-master ~]#
# 查看共享目录是否动态创建了文件
[root@k8s-master ~]# cd /root/data/nfs/
[root@k8s-master nfs]# ls
dev-storage-pvc-pvc-8b5da590-2436-472e-a671-038822f15252
[root@k8s-master nfs]#

4、异常处理

如果出现异常请查看https://blog.csdn.net/u011837804/article/details/128693933 需要解决方案

阿里云国内75折 回扣 微信号：monov8
阿里云国际，腾讯云国际，低至75折。AWS 93折 免费开户实名账号 代冲值 优惠多多 微信号：monov8 飞机：@monov6
标签: k8s
返回列表

上一篇：若依框架---PageHelper分页(三)

下一篇：在传统多页面项目上使用VUE

“Kubernetes(K8S)中StorageClass(SC)详解、实例” 的相关文章

Kubernetes 基本概念1年前 (2023-02-02)
二十八、Kubernetes中job详解1年前 (2023-02-02)
k8s 微服务spring boot JVM 监控1年前 (2023-02-02)
Kubernetes 基本概念1年前 (2023-02-02)
K8S学习模块1年前 (2023-02-02)
记一次 Kubernetes 集群被入侵，服务器变矿机1年前 (2023-02-02)
使用kubeadm搭建高可用k8s集群1年前 (2023-02-03)
Kubernetes集群搭建1年前 (2023-02-03)
kubernetes的垃圾回收机制（资源对象删除机制）1年前 (2023-02-04)
k8s使用StorageClass动态创建PV1年前 (2023-02-05)

阿里云国际版