二十八、Kubernetes中job详解

阿里云国内75折 回扣 微信号：monov8
阿里云国际，腾讯云国际，低至75折。AWS 93折 免费开户实名账号 代冲值 优惠多多 微信号：monov8 飞机：@monov6

1、概述

在kubernetes中有很多类型的pod控制器每种都有自己的适合的场景常见的有下面这些

  • ReplicationController比较原始的pod控制器已经被废弃由ReplicaSet替代

  • ReplicaSet保证副本数量一直维持在期望值并支持pod数量扩缩容镜像版本升级

  • Deployment通过控制ReplicaSet来控制Pod并支持滚动升级、回退版本

  • Horizontal Pod Autoscaler可以根据集群负载自动水平调整Pod的数量实现削峰填谷

  • DaemonSet在集群中的指定Node上运行且仅运行一个副本一般用于守护进程类的任务

  • Job它创建出来的pod只要完成任务就立即退出不需要重启或重建用于执行一次性任务

  • Cronjob它创建的Pod负责周期性任务控制不需要持续后台运行

  • StatefulSet管理有状态应用

在前面文章中我们详解了ReplicaSet、Deployment、Horizontal Pod Autoscaler、DaemonSet控制器这篇我们详解Job

2、Job详解

Job主要用于负责批量处理(一次要处理指定数量任务)短暂的一次性(每个任务仅运行一次就结束)任务。Job特点如下

  • 当Job创建的pod执行成功结束时Job将记录成功结束的pod数量

  • 当成功结束的pod达到指定的数量时Job将完成执行

Job的资源清单文件

apiVersion: batch/v1 # 版本号
kind: Job # 类型       
metadata: # 元数据
  name: # rs名称 
  namespace: # 所属命名空间 
  labels: #标签
    controller: job
spec: # 详情描述
  completions: 1 # 指定job需要成功运行Pods的次数。默认值: 1
  parallelism: 1 # 指定job在任一时刻应该并发运行Pods的数量。默认值: 1
  activeDeadlineSeconds: 30 # 指定job可运行的时间期限超过时间还未结束系统将会尝试进行终止。
  backoffLimit: 6 # 指定job失败后进行重试的次数。默认是6
  manualSelector: true # 是否可以使用selector选择器选择pod默认是false
  selector: # 选择器通过它指定该控制器管理哪些pod
    matchLabels:      # Labels匹配规则
      app: counter-pod
    matchExpressions: # Expressions匹配规则
      - {key: app, operator: In, values: [counter-pod]}
  template: # 模板当副本数量不足时会根据下面的模板创建pod副本
    metadata:
      labels:
        app: counter-pod
    spec:
      restartPolicy: Never # 重启策略只能设置为Never或者OnFailure
      containers:
      - name: counter
        image: busybox:1.30
        command: ["bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1; do echo $i;sleep 2;done"]

关于重启策略设置的说明
    如果指定为OnFailure则job会在pod出现故障时重启容器而不是创建podfailed次数不变
    如果指定为Never则job会在pod出现故障时创建新的pod并且故障pod不会消失也不会重启failed次数加1
    如果指定为Always的话就意味着一直重启意味着job任务会重复去执行了当然不对所以不能设置为Always

3、Job实例 

3.1、实例1

创建pc-job.yaml内容如下

apiVersion: batch/v1
kind: Job      
metadata:
  name: pc-job
  namespace: dev
spec:
  manualSelector: true
  selector:
    matchLabels:
      app: counter-pod
  template:
    metadata:
      labels:
        app: counter-pod
    spec:
      restartPolicy: Never
      containers:
      - name: counter
        image: busybox:1.30
        command: ["bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1; do echo $i;sleep 3;done"]

效果

# 创建job
[root@k8s-master ~]# kubectl apply -f pc-job.yaml
job.batch/pc-job created

# 查看job 可以发现 COMPLETIONS 完成状态 刚才是 0/1 总共1个任务0个未完成稍后会打印出1/1代表任务结束
[root@k8s-master ~]# kubectl get job -owide -n dev -w
NAME     COMPLETIONS   DURATION   AGE   CONTAINERS   IMAGES         SELECTOR
pc-job   0/1           28s        28s   counter      busybox:1.30   app=counter-pod
pc-job   0/1           47s        47s   counter      busybox:1.30   app=counter-pod
pc-job   0/1           48s        48s   counter      busybox:1.30   app=counter-pod
pc-job   1/1           48s        48s   counter      busybox:1.30   app=counter-pod

# 查看pod 状态 STATUS=Completed完成, READY=0/1 意思是总共1个pod有0个准备好了因为任务已经完成所以READY的变成0
[root@k8s-master ~]# kubectl get pods -n dev -w
NAME           READY   STATUS      RESTARTS   AGE
pc-job-9rd6l   0/1     Completed   0          2m3s

# 删除job
[root@k8s-master ~]# kubectl delete -f pc-job.yaml
job.batch "pc-job" deleted

3.2、实例2

接下来调整下pod运行的总数量和并行数量 即在spec下设置下面两个选项
completions: 6 # 指定job需要成功运行Pods的次数为6
parallelism: 3 # 指定job并发运行Pods的数量为3

调整后yaml

apiVersion: batch/v1
kind: Job      
metadata:
  name: pc-job
  namespace: dev
spec:
  completions: 6 # 指定job需要成功运行Pods的次数为6
  parallelism: 3 # 指定job并发运行Pods的数量为3
  manualSelector: true
  selector:
    matchLabels:
      app: counter-pod
  template:
    metadata:
      labels:
        app: counter-pod
    spec:
      restartPolicy: Never
      containers:
      - name: counter
        image: busybox:1.30
        command: ["bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1; do echo $i;sleep 3;done"]

效果

#然后重新运行job观察效果此时会发现job会每次运行3个pod总共执行了6个pod
[root@k8s-master ~]# kubectl get pod -n dev -w
NAME           READY   STATUS    RESTARTS   AGE
pc-job-g26wm   1/1     Running   0          7s
pc-job-ggccq   1/1     Running   0          7s
pc-job-znz9q   1/1     Running   0          7s
pc-job-znz9q   0/1     Completed   0          30s
pc-job-g26wm   0/1     Completed   0          30s
pc-job-ggccq   0/1     Completed   0          30s
pc-job-g26wm   0/1     Completed   0          31s
pc-job-znz9q   0/1     Completed   0          31s
pc-job-ggccq   0/1     Completed   0          31s
pc-job-g26wm   0/1     Completed   0          32s
pc-job-znz9q   0/1     Completed   0          32s
pc-job-ggccq   0/1     Completed   0          32s
pc-job-dmn7x   0/1     Pending     0          0s
pc-job-wfgtr   0/1     Pending     0          0s
pc-job-dmn7x   0/1     Pending     0          0s
pc-job-cnz45   0/1     Pending     0          0s
pc-job-wfgtr   0/1     Pending     0          0s
pc-job-cnz45   0/1     Pending     0          0s
pc-job-dmn7x   0/1     ContainerCreating   0          0s
pc-job-znz9q   0/1     Completed           0          32s
pc-job-ggccq   0/1     Completed           0          32s
pc-job-g26wm   0/1     Completed           0          32s
pc-job-wfgtr   0/1     ContainerCreating   0          0s
pc-job-cnz45   0/1     ContainerCreating   0          1s
pc-job-cnz45   0/1     ContainerCreating   0          1s
pc-job-wfgtr   0/1     ContainerCreating   0          1s
pc-job-dmn7x   0/1     ContainerCreating   0          2s
pc-job-wfgtr   1/1     Running             0          2s
pc-job-cnz45   1/1     Running             0          2s
pc-job-dmn7x   1/1     Running             0          3s
pc-job-cnz45   0/1     Completed           0          28s
pc-job-dmn7x   0/1     Completed           0          29s
pc-job-wfgtr   0/1     Completed           0          29s
pc-job-cnz45   0/1     Completed           0          29s
pc-job-cnz45   0/1     Completed           0          30s
pc-job-dmn7x   0/1     Completed           0          30s
pc-job-wfgtr   0/1     Completed           0          30s
pc-job-cnz45   0/1     Completed           0          31s
pc-job-dmn7x   0/1     Completed           0          31s
pc-job-wfgtr   0/1     Completed           0          31s
pc-job-dmn7x   0/1     Completed           0          32s
pc-job-wfgtr   0/1     Completed           0          32s

总结Job只能运行一次性任务如果要运行周期行任务还得是CronJob(CJ)下篇我们继续实例详解CronJob(CJ)。

阿里云国内75折 回扣 微信号：monov8
阿里云国际，腾讯云国际，低至75折。AWS 93折 免费开户实名账号 代冲值 优惠多多 微信号：monov8 飞机：@monov6
标签: k8s
返回列表

上一篇：打工人必学的法律知识(五)——《女职工劳动保护特别规定》

下一篇：WinXP 无线提示“区域中找不到无线网络”的一种可能原因!

“二十八、Kubernetes中job详解” 的相关文章

二进制安装Kubernetes（k8s） v1.26.0 IPv4/IPv6双栈1年前 (2023-02-02)
Kubernetes:如何实现跨集群节点均匀调度分布Pod(Pod拓扑分布约束)1年前 (2023-02-02)
k8s灰度发布1年前 (2023-02-02)
云原生 | Kubernetes - 特性门控1年前 (2023-02-02)
【博客594】k8s进行cpu绑核优化后，再配合NUMA 亲和性以进一步优化cpu性能1年前 (2023-02-02)
Kubernetes 资源监控1年前 (2023-02-02)
k8s安装dashboard面板1年前 (2023-02-02)
Kubernetes:分享一个可以展示资源视图的 K8s开源 Web/桌面 客户端工具 Octant1年前 (2023-02-02)
client-go实战之九：手写一个kubernetes的controller1年前 (2023-02-02)
【云原生】学习K8s的扩展技能（CRD）_crd k8s1年前 (2023-02-02)

阿里云国际版