【云原生|K8S系列】如何创建Kubernetes job和Cronjobs 入门指南

本kubernetes教程解释了如何创建kubernetes作业和cronjobs,以及它的基础知识、用例和一些提示和技巧。

什么是Kubernetes Job?

Kubernetes jobcronjobKubernetes对象,主要用于短期和批处理工作负载。

kubernetes作业对象基本上部署了一个pod,但它是为了完成而运行的,而不是像deploymentreplicasets、复制控制器和DaemonSets这样的对象,它们是持续运行的。

这意味着,作业将一直运行,直到作业中指定的任务完成,如果pods给出退出代码0,则作业将退出。该任务可以是shell脚本执行、API调用或执行数据转换并将其上传到云存储的java python执行。

然而,在正常的Kubernetes部署中,无论退出代码如何,部署对象都会在终止或抛出错误时创建新的pod,以保持部署所需的状态。

在作业运行期间,如果承载pod的节点失败,作业pod将自动重新调度到另一个节点。

Kubernetes Jobs和CronJobs用例

Kubernetes作业的最佳用例是:

  • 批处理:假设您希望每天运行一次批处理任务,或者在特定的计划中运行一次。它可以是从存储或数据库中读取文件,并将其提供给服务以处理文件。

  • 操作/特别任务:假设您想要运行运行数据库清理活动的脚本/代码,或者甚至备份kubernetes集群本身。

在我参与的一个项目中,我们将Kubernetes作业广泛用于ETL工作负载。

如何创建Kubernetes作业

在这个例子中,我将使用一个Ubuntu容器,它运行一个shell脚本,该脚本有一个for循环,根据您传递给容器的参数回显消息。参数应该是一个数字,决定循环运行的次数以回显消息。

例如,如果传递100作为参数,shell脚本将回显消息100次,容器将退出。

你可以在这里查看Dockerfile和shell脚本-> kube-job-example Docker configs

让我们从一个简单设置的作业开始。

步骤1:创建一个任务。使用我们自定义的Docker映像,以100作为命令参数。值100将作为参数传递给docker ENTRYPOINT脚本。

apiVersion: batch/v1 
kind: Job 
metadata:   name: kubernetes-job-example   labels:     jobgroup: jobexample 
spec:   template:     metadata:       name: kubejob       labels:         jobgroup: jobexample     spec:       containers:       - name: c         image: devopscube/kubernetes-job-demo:latest         args: ["100"]       restartPolicy: OnFailure

步骤2:让我们使用kubectl创建一个Job.yaml文件。Job部署在默认名称空间中。

kubectl apply -f job.yaml

步骤3:使用kubectl获取Job的状态。

kubectl get jobs

步骤4:现在,使用kubectl获取pod列表。

kubectl get po

步骤5:您可以使用kubectl获取Job pod日志。将pod名称替换为您在输出中看到的pod名称。

kubectl logs kubernetes-job-example-bc7s9 -f

您应该看到如下所示的输出。

多个Job Pod和并行性

在部署作业时,您可以让它在多个具有并行性的pod上运行。

例如,在一个Job中,如果您希望并行运行6个pod和2个pod,则需要将以下两个参数添加到Job清单中。

completions: 6
parallelism: 2
  • completions: 6  指定 job 需要成功运行 Pods 的次数为 6

  • parallelism: 3  指定 job 并发运行 Pods 的数量为 3

下面是带有这些参数的清单文件。

apiVersion: batch/v1
kind: Job
metadata:name: kubernetes-parallel-joblabels:jobgroup: jobexample
spec:completions: 6parallelism: 2template:metadata:name: kubernetes-parallel-joblabels:jobgroup: jobexamplespec:containers:- name: cimage: devopscube/kubernetes-job-demo:latestargs: ["100"]restartPolicy: OnFailure

并行pod处理的一个用例是消息队列上的批处理操作。假设您有一个消息队列,其中在每天的特定时间要处理数千条消息。

您可以将消息处理代码作为具有并行性的Job运行,以加快处理速度。尽管所有pod使用相同的消息处理代码,但每个pod将处理来自队列的不同消息。

生成Kubernetes Job的随机名称

你不能使用单一的Job清单文件创建多个Job。Kubernetes 会抛出一个错误,指出已经存在同名的 Job。

为了解决这个问题,你可以在元数据中添加 generateName参数。
例如:

apiVersion: batch/v1
kind: Job
metadata:generateName: kube-job-labels:jobgroup: jobexample

在上述示例中,每次运行该清单时,都会创建一个名称以 kube-job- 为前缀,后跟随机字符串的 Job。

如何创建 Kubernetes CronJob

如果你想在特定时间表上运行批处理任务,例如每两小时一次,你可以使用cron表达式创建一个Kubernetes CronJob。该任务将按照你在Job中指定的时间表自动启动。

以下是如何指定cron时间表。你可以使用crontab生成器来生成你自己的时间表。

schedule: "0,15,30,45 * * * *"

下图显示了 Kubernetes CronJob 的调度语法。

如果我们要将之前的Job作为CronJob每15分钟运行一次,可以使用以下清单。
创建一个名为cron-job.yaml的文件,并复制以下清单内容。

apiVersion: batch/v1beta1
kind: CronJob
metadata:name: kubernetes-cron-job
spec:schedule: "0,15,30,45 * * * *"jobTemplate:spec:template:metadata:labels:app: cron-batch-jobspec:restartPolicy: OnFailurecontainers:- name: kube-cron-jobimage: devopscube/kubernetes-job-demo:latestargs: ["100"]

让我们使用kubectl部署cronjob。

kubectl create -f cron-job.yaml

列出cronjob

kubectl get cronjobs

要检查Cronjob日志,您可以列出Cronjob pod,并从处于运行状态的pod或已完成的pod中获取日志。

手动运行Kubernetes CronJob

在某些情况下,您可能希望以临时方式执行cronjob。您可以通过从现有的cronjob创建一个作业来实现这一点。

例如,如果您希望手动触发cronjob,那么我们应该这样做。

kubectl create job --from=cronjob/kubernetes-cron-job manual-cron-job

--from=cronjob/kubernetes-cron-job将复制cronjob模板并创建一个名为manual-cron-job的作业

几个关键的Kubernetes Job参数

还有一些关键参数可以根据需要用于kubernetes Job/cronjobs。让我们各看一看。

  • failedJobHistoryLimitsuccessfulJobsHistoryLimit:根据您提供的保留数删除失败和成功的作业历史记录。当您尝试列出作业时,这对于减少所有失败的条目非常有用。例如:failedJobHistoryLimit: 5 successfulJobsHistoryLimit: 10

  • backoffLimit:如果您的pod失败,重试的总次数。

  • activedeadlinesseconds:如果您想要指定cronjob运行时间的硬限制,可以使用此参数。例如,如果您只想运行cronjob一分钟,则可以将其设置为60。

总结

Kubernetes JobCronJob是处理批处理任务和周期性任务的强大工具。通过定义相应的YAML文件,并使用kubectl命令创建和管理这些任务,可以轻松实现复杂的任务调度和执行。希望这篇指南能帮助你快速上手Kubernetes JobCronJob,提升你的容器编排能力。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/30275.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Instagram Reels API接口——高效获取用户主页Reels视频

一、引言 Instagram作为全球知名的社交媒体平台,近年来推出的Reels功能受到了广大用户的热烈欢迎。Reels以短视频的形式,让用户能够轻松创作和分享有趣、有创意的内容。为了帮助开发者、品牌和分析师更好地利用这一功能,我们推出了一款专注于…

四十九、openlayers官网示例Immediate Rendering (Geographic)——在地图上绘制星空动画效果

官网demo地址&#xff1a; Immediate Rendering (Geographic) 首先先创建1000个随机点&#xff0c;创建点对象。 const n 1000;const geometries new Array(n);for (let i 0; i < n; i) {const lon 360 * Math.random() - 180;const lat 180 * Math.random() - 90;ge…

运算放大器(运放)同相放大器电路

设计目标 输入电压ViMin输入电压ViMax输出VoMin输出VoMax电源Vcc电源Vee-1V1V-10V10V15V–15V 设计说明 这种设计将输入信号 Vi 放大&#xff0c;信号增益为 10V/V。输入信号可能来自高阻抗源&#xff08;例如 MΩ&#xff09;&#xff0c;因为该电路的输入阻抗由运算放大器…

【C++ | 移动构造函数】C++11的 移动构造函数 详解及例子代码

&#x1f601;博客主页&#x1f601;&#xff1a;&#x1f680;https://blog.csdn.net/wkd_007&#x1f680; &#x1f911;博客内容&#x1f911;&#xff1a;&#x1f36d;嵌入式开发、Linux、C语言、C、数据结构、音视频&#x1f36d; ⏰发布时间⏰&#xff1a;2024-06-12 2…

和鲸101计划:Python 气象海洋数据分析 Workshop 回顾

导语&#xff1a;一个科学家最大的价值不是个人取得了多少成绩&#xff0c;而是他培养了多少科学家&#xff0c;他的学生又培养出多少科学家。如果科学精神能从我们这里一代代传承&#xff0c;并且不断推动社会进步&#xff0c;这就是我们此生最大的价值。 ——源自《中国气象…

Artix Linux 默认不使用 systemd

开发者选择不使用systemd&#xff0c;而倾向于使用OpenRC或runit作为其初始化系统的原因。 哲学和设计原则&#xff1a;Systemd是一个功能丰富的初始化系统和系统管理器&#xff0c;它集成了许多功能&#xff0c;但这也导致它的设计哲学与一些用户或开发者的偏好不符。有些用户…

Day28:回溯法 491.递增子序列 46.全排列 47.全排列 II 332.重新安排行程 51. N皇后 37. 解数独 蓝桥杯 与或异或

491. 非递减子序列 给你一个整数数组 nums &#xff0c;找出并返回所有该数组中不同的递增子序列&#xff0c;递增子序列中 至少有两个元素 。你可以按 任意顺序 返回答案。 数组中可能含有重复元素&#xff0c;如出现两个整数相等&#xff0c;也可以视作递增序列的一种特殊情…

双指针问题2

文章目录 1. 有效三角形的个数&#xff08;611&#xff09;2. 查找总价格为目标值的两个商品&#xff08;LCR179&#xff09;3. 三数之和&#xff08;15&#xff09;4. 四数之和&#xff08;18&#xff09; 1. 有效三角形的个数&#xff08;611&#xff09; 题目描述&#xff…

逻辑蕴含、函数依赖集的闭包、Armstrong公理、属性集闭包

一、引言 Armstrong公理-从给定的函数依赖集得到关系模式的完整依赖集 二、逻辑蕴含 1、定义 设F是关系模式R上的函数依赖集&#xff0c;X、Y是R的属性子集&#xff0c;对于R的每个满足F的关系实例r&#xff0c;若函数 依赖都成立&#xff0c;则称F逻辑蕴含。 记为&#…

Mamaba3--RNN、状态方程、勒让德多项式

Mamaba3–RNN、状态方程、勒让德多项式 一、简单回顾 在Mamba1和Mamba2中分别介绍了RNN和状态方程。 下面从两个图和两个公式出发&#xff0c;对RNN和状态方程做简单的回顾&#xff1a; R N N : s t W s t − 1 U x t &#xff1b; O t V s t RNN: s_t Ws_{t-1}Ux_t&…

shadertoy-安装和使用

一、安装vscode 安装vscode流程 二、安装插件 1.安装glsl编辑插件 2.安装shader toy插件 三、创建glsl文件 test.glsl文件 float Grid(float size, vec2 fragCoord) {vec2 r fragCoord / size;vec2 grid abs(fract(r - 0.5) - 0.5) / fwidth(r);float line min(grid…

Linux内核开发-编译内核源码

前言 大部分公司的所谓的Linux内核工程师主要工作是基于社区开源内核进行定制化修改&#xff0c;基本不会有机会向上游提供patch&#xff0c;仅限于公司内部业务的修修补补。 作为内核开发工程师两年多&#xff0c;精力一直被公司业务消耗&#xff0c;所有的内核知识都来自于…

异构集成封装类型2D、2.1D、2.3D、2.5D和3D封装技术

异构集成封装类型&#xff1a;2D、2.1D、2.3D、2.5D和3D封装详解 简介随着摩尔定律的放缓&#xff0c;半导体行业越来越多地采用芯片设计和异构集成封装来继续推动性能的提高。这种方法是将大型硅芯片分割成多个较小的芯片&#xff0c;分别进行设计、制造和优化&#xff0c;然后…

数据结构与算法2---链表

线性表&#xff1a;1.有限的序列⒉.序列中的每一个元素都有唯一的前驱和后继&#xff0c;除了开头和结尾两个节点 顺序表&#xff1a;分配一块连续的内存去存放这些元素&#xff0c;例如编程语言中的数组 链表:内存是不连续的&#xff0c;元素会各自被分配一块内存&#xff0…

【深度学习驱动流体力学】计算流体力学openfoam-paraview与python3交互

目的1:配置 ParaView 中的 Python Shell 和 Python 交互环境 ParaView 提供了强大的 Python 接口,允许用户通过 Python 脚本来控制和操作其可视化功能。在 ParaView 中,可以通过 View > Python Shell 菜单打开 Python Shell 窗口,用于执行 Python 代码。要确保正确配置 …

golang字符串拼接和strings.Builder

字符串拼接方法 在 Go 语言中&#xff0c;字符串是可以直接相加的。这意味着你可以使用 运算符来连接&#xff08;拼接&#xff09;两个或多个字符串&#xff1a; package mainimport "fmt"func main() {str1 : "Hello, "str2 : "World!"resu…

比较日志性能:Glog、Spdlog 和 ofstream 在不同硬件上的表现(推荐Spdlog)

文章目录 比较日志性能&#xff1a;Glog、Spdlog 和 ofstream 在不同硬件上的表现1. 引言2. 测试简介3. 硬件配置桌面电脑&#xff08;Ubuntu 18.04&#xff09;树莓派 5&#xff08;Ubuntu 24.04&#xff09; 4. 测试结果桌面电脑&#xff08;Ubuntu 18.04&#xff09;树莓派 …

[Linux] vi编辑器

命令模式&文本模式 命令模式就输入命令然后执行&#xff0c;文本模式就是系统把你的输入都当成写进文件里的字符 切换模式&#xff1a; 刚进入默认是命令模式&#xff0c;按: i I a A o O 进入文本模式&#xff0c; 通过他们进入文本模式有什么不同&#xff1f; 然后按esc进…

python 版本切换,更换当前默认版本

电脑可以安装多个版本&#xff0c;但是好像没有正规的维护python版本的工具&#xff0c;比如前端就有nvm切换node版本&#xff0c;但是python我没找到比较好的&#xff08;有大佬知道路过方便留言一下&#xff0c;跪谢。。&#xff09; 废话不多说&#xff0c;更改默认版本很简…

字节跳动万卡集群网络分析

从公开的信息披露,截至2023年9月,字节跳动已经建立超过一万张的英伟达Ampere架构GPU集群,目前正在建设Hopper架构的集群。英伟达Ampere架构主要包括A100和A800型号的芯片,Hopper架构相较前者则更新,主要包括H100和H800芯片 字节和北大公布的论文,关于网络拓扑的描述主要…