ASP.NET Core on K8S深入学习(3-2)DaemonSet与Job


640?wx_fmt=gif

本篇已加入《.NET Core on K8S学习实践系列文章索引》,可以点击查看更多容器化技术相关系列文章。

上一篇《3-1 Deployment》中介绍了Deployment,它可以满足我们大部分时候的应用部署(无状态服务类容器),但是针对一些特殊的场景应用,就可以用到今天介绍的DaemonSet和Job。

本文预计阅读时间为10分钟



01

DaemonSet


DaemonSet是个啥?

Deployment的部署可以指定副本Pod分布在多个Node节点上,且每个Node都可以运行多个Pod副本。而DaemonSet呢,它倔强地保证在每个Node上都只运行一个Pod副本

回想一下项目经历,有哪些场景满足这个特质呢?是不是一些集群的日志、监控或者其他系统管理应用?

  • 日志收集,比如fluentd,logstash等

  • 系统监控,比如Prometheus Node Exporter,collectd,New Relic agent,Ganglia gmond等

  • 系统程序,比如kube-proxy,kube-dns,glusterd,ceph等

  640?wx_fmt=png

 Prometheus Node Exporter Dashboard

K8S中的DaemonSet

在K8S中,就有一些默认的使用DaemonSet方式运行的系统组件,比如我们可以通过下面一句命令查看:

kubectl get daemonset --namespace=kube-system

  640?wx_fmt=png

  可以看到,kube-flannel-ds 和 kube-proxy 是K8S以DaemonSet方式运行的系统组件,分别为K8S集群负责提供网络连接支持和代理支持,这里不深入讨论它们的详细情况,只需要了解它们负责什么就可以了。在通过查看Pod副本,看看各个节点的分布情况:

kubectl get pod --namespace=kube-system -o wide

640?wx_fmt=png

   可以看到,它们两分布在各个Node节点上(这里是我的K8S集群中的所有节点了),且每个节点上只有一个Pod副本。

DaemonSet的创建与运行

同之前的创建资源方式一样,仍然采用通过YAML配置文件的方式进行创建,只需要指定kind: DaemonSet即可:

apiVersion: apps/v1	
kind: DaemonSet

   这里我们以Prometheus Node Exporter为例演示一下如何运行我们自己的DaemonSet。

PS:Prometheus是流行的系统监控方案,而Node Exporter负责收集节点上的metrics监控数据,并将数据推送给Prometheus。Prometheus则负责存储这些数据,Grafana最终将这些数据通过网页以图形的形式展现给用户。

  下面是yaml配置文件对于DaemonSet资源清单的定义:

apiVersion: apps/v1	
kind: DaemonSet	
metadata:	name: node-exporter-daemonset	namespace: agent	
spec:	selector:	matchLabels:	app: prometheus	template:	metadata:	labels:	app: prometheus	spec:	hostNetwork: true	containers:	- name: node-exporter	image: prom/node-exporter	imagePullPolicy: IfNotPresent	command:	- /bin/node_exporter	- --path.procfs	- /host/proc	- --path.sysfs	- /host/sys	-  --collector.filesystem.ignored-mount-points	- ^/(sys|proc|dev|host|etc)($|/)	volumeMounts:	- name: proc	mountPath: /host/proc	- name: sys	mountPath: /host/sys	- name: root	mountPath: /rootfs	volumes:	- name: proc	hostPath:	path: /proc	- name: sys	hostPath:	path: /sys	- name: root	hostPath:	path: /

  这里暂且不纠结其中的配置内容,包括Host网络、容器启动命令以及Volume,后面会专题介绍。

  同样,通过kubectl创建资源:

  然后,通过kubectl查看Pod分布情况:

  640?wx_fmt=png

   可以看出,我们的Prometheus Node Exporter部署成功,且分别在两个Node节点都只部署了一个Pod副本。


02

Job

关于Job

对于ReplicaSet、Deployment、DaemonSet等类型的控制器而言,它希望Pod保持预期数目并且持久运行下去,除非用户明确删除,否则这些对象一直存在,因此可以说他们说持久服务型任务的。

640?wx_fmt=png

  对于非耐久性任务,比如压缩文件,任务完成后,Pod需要结束运行,不需要Ppod继续保持在系统中,这个时候就要用到Job。因此也可以说,Job是对ReplicaSet、Deployment、DaemonSet等持久性控制器的补充。

Job的创建与运行

同之前的创建资源方式一样,仍然采用通过YAML配置文件的方式进行创建,需要指定apiVersioin: batch 以及 kind: Job即可:

apiVersion: batch/v1	
kind: Job

  (1)第一个Job

  这里我们以一个简单的小Job为例,看看一个简单的Job:当Job启动后,只运行一个Pod,Pod运行结束后整个Job也就立刻结束。

apiVersion: batch/v1	
kind: Job	
metadata:	name: edc-job-hello-job	namespace: jobs	
spec:	template:	metadata:	labels:	app: edc-job-hello-job	spec:	containers:	- name: hello-job	image: busybox	imagePullPolicy: IfNotPresent	command: ["echo", "hello edison's k8s job!"]	restartPolicy: Never

  这里需要注意的是,对Job而言,其restartPolicy只能为Never或者OnFailure,这也是它与其他控制器的差别(如Deployment控制器还允许设置为Always)。这个Job要执行的任务也很简单,就是输出一段话“hello edison's k8s job!”就结束其生命了。

PS:这里用到了一个busybox的镜像,busybox是一个软件工具箱,里边集成了Linux中几百个常用的Linux命令以及工具。如果我们只需要一个小型的Linux运行环境跑命令,完全可以使用这个busybox镜像,而不用拉取一个CentOS镜像。

  通过查看Job运行情况可以知道,其运行结束就结束了,如下图所示,变成了Completed状态。

kubectl get pod -n jobs

  640?wx_fmt=png

   还可以通过查看Log看看这个Job留下的足迹:

kubectl get pod -n jobs --show-all	
kubectl logs edc-job-hello-job-whcts

  640?wx_fmt=png

  (2)并行Job

  如果希望能够同时并行运行多个Pod以提高Job的执行效率,Job提供了一个贴心的配置:parallesim。例如下面的配置,我们将上面的小Job改为并行运行的Pod数量设置为3。

apiVersion: batch/v1	
kind: Job	
metadata:	name: edc-job-hello-job	namespace: jobs	
spec:	parallelism: 3	template:	metadata:	labels:	app: edc-job-hello-job	spec:	containers:	- name: hello-job	image: busybox	imagePullPolicy: IfNotPresent	command: ["echo", "hello edison's k8s job!"]	restartPolicy: OnFailure

PS:默认parallelism值为1

  使用上面的配置文件创建了资源后,通过以下命令查看验证:

kubectl get job -n jobs	
kubectl get pod -o wide -n jobs

  640?wx_fmt=png

   可以看出,Job一共启动了3个Pod,都是同时结束的(可以看到三个Pod的AGE都是相同的)。

  此外,Job还提供了一个completions属性使我们可以设置Job完成的Pod总数,还是上面的例子:

PS:默认completions也为1

  上面的配置意思就是:每次运行3个Pod,直到总共有6个Pod就算成功完成。同样通过命令验证一下:

  640?wx_fmt=png

   可以看到,状态和AGE都符合预期,第一批3个Pod的AGE为12s,第二批3个Pod的AGE为14s。

CronJob的创建与运行

我们都知道在Linux中,Cron程序可以定时执行任务,而在K8S中也提供了一个CronJob帮助我们实现定时任务。

  继续以上面的例子,我们增加一些配置:

apiVersion: batch/v1beta1	
kind: CronJob	
metadata:	name: edc-cron-job	namespace: jobs	
spec:	schedule: "*/1 * * * *"	jobTemplate:	spec:	template:	spec:	containers:	- name: cron-job	image: busybox	imagePullPolicy: IfNotPresent	command: ["echo", "hello edison's k8s cron job!"]	restartPolicy: OnFailure

  上面加粗的配置是CronJob的独有配置,需要注意的是schedule,它的格式和Linux Cron一样,这里的"*/1 * * * *"代表每一分钟启动执行一次。对于CronJob,它需要的是jobTemplate来定义Job的模板。

  同样,隔几分钟之后,通过命令来验证一下:

  640?wx_fmt=png

   可以看到,在过去的三分钟里,每一分钟都启动了一个Pod,符合预期。


03

小结


Deployment可以满足我们大部分时候的应用部署(无状态服务类容器),但是针对一些特殊的场景应用,Deployment就无法胜任了。比如日志收集、系统监控等场景,就可以使用今天介绍的DaemonSet。又比如批处理定时任务,则可以使用今天介绍的Job/CronJob。


参考资料:

(1)CloudMan,《每天5分钟玩转Kubernetes》

(2)李振良,《一天入门Kubernets教程》

(3)马哥(马永亮),《Kubernetes快速入门》

(4)阿龙,《Kubernetes系列-07.Pod控制器详解》

(5)elvis,《K8S-Job与CronJob的使用》

(6)五星上炕,《Kubernetes之Job详解》



恰童鞋骚年,风华不再正茂,仍想挥斥方遒

640?wx_fmt=jpeg


点个在看少个bug ?


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/314406.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

CF535C Tavas and Karafs 二分 + 结论

传送门 题意: 定义第iii个数是a(i−1)∗ba(i-1)*ba(i−1)∗b,先有qqq个询问,每次询问给你l,t,ml,t,ml,t,m代表你可以操作ttt次,每次可以将最多mmm个数减111,每次都需要回答从lll开始, 最远到第几个数&…

Asp.Net Core WebAPI+PostgreSQL部署在Docker中

PostgreSQL是一个功能强大的开源数据库系统。它支持了大多数的SQL:2008标准的数据类型,包括整型、数值值、布尔型、字节型、字符型、日期型、时间间隔型和时间型,它也支持存储二进制的大对像,包括图片、声音和视频。PostgreSQL对很多高级开发…

P2260 [清华集训2012]模积和,P2834 能力测验(二维除法分块)

P2260 [清华集训2012]模积和 推导过程 我们假定n<mn < mn<m ∑i1n∑j1m(nmodi)(mmodj),i̸j\sum_{i 1} ^{n} \sum_{j 1} ^{m} (n\mod i)(m \mod j), i \not ji1∑n​j1∑m​(nmodi)(mmodj),i​j ∑i1n∑j1m(nmodi)(mmodj)−∑k1n(nmodk)(mmodk) \sum_{i 1} ^{n…

F - Snuke‘s Coloring 2 矩形周长 + 栈

传送门 题意&#xff1a; 目前有一个左下角(0,0)(0,0)(0,0)右上角(W,H)(W,H)(W,H)的矩形&#xff0c;起初矩形内部都是白色的。 现在给你nnn个点&#xff0c;每次在以下操作中选择一种&#xff1a; 将矩形x<xix<x_ix<xi​的区域染黑将矩形x>xix>x_ix>xi​…

博客园升级有感一点建议

实践出真知这几天在园子里面最热闹的事情各位都知道吧&#xff1f;没错&#xff0c;我说的就是博客园升级事件&#xff0c;有不熟悉的朋友吗&#xff0c;没关系&#xff0c;我给你搬运好了&#xff0c;请回顾一下Powered by .NET Core 系列博文&#xff1a;【故障公告】发布 .N…

P1447 [NOI2010]能量采集(mobius反演)

P1447 [NOI2010]能量采集 式子化简 显然题目就是要我们求∑i1n∑j1m2gcd(i,j)−1\sum_{i 1} ^{n} \sum_{j 1} ^{m} 2gcd(i, j) - 1∑i1n​∑j1m​2gcd(i,j)−1 2∑i1n∑j1mgcd(i,j)−nm 2\sum_{i 1} ^{n} \sum_{j 1} ^{m} gcd(i, j) - nm2i1∑n​j1∑m​gcd(i,j)−nm 转…

AtCoder Regular Contest 063 E - Integers on a Tree 构造 + 二分图染色

传送门 题意&#xff1a; 给你一颗nnn个点的树&#xff0c;初始的时候某些点有权值pip_ipi​&#xff0c;现在你需要给没给定的点赋一个权值&#xff0c;使得任意相邻点权值之差的绝对值等于111&#xff0c;若无解输出NoNoNo。 1≤n≤1e5,1≤k≤n,0≤pj≤1e51\le n\le 1e5,1\…

.Net Core2.1 秒杀项目一步步实现CI/CD(Centos7)系列二:k8s高可用集群搭建总结以及部署API到k8s...

前言&#xff1a;本系列博客又更新了&#xff0c;是博主研究很长时间&#xff0c;亲自动手实践过后的心得&#xff0c;k8s集群是购买了5台阿里云服务器部署的&#xff0c;这个集群差不多搞了一周时间&#xff0c;关于k8s的知识点&#xff0c;我也是刚入门&#xff0c;这方面的知…

追债之旅(Dijkstra最短路)

追债之旅 思路 最短路问题&#xff0c;考虑DijkstraDijkstraDijkstra&#xff0c;用一个二维dis[i][j]dis[i][j]dis[i][j]数组&#xff0c;表示第iii天到达jjj号点的最小花费&#xff0c;disdisdis数组的更新方式改为if(dis[day][to]>dis[day−1][now]value[to]cost[day])…

Educational DP Contest U - Grouping 状压dp

传送门 题意&#xff1a; 给你nnn个物品&#xff0c;让你将其分成任意组&#xff0c;在同一个组内的i,ji,ji,j会获得ai,ja_{i,j}ai,j​的收益&#xff0c;让你选择一种分组方案使得收益最大。 1≤n≤16,∣ai,j∣≤1e91\le n\le 16,|a_{i,j}|\le 1e91≤n≤16,∣ai,j​∣≤1e9 …

使用Asp.net Core3Blazor 的全栈式网站开发体验

最新的微软视频&#xff1a; Full stack web development with ASP.NET Core 3.0 and Blazor - BRK3017 以下是重要步骤截图配注解&#xff0c;注意图多杀猫&#xff1a;此图是.Net Core3的全栈解决方案示意图。话说此图的第一部分Client 是可以灵活替换的&#xff0c;哪怕它是…

P3327 [SDOI2015]约数个数和 (mobius反演)

P3327 [SDOI2015]约数个数和 推导过程 求∑i1n∑j1md(ij)\sum_{i 1} ^{n} \sum_{j 1} ^{m} d(ij)∑i1n​∑j1m​d(ij) ∑i1n∑j1m∑x∣i∑y∣jgcd(x,y)1 \sum_{i 1} ^{n} \sum_{j 1} ^{m} \sum_{x \mid i} \sum_{y \mid j} gcd(x, y) 1i1∑n​j1∑m​x∣i∑​y∣j∑​gc…

算法学习

文章目录摘要基础算法二分倍增前缀和构造图论bfsdfs\dfs序同余最短路差分约束LCA基环树dp线性dp概率期望背包dp树形dp数位dp状压dp区间dp计数dp数据结构优化dp数据结构树上启发式合并主席树Splay线段树分治Kruskal重构树数论基础数论摘要 发现前面学的东西都忘得差不多了&…

k8s集群部分常见问题处理

目录部分常见问题处理Coredns CrashLoopBackOff 导致无法成功添加工作节点的问题添加工作节点时提示token过期kubectl 执行命令报“The connection to the server localhost:8080 was refused”网络组件flannel无法完成初始化部分节点无法启动pod最后部分常见问题处理结合我们上…

Hyper-V + CentOS7 网络设置(视频教程)

Hyper-V Centos7 网络设置 本文目标&#xff1a;1、 设置虚拟机固定IP&#xff1a;无论物理机的网络环境怎么变化&#xff0c;都需要保持虚拟机的IP地址不变&#xff0c;保证本机使用xshell等终端访问始终用同一个IP地址2、物理机可访问虚拟机&#xff0c;虚拟机是否可访问网络…

P1829 [国家集训队]Crash的数字表格(推了好久的mobius反演)

P1829 [国家集训队]Crash的数字表格 / JZPTAB 推导过程 ∑i1n∑j1mlcm(i,j)\sum_{i 1} ^{n} \sum_{j 1} ^{m} lcm(i, j)i1∑n​j1∑m​lcm(i,j) ∑i1n∑j1mijgcd(i,j) \sum_{i 1} ^{n} \sum_{j 1} ^{m} \frac{ij}{gcd(i, j)}i1∑n​j1∑m​gcd(i,j)ij​ ∑d1n1d∑i1n∑jmi…

Consul的反熵

熵熵是衡量某个体系中事物混乱程度的一个指标&#xff0c;是从热力学第二定律借鉴过来的。熵增原理孤立系统的熵永不自动减少&#xff0c;熵在可逆过程中不变&#xff0c;在不可逆过程中增加。熵增加原理是热力学第二定律的又一种表述&#xff0c;它更为概括地指出了不可逆过程…

HDU 6833 A Very Easy Math Problem

A Very Easy Math Problem 推式子 ∑ai1n∑a21n⋯∑ax1n(∏j1xajk)f(gcd(a1,a2,…,ax))gcd(a1,a2,…,ax)\sum_{a_i 1} ^{n} \sum_{a_2 1} ^{n} \dots \sum_{a_x 1} ^{n} \left(\prod_{j 1} ^{x} a_j ^ k \right)f(gcd(a_1, a_2, \dots, a_x))\times gcd(a_1, a_2, \dots, …

通过Blazor使用C#开发SPA单页面应用程序(2)

今天我们尝试创建一个默认的Blazor应用。.Net Core 3.0需要Visual Studio 2019 的支持。安装.Net Core 3.0 预览版 SDK版本&#xff0c;注意预览版对应的VS版本&#xff0c;我这里安装的是v3.0.0-preview6。一定要开启预览选项才能使用Net Core Preview&#xff0c;在工具> …

通过Blazor使用C#开发SPA单页面应用程序(1)

2019年9月23——25日 .NET Core 3.0即将在.NET Conf上发布! .NET Core的发布及成熟重燃了.net程序员的热情和希望&#xff0c;一些.net大咖也在积极的为推动.NET Core而不懈的努力。在这次.NET Core 3.0中一项新的技术也首次出现在人们的视野&#xff0c;这就是Blazor。说起Bla…