kubernetes 核心技术-调度器

在 Kubernetes 集群中,调度器扮演着至关重要的角色。它负责决定将哪些 Pod 放置到哪些节点上运行,以确保集群资源得到高效利用的同时满足各种约束条件。调度器不仅要考虑 CPU 和内存等基本资源的需求,还需要处理诸如亲和性、反亲和性、污点与容忍度等高级特性。本文将深入探讨 Kubernetes 调度器的工作原理及其核心概念,并介绍如何自定义调度策略来优化您的应用部署。

什么是 Kubernetes 调度器?

定义与背景

Kubernetes 调度器是一个控制平面组件,它根据一系列规则和策略选择最合适的节点来运行新的 Pods。其主要职责包括但不限于:

  • 资源分配:基于请求的资源量(如 CPU、内存)匹配合适的节点。
  • 服务质量保证:支持不同级别的服务质量(QoS),确保关键业务优先获得资源。
  • 约束满足:遵守用户指定的各种软硬性约束,比如节点亲和性、Pod 亲和性和反亲和性等。
  • 故障恢复:当某个节点出现故障时,重新调度受影响的 Pods 到健康的节点上。

关键特性

  • 智能决策:通过复杂的算法评估每个节点的适用性,寻找最优解。
  • 扩展能力:允许开发者自定义调度逻辑,满足特定需求。
  • 高可用设计:即使面对大规模集群,也能保证高效的调度性能。

调度流程详解

Kubernetes 调度过程大致可以分为两个阶段:过滤(Filtering)评分(Scoring)

过滤阶段

在此阶段,调度器会遍历集群中的所有节点,剔除那些不符合 Pod 声明要求的节点。这些要求可能包括但不限于:

  • 资源需求匹配:确保节点有足够的可用资源(CPU、内存等)来承载 Pod。
  • 节点标签筛选:如果 Pod 指定了 nodeSelector 或者使用了节点亲和性规则,则只有符合条件的节点才会被保留。
  • 污点与容忍度检查:如果一个节点设置了污点(Taints),那么除非 Pod 明确声明了相应的容忍度(Tolerations),否则该 Pod 将不会被调度到这个节点上。
示例

假设我们有一个 Pod 定义如下:

apiVersion: v1
kind: Pod
metadata:name: nginx
spec:containers:- name: nginximage: nginxresources:requests:memory: "64Mi"cpu: "250m"limits:memory: "128Mi"cpu: "500m"nodeSelector:disktype: ssd

在这个例子中,除了常规的资源请求外,还指定了 nodeSelector 来限制 Pod 只能部署到带有 disktype=ssd 标签的节点上。这意味着,在过滤阶段,所有未标记为 SSD 的节点都将被排除在外。

评分阶段

经过过滤后剩下的候选节点将进入评分阶段。此时,调度器会对每个节点进行打分,分数越高表示越适合运行目标 Pod。常用的评分依据包括:

  • 资源利用率:倾向于选择那些资源使用率较低的节点,以便更好地平衡负载。
  • 亲和性偏好:如果有配置 Pod 亲和性或反亲和性规则,则会根据这些规则调整得分。
  • 其他自定义规则:开发者可以通过插件机制添加额外的评分标准。

最终,得分最高的节点会被选中作为 Pod 的宿主节点。

自定义调度策略

虽然默认的调度器已经非常强大,但在某些情况下,您可能希望进一步定制化调度行为。Kubernetes 提供了几种方式来实现这一点:

节点亲和性(Node Affinity)

节点亲和性允许您更灵活地指定 Pod 应该部署在哪类节点上。它有两种形式:

  • requiredDuringSchedulingIgnoredDuringExecution:必须满足的条件,类似于硬性约束。
  • preferredDuringSchedulingIgnoredDuringExecution:优先考虑但非强制性的条件,属于软性约束。
示例
apiVersion: v1
kind: Pod
metadata:name: with-node-affinity
spec:affinity:nodeAffinity:requiredDuringSchedulingIgnoredDuringExecution:nodeSelectorTerms:- matchExpressions:- key: kubernetes.io/e2e-az-nameoperator: Invalues:- e2e-az1- e2e-az2preferredDuringSchedulingIgnoredDuringExecution:- weight: 1preference:matchExpressions:- key: another-node-label-keyoperator: Invalues:- another-node-label-valuecontainers:- name: with-node-affinityimage: k8s.gcr.io/pause:2.0

Pod 亲和性与反亲和性(Pod Affinity & Anti-Affinity)

Pod 亲和性和反亲和性使您可以基于现有 Pods 的位置来指导新 Pod 的放置。例如,为了提高性能,您可能想要让某些服务的实例尽可能靠近彼此;相反地,为了避免单点故障,您也可能希望它们分布在不同的节点上。

示例
affinity:podAffinity:requiredDuringSchedulingIgnoredDuringExecution:- labelSelector:matchExpressions:- key: securityoperator: Invalues:- S1topologyKey: failure-domain.beta.kubernetes.io/zonepodAntiAffinity:preferredDuringSchedulingIgnoredDuringExecution:- weight: 100podAffinityTerm:labelSelector:matchExpressions:- key: securityoperator: Invalues:- S2topologyKey: kubernetes.io/hostname

自定义调度器

对于需要高度定制化的场景,Kubernetes 还支持创建完全自定义的调度器。这通常涉及到开发一个新的可执行文件,并将其部署到集群中作为一个独立的服务。然后,您可以通过在 Pod 规范中指定 .spec.schedulerName 字段来选择使用哪个调度器。

实战演练

接下来我们将通过几个实际的例子来展示如何运用上述概念优化 Kubernetes 中的应用部署。

使用节点亲和性部署应用

假设我们要部署一个对磁盘 I/O 敏感的应用程序,并且只希望将其部署到具有 SSD 存储的节点上。我们可以这样做:

apiVersion: v1
kind: Pod
metadata:name: io-sensitive-app
spec:affinity:nodeAffinity:requiredDuringSchedulingIgnoredDuringExecution:nodeSelectorTerms:- matchExpressions:- key: disktypeoperator: Invalues:- ssdcontainers:- name: app-containerimage: myregistry/myapp:v1

这样,只有标记了 disktype=ssd 的节点才有可能成为该 Pod 的宿主。

实现跨区域容错部署

为了增强服务的可靠性,我们可以利用 Pod 反亲和性规则,确保同一服务的不同实例不会同时位于同一个区域内的相同节点上:

apiVersion: apps/v1
kind: Deployment
metadata:name: web-server
spec:replicas: 3selector:matchLabels:app: web-servertemplate:metadata:labels:app: web-serverspec:affinity:podAntiAffinity:requiredDuringSchedulingIgnoredDuringExecution:- labelSelector:matchExpressions:- key: appoperator: Invalues:- web-servertopologyKey: topology.kubernetes.io/zonecontainers:- name: web-serverimage: nginx:latest

这段代码确保了三个副本的 Web 服务器 Pod 不会在同一个区域内运行在同一节点上,从而提高了系统的容错能力。

结语

感谢您的阅读!如果您对调度器或 Kubernetes 有任何疑问或见解,欢迎继续探讨。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/893844.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

MySQL分表自动化创建的实现方案(存储过程、事件调度器)

《MySQL 新年度自动分表创建项目方案》 一、项目目的 在数据库应用场景中,随着数据量的不断增长,单表存储数据可能会面临性能瓶颈,例如查询、插入、更新等操作的效率会逐渐降低。分表是一种有效的优化策略,它将数据分散存储在多…

HTML5使用favicon.ico图标

目录 1. 使用favicon.ico图标 1. 使用favicon.ico图标 favicon.ico一般用于作为网站标志,它显示在浏览器的地址栏或者标签上 制作favicon图标 选择一个png转ico的在线网站,这里以https://www.bitbug.net/为例。上传图片,目标尺寸选择48x48&a…

【C++动态规划 网格】2328. 网格图中递增路径的数目|2001

本文涉及知识点 C动态规划 LeetCode2328. 网格图中递增路径的数目 给你一个 m x n 的整数网格图 grid ,你可以从一个格子移动到 4 个方向相邻的任意一个格子。 请你返回在网格图中从 任意 格子出发,达到 任意 格子,且路径中的数字是 严格递…

fatal error C1083: ޷[特殊字符]ļ: openssl/opensslv.h: No such file or directory

一、环境 1. Visual Studio 2017 2. edk2:202305 3. Python:3.11.4 二、 fatal error C1083: ޷򿪰ļ: openssl/opensslv.h: No such file or directory 上图出现这个警告,不用管。 出现Done,说明编译成功。 执行上…

组件框架漏洞

一.基础概念 1.组件 定义:组件是软件开发中具有特定功能或特性的可重用部件或模块,能独立使用或集成到更大系统。 类型 前端 UI 组件:像按钮、下拉菜单、导航栏等,负责构建用户界面,提升用户交互体验。例如在电商 AP…

隐藏字符造成的linux命令执行失败(非常难绷)

隐藏字符问题发生情景 事情是这样的,为了方便主机和虚拟机之间数据的传输,我打算建一个共享文件夹。由于我选择的是手动挂载,在VirtualBox 中创建好共享文件夹后,我着手打开Ubuntu,想将这个共享文件夹挂载到我的家目录…

C/C++ 虚函数

虚函数的定义 虚函数是指在基类内部声明的成员函数前面添加关键字 virtual 指明的函数虚函数存在的意义是为了实现多态,让派生类能够重写(override)其基类的成员函数派生类重写基类的虚函数时,可以添加 virtual 关键字,但不是必须这么做虚函…

爬虫基础之爬取某基金网站+数据分析

声明: 本案例仅供学习参考使用,任何不法的活动均与本作者无关 网站:天天基金网(1234567.com.cn) --首批独立基金销售机构-- 东方财富网旗下基金平台! 本案例所需要的模块: 1.requests 2.re(内置) 3.pandas 4.pyecharts 其他均需要 pip install 模块名 爬取步骤: …

RKNN_C++版本-YOLOV5

1.背景 为了实现低延时,所以开始看看C版本的rknn的使用,确实有不足的地方,请指正(代码借鉴了rk官方的仓库文件)。 2.基本的操作流程 1.读取模型初始化 // 设置基本信息 // 在postprocess.h文件中定义,详见…

Learning Vue 读书笔记 Chapter 2

2. Vue 基本工作原理 2.1 Virtual DOM 概念: DOM: DOM以内存中树状数据结构的形式,代表了网页上的HTML(或XML)文档内容。它充当了一个编程接口,将网页与实际的编程代码(如JavaScript)连接起来…

【C++高并发服务器WebServer】-7:共享内存

本文目录 一、共享内存1.1 shmget函数1.2 shmat1.3 shmdt1.4 shmctl1.5 ftok1.6 共享内存和内存映射的关联1.7 小demo 二、共享内存操作命令 一、共享内存 共享内存允许两个或者多个进程共享物理内存的同一块区域(通常被称为段)。由于一个共享内存段会称…

CrypTen——基于pytorch的隐私保护机器学习框架

目录 一、CrypTen概述 二、应用场景 三、CrypTen优势 四、CrypTen技术解析 1.基于pytorch的构建基础 2.核心密码学原语 3.加密模型训练流程 五、传统隐私保护技术与CrypTen的对比 1.传统隐私保护技术介绍 2.CrypTen与传统隐私保护技术的区别 六、CrypTen的环境配置…

ES6 简单练习笔记--变量申明

一、ES5 变量定义 1.在全局作用域中 this 其实就是window对象 <script>console.log(window this) </script>输出结果: true 2.在全局作用域中用var定义一个变量其实就相当于在window上定义了一个属性 例如: var name "孙悟空" 其实就相当于执行了 win…

Arduino大师练成手册 -- 控制 PN532 NFC 模块

要在 Arduino 上控制 PN532 NFC 模块&#xff0c;你可以按照以下步骤进行&#xff1a; 硬件连接 VCC&#xff1a;连接到 Arduino 的 3.3V 引脚。 GND&#xff1a;连接到 Arduino 的 GND 引脚。 SDA&#xff1a;连接到 Arduino 的 SDA 引脚&#xff08;通常是 A4&#xff09…

python——Django 框架

Django 框架 1、简介 Django 是用python语言写的开源web开发框架&#xff0c;并遵循MVC设计。 Django的**主要目的是简便、快速的开发数据库驱动的网站。**它强调代码复用&#xff0c;多个组件可以很方便的以"插件"形式服务于整个框架&#xff0c;Django有许多功能…

大模型正确调用方式

1、ollama 安装 curl -fsSL https://ollama.com/install.sh | sh 如果是AutoDl服务器&#xff0c;可以开启学术加速。 source /etc/network_turbo 本次使用腾讯云Cloud Studio&#xff0c;所以已经安装好了 Ollama 2、启动 ollama run 模型的名字 ollama serve # 开启服务 olla…

CE-PBFT:大规模联盟区块链的高可用一致性算法

摘要 区块链已广泛应用于农产品溯源、供应链管理、物流运输等各个领域。作为联盟区块链不可缺少的组成部分&#xff0c;共识算法保证了网络中每个节点的一致性和可信度。然而&#xff0c;由于通信过程的复杂性&#xff0c;现有的大规模联盟区块链场景中的共识算法存在低系统吞…

2025年新开局!谁在引领汽车AI风潮?

汽车AI革命已来。 在2025年伊始开幕的CES展上&#xff0c;AI汽车、AI座舱无疑成为了今年汽车行业的最大热点。其中不少车企在2025年CES上展示了其新一代AI座舱&#xff0c;为下一代智能汽车的人机交互、场景创新率先打样。 其中&#xff0c;东软集团也携带AI驱动、大数据支撑…

通义灵码插件保姆级教学-IDEA(安装及使用)

一、JetBrains IDEA 中安装指南 官方下载指南&#xff1a;通义灵码安装教程-阿里云 步骤 1&#xff1a;准备工作 操作系统&#xff1a;Windows 7 及以上、macOS、Linux&#xff1b; 下载并安装兼容的 JetBrains IDEs 2020.3 及以上版本&#xff0c;通义灵码与以下 IDE 兼容&…

文献阅读 250125-Accurate predictions on small data with a tabular foundation model

Accurate predictions on small data with a tabular foundation model Accurate predictions on small data with a tabular foundation model | Nature 使用一种基于表格的模型来对小型数据实现准确预测 ## Abstract: 基于其他列来填充标签列中缺失值的基本预测任务对于各种应…