WDF驱动开发-特定于KMDF的技术(一)

这部分的技术是一些零散的记录知识点,它们主要是在WDF框架中特定于KMDF的部分。

将内核模式驱动程序框架和非 PnP 驱动程序配合使用

如果要为不支持 即插即用 (PnP) 的设备编写驱动程序,则驱动程序必须:

  • 在 WDF_DRIVER_CONFIG 结构的 DriverInitFlags 成员中设置 WdfDriverInitNonPnpDriver 标志;
  • 提供 EvtDriverUnload 事件回调函数;
  • 创建仅表示控制设备对象的框架 设备对象;

如果设备不支持 PnP,则驱动程序 不提供EvtDriverDeviceAdd 回调函数。 相反,驱动程序必须确定其设备是否存在。

安装非 PnP 驱动程序

如果 KMDF 驱动程序支持Windows 10上的非即插即用 (PnP) 设备,请使用与非 PnP 驱动程序示例中所示相同的方法,但删除对 INF 文件和共同安装程序的引用。 例如,不需要以下内容:

#define NONPNP_INF_FILENAME  L"\\nonpnp.inf"
#define WDF_SECTION_NAME L"nonpnp.NT.Wdf"LoadWdfCoInstaller
UnloadWdfCoInstallerPFN_WDFPREDEVICEINSTALLEX pfnWdfPreDeviceInstallEx;
PFN_WDFPOSTDEVICEINSTALL   pfnWdfPostDeviceInstall;
PFN_WDFPREDEVICEREMOVE     pfnWdfPreDeviceRemove;
PFN_WDFPOSTDEVICEREMOVE   pfnWdfPostDeviceRemove;

对于非 PnP KMDF 驱动程序,只需调用 SCM API 来创建服务。 

保证向前推进 I/O 操作

某些驱动程序(例如系统分页设备的存储驱动程序)必须至少执行一些受支持的 I/O 操作,而不会失败,以避免丢失关键系统数据。 驱动程序故障的一个潜在原因是内存不足的情况。 如果框架或驱动程序无法分配足够的内存来处理 I/O 请求,则其中一个或另一个可能需要通过错误状态值 完成 I/O 请求来使 I/O 请求失败。

在版本 1.9 之前的 KMDF 版本中,如果框架无法为 I/O 请求数据包分配框架请求对象, I/O 管理器已发送到驱动程序的 I/O,框架始终会失败 I/O 请求。 为了使驱动程序能够在内存不足的情况下处理 I/O 请求,框架版本 1.9 及更高版本为 I/O 队列提供了 有保证的向前进度 功能。

此功能使框架和驱动程序能够分别为请求对象集和与请求相关的驱动程序上下文缓冲区预先分配内存。 仅当系统内存量较低时,框架和驱动程序才使用此预分配的内存。

保证向前进度的功能

通过使用框架保证的 I/O 队列向前进度,驱动程序可以:

  • 要求框架预先分配一组请求对象,以在内存不足的情况下用于特定的 I/O 队列;
  • 提供一个回调函数,用于预分配特定于请求的资源,驱动程序在内存不足的情况下从框架接收预分配的请求对象时可以使用这些资源;
  • 提供另一个回调函数,用于在 未检测到内存不足的情况时为 I/O 请求分配特定于驱动程序的资源。 如果此回调函数的分配由于内存不足而失败,它可以指示框架是否应使用其预分配的请求对象之一;
  • 指定哪些 I/O 请求需要使用预分配的请求对象。 选项包括为所有 IRP 使用预分配的对象、仅在分页 I/O 操作正在进行时使用它们,或让其他驱动程序回调函数检查每个 IRP 以确定是否使用预分配的对象;

如果驱动程序对其一个或多个 I/O 队列实现了有保证的向前进度,则驱动程序将能够更好地在内存不足的情况下成功 处理 I/O 请求 。 你可以为设备的默认 I/O 队列以及驱动程序通过调用 WdfDeviceConfigureRequestDispatching 配置的任何 I/O 队列实现有保证的向前进度。

只有当驱动程序和驱动程序的 I/O 目标 都实现有保证的前进进度时,框架的有保证向前进度功能才适用于驱动程序。 换句话说,如果驱动程序为设备实现有保证的向前进度,则设备驱动程序堆栈中的所有较低级别驱动程序也必须实现有保证的向前进度。

为 I/O 队列启用有保证的向前进度

若要为 I/O 队列启用有保证的向前进度,驱动程序会初始化 WDF_IO_QUEUE_FORWARD_PROGRESS_POLICY 结构,然后调用 WdfIoQueueAssignForwardProgressPolicy 方法。 如果驱动程序调用 WdfDeviceConfigureRequestDispatching 来配置 I/O 队列,则必须在调用 WdfIoQueueAssignForwardProgressPolicy 之前执行此操作。

当驱动程序调用 WdfIoQueueAssignForwardProgressPolicy 时,它可以指定以下三个事件回调函数,所有这些函数都是可选的:

  • EvtIoAllocateResourcesForReservedRequest:驱动程序的 EvtIoAllocateResourcesForReservedRequest 回调函数为框架在内存不足的情况下保留的请求对象分配和存储特定于请求的资源。框架每次创建保留请求对象时都会调用此回调函数。 驱动程序应为一个 I/O 请求分配特定于请求的资源,通常使用保留的请求对象的 上下文空间;
  • EvtIoAllocateRequestResources:驱动程序的 EvtIoAllocateRequestResources 回调函数分配特定于请求的资源以供立即使用。 在框架收到 IRP 并为 IRP 创建请求对象后,将立即调用它。如果回调函数分配资源的尝试失败,回调函数将返回错误状态值。 然后,框架删除新创建的请求对象,并使用其保留的请求对象之一。 反过来,驱动程序 的请求处理程序 使用其 EvtIoAllocateRequestResources 回调函数之前分配的特定于请求的资源;
  • EvtIoWdmIrpForForwardProgress:驱动程序的 EvtIoWdmIrpForForwardProgress 回调函数检查 IRP,并告知框架是使用 IRP 的保留请求对象,还是通过错误状态值完成 I/O 请求来使该请求失败;

仅当框架无法创建新的请求对象,并且你通过在驱动程序的 WDF_IO_QUEUE_FORWARD_PROGRESS_POLICY结构中 设置标志来指示, 希望驱动程序在内存不足的情况下检查 IRP 时,框架才会调用此回调函数。 换句话说,驱动程序可以评估每个 IRP,并确定它是否是即使在内存不足的情况下也必须处理的 IRP。

当驱动程序调用 WdfIoQueueAssignForwardProgressPolicy 时,它还指定你希望框架针对内存不足的情况预先分配的保留请求对象数。 可以选择适合你的设备和驱动程序的请求对象数。 为防止性能降低,驱动程序通常应指定一个数字,该数字近似于驱动程序和设备可以并行处理的 I/O 请求数。

但是,如果驱动程序调用 WdfIoQueueAssignForwardProgressPolicy 及其 EvtIoAllocateResourcesForReservedRequest 回调函数预先分配了过多的保留请求对象或过多特定于请求的资源内存,则驱动程序实际上可能会导致尝试处理的内存不足的情况。 应测试驱动程序和设备的性能,并包括低内存模拟,以确定要选择的最佳数字。

在 WdfIoQueueAssignForwardProgressPolicy 返回之前,框架会创建并保留驱动程序指定的请求对象数。 每次保留请求对象时,框架都会立即调用驱动程序的 EvtIoAllocateResourcesForReservedRequest 回调函数,以便在框架实际使用保留请求对象的情况下,驱动程序可以分配和保存特定于请求的资源。

当某个驱动程序 的请求处理程序 从 I/O 队列接收 I/O 请求时,它可以调用 WdfRequestIsReserved 方法,以确定请求对象是否是框架针对内存不足情况预先分配的请求对象。 如果此方法返回 TRUE,则驱动程序应使用其 EvtIoAllocateResourcesForReservedRequest 回调函数保留的资源。

如果框架使用其保留请求对象之一,则会在驱动程序完成请求后将对象返回到其保留对象集。 框架保存请求对象以及驱动程序通过调用 WdfDeviceInitSetRequestAttributes 或 WdfObjectAllocateContext 创建的任何上下文空间,以便在出现另一个内存不足的情况时重复使用。

框架和驱动程序支持如何保证向前推进

以下是驱动程序和框架为支持 I/O 队列的有保证向前进度而执行的步骤:

1. 驱动程序调用 WdfIoQueueAssignForwardProgressPolicy。

作为响应,框架分配并存储驱动程序指定的请求对象数。 如果驱动程序以前调用 了 WdfDeviceInitSetRequestAttributes,则每个分配包括 WdfDeviceInitSetRequestAttributes 指定的上下文空间。

此外,如果驱动程序提供了 EvtIoAllocateResourcesForReservedRequest 回调函数,则框架会在每次分配和存储请求对象时调用回调函数。

2. 框架接收 I/O 请求数据包 (IRP) I/O 管理器发送到驱动程序。

框架尝试为 IRP 分配请求对象。 如果驱动程序为请求类型创建的 I/O 队列支持保证向前进度,则下一步取决于分配是成功还是失败:

请求对象分配成功:如果驱动程序提供了 EvtIoAllocateRequestResources 回调函数,框架将调用它。 如果回调函数返回STATUS_SUCCESS,框架会将请求添加到 I/O 队列。 如果回调函数返回错误状态值,框架将删除它刚刚创建的请求对象,并使用其预分配的请求对象之一。 当驱动程序的请求处理程序收到请求对象时,它会确定请求对象是否已预先分配,因此是否应使用驱动程序的预分配资源。如果驱动程序 未 提供 EvtIoAllocateRequestResources 回调函数,框架会将请求添加到 I/O 队列,就像驱动程序未启用有保证的向前进度一样。

请求对象分配失败:框架接下来执行的操作取决于驱动程序为 WDF_IO_QUEUE_FORWARD_PROGRESS_POLICY 结构的 ForwardProgressReservedPolicy 成员提供的值。 此成员通知框架何时使用保留请求:始终,仅当 I/O 请求是分页 I/O 操作时,或仅当 EvtIoWdmIrpForwardProgress 回调函数指示应使用保留请求时。

在所有情况下,驱动程序的请求处理程序都可以调用 WdfRequestIsReserved 来确定框架是否使用了保留的请求对象。 如果是这样,驱动程序应使用其 EvtIoAllocateResourcesForReservedRequest 回调函数分配的请求资源。

保证向前进度方案

你正在为可能包含系统分页文件的存储设备编写驱动程序。 从分页文件读取操作和写入操作成功非常重要。

你决定为读取和写入操作创建单独的 I/O 队列,并为这两个 I/O 队列启用有保证的向前进度。 你决定为所有其他请求类型创建第三个 I/O 队列,但不启用有保证的向前进度。

驱动程序堆栈和设备能够并行处理四个写入操作,因此,在调用 WdfIoQueueAssignForwardForwardProgressPolicy 之前,请将 WDF_IO_QUEUE_FORWARD_PROGRESS_POLICY 结构的 TotalForwardProgressRequests 成员设置为 4。

你决定仅当驱动程序的设备是分页设备时才保证向前进度很重要,因此驱动程序将WDF_IO_QUEUE_FORWARD_PROGRESS_POLICY结构的 ForwardProgressReservedPolicy 成员设置为 WdfIoForwardProgressReservedPolicyPagingIO。

由于驱动程序需要每个读取请求和每个写入请求的框架内存对象,因此你决定驱动程序应预先分配一些内存对象,以便在内存不足的情况下用于调用 WdfIoTargetFormatRequestForRead 和 WdfIoTargetFormatRequestForWrite 。

因此,驱动程序为读取队列提供 EvtIoAllocateResourcesForReservedRequest 回调函数,为写入队列提供另一个回调函数。 每次框架调用其中一个回调函数时,回调函数都会调用 WdfMemoryCreate 并保存返回的对象句柄,以应对内存不足的情况。 因为回调函数接收预分配的请求对象的句柄,所以它可以将内存对象父级给请求对象。 DMA 设备的驱动程序也可能预先分配 框架 DMA 对象。

读取和写入队列 的请求处理程序 必须确定每个接收的请求对象是否为框架为内存不足的情况保留的对象。 请求处理程序可以调用 WdfRequestIsReserved,也可以将请求对象句柄与 EvtIoAllocateResourcesForReservedRequest 回调函数之前收到的句柄进行比较。

该驱动程序还为读取队列提供 EvtIoAllocateRequestResources 回调函数,并为写入队列提供另一个回调函数。 框架在收到来自 I/O 管理器的读取或写入请求并成功创建请求对象时调用其中一个回调函数。 其中每个回调函数调用 WdfMemoryCreate 为请求分配内存对象。 如果分配失败,回调函数将返回错误状态值,以通知框架刚刚出现内存不足的情况。 框架检测错误返回值,删除刚刚创建的请求对象,并使用其预分配的对象之一。

此驱动程序不提供 EvtIoWdmIrpForForwardProgress 回调函数,因为它不需要在框架将其添加到 I/O 队列之前检查单个读取或写入 IRP。

请记住,当驱动程序为设备实现有保证的向前进度时,设备驱动程序堆栈中的所有较低级别驱动程序也必须实现有保证的向前进度。

完成 I/O 请求时指定优先级提升

当驱动程序完成 I/O 请求时,它可以调用 WdfRequestCompleteWithPriorityBoost ,以指定系统用于提高请求 I/O 操作的线程的运行时优先级的值。

如果驱动程序调用 WdfRequestComplete 或 WdfRequestCompleteWithInformation 而不是 WdfRequestCompleteWithPriorityBoost,框架将使用基于设备类型的默认优先级提升值。 下表列出了框架使用的默认优先级提升值。 设备类型和优先级提升常量在 Wdm.h 中定义。

设备类型默认优先级提升
FILE_DEVICE_UNDEFINEDIO_NO_INCREMENT
FILE_DEVICE_BEEPIO_NO_INCREMENT
FILE_DEVICE_CD_ROMIO_CD_ROM_INCREMENT
FILE_DEVICE_CD_ROM_FILE_SYSTEMIO_CD_ROM_INCREMENT
FILE_DEVICE_CONTROLLERIO_NO_INCREMENT
FILE_DEVICE_DATALINKIO_NO_INCREMENT
FILE_DEVICE_DFSIO_NO_INCREMENT
FILE_DEVICE_DISKIO_DISK_INCREMENT
FILE_DEVICE_DISK_FILE_SYSTEMIO_DISK_INCREMENT
FILE_DEVICE_FILE_SYSTEMIO_NO_INCREMENT
FILE_DEVICE_INPORT_PORTIO_NO_INCREMENT
FILE_DEVICE_KEYBOARDIO_KEYBOARD_INCREMENT
FILE_DEVICE_MAILSLOTIO_MAILSLOT_INCREMENT
FILE_DEVICE_MIDI_INIO_SOUND_INCREMENT
FILE_DEVICE_MIDI_OUTIO_SOUND_INCREMENT
FILE_DEVICE_MOUSEIO_MOUSE_INCREMENT
FILE_DEVICE_MULTI_UNC_PROVIDERIO_NO_INCREMENT
FILE_DEVICE_NAMED_PIPEIO_NAMED_PIPE_INCREMENT
FILE_DEVICE_NETWORKIO_NETWORK_INCREMENT
FILE_DEVICE_NETWORK_BROWSERIO_NETWORK_INCREMENT
FILE_DEVICE_NETWORK_FILE_SYSTEMIO_NETWORK_INCREMENT
FILE_DEVICE_NULLIO_NO_INCREMENT
FILE_DEVICE_PARALLEL_PORTIO_PARALLEL_INCREMENT
FILE_DEVICE_PHYSICAL_NETCARDIO_NETWORK_INCREMENT
FILE_DEVICE_PRINTERIO_NO_INCREMENT
FILE_DEVICE_SCANNERIO_NO_INCREMENT
FILE_DEVICE_SERIAL_MOUSE_PORTIO_SERIAL_INCREMENT
FILE_DEVICE_SERIAL_PORTIO_SERIAL_INCREMENT
FILE_DEVICE_SCREENIO_VIDEO_INCREMENT
FILE_DEVICE_SOUNDIO_SOUND_INCREMENT
FILE_DEVICE_STREAMSIO_SOUND_INCREMENT
FILE_DEVICE_TAPEIO_NO_INCREMENT
FILE_DEVICE_TAPE_FILE_SYSTEMIO_NO_INCREMENT
FILE_DEVICE_TRANSPORTIO_NO_INCREMENT
FILE_DEVICE_UNKNOWNIO_NO_INCREMENT
FILE_DEVICE_VIDEOIO_VIDEO_INCREMENT
FILE_DEVICE_VIRTUAL_DISKIO_DISK_INCREMENT
FILE_DEVICE_WAVE_INIO_SOUND_INCREMENT
FILE_DEVICE_WAVE_OUTIO_SOUND_INCREMENT
FILE_DEVICE_8042_PORTIO_KEYBOARD_INCREMENT
FILE_DEVICE_NETWORK_REDIRECTORIO_NETWORK_INCREMENT
FILE_DEVICE_BATTERYIO_NO_INCREMENT
FILE_DEVICE_BUS_EXTENDERIO_NO_INCREMENT
FILE_DEVICE_MODEMIO_SERIAL_INCREMENT
FILE_DEVICE_VDMIO_NO_INCREMENT
FILE_DEVICE_MASS_STORAGEIO_DISK_INCREMENT
FILE_DEVICE_SMBIO_NETWORK_INCREMENT
FILE_DEVICE_KSIO_SOUND_INCREMENT
FILE_DEVICE_CHANGERIO_NO_INCREMENT
FILE_DEVICE_SMARTCARDIO_NO_INCREMENT
FILE_DEVICE_ACPIIO_NO_INCREMENT
FILE_DEVICE_DVDIO_NO_INCREMENT
FILE_DEVICE_FULLSCREEN_VIDEOIO_VIDEO_INCREMENT
FILE_DEVICE_DFS_FILE_SYSTEMIO_NO_INCREMENT
FILE_DEVICE_DFS_VOLUMEIO_NO_INCREMENT
FILE_DEVICE_SERENUMIO_SERIAL_INCREMENT
FILE_DEVICE_TERMSRVIO_NO_INCREMENT
FILE_DEVICE_KSECIO_NO_INCREMENT
FILE_DEVICE_FIPSIO_NO_INCREMENT
FILE_DEVICE_INFINIBANDIO_NO_INCREMENT

 

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/858480.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

了解请求参数与响应参数的区别:初学者指南

在 Web 的开发领域,无论你是前端开发还是后端开发人员,把握请求与响应参数的核心差异是极其重要的。这些参数在客户端和服务器之间的互动中扮演着关键角色。 请求参数的定义及类别 定义 当客户端向服务器提交信息时所使用的数据被称为请求参数。这些参…

【Docker】Docker下载安装_使用阿里云加速配置

1、下载安装 1.1前提条件 安装环境: 目前,CentOS 仅发行版本中的内核支持 Docker。Docker 运行在 CentOS 7 上,要求系统为64位、系统内核版本为 3.10 以上。Docker 运行在 CentOS-6.5 或更高的版本的 CentOS 上,要求系统为64位…

STM32上实现spwm调制原理分析

在STM32微控制器上实现SPWM(正弦脉宽调制,Sinusoidal Pulse Width Modulation)调制的核心是利用高频载波(三角波)与低频基波(正弦波)作比较得出。 那么在STM32里三角波和正弦波分别是什么&…

YzmCMS内核简约风非常不错的博客自媒体主题模板

本次发布的“Eric”主题模版文件中,已移除默认模版中一些非必要的模版,仅保留一些通用模版(首页、频道页、列表页、资源列表页、内容页、关于我/单页等),当前模版主题中提供的模版文件已经能够满足大部分网站使用。 YzmCMS内核简约风非常不错…

文件传输机制

文件传输机制通常涉及多种模式,其速率受到多种因素的影响。以下是对文件传输模式的概述以及影响速率的因素: 文件传输模式 文件传输模式可以根据不同的协议和技术分为多种类型,但最基本的区分是基于网络连接的方式和协议的使用。以下是一些…

IO-LINK主要参数说明及结构

目录 PDIN(Process Data Input) PDOUT(Process Data Output) 事件 ISDU(Indexed Service Data Unit) 直接页面参数 结构 关于IO-Link的主要参数,以下是关于PDIN、PDOUT、事件、ISDU以及直…

Java数据结构4-链表

1. ArrayList的缺陷 由于其底层是一段连续空间,当在ArrayList任意位置插入或者删除元素时,就需要将后序元素整体往前或者往后搬移,时间复杂度为O(n),效率比较低,因此ArrayList不适合做任意位置插入和删除比较多的场景…

明明设置允许跨域,为什么还会出现跨域请求的问题

一、问题 在微服务项目中,明明已经设置允许跨域访问: 为什么还会出现跨域请求问题? 二、为什么 仔细查看错误提示信息:When allowCredentials is true, allowedOrigins cannot contain the special value "*" since t…

Cesium如何高性能的实现上万条道路的流光穿梭效果

大家好,我是日拱一卒的攻城师不浪,专注可视化、数字孪生、前端、nodejs、AI学习、GIS等学习沉淀,这是2024年输出的第20/100篇文章; 前言 在智慧城市的项目中,经常会碰到这样一个需求:领导要求将全市的道路…

Jenkins定时构建自动化(二):Jenkins的定时构建

目录 ​编辑 一、 jenkins定时构建语法: 1. 语法规则: 2. 常见用法举例 3. 再次举例 接上一篇:Jenkins定时构建自动化(一):Jenkins下载安装配置:Jenkins定时构建自动化(一):Jenkins下载安装配置-CSDN博客 …

MySQL查询随机返回数据表的一条数据

要在MySQL中随机返回数据表的一条数据,可以使用ORDER BY RAND()子句。 但是,请注意,对于大型数据表,这可能会变得非常慢,因为它需要对整个表进行随机排序。对于小型到中型的数据表,这通常是可行的。 以下…

常见的LED显示屏拼接优缺点解析

LED显示屏拼接技术在现代显示技术中占据了重要地位。随着市场需求的不断增长,各种拼接屏技术也不断发展,每种技术都有其独特的优势和不足。本文将详细解析常见的几种拼接屏技术,包括LED显示屏拼接、投影DLP拼接和等离子PDP拼接。 LED显示屏拼…

STM32CubeIDE提示找不到头文件(No such file or directory)的解决办法

0 前言 最近在使用STM32CubeIDE时,发现为工程添加了头文件路径,但编译的时候还是报错,提示找不到头文件: 1 解决办法 1.1 为工程添加头文件路径 右键我们的工程,然后添加头文件路径(最好是相对路径&am…

秋招突击——第八弹——Redis是怎么运作的

文章目录 引言正文Redis在内存中是怎么存储的面试重点 Redis是单线程还是多线程面试重点 内存满了怎么办?面试重点 持久化介绍面试重点 RDB持久化面试重点 AOF日志面试重点 总结 引言 差不多花了两天把redis给过了,早上也只背了一半,完成回去…

如何发现Redis热Key,有哪些解决方案?

什么是 hotkey? 如果一个 key 的访问次数比较多且明显多于其他 key 的话,那这个 key 就可以看作是 hotkey(热 Key)。例如在 Redis 实例的每秒处理请求达到 5000 次,而其中某个 key 的每秒访问量就高达 2000 次&#x…

Pytorch-----(3A)基本的统计

一、问题 进行基本的张量统计如均值、中位数、众数等;进行基本的统计有助于应用概率分布和统计推断。Torch功能与Numpy类似,但是Torch函数支持GPU加速。以下是创建基本统计量的函数; 二、如何实现 &#x…

nuc马原复习资料

哲学:世界观的理论形态,或者说是系统化、理论化的世界观;世界观和方法论的统一。马克思主义哲学:辩证唯物主义和历史唯物主义,关于自然。社会和思维发展的普遍规律的学说,无产阶级世界观的理论体系。世界观…

MySQL中的系统变量权限

MySQL的系统变量用于控制服务器的操作。它们可以是全局的(影响整个MySQL服务器实例),也可以是会话的(仅影响当前客户端会话),或者两者兼有。 你可以使用SET语句来动态地改变这些变量的值。例如&#xff1a…

Linux基础二

目录 一,tail查看文件尾部指令 二,date显示日期指令 三,cal查看日历指令 四,find搜索指令 五,grep 查找指令 六,> 和>> 重定向输出指令 七, | 管道指令 八,&&逻辑控…

k8s集群master故障恢复笔记

剔除故障节点 kubectl drain master故障节点 kubectl delete node master故障节点 kubeadm reset rm -rf /etc/kubernetes/manifests mkdir -p /etc/kubernetes/pki/etcd/ 从master其他节点拷 scp /etc/kubernetes/pki/ca.crt ca.key sa.key sa.pub front-proxy-ca.crt …