ZNS SSD是不是持久缓存的理想选择?

随着数据量的增加和技术的进步,对于高效、可靠的存储解决方案的需求日益增长。传统的基于块的SSD虽然具有成本效益和持久性的优点,但在处理写密集型和更新密集型工作负载时存在局限性。

NAND闪存的特点是数据只能按页(例如4KiB)写入,不支持原地更新,必须以块为单位进行擦除。然而,块接口的局限性在于需要通过垃圾收集(GC)来支持4KiB的原地更新,而且无法感知擦除行为,导致不可控的垃圾收集引发不稳定延迟。这些问题在缓存工作负载中尤为突出,因为它们通常是写密集型和更新密集型的,并倾向于高容量利用率。

图片

持久缓存(Persistent Cache)是指一种用于存储频繁访问的数据,并能在系统重启后仍然保留这些数据的缓存机制。持久缓存结合了缓存的快速访问特性和非易失性存储的持久性,使得数据能够在系统断电后仍然得以保存,从而提高了数据的可靠性和系统的整体性能。随着固态存储技术的进步,特别是ZNS SSDs等新型存储技术的发展,持久缓存的应用范围将进一步扩大,为各种高性能计算场景提供支持。

扩展阅读:

  • ZNS SSD+F2FS文件系统|如何降低GC开销?

  • 为什么QLC NAND才是ZNS SSD最大的赢家?

  • 字节跳动ZNS SSD应用案例解析

  • NVMe SSD:ZNS与FDP对决,你选谁?

Zoned Namespace SSDs(ZNS SSDs)作为一种新兴技术,旨在克服传统SSD在某些场景下的局限性,特别是在持久缓存系统中的应用。ZNS SSDs通过提供一种新接口来克服传统SSD的一些限制,尤其是在某些应用场景下。具体来说,ZNS SSDs能够减少内部垃圾收集过程中的写放大(WA),这有助于延长SSD的寿命并避免因额外的数据移动而导致的吞吐量降低和不稳定延迟。此外,与相同成本的传统SSD相比,ZNS SSDs可以提供更大的存储容量。

图片

闪存缓存被广泛应用于各种场景,例如Meta的CacheLib就是一个典型的例子。闪存缓存通常将缓存项组织成大的段(例如Region),并通过文件或直接使用原始设备来减少I/O开销和降低写放大(Write Amplification, WA),缓存空间几乎总是被充分利用。此外,使用缓存时,大量的随机更新会加剧写放大现象,进而影响性能。ZNS SSDs为持久缓存系统提供了许多潜在的好处,包括更大的存储空间、更低的尾部延迟和更少的写放大。这些特点使得ZNS SSDs成为持久缓存系统的一个极具吸引力的选择。

当前持久缓存引擎的局限性
  • 基于文件系统的持久缓存:这类引擎通常使用文件系统作为底层存储,这在很大程度上简化了缓存管理,但文件系统的设计并不适合ZNS SSDs的要求。文件系统中的原地更新会导致写放大,增加垃圾回收的频率,从而影响SSD的性能和寿命。

  • 基于标准SSD的持久缓存:这类引擎直接使用标准SSD作为存储介质,虽然可以减少文件系统的开销,但仍然存在不兼容ZNS SSDs的问题。标准SSD通常不支持ZNS SSDs的Zone管理功能,导致无法充分利用ZNS SSDs的优势。

设计垃圾回收机制的挑战
  • 写放大:传统SSD中的垃圾回收过程往往导致写放大,即为了更新一小部分数据,需要写入更多数据。在ZNS SSDs中,由于只支持顺序写入,需要重新考虑如何在不增加写放大的情况下执行更新操作。

  • 缓存性能:在设计垃圾回收机制时,需要考虑如何不影响缓存的读写性能。高效的垃圾回收策略应该尽可能减少对缓存操作的影响,确保缓存服务的快速响应。

  • 缓存命中率:缓存命中率是衡量缓存系统性能的关键指标之一。设计垃圾回收机制时需要考虑如何通过合理的缓存替换策略来提高缓存命中率。

一、ZNS SSD作为持久缓存技术分析

面对ZNS SSDs作为持久缓存后端的挑战,需要对现有的缓存引擎进行改进和优化,以充分发挥ZNS SSDs的优势。这涉及到重新设计垃圾回收机制、磨损均衡策略等关键组件,以实现更好的性能和更长的SSD寿命。通过这些改进,ZNS SSDs可以为持久缓存系统提供更加高效、可靠和持久的存储解决方案。

为了探索利用ZNS SSDs作为持久缓存后端的可能性和权衡,研究者提出了三种可能的设计方案:

  • 文件缓存:使用兼容ZNS的文件系统,实现完全透明化。

  • Zone缓存:直接将缓存的SSD管理单元映射到固定大小的区域。

  • 中间层缓存:使用一个简单的中间层将区域接口转换为缓存管理单元的接口。

1.文件缓存

在考虑使用ZNS SSDs作为持久缓存后端时,一种可能的方案是使用兼容ZNS的文件系统。这种方案旨在通过提供通用的文件接口来实现缓存功能,但同时也带来了一些额外的开销和挑战。

图片

文件系统缓存方案 (File-Cache)
  • 文件系统:使用兼容ZNS的文件系统(例如F2FS)来提供通用的文件接口。

  • 缓存管理:缓存项按照Region进行组织,每个Region对应ZNS SSDs的一个或多个Zone。

  • 数据组织:每个Region包含多个Zone,每个Zone大小固定,例如16MiB。

  • I/O单位:文件系统以4KiB为单位进行I/O操作。

  • 元数据与数据分离:文件系统将元数据和数据分开存储,以减少写放大。

  • 重用机制:文件系统支持Zone的重用(reclaim),以便释放不再使用的空间。

技术细节与挑战
  • 额外开销:使用文件系统会引入额外的开销,包括元数据管理、索引结构维护等。

  • 文件系统构建:需要额外的SSD来构建文件系统,例如使用F2FS作为底层文件系统。

  • 全透明性:文件系统提供的全透明接口使得优化垃圾收集变得困难。

  • 性能影响:文件系统的额外开销可能会对缓存性能产生负面影响。

  • 空间利用率:文件系统的特性可能会导致空间利用率不如直接管理ZNS SSDs的方式高。

使用兼容ZNS的文件系统作为持久缓存的方案虽然简单且易于集成,但对于追求高性能和低延迟的应用来说,它可能不是最佳选择。额外的文件系统开销和限制的优化能力可能会影响缓存系统的整体性能。因此,在选择使用兼容ZNS的文件系统之前,应仔细考虑其适用性和潜在的性能影响。

2.Zone缓存

在考虑使用ZNS SSDs作为持久缓存后端时,另一种可能的方案是直接使用ZNS SSDs的Zone接口,并将缓存管理单元(Region)与Zone大小相匹配。这种方案旨在减少映射开销,实现无垃圾回收的设计,并消除写放大现象。

图片

直接使用Zone接口 (Zone-Cache)
  • 直接使用Zone接口:直接使用ZNS SSDs的Zone接口进行缓存管理,而不是通过文件系统或其他中间层,可以减少映射缓存管理单元到物理存储的开销。

  • 缓存管理单元与Zone匹配:将缓存中的Region映射到ZNS SSDs的Zone上,使得每个Region对应一个或多个Zone。

  • 无垃圾回收设计:由于ZNS SSDs的特性,可以实现零写放大,不需要进行内部垃圾回收。

  • 无OP空间:由于Zone的管理直接由应用程序控制,不需要额外的预留空间OP来支持垃圾回收过程。

在考虑使用ZNS SSDs作为持久缓存后端时,直接使用Zone接口,并将缓存管理单元(Region)与Zone大小相匹配是一种可行的方案。然而,较大的Region大小可能会导致更长的Region插入时间和更大的内存消耗。

  • 更长的Region插入时间:较大的Region大小意味着在插入新数据时需要更多的时间来完成整个Region的填充。这可能会影响缓存的响应时间。

  • 更大的内存消耗:较大的Region大小需要更多的内存来维护Region的状态信息,例如Region的使用情况、位置信息等。这可能会增加缓存系统的内存负担。

图片

直接使用ZNS SSDs的Zone接口作为持久缓存后端的方案减少了映射开销,实现了无垃圾回收的设计,并消除了写放大现象。这种方案对于追求高性能和低延迟的应用来说是一个很好的选择。然而,需要注意的是较大的Region大小可能会导致更长的Region插入时间和更大的内存消耗,这可能需要在实际应用中通过适当的Region大小选择来平衡性能和资源消耗。

3.中间层缓存

在考虑使用ZNS SSDs作为持久缓存后端时,使用一个简单的中间层来提供区域接口是一种可行的方案。这种方案旨在通过中间层提供缓存管理单元(Region)与ZNS SSDs的Zone之间的适配,同时允许Region具有合适的大小。

图片

使用中间层提供区域接口 (Region-Cache)
  • 使用中间层:使用一个简单的中间层来提供区域接口,该中间层专为缓存系统(如CacheLib)设计。通过中间层,可以为Region设定一个合适的大小,这样可以更好地适应缓存系统的需求。

  • 缓存管理单元与Zone适配:中间层负责将缓存中的Region映射到ZNS SSDs的Zone上,使得每个Region可以具有一个合适的大小,而不是严格匹配Zone的大小。

  • 需要预留空间和垃圾收集:尽管中间层提供了一个更灵活的接口,但它仍然需要预留空间OP来支持垃圾回收过程,并且需要实现垃圾回收机制来优化写放大。

中间层的存在可以提供更灵活的Region大小选择,但同时也引入了额外的映射开销。此外,预留空间和垃圾收集过程可能会对性能产生一定影响,需要在设计时予以考虑。

二、实验结果分析

1.根据微观评估结果,可以看出每种解决方案都有其独特的优势:
  • Block-Cache:这是一种使用常规SSD的传统缓存解决方案。它可以提供稳定的性能,但由于需要进行垃圾回收,可能会遇到写放大问题,影响命中率。适用于需要稳定性能和不需要特别关注写放大问题的应用场景。

  • Zone-Cache:由于其无垃圾回收的设计,Zone-Cache能够获得最高的命中率。由于ZNS SSDs的特性,一旦数据写入Zone后,需要重置整个Zone才能再次使用,这消除了内部垃圾回收的需要,从而避免了写放大。适用于追求最高命中率的应用场景,特别是那些对延迟敏感且希望避免垃圾收集带来的性能下降的应用。

  • Region-Cache:Region-Cache可以通过中间层提供缓存管理单元与ZNS SSDs之间的适配,使得Region可以具有一个合适的大小。它可以提供与Block-Cache相似的高吞吐量,但在命中率方面可能略逊于Zone-Cache。适用于需要高吞吐量和具有一定灵活性的应用场景,通过中间层提供的适配可以在性能和资源消耗之间取得良好的平衡。

图片

2.对RocksDB的评估:作为二级缓存的不同设计方案

在RocksDB中作为二级缓存的不同设计方案的评估结果。这些评估重点关注了Region-Cache、Block-Cache以及Zone-Cache在吞吐量、延迟等方面的性能表现。

图片

  • Region-Cache:

    • 延迟:由于Region-Cache通过中间层提供缓存管理单元与ZNS SSDs之间的适配,它可以有效地管理和调度数据,从而实现较低的延迟。

    • 吞吐量:Region-Cache通过中间层提供的适配,使得Region可以具有一个合适的大小,这有助于提高数据的读写效率,从而实现较高的吞吐量。

    • 优势:Region-Cache方案通过中间层提供的缓存管理单元与ZNS SSDs之间的适配,不仅提供了较低的延迟,还保持了较高的吞吐量。

  • Block-Cache:

    • 尾部延迟:Block-Cache方案使用常规SSD作为缓存后端,由于需要进行垃圾回收,可能会遇到写放大问题,导致较高的尾部延迟。

    • 劣势:Block-Cache方案在尾部延迟方面表现不佳,特别是在p99的延迟上最高,这可能是由于垃圾收集导致的写放大问题所引起的。

  • Zone-Cache:

    • 命中率:Zone-Cache方案由于其无垃圾回收的设计,可以实现最高的命中率。这有助于减少访问延迟并提高整体性能。

图片

根据这些评估结果,如果目标是在RocksDB中实现最低的延迟和最高的吞吐量,则Region-Cache是最优的选择。然而,如果应用程序对命中率有较高要求,则Zone-Cache可能是一个更好的选择。

在本文中,研究人员提出了三种可能的方案,旨在使用ZNS SSDs作为持久缓存,并对其进行了详细的分析与评估。与常规SSD相比,ZNS SSDs可以作为更优秀的存储设备用于持久缓存。这一结论也在将ZNS SSD用作RocksDB的二级缓存时得到了验证。

  • Region-Cache:在作为RocksDB的二级缓存时,Region-Cache方案展现出了最低的延迟和最高的吞吐量。

  • Block-Cache:相比之下,Block-Cache方案虽然提供了稳定的性能,但由于垃圾回收导致的写放大问题,它的尾部延迟表现不佳。

  • Zone-Cache:Zone-Cache方案由于其无垃圾回收的设计,可以实现最高的命中率,这对于减少访问延迟和提高性能至关重要。

总之,ZNS SSDs作为一种新型的存储设备,具有独特的性能优势,可以作为持久缓存的理想选择。未来的研究方向应该集中在改进Zone管理机制、开发更多优化的驱逐策略以及设计新型策略来实现设备-缓存-应用协同设计。这些研究将进一步提高ZNS SSDs在持久缓存应用场景中的性能和效率。

参考文献:Yang, Chongzhuo, Zhang Cao, Chang Guo, Ming Zhao and Zhichao Cao. “Can ZNS SSDs be Better Storage Devices for Persistent Cache?” Proceedings of the 16th ACM Workshop on Hot Topics in Storage and File Systems (2024): n. pag.


如果您看完有所受益,欢迎点击文章底部左下角“关注”并点击“分享”、“在看”,非常感谢!

精彩推荐:

  • 太上老君的“三味真火”也可以提升3D NAND可靠性!

  • FMS 2024:多家厂商CXL技术方案总览

  • 存储正式迈入超大容量SSD时代!

  • FMS 2024: 带来哪些存储技术亮点?

  • IEEE报告解读:存储技术发展趋势分析

  • 什么?陶瓷也可以用来存储数据了?

  • 都说固态硬盘寿命短,那么谁把使用寿命用完了吗?

  • 内存原生CRAM技术将会颠覆计算存储的未来?

  • 浅析SSD性能与NAND速率的关联

  • MCR DIMM如何解决内存带宽瓶颈?

  • 浅析MPS对PCIe系统稳定性的影响

  • CXL-GPU: 全球首款实现百ns以内的低延迟CXL解决方案

  • 万字长文|下一代系统内存数据加速接口SDXI解读

  • 数据中心:AI范式下的内存挑战与机遇

  • WDC西部数据闪存业务救赎之路,会成功吗?

  • 属于PCIe 7.0的那道光来了~

  • 深度剖析:AI存储架构的挑战与解决方案

  • CXL崛起:2024启航,2025年开启新时代

  • NVMe SSD:ZNS与FDP对决,你选谁?

  • 浅析PCI配置空间

  • 浅析PCIe系统性能

  • 存储随笔《NVMe专题》大合集及PDF版正式发布!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/877788.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2024年最新最全的【大模型学习路线规划】从零基础入门到精通!

2024年最新最全的大模型学习路线规划,对于零基础入门到精通的学习者来说,可以遵循以下阶段进行: 文章目录 一、基础准备阶段数学基础:编程语言:深度学习基础: 二、核心技术学习阶段Transformer模型&#xf…

[Linux#41][线程] 线程的特性 | 分离线程 | 并发的问题

1.线程的特性 进程和线程的关系如下图: 关于进程线程的问题 • 如何看待之前学习的单进程?具有一个线程执行流的进程 线程 ID 及进程地址空间布局 pthread_ create 函数会产生一个线程 ID,存放在第一个参数指向的地址中。 该线程 ID 和前面说的线程 ID …

动手实现基于Reactor模型的高并发Web服务器(一):epoll+多线程版本

系统流程概览 main函数 对于一个服务器程序来说,因为要为外部的客户端程序提供网络服务,也就是进行数据的读写,这就必然需要一个 socket 文件描述符,只有拥有了文件描述符 C/S 两端才能通过 socket 套接字进行网络通信&#xff0…

4.Redis单线程和多线程

1.Redis的单线程 Redis的单线程主要是指Redis的网络IO和键值对读写是由一个线程完成的,Redis在处理客户端的请求时包括获取(Socket读)、解析、执行、内容返回(Socket写)等都由一个顺序串行的主线程处理,这…

ProxySQL 读写分离配置

ProxySQL 是一个高性能、高可用的 MySQL 代理软件,旨在提升 MySQL 数据库的可扩展性和性能。它可以在应用程序和 MySQL 服务器之间充当中间层,提供强大的路由、负载均衡和查询优化功能。 ProxySQL 的主要功能: 查询路由: ProxySQ…

市盈率的概念

写篇有关市盈率的【不务正业】的内容。 重要公式 市盈率 官方的定义 平均市盈率=∑(收盘价发行数量)/∑(每股收益发行数量),统计时剔除亏损及暂停上市的上市公司。 静态市盈率 滚动市盈率(TTM) 股票市盈率的意义 如果某股票有较…

培训第三十四天(初步了解Docker与套接字的应用)

上午 回顾 1、主从复制(高可用) 2、传统的主从复制 3、gtids事务型的主从复制 4、注意 1)server_id唯一 2)8.X版本需要get_ssl_pub_key 3)5.X不需要 4)change master to 5)stop | sta…

拍抖音在哪里去水印,三招教你快速掌握去水印技巧

在抖音上,我们经常会看到一些精彩的内容,想要保存下来,但往往视频上会有水印。本文将分享五个免费且高效的去除抖音视频水印的技巧,帮助你轻松保存无水印的视频。 技巧一:奈斯水印助手(小程序) 奈斯水印助手是一款专…

JavaScript(30)——解构

数组解构 数组解构是将数组的单元值快速批量赋值给一系列变量的简洁语法 基本语法: 赋值运算符左侧的[]用于批量声明变量,右侧数组的单元值将被赋值给左侧变量变量的顺序对应数组单元值的位置依次进行赋值操作 const arr [1, 2, 3, 4, 5]const [a, b…

云渲染的三个条件是指什么!哪三点最重要!

云渲染技术以其灵活性和效率,让创意人士和企业无论身处何地,都能通过网络接入强大的远程服务器,轻松完成复杂的图形渲染任务,但要发挥其魔力,我们得满足一些关键条件。 一、网络连接:云渲染的桥梁 首先&am…

协作新选择:即时白板在线白板软件分享

在团队合作中,产品经理扮演着至关重要的角色,他们不仅是产品与用户之间的纽带,更是产品性能和用户需求的桥梁。他们需要深入参与产品的研发过程,并与研发团队保持紧密的沟通。因此,产品经理需要一款高效的协作工具来提…

arthas源码刨析:arthas 命令粗谈(3)

文章目录 dashboardwatchretransform 前面介绍了 arthas 启动相关的代码并聊了聊怎么到一个 shellserver 的建立。 本篇我们来探讨一下几个使用频次非常高的命令是如何实现的。 dashboard 想看这个命令的主要原因是编程这些年来从来没有开发过 terminal 的这种比较花哨的界面&a…

SpringBoot集成kafka-获取生产者发送的消息(阻塞式和非阻塞式获取)

说明 CompletableFuture对象需要的SpringBoot版本为3.X.X以上,需要的kafka依赖版本为3.X.X以上,需要的jdk版本17以上。 1、阻塞式(等待式)获取生产者发送的消息 生产者: package com.power.producer;import org.ap…

【html+css 绚丽Loading】 000014 三元波动盘

前言:哈喽,大家好,今天给大家分享htmlcss 绚丽Loading!并提供具体代码帮助大家深入理解,彻底掌握!创作不易,如果能帮助到大家或者给大家一些灵感和启发,欢迎收藏关注哦 &#x1f495…

JVM系列--初始JVM

根据《黑马程序员JVM虚拟机入门到实战全套视频教程》整理 1 什么是JVM JVM 全称是 Java Virtual Machine,中文译名 Java虚拟机。JVM 本质上是一个运行在计算机上的程序,他的职责是运行Java字节码文件。 Java源代码执行流程如下: 分为三个步…

书生大模型实战营第三期基础岛第二课——8G 显存玩转书生大模型 Demo

8G 显存玩转书生大模型 Demo 基础任务进阶作业一:进阶作业二: 基础任务 使用 Cli Demo 完成 InternLM2-Chat-1.8B 模型的部署,并生成 300 字小故事,记录复现过程并截图。 创建conda环境 # 创建环境 conda create -n demo pytho…

[Meachines] [Easy] Legacy nmap 漏洞扫描脚本深度发现+MS08-067

信息收集 IP AddressOpening Ports10.10.10.4TCP:135,139,445 $ nmap -p- 10.10.10.4 --min-rate 1000 -sC -sV -Pn PORT STATE SERVICE VERSION 135/tcp open msrpc Microsoft Windows RPC 139/tcp open netbios-ssn Microsoft Windows n…

Java二十三种设计模式-责任链模式(17/23)

责任链模式:实现请求处理的灵活流转 引言 在这篇博客中,我们深入探讨了责任链模式的精髓,从其定义和用途到实现方法,再到使用场景、优缺点、与其他模式的比较,以及最佳实践和替代方案,旨在指导开发者如何…

SAP BW:QUERY数据结果写入ADSO

作者 idan lian 如需转载备注出处 如果对你有帮助,请点赞收藏~~~ 需求背景 客户基于QUERY进行报表展示,现需迁移到永洪报表平台,query中的变量参数,公式等无法直接生成视图,query相对复杂,不想直接在视图…

笔记mybatisplus

MP入门 Mybatis-Plus(简称MP)是一个Mybatis的增强工具,在Mybatis的基础上只做增强不做改变,为简化开发、提高效率而生。 Mybatis-Plus已经封装好了大量增删改查的方法,程序员只需要继承BaseMapper就可以使用这些方法…