NVMe系统内存结构 - Meta Data

NVMe系统内存结构 - Meta Data

  • 1 为什么需要数据保护
  • 2 Meta Data定义
  • 3 Meta Data传输方式
  • 4 常见Meta Data使用场景
    • 4.1 不带数据保护信息
    • 4.2 带数据保护信息“数据写”流程
    • 4.3 带数据保护信息“数据读”流程
    • 4.4 SSD内部加入数据保护信息
    • 4.5 SSD内部根据数据保护信息验证数据

本文属于《 NVMe协议基础系列教程》之一,欢迎查看其它文章。

1 为什么需要数据保护

端到端:一端是主机的内存空间,一端是SSD的闪存空间。

我们需要保护的是用户数据。
主机与SSD之间,数据传输的最小单元是逻辑块(Logical Block,LB),每个逻辑块大小可以是512/1024/2048/4096等字节,主机在格式化SSD的时候,逻辑块大小就确定了,之后两者就按这个逻辑块大小进行数据交互。

数据从主机到NVM(Non-Volatile Memory,目前一般是闪存,后面我就用闪存来代表NVM),首先要经过PCIe传输到SSD的控制器,然后控制器把数据写入闪存;反过来,主机想从闪存上读取数据,首先要由SSD控制器从闪存上获得数据,然后经过PCIe把数据传送给主机,如下图所示。
在这里插入图片描述
主机与SSD之间,数据在PCIe上传输的时候,由于信道噪声的存在(说白了就是存在干扰),可能导致数据出错;另外,在SSD内部,控制器与闪存之间,数据也可能发生错误。为确保主机与闪存之间数据的完整性,即主机写入闪存的数据与最初主机写的数据一致,以及主机读到的数据与最初从闪存上读上来的数据一致,NVMe提供了一个端到端的数据保护功能。

2 Meta Data定义

除了逻辑块数据本身,NVMe还允许每个逻辑块带个助理,叫做元数据(Meta Data)。
这个助理的职责,NVMe虽然没有明确要求,但如果数据需要保护,这个助理就必须能充当保镖的角色。

Meta Data结构,如下所示:
在这里插入图片描述

  • Guard:16比特的CRC(Cyclic Redundancy Check),它是逻辑块数据算出来的;
  • Application Tag:这块区域对控制器不可见,为主机所用;
  • Reference Tag:将用户数据和地址(LBA)相关联,防止数据错乱。

CRC校验能够检测出数据是否有错,后者则是保证数据不会出现张冠李戴的问题,比如我读LBA x,结果却读到了LBA y的数据。NVMe数据保护机制能发现这类问题。

因此,Meta Data本质就是,保存了CRC和数据块对应的LBA等冗余信息,进行数据校验,以便及时发现数据错误。

在NVM(I/O)命令和Admin命令的23:16位,Metadata Pointer (MPTR) 字段,就是指向了该命令所对应用户数据的Meta Data区域,如下所示:
在这里插入图片描述
命令中的Metadata Pointer应该Dword对齐。

3 Meta Data传输方式

Meta Data有两种传输方式:

  • Meta Data和逻辑块数据,放一起传输
  • Meta Data和逻辑块数据,分开传输

第一种,是作为逻辑块数据的扩展,和逻辑块数据放一起传输,这是贴身保镖
在这里插入图片描述
第二种,就是逻辑块数据和Meta Data分别传输。虽不是贴身保护,但保镖在附近时刻注意着主人的安全,属于非贴身保镖
在这里插入图片描述
NVMe over Fabrics只支持Meta Data和逻辑数据放一起,即贴身保护。

4 常见Meta Data使用场景

配了Meta Data的数据,如下图所示(以512字节的数据块为例)。
在这里插入图片描述

4.1 不带数据保护信息

在主机与SSD数据传输过程中,NVMe可以让每个逻辑块数据都带上保镖,可以让它们不带保镖,也可以在某个治安差的地方把保镖带上,然后在治安环境好的地方不用保镖。

主机向SSD写入数据,不带保镖,如下图所示。
在这里插入图片描述
什么情况下可以不带保镖?
如果你是普通人,完全没有必要配保镖,原因有:
①你请不起保镖;
②谁有空来伤害你呢?
③太平盛世。

如果是无关紧要的数据(如小电影),完全没有必要进行端到端的保护,毕竟数据保护需要传输额外的数据(每个逻辑数据块需要至少额外8字节的数据保护信息,有效带宽减少),还需要SSD做额外的数据完整性校验(耗时,性能变差)。最关键的是在PCIe通道上,本来就有LCRC的保护,有必要的话还可以使能ECRC,这个跟NVMe关系不大,就不展开了。

4.2 带数据保护信息“数据写”流程

主机向SSD写入数据,全程带上保镖的情况。
在这里插入图片描述
图中的PI(Protection Information,保护信息)就是传说中的保镖。
主机数据通过PCIe传输到SSD控制器时:

  • SSD控制器,会重新计算逻辑块数据的CRC,与保镖的CRC比较,如果两者匹配,说明数据传输是没有问题的;否则,数据就是有问题的,这个时候,SSD控制器就会给主机报错。
  • 除了CRC校验,还要检测有没有张冠李戴的问题,通过检测
    Reference Tag,看看这个没有CRC问题的数据,是不是该主机写命令对应的数据,如果不匹配,同样需要向主机报错。

如果数据检测没有问题,SSD控制器会把逻辑块数据和PI一同写入闪存中。
将PI一同写入闪存中有什么意义呢?
读取的时候有意义。

4.3 带数据保护信息“数据读”流程

在这里插入图片描述
SSD控制器读闪存的时候,会对读上来的数据进行CRC校验,如果写入的时候带有PI,这个时候就能检测出读上来的数据是否正确,从而决定这个数据要不要传给主机。

有人要说,对闪存来说,数据不是受ECC保护吗?为什么还要额外进行数据校验?

没错,写入闪存中的数据是受ECC保护,这个没有问题,但在SSD内部,数据从控制器到闪存之间,一般都要经过DRAM或者SRAM,在之前SSD控制器写入闪存,或者这个时候从闪存读数据到SSD控制器,可能就会发生比特翻转之类的小概率事件,从而导致数据不正确。如果在NVMe层再做个CRC保护,这类数据错误就能被发现了。

除了数据在SSD内发生反转,由于固件问题或者别的原因,还是会出现数据张冠李戴的问题:数据虽然没有CRC错误,但是它不是我们想要的数据。因此,还需要做Reference Tag检测。SSD控制器通过PCIe把数据传给主机,主机端也会对数据进行校验,看SSD返回的数据是否有错。

4.4 SSD内部加入数据保护信息

主机往SSD写入数据,半程带保镖的情况。
在这里插入图片描述
这种情况,主机与控制器端之间是没有数据保护的,因为PCIe已经能提供数据完整性保证了。

但在SSD内部,控制器到闪存之间,由于乱七八糟的原因(数据反转,LBA数据不匹配),存在数据错误的可能,NVMe要求SSD控制器在把数据写入闪存前,计算好数据的PI,然后把数据和PI一同写入闪存。

4.5 SSD内部根据数据保护信息验证数据

SSD控制器读闪存的时候,会对读上来的数据进行PI校验,如果没有问题,剥除PI,然后把逻辑块数据返回给主机;如果校验失败,说明数据存在问题,SSD需要向主机报错,如下图所示。
在这里插入图片描述
数据端到端保护是NVMe的一个特色,其本质就是在数据块中加入CRC和数据块对应的LBA等冗余信息,SSD控制器或者主机端利用这些信息进行数据校验,然后根据校验结果执行相应的操作。加入这些检错信息的好处是能让主机与SSD控制器及时发现数据错误,副作用就是:
1)每个数据块需要额外的至少8字节的数据保护信息,有效带宽减少:数据块越小,带宽影响越大。
2)SSD控制器需要做数据校验,影响性能。


参考文档:

  • 《深入浅出SSD-固态存储核心技术原理与实战》

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/628055.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

如何在你的网站接入QQ登录?

文章目录 准备阶段申请QQ登录的权限创建应用最后上传qqlogin.php代码 准备阶段 国内服务器和备案域名需要你有张独一无二本人的身份证你正面手持身份证的图片一张100px*100px的网站图标 申请QQ登录的权限 首先访问qq互联,点击我直接访问 登陆完成后我们点击面的…

bash shell基础命令(一)

1.shell启动 shell提供了对Linux系统的交互式访问,通常在用户登录终端时启动。系统启动的shell程序取决于用户账户的配置。 /etc/passwd/文件包含了所有用户的基本信息配置, $ cat /etc/passwd root:x:0:0:root:/root:/bin/bash ...例如上述root账户信…

Python新年文字烟花简单代码

简单的Python新年烟花代码示例: import random import timedef create_firework():colors [红色, 橙色, 黄色, 绿色, 蓝色, 紫色]flashes [爆裂, 闪光, 旋转, 流星, 喷射]color random.choice(colors)flash random.choice(flashes)print(f"发射一枚{color…

redis之单线程和多线程

目录 1、redis的发展史 2、redis为什么选择单线程? 3、主线程和Io线程是怎么协作完成请求处理的? 4、IO多路复用 5、开启redis多线程 1、redis的发展史 Redis4.0之前是用的单线程,4.0以后逐渐支持多线程 Redis4.0之前一直采用单线程的主…

GUI编程(函数解析以及使用)

1.介绍 AWT(Abstract Window Toolkit)和Swing 是 Java 提供的用于创建图形用户界面(GUI)的类库。 AWT:AWT 是 Java 最早提供的 GUI 类库,它基于本地平台的窗口系统,使用操作系统的原生组件进行…

17.蒙特卡洛强化学习之批量式策略评估

文章目录 1. 是什么2. 为什么直接估计Q而不是V2. 根据多条完整轨迹计算Q(s,a)3. 初访法和每访法哪个更好? 1. 是什么 智能体利用完整轨迹数据估计出 Q π ( s , a ) Q_\pi(s,a) Qπ​(s,a)的过程 2. 为什么直接估计Q而不是V 因为策略评估的目的在于改进现有策略 …

Springboot中时间格式化

时间格式化方式 JsonFromat方式全局配置方式格式化工具方式 JsonFromat方式 前端传参或后端响应 yyyy-MM-dd HH:mm:ss 格式,直接属性字段上加注解 JsonFromat JsonFromat(pattern "yyyy-MM-dd HH:mm:ss", timezone "GMT8") private Date fi…

文件的创建时间可以修改吗,怎么改?

文件的创建时间可以修改吗,怎么改?文件的创建时间是由操作系统自动生成并记录的,通常情况下无法直接修改。创建时间是文件的属性之一,它反映了文件在文件系统中的生成时间。一旦文件被创建,其创建时间就被确定下来&…

pod配置资源管理

secret 保存密码,token,敏感的k8s资源 configmap(重点) 1.2加入的新特征 这类数据可以存放在镜像当中,但是放在secret当中可以更方便的控制,减少暴露的风险,保存加密的信息 secret的类型 docker-registry 存储docke…

Vulnhub-tr0ll-1

一、信息收集 端口收集 PORT STATE SERVICE VERSION 21/tcp open ftp vsftpd 3.0.2 | ftp-anon: Anonymous FTP login allowed (FTP code 230) |_-rwxrwxrwx 1 1000 0 8068 Aug 09 2014 lol.pcap [NSE: writeable] | ftp-syst: | STAT: | FTP …

Java使用Quartz做定时任务并持久化

一、导包 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-quartz</artifactId></dependency> 二、创建定时任务 创建一个定时任务如下&#xff0c;需要传入定时任务执行的class、定时任务名字…

【PostgreSQL】函数与操作符-比较函数和操作符

PostgreSQL函数与操作符-比较函数和操作符 PostgreSQL中的比较函数和操作符 PostgreSQL中的比较函数和操作符用于比较两个表达式的值。它们的作用是确定表达式的值是否满足某种条件&#xff0c;例如等于、大于、小于等。 比较函数是一个接受两个参数的函数&#xff0c;返回一…

leetcode-2719统计证书数目

题目链接 2719. 统计整数数目 - 力扣&#xff08;LeetCode&#xff09; 解题思路 题目实际上求的是[num1,...num2]中&#xff0c;数位和在[min_sum,...max_sum]的数的个数。对于这种区间[l,...r]的问题&#xff0c;我们可以考虑转化为求[1,...r]和[1,...l-1]的答案&#xff…

分布式搜索——Elasticsearch

Elasticsearch 文章目录 Elasticsearch简介ELK技术栈Elasticsearch和Lucene 倒排索引正向索引倒排索引正向和倒排 ES概念文档和字段索引和映射Mysql与Elasticsearch 安装ES、Kibana安装单点ES创建网络拉取镜像运行 部署kibana拉取镜像部署 安装Ik插件扩展词词典停用词词典 索引…

Linux 内核大转变:是否将迈入现代 C++ 的时代?

Linux开发者 H. Peter Anvin 在邮件列表中重启了关于 Linux内核C代码转换为C的讨论&#xff0c;并陈述了自己的观点。说之前先看一下这个话题的历史背景。 早在2018年4月1日&#xff0c;Andrew Pinski提议将 Linux 内核源码转为 C&#xff0c;在文中写道之所以引入是由于以下优…

centos7配置时间同步网络时间

centos7配置时间同步网络时间 1、安装 NTP 工具。 sudo yum install -y ntp2启动 NTP 服务。 sudo systemctl start ntpd3、将 NTP 服务设置为开机自启动。 sudo systemctl enable ntpd4、验证 date

50-Js控制元素显示隐藏

1.使用style样式,两个按钮:显示按钮,隐藏按钮 <style>div{width: 300px;height: 300px;background-color: red;transition: .4s;}</style></head><body><button>显示</button><button>隐藏</button><div></div>…

Xmind 网页端登录及多端同步

好久没用 Xmind 了&#xff0c;前几天登录网页端突然发现没办法登录了&#xff0c;总是跳转到 Xmind AI 页面。本以为他们不再支持网页端了&#xff0c;后来看提示才知道只是迁移到了新的网址&#xff0c;由原来的 xmind.works 现在改成了的 xmind.ai。又花费好长时间才重新登录…

WiFi7: MLO操作之AP MLD的发现—ML probe request和response的使用

原文:ML probe request能够让non-AP MLD下的non-AP请求AP MLD下的某AP,要求在response 帧中包含AP MLD下的AP的完整或者部分的capabilities, parameters, operation elements列表。被请求的完整或者部分的AP profile在35.3.3.3(Advertisement of complete or partial per-lin…

JAVAEE——request对象(三)

1. request对象 1.1 知识点 &#xff08;1&#xff09;乱码问题的两种解决方式 &#xff08;2&#xff09;post和get提交的区别 &#xff08;3&#xff09;request接收同名参数的问题 1.2 具体内容 使用request接收参数 <%page contentType"text/html; charsetut…