同一块 NVMe SSD,4 KiB 写入已经对齐,换成 16 KiB 还能更快;把队列继续加深,吞吐不怎么涨,尾延迟却上去了;刚开始测试很漂亮,跑久了又掉速。这些现象并不矛盾:主机提交的一条命令,不等于 SSD 内部的一次操作。
Dan Helmick 在 SNIA SDC 2022 的演讲《Optimal Performance Parameters for NVMe SSDs》,讨论的就是这层落差。它不是某款 SSD 的跑分报告,而是面向企业级 SSD 的参数设计与使用指南。下面借它建立内部模型,再结合 NVM Command Set 1.1 规范分析这些参数怎样落到应用设计上;2022 年的示例几何结构不会被当成今天所有 SSD 的硬件事实。
先分清三个问题:怎样避免不必要的内部工作,怎样让有用的工作并行起来,以及怎样不把成本推给下一次读取或垃圾回收。
NVMe 解决提交效率,FTL 决定数据怎样落下去
NVMe 是主机与控制器之间的接口,不是 NAND 的组织方式。主机把命令放进提交队列,控制器处理数据传输,在完成队列报告结果;多队列让不同 CPU 上的 I/O 不必全部挤在一把全局锁后面。但队列再高效,也不能消除闪存自身的编程、擦除和数据搬运。
NAND 的关键约束是:读取和编程以页相关的粒度组织,擦除则以更大的 erase block 为单位;已经写过的位置不能像 DRAM 那样任意原地覆盖。实际编程还受 NAND 类型、编程顺序和控制器实现约束,不能把它简化成“每页随时可以独立重写”。
FTL(Flash Translation Layer)把主机看到的逻辑块地址映射到实际介质位置。一次覆盖写通常写到新的空闲位置,再更新映射;旧位置失效,等以后统一回收。因此,逻辑上相邻的数据不必物理相邻,逻辑上覆盖同一个地址也不意味着改写同一个 NAND 位置。
最容易混淆的是几个都叫“块”的单位。原演讲明确构造了一个假想设备:4 个通道、每通道 3 个 die、每个 die 两个 plane。沿用它的假设,可以算出下面这张表。
| 层次 | 示例大小 | 对性能意味着什么 |
|---|---|---|
| 主机逻辑块 LBA | 512 B | 命令地址和长度的计量单位 |
| FTL mapping unit | 4 KiB | 逻辑到物理映射的管理粒度 |
| NAND page | 16 KiB | 一个页包含 4 个映射单元 |
| TLC word line 对应的数据 | 48 KiB | 示例中有 lower、middle、upper 三个页 |
| erase block | 12 MiB | 256 个 word line 的数据容量 |
| superblock | 96 MiB | 跨 4 个通道,各取一个 die 的两个 plane,每个 plane 取一个 erase block |
这里的 superblock 是控制器的逻辑管理组合,不是 NVMe 强制规定的一种物理结构。计算是 4 × 1 × 2 × 12 MiB = 96 MiB;不能因为设备共有 12 个 die,就把它们全部算进这个 superblock。
这也解释了为什么“系统是 4 KiB 页,所以 SSD 的最优 I/O 就是 4 KiB”不成立。CPU 页、文件系统分配块、NVMe 逻辑块、FTL 映射单元、NAND 页,只是恰好经常在同一段讨论里出现,彼此没有必须相等的关系。
NPWG 与 NPWA:先别让一次写变成两次局部更新
NVMe 允许设备报告首选写入粒度 NPWG 和首选写入对齐 NPWA。前者回答“长度最好按多大的单位组织”,后者回答“起点最好落在哪种边界上”。它们是性能与耐久度提示,不是新的寻址单位。
这些字段的原始编码不能直接当字节数。以 NVM Command Set 1.1 为参照,确认对应能力受支持之后,常见字段的换算如下。
| 字段 | 含义 | 原始值怎样换算 |
|---|---|---|
| NPWG / NPWA | 写入粒度 / 写入对齐 | (raw + 1) × LBA 字节数 |
| NOWS | 最优写入大小 | (raw + 1) × LBA 字节数 |
| NPDG / NPDA | 释放粒度 / 释放对齐 | (raw + 1) × LBA 字节数 |
| NPRG / NPRA / NORS | 读取粒度 / 对齐 / 最优大小 | (raw + 1) × LBA 字节数 |
| NPDGL / NPDAL | 扩展的大范围释放粒度 / 对齐 | 按逻辑块数直接换算,不套用 +1 |
先看 Identify 信息里的 OPTPERF、OPTRPERF 支持情况,再解码字段。未支持的保留字段不能被读成有效的性能建议;扩展字段还要处理自身的有效值规则,例如 NPDGL 为零表示没有通过该字段报告建议。也别把工具已经解码的字节值再加一遍。
假设逻辑块是 512 B,NPWG 和 NPWA 的原始值都为 7,那么建议粒度和对齐都是 4 KiB。应用应尽量构造长度为 4 KiB 整数倍、起点也按 4 KiB 对齐的设备写入。同一个原始值,换成 4 KiB LBA 格式就对应 32 KiB,脱离当前 LBA 格式谈参数没有意义。
为什么连起点也重要?设映射单元大小为 M,写入起点相对映射单元边界的偏移为 s,长度为 L。一次连续写触及的映射单元数量可以直接算出来:
触及的映射单元数 = ceil(((s mod M) + L) / M)
在 M = 4 KiB 的例子里:
| 写入长度 | 起点偏移 | 触及的映射单元 | 边界情况 |
|---|---|---|---|
| 4 KiB | 0 | 1 | 完整覆盖一个单元 |
| 4 KiB | 1 KiB | 2 | 首尾两个单元都需要保留部分旧内容 |
| 16 KiB | 0 | 4 | 完整覆盖四个单元 |
| 16 KiB | 1 KiB | 5 | 中间完整覆盖,首尾仍是局部更新 |
在一个按完整映射单元重建数据、且旧内容不在缓存里的简化实现中,局部更新需要先取回未被覆盖的内容,再与新数据合并,这就是 read-modify-write。4 KiB 数据跨了两个单元,内部工作量可能比对齐时大得多。
但这个表算的是覆盖范围,不是实测 NAND 写放大。写缓冲合并、部分有效数据管理、页编程限制和垃圾回收都会改变最终介质流量。不能由“碰到两个映射单元”直接宣布“这块盘的 WAF 必然等于 2”。
原演讲最后把 NPWG 写成主机编程的“hard lower bound”,应理解为其性能指导里的优先下限。规范给出的含义是 smallest recommended write granularity。只要满足逻辑块、命令和其他相关约束,小于 NPWG 的写不因此自动非法;512 B LBA 的设备完全可能接受 512 B 写,只是代价未必划算。
NOWS:不只是写得大一点,还要写得及时
NPWG 解决的是避免明显的粒度浪费,NOWS(Namespace Optimal Write Size)则进一步提示:多大的写入更适合控制器和 NAND 的组织方式。
原演讲用同一套假想 NAND,展示不同填充顺序下可能选择 16 KiB、32 KiB 或 128 KiB 的 NOWS。这说明它不只是“把 NAND 页大小抄到寄存器里”:跨 plane、die、channel 的填充策略,以及主机能提供的并发,都会影响这个建议。
NOWS 也不是峰值带宽必然出现的唯一坐标。写缓冲可能暂时掩盖布局差异,让几种写入大小在短测里看起来差不多,而后续读取、混合负载或回收成本不同。原演讲第 10 页的性能曲线明确是示意图,不能拿来声称某个块大小提升了多少百分比。
主机侧还有一个常被漏掉的成本:为了凑出 NOWS,需要等多久?
假设一个日志流产生逻辑上连续的 4 KiB 记录,平均每秒到达 10,000 条。为了凑成 16 KiB 请求,每四条合并一次。仅在均匀到达、无超时提前提交的简化模型里,四条记录分别等待三个、两个、一个和零个到达间隔,平均批处理等待为:
平均凑批等待 = (每批记录数 - 1) / (2 × 每秒记录数)
= (4 - 1) / (2 × 10,000)
= 150 μs
这是到达模型的推导,不是设备测试结果。如果目标本来就是很低的单条记录响应时间,额外等 150 μs 可能比减少的设备开销更贵。突发流量很容易凑齐一批,低负载却可能长时间等不到下一条;实际批处理通常还需要一个最长等待时间。
另外,合并需要逻辑地址连续,并且不破坏写入顺序与持久性语义。四个彼此无关的随机 4 KiB 更新,不会因为凑够了 16 KiB,就能无代价地变成一条连续写。为了拼大块而读回周围数据,甚至可能重新制造 RMW。
因此可以把 NOWS 当作批量目标,而不是每次都必须凑满的门槛:先满足较低成本的粒度与对齐要求,再在延迟预算、请求连续性和命令长度上限内尝试聚合。NOWS 等于 NPWG 也是合法情况,不能把演讲里“最好提供更多指导”的建议误写成规范要求二者必须严格递增。
垃圾回收的关键不是删得多,而是能否一起失效
覆盖写让旧位置失效,但“失效”不等于“可以立刻作为空白页重新写入”。回收一个 erase block 时,里面仍然有效的数据必须先搬走,然后才能擦除整个块。设备写入的字节数由此可能远大于主机写入的字节数。
先固定口径:这里的设备写放大 WAF = NAND 编程字节数 / 主机写入字节数。用一个理想化回收模型就能看出它为什么容易恶化。
设待回收单元容量为 B,其中有效数据占比为 u。回收需要搬走 u × B 的数据,净释放的空间是 (1 - u) × B。把这部分空间重新写满时,搬运加新数据合计写入 B,于是:
理想化 GC 写放大 ≈ B / ((1 - u) × B)
= 1 / (1 - u)
有效数据占一半,结果约为 2;占九成,约为 10。这不是给某块 SSD 预测寿命的公式:它忽略了元数据、磨损均衡、部分写入和其他后台工作,而且 u 是被选中回收单元的有效比例,不是 df 显示的磁盘使用率。不能把“文件系统用了 90%”直接代入,宣布设备 WAF 就是 10。
不过,它揭示了一个很有用的设计目标:让寿命接近的数据尽量共同失效。把频繁覆盖的短命数据与长期不变的数据混在同一个回收单元里,冷数据可能一遍遍被搬运;按生命周期组织日志段、缓存段或存储对象,才有机会减少这些搬运。
NPDG / NPDA 提示首选的释放粒度和边界。NVMe 的 Dataset Management Deallocate 告诉控制器某些逻辑范围已不再需要;它不是立刻擦除 NAND 的命令,也不是安全擦除或通用的读零保证。
如果先前的数据放置恰好匹配内部回收组,而且整组数据一同失效,就可能省掉有效数据搬迁。原演讲讨论的接近 WAF = 1,必须放在这种理想条件下理解,不能推广成“按 NPDG 发一次 discard,整块盘从此没有写放大”。
为什么还要有 NPDGL / NPDAL?旧的 16 位、零基计数的 NPDG,在 512 B LBA 下最多表达 32 MiB,连前面 96 MiB 的示例 superblock 都装不下。扩展字段提供更大的表达范围;若普通与扩展粒度都有效且给出不同建议,规范指引主机使用 NPDGL。仍然不能据此把设备报告的释放粒度反推成精确的物理 superblock 大小:控制器可能出于可实现性或其他优化,报告更适合主机使用的粒度。
这一组提示特别适合循环日志、分段缓存、日志结构存储这样的场景,但普通 NVMe 命名空间仍由 FTL 决定实际放置。对齐提示不是放置隔离的保证。 多个租户、多个写入流和后台搬运都可能打破主机想象中的物理分组。
这也是它与 ZNS 的区别:ZNS 用 zone 状态、写入位置与重置操作约束访问;普通命名空间里的这些性能提示,并不会把不符合建议的合法覆盖写变成 zone 写入错误。不能只调整一个分配大小,就宣布已经获得 ZNS 的行为。
还有一个实际权衡:不要为了攒出更漂亮的释放粒度,长期扣住已经可以回收的空间。及时告诉设备哪些数据失效,可能比等待一个“完美大范围”更有价值;具体还要衡量文件系统的 discard 策略和前台延迟成本。
读优化为什么排在写入与回收之后
读取也有 NPRG、NPRA、NORS,但不能把写入经验机械地镜像过去。小写可能需要保留旧数据并重建单元,小读没有同样的写回义务。内部感测、ECC 或数据传输仍可能按更大粒度发生,只是这不意味着主机应该主动把更多无用数据读上来。
假设应用只需要 4 KiB,看到 NORS 为 16 KiB 就每次多读 12 KiB,主机传输量变成四倍。只有当额外数据确实会被近期使用,或请求合并带来的收益足够大时,这种预读才可能划算。最优读取大小不是“不到这个长度就应该补齐”的通知。
更隐蔽的是:读性能有写入历史。 顺序写入时同页放置的数据,经过部分随机覆盖后,可能散到不同物理页。以后即使发出完全相同的逻辑范围读取,底层涉及的页也可能变多。
原演讲第 15 页就用一个偏离写入组织方式的请求说明:原先一次覆盖一页的逻辑读,可能变成涉及两页。那是特定布局模型的示例,不意味着每次小写都会永久损伤性能,更不意味着应该拿格式化当通用修复手段。
因此,比较顺序预填充后的读性能与长期随机覆盖后的读性能,测到的不是同一种盘内状态。只在一份从未更新过的文件上跑随机读,很难回答数据库长期运行以后会怎样。
这也给“顺序 I/O”和“随机 I/O”加了一层限定:通常说的是主机逻辑地址序列,不是直接观察到 NAND 的访问序列。FTL、缓存命中和历史布局都在中间改变实际工作量。
队列深度提高并发,不会凭空制造带宽
SSD 内部有多个通道、die 等可并行资源。队列太浅,控制器可能拿不到足够多的独立工作;队列太深,新增请求主要是在等已有工作完成。大 I/O 提高每条命令携带的数据量,深队列提高在途请求数,二者不是同一个旋钮。
在稳态下,用同一统计边界的平均值,Little 定律给出:
平均在途 I/O 数 = IOPS × 平均 I/O 完成时间(秒)
假设某工作负载在一个工作点达到 800,000 IOPS,平均完成时间为 100 μs,那么平均在途量是 80。这个算式只是说明吞吐、延迟与并发必须相互一致,不是说把 iodepth 设置为 80 就能得到 800,000 IOPS。增加深度会改变延迟,设备和主机也可能先遇到其他瓶颈。
这几个数字还容易被混着看:fio 的 iodepth 是单个 job 的在途上限设置;多个 job 会产生更多潜在在途请求;Linux 块层可以合并或拆分 I/O;硬件提交队列的深度和已占用条目数又是另一层。numjobs × iodepth 只能作为主机配置上限的近似,不能当成实测 NAND 并行度。
同样,带宽和 IOPS 也要与请求大小一起读。每秒 100 万次 4 KiB I/O,对应约 4.096 GB/s 的数据量;如果与某条链路可用带宽明显不相容,就要检查单位、计数范围、缓存路径或测试方法,而不是同时接受两个互相矛盾的“峰值”。
对延迟敏感的服务,通常更值得找吞吐开始趋平、尾延迟尚未急剧恶化的位置。p99 不能代入 Little 定律替代平均值,也不能因为平均延迟漂亮,就忽略 GC、固件后台任务或热节流引起的长尾。
性能提示、持久性与原子性是三件事
NOWS 为 16 KiB,不代表 16 KiB 写入有掉电原子性保证;请求完成得快,也不自动说明数据已经到达应用要求的持久化边界。
NVMe 对正常条件与掉电条件下的原子写入,另有 AWUN / AWUPF、命名空间覆盖值及边界规则。它们回答的是“发生异常时能否只更新其中一部分”,不是“多大写入速度最好”。支持原子更新,也不能替代应用需要的持久性协议。
持久性还要看易失写缓存、设备掉电保护和 Flush / FUA 语义;经过文件系统时,还要看同步调用是否覆盖了需要持久化的数据与元数据。具备掉电保护的企业盘也不意味着上层可以忽略这些约定。
因此,把一组每条都要求独立持久化的写,改成先缓存一批再统一完成,可能是在改变业务承诺,而不只是优化块大小。测试异步写吞吐与测试每次事务持久化的延迟,本来就是两个问题。
地址对齐也有类似的层次边界:应用缓冲区地址、文件内偏移、文件系统 extent、分区起点与设备 LBA 不是同一个坐标系。O_DIRECT 可以绕过通常的页缓存数据路径,但不会绕过 FTL,也不会自动消除控制器缓存;文件内按 4 KiB 对齐,更不能保证匹配远大于 4 KiB 的设备释放边界。
怎么测试,才能知道究竟优化了哪一层
第一步不是跑满设备,而是确认设备报告了什么。下面按 nvme-cli v2.11 的命令形式举例;设备名只是占位示例,需要换成自己的测试设备,不同版本以帮助信息为准。
sudo nvme id-ctrl /dev/nvme0 -H
sudo nvme id-ns /dev/nvme0n1 -H
sudo nvme nvm-id-ns /dev/nvme0n1
sudo nvme smart-log /dev/nvme0
这些是查询,不会格式化或主动写入用户数据。记录控制器型号与固件、当前 LBA 格式、能力位、普通 Identify 参数,以及 NVM Command Set 专有的扩展参数;老设备或固件不支持某些查询时,不要把缺失值擅自补成默认建议。
然后把实验分成三个不同的问题:
| 要回答的问题 | 应保持什么一致 | 主要改变什么 |
|---|---|---|
| 写入粒度是否减少内部工作 | 稳态条件、地址分布、并发、持久性语义 | 长度与对齐 |
| 并发是否不足 | I/O 大小、读写比例、数据集与布局 | 队列深度、job 数与 CPU 位置 |
| 布局与回收是否影响长期表现 | 可比的填充率、预处理和观察窗口 | 覆盖历史、生命周期分组与释放策略 |
不要先用小范围、短时间、空盘写入得到一个数字,再拿它解释长期覆盖写。预处理应让盘进入目标负载相关的状态,之后看连续时间窗口里吞吐和延迟分布是否稳定;固定跑几十秒不等于证明进入稳态。对带动态写缓存的设备,刚开始的缓存吸收速度与后续持续写速度也可能不同。
本文没有运行硬盘性能测试,下面只是一个只读队列深度扫描模板,用来观察吞吐与延迟的关系,不会验证 NOWS 的写入收益。只在隔离的测试环境使用;只读负载也会消耗 I/O、CPU 和温度预算,不应直接照抄到生产盘。
测试文件必须事先准备好,至少 4 GiB,已经写入真实数据,且不是稀疏文件。模板不会创建或填充它;选择的数据范围也不能只是空洞或可直接合成返回的内容。
test_file="/path/to/existing-benchmark-file.bin"
for depth in 1 2 4 8 16 32 64; do
fio --name="randread-qd-${depth}" \
--filename="${test_file}" \
--readonly --allow_file_create=0 \
--ioengine=io_uring --direct=1 \
--rw=randread --bs=4k --size=4G \
--iodepth="${depth}" --numjobs=1 \
--time_based=1 --runtime=60 --ramp_time=10 \
--lat_percentiles=1 --percentile_list=50:95:99:99.9 \
--group_reporting --output-format=json \
--output="randread-qd-${depth}.json"
done
--readonly 拦住误配置的写入和 trim,--allow_file_create=0 避免路径写错时自动创建测试文件。仍然要先核对路径、权限、文件系统对 direct I/O 的支持和机器负载。这里的 4 GiB 范围与 60 秒只是模板参数,不代表足以排除设备缓存或达到稳态;写入和释放实验应另行设计,并明确其数据破坏范围。
读结果时至少保留 IOPS、带宽、平均总延迟、总延迟分位数、实际 I/O depth 分布、CPU 使用率和温度。fio 的 slat、clat、lat 分别有自己的统计边界;如果拿 clat 代表用户端到端延迟,就会漏掉提交之前甚至应用队列里的等待。对 CPU 与设备位置敏感的环境,还要控制 NUMA、PCIe 链路协商结果、后台 I/O 和电源状态。
最后,如果要比较写放大,普通 SMART 的 Data Units Written 是主机写入量,不是 NAND 编程量。需要设备支持的介质写入统计、耐久度组日志或含义明确的厂商遥测,并确保统计范围和时间窗口一致。拿两个主机计数器相除,算不出设备 WAF。
数据库自身还可能因为 WAL、合并和压缩产生额外写入。以一致口径统计时,可以把端到端成本拆开:
应用写放大 = 发给设备的写入字节数 / 业务更新字节数
设备写放大 = NAND 写入字节数 / 发给设备的写入字节数
端到端写放大 = 应用写放大 × 设备写放大
减少设备内部搬运,却让应用为了凑大块而重复写更多内容,最终未必省带宽或寿命。这也是整套参数最有用的读法:先看它想减少哪一种内部成本,再确认主机为此付出的代价,最后在相同业务语义和可比盘内状态下验证。不存在一个脱离写入历史、并发和延迟目标,永远正确的“NVMe SSD 最优块大小”。
参考资料
- Dan Helmick:Optimal Performance Parameters for NVMe SSDs,SNIA SDC 2022。重点为示例几何结构、写入与释放提示,以及写入历史对读取的影响;文中的硬件数字不是产品规格,性能示意图不是实测结果。
- NVM Express NVM Command Set Specification,Revision 1.1,2024-08-05。字段定义见 Figure 114、115、118;I/O 优化见 §5.2.2。本文固定使用这一版核对语义,不把它称作最新版。
- Operating Systems: Three Easy Pieces — Flash-based SSDs。闪存组织、地址映射、垃圾回收、写放大与预留空间的基础解释。
- Linux Kernel Documentation:Multi-Queue Block IO Queueing Mechanism。软件队列、硬件分派队列以及 I/O 合并与调度的层次。
- SPDK:NVMe Driver。异步提交、完成处理、queue pair 与线程模型。
- nvme-cli v2.11:命令文档。本文查询命令的版本基准,包含
nvme-nvm-id-ns。 - fio 3.41:HOWTO。只读保护、文件创建控制、队列深度、延迟统计和稳态检测选项。
- libnvme:NVMe 数据结构与字段说明。辅助核对 Identify 字段、SMART 主机写入计数及耐久度组日志字段。