同一块 NVMe SSD,4 KiB 写入已经对齐,换成 16 KiB 还能更快;把队列继续加深,吞吐不怎么涨,尾延迟却上去了;刚开始测试很漂亮,跑久了又掉速。这些现象并不矛盾:主机提交的一条命令,不等于 SSD 内部的一次操作。

Dan Helmick 在 SNIA SDC 2022 的演讲《Optimal Performance Parameters for NVMe SSDs》,讨论的就是这层落差。它不是某款 SSD 的跑分报告,而是面向企业级 SSD 的参数设计与使用指南。下面借它建立内部模型,再结合 NVM Command Set 1.1 规范分析这些参数怎样落到应用设计上;2022 年的示例几何结构不会被当成今天所有 SSD 的硬件事实。

先分清三个问题:怎样避免不必要的内部工作,怎样让有用的工作并行起来,以及怎样不把成本推给下一次读取或垃圾回收。

NVMe 解决提交效率,FTL 决定数据怎样落下去

NVMe 是主机与控制器之间的接口,不是 NAND 的组织方式。主机把命令放进提交队列,控制器处理数据传输,在完成队列报告结果;多队列让不同 CPU 上的 I/O 不必全部挤在一把全局锁后面。但队列再高效,也不能消除闪存自身的编程、擦除和数据搬运。

NAND 的关键约束是:读取和编程以页相关的粒度组织,擦除则以更大的 erase block 为单位;已经写过的位置不能像 DRAM 那样任意原地覆盖。实际编程还受 NAND 类型、编程顺序和控制器实现约束,不能把它简化成“每页随时可以独立重写”。

FTL(Flash Translation Layer)把主机看到的逻辑块地址映射到实际介质位置。一次覆盖写通常写到新的空闲位置,再更新映射;旧位置失效,等以后统一回收。因此,逻辑上相邻的数据不必物理相邻,逻辑上覆盖同一个地址也不意味着改写同一个 NAND 位置。

最容易混淆的是几个都叫“块”的单位。原演讲明确构造了一个假想设备:4 个通道、每通道 3 个 die、每个 die 两个 plane。沿用它的假设,可以算出下面这张表。

层次示例大小对性能意味着什么
主机逻辑块 LBA512 B命令地址和长度的计量单位
FTL mapping unit4 KiB逻辑到物理映射的管理粒度
NAND page16 KiB一个页包含 4 个映射单元
TLC word line 对应的数据48 KiB示例中有 lower、middle、upper 三个页
erase block12 MiB256 个 word line 的数据容量
superblock96 MiB跨 4 个通道,各取一个 die 的两个 plane,每个 plane 取一个 erase block

这里的 superblock 是控制器的逻辑管理组合,不是 NVMe 强制规定的一种物理结构。计算是 4 × 1 × 2 × 12 MiB = 96 MiB;不能因为设备共有 12 个 die,就把它们全部算进这个 superblock。

这也解释了为什么“系统是 4 KiB 页,所以 SSD 的最优 I/O 就是 4 KiB”不成立。CPU 页、文件系统分配块、NVMe 逻辑块、FTL 映射单元、NAND 页,只是恰好经常在同一段讨论里出现,彼此没有必须相等的关系。

NPWG 与 NPWA:先别让一次写变成两次局部更新

NVMe 允许设备报告首选写入粒度 NPWG 和首选写入对齐 NPWA。前者回答“长度最好按多大的单位组织”,后者回答“起点最好落在哪种边界上”。它们是性能与耐久度提示,不是新的寻址单位。

这些字段的原始编码不能直接当字节数。以 NVM Command Set 1.1 为参照,确认对应能力受支持之后,常见字段的换算如下。

字段含义原始值怎样换算
NPWG / NPWA写入粒度 / 写入对齐(raw + 1) × LBA 字节数
NOWS最优写入大小(raw + 1) × LBA 字节数
NPDG / NPDA释放粒度 / 释放对齐(raw + 1) × LBA 字节数
NPRG / NPRA / NORS读取粒度 / 对齐 / 最优大小(raw + 1) × LBA 字节数
NPDGL / NPDAL扩展的大范围释放粒度 / 对齐按逻辑块数直接换算,不套用 +1

先看 Identify 信息里的 OPTPERF、OPTRPERF 支持情况,再解码字段。未支持的保留字段不能被读成有效的性能建议;扩展字段还要处理自身的有效值规则,例如 NPDGL 为零表示没有通过该字段报告建议。也别把工具已经解码的字节值再加一遍。

假设逻辑块是 512 B,NPWG 和 NPWA 的原始值都为 7,那么建议粒度和对齐都是 4 KiB。应用应尽量构造长度为 4 KiB 整数倍、起点也按 4 KiB 对齐的设备写入。同一个原始值,换成 4 KiB LBA 格式就对应 32 KiB,脱离当前 LBA 格式谈参数没有意义。

为什么连起点也重要?设映射单元大小为 M,写入起点相对映射单元边界的偏移为 s,长度为 L。一次连续写触及的映射单元数量可以直接算出来:

触及的映射单元数 = ceil(((s mod M) + L) / M)

在 M = 4 KiB 的例子里:

写入长度起点偏移触及的映射单元边界情况
4 KiB01完整覆盖一个单元
4 KiB1 KiB2首尾两个单元都需要保留部分旧内容
16 KiB04完整覆盖四个单元
16 KiB1 KiB5中间完整覆盖,首尾仍是局部更新

在一个按完整映射单元重建数据、且旧内容不在缓存里的简化实现中,局部更新需要先取回未被覆盖的内容,再与新数据合并,这就是 read-modify-write。4 KiB 数据跨了两个单元,内部工作量可能比对齐时大得多。

但这个表算的是覆盖范围,不是实测 NAND 写放大。写缓冲合并、部分有效数据管理、页编程限制和垃圾回收都会改变最终介质流量。不能由“碰到两个映射单元”直接宣布“这块盘的 WAF 必然等于 2”。

原演讲最后把 NPWG 写成主机编程的“hard lower bound”,应理解为其性能指导里的优先下限。规范给出的含义是 smallest recommended write granularity。只要满足逻辑块、命令和其他相关约束,小于 NPWG 的写不因此自动非法;512 B LBA 的设备完全可能接受 512 B 写,只是代价未必划算。

NOWS:不只是写得大一点,还要写得及时

NPWG 解决的是避免明显的粒度浪费,NOWS(Namespace Optimal Write Size)则进一步提示:多大的写入更适合控制器和 NAND 的组织方式。

原演讲用同一套假想 NAND,展示不同填充顺序下可能选择 16 KiB、32 KiB 或 128 KiB 的 NOWS。这说明它不只是“把 NAND 页大小抄到寄存器里”:跨 plane、die、channel 的填充策略,以及主机能提供的并发,都会影响这个建议。

NOWS 也不是峰值带宽必然出现的唯一坐标。写缓冲可能暂时掩盖布局差异,让几种写入大小在短测里看起来差不多,而后续读取、混合负载或回收成本不同。原演讲第 10 页的性能曲线明确是示意图,不能拿来声称某个块大小提升了多少百分比。

主机侧还有一个常被漏掉的成本:为了凑出 NOWS,需要等多久?

假设一个日志流产生逻辑上连续的 4 KiB 记录,平均每秒到达 10,000 条。为了凑成 16 KiB 请求,每四条合并一次。仅在均匀到达、无超时提前提交的简化模型里,四条记录分别等待三个、两个、一个和零个到达间隔,平均批处理等待为:

平均凑批等待 = (每批记录数 - 1) / (2 × 每秒记录数)
            = (4 - 1) / (2 × 10,000)
            = 150 μs

这是到达模型的推导,不是设备测试结果。如果目标本来就是很低的单条记录响应时间,额外等 150 μs 可能比减少的设备开销更贵。突发流量很容易凑齐一批,低负载却可能长时间等不到下一条;实际批处理通常还需要一个最长等待时间。

另外,合并需要逻辑地址连续,并且不破坏写入顺序与持久性语义。四个彼此无关的随机 4 KiB 更新,不会因为凑够了 16 KiB,就能无代价地变成一条连续写。为了拼大块而读回周围数据,甚至可能重新制造 RMW。

因此可以把 NOWS 当作批量目标,而不是每次都必须凑满的门槛:先满足较低成本的粒度与对齐要求,再在延迟预算、请求连续性和命令长度上限内尝试聚合。NOWS 等于 NPWG 也是合法情况,不能把演讲里“最好提供更多指导”的建议误写成规范要求二者必须严格递增。

垃圾回收的关键不是删得多,而是能否一起失效

覆盖写让旧位置失效,但“失效”不等于“可以立刻作为空白页重新写入”。回收一个 erase block 时,里面仍然有效的数据必须先搬走,然后才能擦除整个块。设备写入的字节数由此可能远大于主机写入的字节数。

先固定口径:这里的设备写放大 WAF = NAND 编程字节数 / 主机写入字节数。用一个理想化回收模型就能看出它为什么容易恶化。

设待回收单元容量为 B,其中有效数据占比为 u。回收需要搬走 u × B 的数据,净释放的空间是 (1 - u) × B。把这部分空间重新写满时,搬运加新数据合计写入 B,于是:

理想化 GC 写放大 ≈ B / ((1 - u) × B)
                = 1 / (1 - u)

有效数据占一半,结果约为 2;占九成,约为 10。这不是给某块 SSD 预测寿命的公式:它忽略了元数据、磨损均衡、部分写入和其他后台工作,而且 u 是被选中回收单元的有效比例,不是 df 显示的磁盘使用率。不能把“文件系统用了 90%”直接代入,宣布设备 WAF 就是 10。

不过,它揭示了一个很有用的设计目标:让寿命接近的数据尽量共同失效。把频繁覆盖的短命数据与长期不变的数据混在同一个回收单元里,冷数据可能一遍遍被搬运;按生命周期组织日志段、缓存段或存储对象,才有机会减少这些搬运。

NPDG / NPDA 提示首选的释放粒度和边界。NVMe 的 Dataset Management Deallocate 告诉控制器某些逻辑范围已不再需要;它不是立刻擦除 NAND 的命令,也不是安全擦除或通用的读零保证。

如果先前的数据放置恰好匹配内部回收组,而且整组数据一同失效,就可能省掉有效数据搬迁。原演讲讨论的接近 WAF = 1,必须放在这种理想条件下理解,不能推广成“按 NPDG 发一次 discard,整块盘从此没有写放大”。

为什么还要有 NPDGL / NPDAL?旧的 16 位、零基计数的 NPDG,在 512 B LBA 下最多表达 32 MiB,连前面 96 MiB 的示例 superblock 都装不下。扩展字段提供更大的表达范围;若普通与扩展粒度都有效且给出不同建议,规范指引主机使用 NPDGL。仍然不能据此把设备报告的释放粒度反推成精确的物理 superblock 大小:控制器可能出于可实现性或其他优化,报告更适合主机使用的粒度。

这一组提示特别适合循环日志、分段缓存、日志结构存储这样的场景,但普通 NVMe 命名空间仍由 FTL 决定实际放置。对齐提示不是放置隔离的保证。 多个租户、多个写入流和后台搬运都可能打破主机想象中的物理分组。

这也是它与 ZNS 的区别:ZNS 用 zone 状态、写入位置与重置操作约束访问;普通命名空间里的这些性能提示,并不会把不符合建议的合法覆盖写变成 zone 写入错误。不能只调整一个分配大小,就宣布已经获得 ZNS 的行为。

还有一个实际权衡:不要为了攒出更漂亮的释放粒度,长期扣住已经可以回收的空间。及时告诉设备哪些数据失效,可能比等待一个“完美大范围”更有价值;具体还要衡量文件系统的 discard 策略和前台延迟成本。

读优化为什么排在写入与回收之后

读取也有 NPRG、NPRA、NORS,但不能把写入经验机械地镜像过去。小写可能需要保留旧数据并重建单元,小读没有同样的写回义务。内部感测、ECC 或数据传输仍可能按更大粒度发生,只是这不意味着主机应该主动把更多无用数据读上来。

假设应用只需要 4 KiB,看到 NORS 为 16 KiB 就每次多读 12 KiB,主机传输量变成四倍。只有当额外数据确实会被近期使用,或请求合并带来的收益足够大时,这种预读才可能划算。最优读取大小不是“不到这个长度就应该补齐”的通知。

更隐蔽的是:读性能有写入历史。 顺序写入时同页放置的数据,经过部分随机覆盖后,可能散到不同物理页。以后即使发出完全相同的逻辑范围读取,底层涉及的页也可能变多。

原演讲第 15 页就用一个偏离写入组织方式的请求说明:原先一次覆盖一页的逻辑读,可能变成涉及两页。那是特定布局模型的示例,不意味着每次小写都会永久损伤性能,更不意味着应该拿格式化当通用修复手段。

因此,比较顺序预填充后的读性能与长期随机覆盖后的读性能,测到的不是同一种盘内状态。只在一份从未更新过的文件上跑随机读,很难回答数据库长期运行以后会怎样。

这也给“顺序 I/O”和“随机 I/O”加了一层限定:通常说的是主机逻辑地址序列,不是直接观察到 NAND 的访问序列。FTL、缓存命中和历史布局都在中间改变实际工作量。

队列深度提高并发,不会凭空制造带宽

SSD 内部有多个通道、die 等可并行资源。队列太浅,控制器可能拿不到足够多的独立工作;队列太深,新增请求主要是在等已有工作完成。大 I/O 提高每条命令携带的数据量,深队列提高在途请求数,二者不是同一个旋钮。

在稳态下,用同一统计边界的平均值,Little 定律给出:

平均在途 I/O 数 = IOPS × 平均 I/O 完成时间(秒)

假设某工作负载在一个工作点达到 800,000 IOPS,平均完成时间为 100 μs,那么平均在途量是 80。这个算式只是说明吞吐、延迟与并发必须相互一致,不是说把 iodepth 设置为 80 就能得到 800,000 IOPS。增加深度会改变延迟,设备和主机也可能先遇到其他瓶颈。

这几个数字还容易被混着看:fio 的 iodepth 是单个 job 的在途上限设置;多个 job 会产生更多潜在在途请求;Linux 块层可以合并或拆分 I/O;硬件提交队列的深度和已占用条目数又是另一层。numjobs × iodepth 只能作为主机配置上限的近似,不能当成实测 NAND 并行度。

同样,带宽和 IOPS 也要与请求大小一起读。每秒 100 万次 4 KiB I/O,对应约 4.096 GB/s 的数据量;如果与某条链路可用带宽明显不相容,就要检查单位、计数范围、缓存路径或测试方法,而不是同时接受两个互相矛盾的“峰值”。

对延迟敏感的服务,通常更值得找吞吐开始趋平、尾延迟尚未急剧恶化的位置。p99 不能代入 Little 定律替代平均值,也不能因为平均延迟漂亮,就忽略 GC、固件后台任务或热节流引起的长尾。

性能提示、持久性与原子性是三件事

NOWS 为 16 KiB,不代表 16 KiB 写入有掉电原子性保证;请求完成得快,也不自动说明数据已经到达应用要求的持久化边界。

NVMe 对正常条件与掉电条件下的原子写入,另有 AWUN / AWUPF、命名空间覆盖值及边界规则。它们回答的是“发生异常时能否只更新其中一部分”,不是“多大写入速度最好”。支持原子更新,也不能替代应用需要的持久性协议。

持久性还要看易失写缓存、设备掉电保护和 Flush / FUA 语义;经过文件系统时,还要看同步调用是否覆盖了需要持久化的数据与元数据。具备掉电保护的企业盘也不意味着上层可以忽略这些约定。

因此,把一组每条都要求独立持久化的写,改成先缓存一批再统一完成,可能是在改变业务承诺,而不只是优化块大小。测试异步写吞吐与测试每次事务持久化的延迟,本来就是两个问题。

地址对齐也有类似的层次边界:应用缓冲区地址、文件内偏移、文件系统 extent、分区起点与设备 LBA 不是同一个坐标系。O_DIRECT 可以绕过通常的页缓存数据路径,但不会绕过 FTL,也不会自动消除控制器缓存;文件内按 4 KiB 对齐,更不能保证匹配远大于 4 KiB 的设备释放边界。

怎么测试,才能知道究竟优化了哪一层

第一步不是跑满设备,而是确认设备报告了什么。下面按 nvme-cli v2.11 的命令形式举例;设备名只是占位示例,需要换成自己的测试设备,不同版本以帮助信息为准。

sudo nvme id-ctrl /dev/nvme0 -H
sudo nvme id-ns /dev/nvme0n1 -H
sudo nvme nvm-id-ns /dev/nvme0n1
sudo nvme smart-log /dev/nvme0

这些是查询,不会格式化或主动写入用户数据。记录控制器型号与固件、当前 LBA 格式、能力位、普通 Identify 参数,以及 NVM Command Set 专有的扩展参数;老设备或固件不支持某些查询时,不要把缺失值擅自补成默认建议。

然后把实验分成三个不同的问题:

要回答的问题应保持什么一致主要改变什么
写入粒度是否减少内部工作稳态条件、地址分布、并发、持久性语义长度与对齐
并发是否不足I/O 大小、读写比例、数据集与布局队列深度、job 数与 CPU 位置
布局与回收是否影响长期表现可比的填充率、预处理和观察窗口覆盖历史、生命周期分组与释放策略

不要先用小范围、短时间、空盘写入得到一个数字,再拿它解释长期覆盖写。预处理应让盘进入目标负载相关的状态,之后看连续时间窗口里吞吐和延迟分布是否稳定;固定跑几十秒不等于证明进入稳态。对带动态写缓存的设备,刚开始的缓存吸收速度与后续持续写速度也可能不同。

本文没有运行硬盘性能测试,下面只是一个只读队列深度扫描模板,用来观察吞吐与延迟的关系,不会验证 NOWS 的写入收益。只在隔离的测试环境使用;只读负载也会消耗 I/O、CPU 和温度预算,不应直接照抄到生产盘。

测试文件必须事先准备好,至少 4 GiB,已经写入真实数据,且不是稀疏文件。模板不会创建或填充它;选择的数据范围也不能只是空洞或可直接合成返回的内容。

test_file="/path/to/existing-benchmark-file.bin"

for depth in 1 2 4 8 16 32 64; do
  fio --name="randread-qd-${depth}" \
      --filename="${test_file}" \
      --readonly --allow_file_create=0 \
      --ioengine=io_uring --direct=1 \
      --rw=randread --bs=4k --size=4G \
      --iodepth="${depth}" --numjobs=1 \
      --time_based=1 --runtime=60 --ramp_time=10 \
      --lat_percentiles=1 --percentile_list=50:95:99:99.9 \
      --group_reporting --output-format=json \
      --output="randread-qd-${depth}.json"
done

--readonly 拦住误配置的写入和 trim,--allow_file_create=0 避免路径写错时自动创建测试文件。仍然要先核对路径、权限、文件系统对 direct I/O 的支持和机器负载。这里的 4 GiB 范围与 60 秒只是模板参数,不代表足以排除设备缓存或达到稳态;写入和释放实验应另行设计,并明确其数据破坏范围。

读结果时至少保留 IOPS、带宽、平均总延迟、总延迟分位数、实际 I/O depth 分布、CPU 使用率和温度。fio 的 slat、clat、lat 分别有自己的统计边界;如果拿 clat 代表用户端到端延迟,就会漏掉提交之前甚至应用队列里的等待。对 CPU 与设备位置敏感的环境,还要控制 NUMA、PCIe 链路协商结果、后台 I/O 和电源状态。

最后,如果要比较写放大,普通 SMART 的 Data Units Written 是主机写入量,不是 NAND 编程量。需要设备支持的介质写入统计、耐久度组日志或含义明确的厂商遥测,并确保统计范围和时间窗口一致。拿两个主机计数器相除,算不出设备 WAF。

数据库自身还可能因为 WAL、合并和压缩产生额外写入。以一致口径统计时,可以把端到端成本拆开:

应用写放大 = 发给设备的写入字节数 / 业务更新字节数
设备写放大 = NAND 写入字节数 / 发给设备的写入字节数
端到端写放大 = 应用写放大 × 设备写放大

减少设备内部搬运,却让应用为了凑大块而重复写更多内容,最终未必省带宽或寿命。这也是整套参数最有用的读法:先看它想减少哪一种内部成本,再确认主机为此付出的代价,最后在相同业务语义和可比盘内状态下验证。不存在一个脱离写入历史、并发和延迟目标,永远正确的“NVMe SSD 最优块大小”。

参考资料