更慢的内存,为什么反而能降低业务延迟、减少服务器数量? Vistara 的答案不是把 DDR4 变成 DDR5,而是让本来装不下的数据留在内存里,同时尽量不让关键访问落到慢层。

本文解读 ISCA 2026 论文 Vistara: Making CXL Real—Full Path from ASIC Design and OS Support to Hyperscale Deployment,以作者公开的 15 页 camera-ready PDF 为准,并结合作者报告、TPP/TMO 及 Linux 文档交叉核对。所有生产性能数字均为作者报告;本文没有复现 Vistara 硬件或生产流量实验。

一、先问清楚:缺的是容量,还是访存性能?

一台服务器可能已经用完内存,CPU、网络和存储却还有余量。继续加任务会 OOM,不加任务又浪费其他资源。论文报告,Meta 被调查服务器中约四成受到内存容量约束。

这与“内存带宽已经跑满”是两个问题。前者需要更多位置存放数据,后者需要更快地搬运数据。扩容只有在没有引入更严重瓶颈时,才能提高整机利用率。

Vistara 选择的机会来自访问不均匀:大量页面必须驻留,却不经常访问。论文的页面空闲时间统计中,Cache 工作负载的中位数达到 19.4 分钟。若把这些页放到慢层,而连接状态、索引和活跃请求数据仍留在本地 DRAM,容量可以增加,关键路径不必同比变慢。

但这里有一个重要区分:冷页面占容量的比例,不等于慢层承担访问的比例。 判断方案是否适合某个服务,不能只统计“有多少 GB 是冷的”,还要看访问频率、热点变化,以及高峰时慢层真正承受的流量。

二、硬件:复用 DDR4,但不掩盖它更慢的事实

Vistara 是 Type-3 CXL 内存扩展器。论文中的 MemServer 使用单路 AMD Turin CPU,本地接 768 GB DDR5,另外通过两颗 Vistara ASIC 接入 256 GB DDR4:

CPU / local NUMA node
  |-- 12 DDR5 channels ------> 768 GB local DRAM
  |
  |-- CXL / PCIe 5.0 x8 ----> Vistara #0 ----> 128 GB DDR4
  `-- CXL / PCIe 5.0 x8 ----> Vistara #1 ----> 128 GB DDR4

CXL capacity: 256 GB, exposed as a CPU-less NUMA node

每颗 ASIC 有两个 DDR4 通道,每通道接两条 32 GB DIMM。芯片支持的接口上限是 PCIe 5.0 x16,支持的 DDR4 速率上限是 3200 MT/s;实际生产配置使用 x8 和 DDR4-2400。支持上限与部署参数不能混写。

这里的 CXL 是本机内存扩展,不是多台服务器共享的交换式内存池,也不是一次远程 RPC。论文另一个层次上的“解耦推理”,指的是模型服务的组织方式,不能与 CXL 内存拓扑混为一谈。

50 ns 是哪一段的延迟?

论文把 ASIC 空闲往返延迟优化到约 50 ns,手段包括减少时钟域跨越、缩短关键路径、调整控制器流水线。这个数字不是 CPU 访问 CXL 内存的端到端延迟。

在论文给出的 CPU 2.3 GHz、DDR5-6400/DDR4-2400 微基准环境中,测量结果如下。带宽行取纯读场景,延迟行取对应带宽利用率下的测点:

测量项目本地 DDR5CXL DDR4
纯读实测峰值带宽497 GB/s48 GB/s
10% 带宽利用率下的访问延迟169 ns269 ns
60% 带宽利用率下的访问延迟234 ns372 ns

可以看到,CXL 层的实测带宽只有本地层的约十分之一。相同“利用率”也不代表相同 GB/s,因为两层的带宽上限不同。

论文对长尾的结论同样需要限定:Vistara 在受测并发范围内没有出现某些早期设备那样异常扩张的延迟分布,不等于它的绝对尾延迟与本地 DRAM 相同。控制器的队列、完成缓冲和流控窗口设计,决定了“这是一个更慢的层”是否进一步恶化成“这是一个不稳定的层”。

三、软件:不是“接上内存,Linux 自然会处理好”

页面放在哪里,与如何搬动同样重要

Vistara 通过 Linux 驱动把 CXL 容量上线为独立、无 CPU 的 NUMA 节点,并使用 ZONE_MOVABLE,避免页表、slab 等通常不可迁移的内核分配落到慢层。CEDT、HMAT 等 ACPI 信息还必须正确描述设备与性能关系。

这不是一个纯粹的设备发现问题。NUMA 节点、memory zone 和内存策略共同影响分配、回退及迁移。Linux 的 CXL 分配器文档也专门讨论这些交互;不能把“能识别容量”当成“所有分配路径都符合预期”。论文提到,部署过程中还修复了内核回退分配与回收相关问题。

页面管理主要建立在 TPP 之上:新页优先分配到本地,较冷的页向 CXL 降级,慢层中变热的页再提升回来。关键并非等本地内存耗尽后才搬页,而是提前保留本地余量。 新请求的短寿热页,以及从慢层提升的热页,都需要立即可用的空间。

TPP 原论文把分配与回收水位解耦,正是为了避免“本地刚好满了,新热页先落入慢层,然后又要搬回来”的循环。Vistara 还结合 TMO 做主动降级:用户态控制环依据 PSI 内存压力信号驱动回收,而不是只在严重缺页或 OOM 前被动响应。

两者分工不同:TPP 解决跨层页面放置及迁移,TMO 提供按实际压力反馈调整的主动回收策略。不能把它们统称为一个“冷热识别算法”。

对应用透明,不代表对运维没有要求

所有 MemServer 保持一致的物理内存拓扑,但不要求每个服务都使用 CXL。资源编排系统通过 cpuset.mems 限制某个工作负载允许使用的 NUMA 节点,使延迟敏感服务可以退出分层内存,而不用改 BIOS 或重启机器。

这保留了服务器调度的灵活性:今天运行容量敏感服务,明天可以换成只使用本地 DRAM 的服务。

不过,退出不是瞬间清空已在 CXL 上的所有页面。Linux cgroup v2 文档指出,修改 cpuset.mems 会触发相关迁移,但迁移可能不完整,也有成本,最好在任务启动前配置。标准内核接口、Vistara 的部署补丁和服务编排策略,是三个不同层次;不能把论文中的配置值直接当成通用调优脚本。

四、实验必须分开读:扩容收益与替代代价

问题 A:保留本地内存,再加 CXL,能赚到什么?

生产 A/B 测试使用相同的 MemServer 硬件,通过 cpuset.mems 区分是否允许使用 CXL,流量由负载均衡器均分,每轮至少持续一周。这里比较的是可用容量从 768 GB 增至 1024 GB,不是同容量的 DDR5 与 DDR4 谁更快。

下面只选取几个能明确区分指标的结果,避免把不同服务的收益叠加:

工作负载作者报告的结果应如何理解
CacheB平均查询处理时间降低 29%更大的内存缓存减少较慢后端访问,不是单次 CXL load 更快
ML 参数服务器5.1–20 TB 模型下,吞吐提高 4–12%,服务器需求减少约 20–25%更大分片减少机器数和扇出;不是 GPU 推理或 token 解码速度测试
CI每机容器数增加 33%,图中的计算容量需求降至基线的 0.75是部署密度与资源需求指标,不等于每个构建任务快 33%
Devmachine每机 VM 数增加 33%,服务器数减少 15%正文同时报告单 VM 约 10% 的性能退化,收益带有资源共享代价

CacheB 最能说明为什么“慢内存”也可能改善业务延迟:它的内存缓存从 590 GB 扩到 820 GB,作者观察到部分访问从闪存转向内存。比较对象不只是本地 DRAM 与 CXL,还包括原本会因容量不足而访问的闪存或远端存储。少量访存变慢,可能换来更多昂贵后端访问的消失。

对服务器整合,可以做一个独立的量纲检查:容量增加 256 / 768 ≈ 33.3%;若任务完全受容量约束、每台机器都能充分利用新增空间,承载同样数据需要的机器数比例为 768 / 1024 = 0.75,即减少 25%。

这解释了为什么论文中的缩容收益在量级上合理,不是对实验结果的复现或证明。真实部署还受热集、吞吐、分片粒度、预留容量及冗余约束;不能见到多 33% 内存,就承诺少 25% 机器。

问题 B:总容量相同,用 CXL 替代部分本地内存,损失多少?

论文另用 Web 与数据预处理服务 DPP 做等容量比较,逐步改变本地与 CXL 的容量比例。这组实验才是在检验分层本身的性能代价。

本地:CXL 容量比Web / DPP 的报告结果结论边界
3:1相比全本地基线,无可测的业务退化受测服务实际落入 CXL 的分配较少
2:1Web 退化低于 1%,DPP 低于 0.3%是这两个负载的结果,不是所有应用的保证
1:1Web 请求率下降 6%、平均延迟最多增加 9%;DPP 吞吐下降 19%更多活跃数据进入慢层,带宽与延迟开始影响业务

在 1:1 配置中,P90 CXL 带宽达到约 44.5 GB/s,已接近该平台前述纯读微基准的 48 GB/s。两者不是相同请求混合,不能据此计算精确饱和率,但它提示了明确风险:分层不再只是存放少访问的数据,慢层开始承接大量真实工作。

因此,“扩容之后整体更快”与“同容量全本地内存仍可能更快”完全可以同时成立。

五、低开销成立的条件:热集放得下,还要分得公平

作者报告,受测生产负载中的透明分层管理开销低于 0.5%,并展示了较低的 NUMA hint fault、页面提升流量等遥测。但要区分两种成本:

  • 管理开销:采样、缺页处理、复制页面、更新映射消耗了多少 CPU 与带宽。
  • 放置代价:真正访问慢层时,额外延迟和较低带宽让业务损失多少性能。

管理开销很小,不能推出放置代价也很小。前面的 DPP 等容量实验,已经展示了慢层访问可能带来的业务损失。

从工程角度,我更愿意把适用条件写成两个约束:热工作集加内核及迁移预留,应能装进本地 DRAM;慢层访问与迁移流量,应低于目标延迟允许的可持续带宽。 这比只给出一个固定的“冷热比例”更有用。

论文的合成压力测试也呈现类似趋势:当热页比例逼近本地层可容纳的范围,CXL 流量与访问延迟开始上升。这是机制证据,却不能把某个百分比当作所有硬件的临界值;页面大小、访问分布、突发热点、带宽与本地预留都会移动这个边界。

单租户能工作,不代表多租户自然公平

两份相同业务放在同一台机器上,谁先拿到本地内存,会改变另一方的性能。论文把两个 CacheA 容器合置时,基线 TPP 下两者驻留本地的比例约为 90% 与 70%,并出现明显的尾延迟差异。

Vistara 因此加入 Fair Share,为每个容器管理本地 DRAM 使用边界。论文将这些边界称为 locallow、localhigh;它们是所述策略的参数,不是可以在任意 Linux 发行版中直接写入的标准 cgroup 文件。

在受测 noisy-neighbor 场景中,该机制把受影响容器的最差 QPS 跌幅从 65% 限制到 12%,并避免了该次测试中的 OOM。这不等于消除了所有 OOM 风险,而是说明:“用了多少内存”之外,还需要管理“用了多少快内存”。

这也帮助我们理解相关研究的差异。NOMAD 针对快层压力下的迁移抖动,保留慢层副本并采用事务式迁移;Memstrata 研究虚拟化与硬件分层中的租户隔离。它们面对的约束与 Vistara 中大量冷页、低迁移流量的服务不相同。

所以,Vistara 支持的是“这些生产条件下,较简单的分层机制已经够用”,而不是“更精细的热度检测、异步迁移或隔离机制永远没有价值”。它自己的 Fair Share 扩展,就说明了这一点。

六、需要保留的疑问:数据口径与成本边界

深入读论文,不应只摘录摘要里最大的百分比。核对原始 PDF 的表格和图像后,有几处差异值得明确保留:

  • 吞吐与密度数字不统一。 汇总表 VII 中,CacheA 吞吐增幅、Spark executor 增幅都写为 25%;对应正文及图 9、图 10 则使用 33%。原文没有清楚解释二者的对应关系,因此本文不把它们拼成一个确定的性能承诺。
  • 功耗统计范围不清楚。 表 V 的 CXL 容量/成本比较使用 30 W;表 VI 及平台说明给出的两颗 ASIC 加八条 DIMM 则约为 50 W。作者后续报告也保留了这两组数字,不能在没有解释时直接混算整机节能。
  • 压力曲线存在标注冲突。 表 X 的说明将基线写为 273 ns,但首行数据为 258 ns;末行 315 ns 相对 258 ns 才约增加 22%。正文对拐点还分别出现约 75% 与约 60% 的表述。因此应保留趋势判断,而不把阈值当成已精确验证的通用常数。

这些差异可能来自配置、统计范围或版本编辑,需要作者澄清。它们不会自动否定架构思路,但会降低用单个数字做精确容量规划、TCO 估算的可信度。

成本结论也必须限定边界。表 V 把 CXL 每 GB 成本记为本地内存的 0.13 倍,这是复用旧 DIMM 场景中的组件级比较,不等于整台服务器便宜 87%,更不等于新采购时可以直接套用的市场价格。

完整成本至少还包括 ASIC 与板卡、DIMM 检测和备件、功耗与散热、故障处置,以及策略维护。生产性能 A/B 中,两组机器都装有相同硬件;限制工作负载不用 CXL,也不等于移除了扩展器的功耗。碳减排同样要明确生命周期边界,不能用内存容量增幅直接替代整机排放评估。

此外,论文描述了在超大规模基础设施中的部署,却没有提供足以让外部读者重建全部生产流量、硬件与版本配置的实验材料。“约四成服务器受内存容量限制”也不能被改写成“所有这些服务器都已经部署了 Vistara”。

七、如果要在自己的系统里验证,先做什么?

  1. 先诊断瓶颈。 测实际内存占用、冷页空闲时间、热点迁移速度、CPU 利用率和本地带宽。容量不足与带宽不足要分别确认,不能只看 DRAM 利用率高。
  2. 把两个基线分开。 同时比较“保留本地内存后扩容”与“相同总容量下替代本地内存”。记录 CPU、链路宽度、DIMM 速率、内核/固件版本、NUMA/zone 布局和实际页面驻留,而不只记录机器标称容量。
  3. 覆盖坏场景。 除稳定负载外,还要测试冷启动、突发热点、逼近带宽上限、多租户竞争及退出 CXL 的迁移成本。观察业务 P99/P999、PSI、提升/降级流量与 OOM,而不只看平均 QPS。
  4. 最后验证能否运维。 对齐 DIMM 复用与检测、错误遥测、固件回滚、服务级退出,以及统一口径的功耗和成本。没有这些条件,跑通微基准不等于具备生产部署能力。

Vistara 最值得学习的不是某一个收益百分比,而是把便宜但较慢的容量纳入系统:热数据有位置,冷数据有去处,不合适的服务能退出,多租户对快内存的争用受到约束。 它证明的是一条有条件成立的工程路径,而不是 CXL 可以无差别替代本地 DRAM。

参考资料