更慢的内存,为什么反而能降低业务延迟、减少服务器数量? Vistara 的答案不是把 DDR4 变成 DDR5,而是让本来装不下的数据留在内存里,同时尽量不让关键访问落到慢层。
本文解读 ISCA 2026 论文 Vistara: Making CXL Real—Full Path from ASIC Design and OS Support to Hyperscale Deployment,以作者公开的 15 页 camera-ready PDF 为准,并结合作者报告、TPP/TMO 及 Linux 文档交叉核对。所有生产性能数字均为作者报告;本文没有复现 Vistara 硬件或生产流量实验。
一、先问清楚:缺的是容量,还是访存性能?
一台服务器可能已经用完内存,CPU、网络和存储却还有余量。继续加任务会 OOM,不加任务又浪费其他资源。论文报告,Meta 被调查服务器中约四成受到内存容量约束。
这与“内存带宽已经跑满”是两个问题。前者需要更多位置存放数据,后者需要更快地搬运数据。扩容只有在没有引入更严重瓶颈时,才能提高整机利用率。
Vistara 选择的机会来自访问不均匀:大量页面必须驻留,却不经常访问。论文的页面空闲时间统计中,Cache 工作负载的中位数达到 19.4 分钟。若把这些页放到慢层,而连接状态、索引和活跃请求数据仍留在本地 DRAM,容量可以增加,关键路径不必同比变慢。
但这里有一个重要区分:冷页面占容量的比例,不等于慢层承担访问的比例。 判断方案是否适合某个服务,不能只统计“有多少 GB 是冷的”,还要看访问频率、热点变化,以及高峰时慢层真正承受的流量。
二、硬件:复用 DDR4,但不掩盖它更慢的事实
Vistara 是 Type-3 CXL 内存扩展器。论文中的 MemServer 使用单路 AMD Turin CPU,本地接 768 GB DDR5,另外通过两颗 Vistara ASIC 接入 256 GB DDR4:
CPU / local NUMA node
|-- 12 DDR5 channels ------> 768 GB local DRAM
|
|-- CXL / PCIe 5.0 x8 ----> Vistara #0 ----> 128 GB DDR4
`-- CXL / PCIe 5.0 x8 ----> Vistara #1 ----> 128 GB DDR4
CXL capacity: 256 GB, exposed as a CPU-less NUMA node
每颗 ASIC 有两个 DDR4 通道,每通道接两条 32 GB DIMM。芯片支持的接口上限是 PCIe 5.0 x16,支持的 DDR4 速率上限是 3200 MT/s;实际生产配置使用 x8 和 DDR4-2400。支持上限与部署参数不能混写。
这里的 CXL 是本机内存扩展,不是多台服务器共享的交换式内存池,也不是一次远程 RPC。论文另一个层次上的“解耦推理”,指的是模型服务的组织方式,不能与 CXL 内存拓扑混为一谈。
50 ns 是哪一段的延迟?
论文把 ASIC 空闲往返延迟优化到约 50 ns,手段包括减少时钟域跨越、缩短关键路径、调整控制器流水线。这个数字不是 CPU 访问 CXL 内存的端到端延迟。
在论文给出的 CPU 2.3 GHz、DDR5-6400/DDR4-2400 微基准环境中,测量结果如下。带宽行取纯读场景,延迟行取对应带宽利用率下的测点:
| 测量项目 | 本地 DDR5 | CXL DDR4 |
|---|---|---|
| 纯读实测峰值带宽 | 497 GB/s | 48 GB/s |
| 10% 带宽利用率下的访问延迟 | 169 ns | 269 ns |
| 60% 带宽利用率下的访问延迟 | 234 ns | 372 ns |
可以看到,CXL 层的实测带宽只有本地层的约十分之一。相同“利用率”也不代表相同 GB/s,因为两层的带宽上限不同。
论文对长尾的结论同样需要限定:Vistara 在受测并发范围内没有出现某些早期设备那样异常扩张的延迟分布,不等于它的绝对尾延迟与本地 DRAM 相同。控制器的队列、完成缓冲和流控窗口设计,决定了“这是一个更慢的层”是否进一步恶化成“这是一个不稳定的层”。
三、软件:不是“接上内存,Linux 自然会处理好”
页面放在哪里,与如何搬动同样重要
Vistara 通过 Linux 驱动把 CXL 容量上线为独立、无 CPU 的 NUMA 节点,并使用 ZONE_MOVABLE,避免页表、slab 等通常不可迁移的内核分配落到慢层。CEDT、HMAT 等 ACPI 信息还必须正确描述设备与性能关系。
这不是一个纯粹的设备发现问题。NUMA 节点、memory zone 和内存策略共同影响分配、回退及迁移。Linux 的 CXL 分配器文档也专门讨论这些交互;不能把“能识别容量”当成“所有分配路径都符合预期”。论文提到,部署过程中还修复了内核回退分配与回收相关问题。
页面管理主要建立在 TPP 之上:新页优先分配到本地,较冷的页向 CXL 降级,慢层中变热的页再提升回来。关键并非等本地内存耗尽后才搬页,而是提前保留本地余量。 新请求的短寿热页,以及从慢层提升的热页,都需要立即可用的空间。
TPP 原论文把分配与回收水位解耦,正是为了避免“本地刚好满了,新热页先落入慢层,然后又要搬回来”的循环。Vistara 还结合 TMO 做主动降级:用户态控制环依据 PSI 内存压力信号驱动回收,而不是只在严重缺页或 OOM 前被动响应。
两者分工不同:TPP 解决跨层页面放置及迁移,TMO 提供按实际压力反馈调整的主动回收策略。不能把它们统称为一个“冷热识别算法”。
对应用透明,不代表对运维没有要求
所有 MemServer 保持一致的物理内存拓扑,但不要求每个服务都使用 CXL。资源编排系统通过 cpuset.mems 限制某个工作负载允许使用的 NUMA 节点,使延迟敏感服务可以退出分层内存,而不用改 BIOS 或重启机器。
这保留了服务器调度的灵活性:今天运行容量敏感服务,明天可以换成只使用本地 DRAM 的服务。
不过,退出不是瞬间清空已在 CXL 上的所有页面。Linux cgroup v2 文档指出,修改 cpuset.mems 会触发相关迁移,但迁移可能不完整,也有成本,最好在任务启动前配置。标准内核接口、Vistara 的部署补丁和服务编排策略,是三个不同层次;不能把论文中的配置值直接当成通用调优脚本。
四、实验必须分开读:扩容收益与替代代价
问题 A:保留本地内存,再加 CXL,能赚到什么?
生产 A/B 测试使用相同的 MemServer 硬件,通过 cpuset.mems 区分是否允许使用 CXL,流量由负载均衡器均分,每轮至少持续一周。这里比较的是可用容量从 768 GB 增至 1024 GB,不是同容量的 DDR5 与 DDR4 谁更快。
下面只选取几个能明确区分指标的结果,避免把不同服务的收益叠加:
| 工作负载 | 作者报告的结果 | 应如何理解 |
|---|---|---|
| CacheB | 平均查询处理时间降低 29% | 更大的内存缓存减少较慢后端访问,不是单次 CXL load 更快 |
| ML 参数服务器 | 5.1–20 TB 模型下,吞吐提高 4–12%,服务器需求减少约 20–25% | 更大分片减少机器数和扇出;不是 GPU 推理或 token 解码速度测试 |
| CI | 每机容器数增加 33%,图中的计算容量需求降至基线的 0.75 | 是部署密度与资源需求指标,不等于每个构建任务快 33% |
| Devmachine | 每机 VM 数增加 33%,服务器数减少 15% | 正文同时报告单 VM 约 10% 的性能退化,收益带有资源共享代价 |
CacheB 最能说明为什么“慢内存”也可能改善业务延迟:它的内存缓存从 590 GB 扩到 820 GB,作者观察到部分访问从闪存转向内存。比较对象不只是本地 DRAM 与 CXL,还包括原本会因容量不足而访问的闪存或远端存储。少量访存变慢,可能换来更多昂贵后端访问的消失。
对服务器整合,可以做一个独立的量纲检查:容量增加 256 / 768 ≈ 33.3%;若任务完全受容量约束、每台机器都能充分利用新增空间,承载同样数据需要的机器数比例为 768 / 1024 = 0.75,即减少 25%。
这解释了为什么论文中的缩容收益在量级上合理,不是对实验结果的复现或证明。真实部署还受热集、吞吐、分片粒度、预留容量及冗余约束;不能见到多 33% 内存,就承诺少 25% 机器。
问题 B:总容量相同,用 CXL 替代部分本地内存,损失多少?
论文另用 Web 与数据预处理服务 DPP 做等容量比较,逐步改变本地与 CXL 的容量比例。这组实验才是在检验分层本身的性能代价。
| 本地:CXL 容量比 | Web / DPP 的报告结果 | 结论边界 |
|---|---|---|
| 3:1 | 相比全本地基线,无可测的业务退化 | 受测服务实际落入 CXL 的分配较少 |
| 2:1 | Web 退化低于 1%,DPP 低于 0.3% | 是这两个负载的结果,不是所有应用的保证 |
| 1:1 | Web 请求率下降 6%、平均延迟最多增加 9%;DPP 吞吐下降 19% | 更多活跃数据进入慢层,带宽与延迟开始影响业务 |
在 1:1 配置中,P90 CXL 带宽达到约 44.5 GB/s,已接近该平台前述纯读微基准的 48 GB/s。两者不是相同请求混合,不能据此计算精确饱和率,但它提示了明确风险:分层不再只是存放少访问的数据,慢层开始承接大量真实工作。
因此,“扩容之后整体更快”与“同容量全本地内存仍可能更快”完全可以同时成立。
五、低开销成立的条件:热集放得下,还要分得公平
作者报告,受测生产负载中的透明分层管理开销低于 0.5%,并展示了较低的 NUMA hint fault、页面提升流量等遥测。但要区分两种成本:
- 管理开销:采样、缺页处理、复制页面、更新映射消耗了多少 CPU 与带宽。
- 放置代价:真正访问慢层时,额外延迟和较低带宽让业务损失多少性能。
管理开销很小,不能推出放置代价也很小。前面的 DPP 等容量实验,已经展示了慢层访问可能带来的业务损失。
从工程角度,我更愿意把适用条件写成两个约束:热工作集加内核及迁移预留,应能装进本地 DRAM;慢层访问与迁移流量,应低于目标延迟允许的可持续带宽。 这比只给出一个固定的“冷热比例”更有用。
论文的合成压力测试也呈现类似趋势:当热页比例逼近本地层可容纳的范围,CXL 流量与访问延迟开始上升。这是机制证据,却不能把某个百分比当作所有硬件的临界值;页面大小、访问分布、突发热点、带宽与本地预留都会移动这个边界。
单租户能工作,不代表多租户自然公平
两份相同业务放在同一台机器上,谁先拿到本地内存,会改变另一方的性能。论文把两个 CacheA 容器合置时,基线 TPP 下两者驻留本地的比例约为 90% 与 70%,并出现明显的尾延迟差异。
Vistara 因此加入 Fair Share,为每个容器管理本地 DRAM 使用边界。论文将这些边界称为 locallow、localhigh;它们是所述策略的参数,不是可以在任意 Linux 发行版中直接写入的标准 cgroup 文件。
在受测 noisy-neighbor 场景中,该机制把受影响容器的最差 QPS 跌幅从 65% 限制到 12%,并避免了该次测试中的 OOM。这不等于消除了所有 OOM 风险,而是说明:“用了多少内存”之外,还需要管理“用了多少快内存”。
这也帮助我们理解相关研究的差异。NOMAD 针对快层压力下的迁移抖动,保留慢层副本并采用事务式迁移;Memstrata 研究虚拟化与硬件分层中的租户隔离。它们面对的约束与 Vistara 中大量冷页、低迁移流量的服务不相同。
所以,Vistara 支持的是“这些生产条件下,较简单的分层机制已经够用”,而不是“更精细的热度检测、异步迁移或隔离机制永远没有价值”。它自己的 Fair Share 扩展,就说明了这一点。
六、需要保留的疑问:数据口径与成本边界
深入读论文,不应只摘录摘要里最大的百分比。核对原始 PDF 的表格和图像后,有几处差异值得明确保留:
- 吞吐与密度数字不统一。 汇总表 VII 中,CacheA 吞吐增幅、Spark executor 增幅都写为 25%;对应正文及图 9、图 10 则使用 33%。原文没有清楚解释二者的对应关系,因此本文不把它们拼成一个确定的性能承诺。
- 功耗统计范围不清楚。 表 V 的 CXL 容量/成本比较使用 30 W;表 VI 及平台说明给出的两颗 ASIC 加八条 DIMM 则约为 50 W。作者后续报告也保留了这两组数字,不能在没有解释时直接混算整机节能。
- 压力曲线存在标注冲突。 表 X 的说明将基线写为 273 ns,但首行数据为 258 ns;末行 315 ns 相对 258 ns 才约增加 22%。正文对拐点还分别出现约 75% 与约 60% 的表述。因此应保留趋势判断,而不把阈值当成已精确验证的通用常数。
这些差异可能来自配置、统计范围或版本编辑,需要作者澄清。它们不会自动否定架构思路,但会降低用单个数字做精确容量规划、TCO 估算的可信度。
成本结论也必须限定边界。表 V 把 CXL 每 GB 成本记为本地内存的 0.13 倍,这是复用旧 DIMM 场景中的组件级比较,不等于整台服务器便宜 87%,更不等于新采购时可以直接套用的市场价格。
完整成本至少还包括 ASIC 与板卡、DIMM 检测和备件、功耗与散热、故障处置,以及策略维护。生产性能 A/B 中,两组机器都装有相同硬件;限制工作负载不用 CXL,也不等于移除了扩展器的功耗。碳减排同样要明确生命周期边界,不能用内存容量增幅直接替代整机排放评估。
此外,论文描述了在超大规模基础设施中的部署,却没有提供足以让外部读者重建全部生产流量、硬件与版本配置的实验材料。“约四成服务器受内存容量限制”也不能被改写成“所有这些服务器都已经部署了 Vistara”。
七、如果要在自己的系统里验证,先做什么?
- 先诊断瓶颈。 测实际内存占用、冷页空闲时间、热点迁移速度、CPU 利用率和本地带宽。容量不足与带宽不足要分别确认,不能只看 DRAM 利用率高。
- 把两个基线分开。 同时比较“保留本地内存后扩容”与“相同总容量下替代本地内存”。记录 CPU、链路宽度、DIMM 速率、内核/固件版本、NUMA/zone 布局和实际页面驻留,而不只记录机器标称容量。
- 覆盖坏场景。 除稳定负载外,还要测试冷启动、突发热点、逼近带宽上限、多租户竞争及退出 CXL 的迁移成本。观察业务 P99/P999、PSI、提升/降级流量与 OOM,而不只看平均 QPS。
- 最后验证能否运维。 对齐 DIMM 复用与检测、错误遥测、固件回滚、服务级退出,以及统一口径的功耗和成本。没有这些条件,跑通微基准不等于具备生产部署能力。
Vistara 最值得学习的不是某一个收益百分比,而是把便宜但较慢的容量纳入系统:热数据有位置,冷数据有去处,不合适的服务能退出,多租户对快内存的争用受到约束。 它证明的是一条有条件成立的工程路径,而不是 CXL 可以无差别替代本地 DRAM。
参考资料
- Vistara camera-ready 论文:本文所读的 15 页版本,硬件表 III–VI、实验表 VII–X 与图 9–12
- ISCA 2026 官方议程:Vistara 论文题名与作者信息
- 作者在 CXL Consortium 的公开报告:MemServer 配置、TPP/TMO 与服务级退出
- TPP 原论文:本地余量、分配与回收水位解耦、页面提升与降级
- Meta 工程文:TMO 的 PSI 反馈、Senpai 控制环与主动内存回收
- Linux CXL 文档:页面分配器、NUMA 节点与 memory zone 的交互
- Linux cgroup v2 文档:cpuset.mems 与动态修改时的迁移限制
- NOMAD,OSDI 2024:非独占内存分层与事务式页面迁移
- Memstrata,OSDI 2024:虚拟化环境的 CXL 分层与性能隔离