Xerxes论文阅读: 用仿真看 CXL 拓扑与设备侧一致性

一台主机接一块 CXL 内存时,可以盯着延迟和带宽;如果想把主机、加速器、多个内存设备通过交换机连成更大的 fabric,瓶颈可能已经从内存本身变成路由、端口争用和一致性消息。没有对应的现成硬件,怎么比较这些设计? FAST ‘26 论文 Xerxes: Extensive Exploration of Scalable Hardware Systems with CXL-Based Simulation Framework 给出的不是一套已落地的内存池,而是一个 CXL 系统仿真框架。它重点支持较新规范里的 PBR(基于端口的路由)、DMC(设备管理的一致性),以及全双工链路建模,目的是在动手造复杂硬件前先回答设计问题。 从一棵树变成一张图 早期主机—设备连接容易用树表示,但多级交换、对等设备访问不一定适合主机为中心的树状路径。Xerxes 把系统拆成两个层次:互连层把节点和交换机组织成图,提供路由与链路队列;设备层把主机、加速器和内存端点抽象成可以主动发请求的参与者。交换机、请求者、内存设备可以分别实现自己的逻辑,拓扑变化不必重写设备模型。 互连图:主机/加速器 ─ 交换机 ─ 交换机 ─ 内存端点 │ │ └─ PBR 决定转发路径 ─┘ 设备层:请求者维护本地缓存状态 内存端点跟踪共享者、必要时主动发失效消息 论文图 3:互连层负责路由和链路,设备层模拟请求者、端点及一致性目录。截图来自 Xerxes 官方 PDF 第 6 页,版权归原作者。 因此它不仅能画出链、树、环、spine-leaf 和全连接拓扑,还能在这些结构上模拟设备之间的流量会在哪个端口排队。高连接度不是免费的,但至少可以先用统一的链路参数,把单个中心端口到底限制了多少吞吐量量出来。 模拟里一个“请求者”除了发读写,还要带着排队深度、地址交错规则和本地缓存的一致性状态;链路也不能只填一个固定 RTT。Xerxes 可以接入 DRAMsim3 模拟内存端点,并与 gem5 的处理器、SimpleSSD 的设备模型对接。独立互连层的意义就在这里:换一种存储设备或 CPU 模型,不应被迫再写一套交换机路由逻辑。 在相同端口上限、N 个请求者与 N 个内存设备的构造实验里,链与树的共享“桥”路径会被单端口带宽锁住;环提供替代路径,但总容量仍有限。全连接允许更多请求者并行获得各自的端口带宽,spine-leaf 则居中折中连接密度与路径数量。论文先分析这个受端口限制的结构性上界,再回放应用访问轨迹;如果只挑“3.63 倍”这个数字,就看不到为什么对某种热图有用、对另一个成本预算可能不合适。 DMC 为什么需要“设备会主动说话” 共享内存的一致性,不只是“大家都能读到同一个地址”。某个请求者缓存了一个内存行,另一个请求者要修改它时,原来的副本需要失效;若它是脏的,还涉及最新数据的回传。在 DMC 模型里,设备侧的 snoop filter 记录谁持有这些副本,发出反向失效请求(BISnp),收齐响应(BIRsp)之后才能继续。若 snoop filter 已满,逐出一个目录项也可能触发失效。 ...

2026年10月12日 · 1 分钟 · Hellokitty

Cylon论文阅读: 怎样真实模拟 CXL-SSD 的快命中与慢缺失

若 SSD 容量通过 CXL 以类似内存的方式暴露给 CPU,命中设备上的 DRAM 缓存可能不到 1 微秒,落到 NAND 却要几十微秒。普通设备模拟器如果让每次访存都发生 VM-exit,模拟器自己的开销便已超过真实设备的快路径。此时拿它比较缓存算法,结论可能是错的。 FAST ‘26 论文 Cylon: Fast and Accurate Full-System Emulation of CXL-SSDs 针对的不是“把普通 SSD 变成 CXL 内存”,而是构建一套能运行未修改操作系统与应用的研究工具。它在 QEMU/KVM 中暴露 CXL Type-3 设备,用 FEMU 模拟 SSD 的闪存与 FTL 时序,再用快慢分流避免虚拟化开销掩盖设备特征。 对 CPU 来说,看到的到底是什么 来宾系统可以把设备视作 DAX 区域,或者一个不带 CPU 的 NUMA 节点。应用通过 load/store 读写地址,而不是向传统 NVMe 块设备发一次文件读取。来宾看得到的容量对应模拟的 SSD;中间还有一块设备自己管理的 DRAM 缓存,应用通常不用手动把热页放进去。 一份地址是否命中缓存,决定它下一步走哪条完全不同的路: 来宾 load/store → EPT 页表项 ├─ Direct:映到宿主 DRAM 缓存 → 直接完成 └─ Trap:触发 KVM 陷入 → QEMU/FEMU 模拟 NAND、填充缓存 → 更新 EPT,下次命中走 Direct ...

2026年10月12日 · 2 分钟 · Hellokitty

Vistara 论文解读:CXL 扩容的收益、边界与工程代价

更慢的内存,为什么反而能降低业务延迟、减少服务器数量? Vistara 的答案不是把 DDR4 变成 DDR5,而是让本来装不下的数据留在内存里,同时尽量不让关键访问落到慢层。 本文解读 ISCA 2026 论文 Vistara: Making CXL Real—Full Path from ASIC Design and OS Support to Hyperscale Deployment,以作者公开的 15 页 camera-ready PDF 为准,并结合作者报告、TPP/TMO 及 Linux 文档交叉核对。所有生产性能数字均为作者报告;本文没有复现 Vistara 硬件或生产流量实验。 一、先问清楚:缺的是容量,还是访存性能? 一台服务器可能已经用完内存,CPU、网络和存储却还有余量。继续加任务会 OOM,不加任务又浪费其他资源。论文报告,Meta 被调查服务器中约四成受到内存容量约束。 这与“内存带宽已经跑满”是两个问题。前者需要更多位置存放数据,后者需要更快地搬运数据。扩容只有在没有引入更严重瓶颈时,才能提高整机利用率。 Vistara 选择的机会来自访问不均匀:大量页面必须驻留,却不经常访问。论文的页面空闲时间统计中,Cache 工作负载的中位数达到 19.4 分钟。若把这些页放到慢层,而连接状态、索引和活跃请求数据仍留在本地 DRAM,容量可以增加,关键路径不必同比变慢。 但这里有一个重要区分:冷页面占容量的比例,不等于慢层承担访问的比例。 判断方案是否适合某个服务,不能只统计“有多少 GB 是冷的”,还要看访问频率、热点变化,以及高峰时慢层真正承受的流量。 二、硬件:复用 DDR4,但不掩盖它更慢的事实 Vistara 是 Type-3 CXL 内存扩展器。论文中的 MemServer 使用单路 AMD Turin CPU,本地接 768 GB DDR5,另外通过两颗 Vistara ASIC 接入 256 GB DDR4: ...

2026年9月27日 · 3 分钟 · Hellokitty

SAC:面向稀疏注意力大模型的 CXL 解耦 KV Cache 系统

本文翻译并整理自论文 SAC: Disaggregated KV Cache System for Sparse Attention LLMs with CXL(arXiv:2606.19746v1,2026 年 6 月 18 日)。原论文采用 CC BY 4.0 许可。为适应博客阅读,本文省略参考文献列表中的完整出版信息,但保留正文结构、关键论证、实验结果与附录要点。 随着大模型进入长上下文与稀疏注意力时代,推理系统的主要瓶颈正从算力转向内存容量。传统 RDMA 解耦 KV Cache 系统会在解码前把完整前缀 KV Cache 搬回本地;但稀疏注意力每一步只访问少量 top-k 条目,这种“全量搬运、少量使用”的方式会同时浪费网络带宽和本地内存。 SAC 的核心思路是:使用 CXL 的低延迟、缓存行粒度 load/store 语义,把 KV Cache 留在解耦内存池中,只在计算时按需读取被选中的 top-k 条目。论文在 DeepSeek-V3.2 与 SGLang 上的实验显示,相比 RDMA 基线,SAC 可实现最高约 2.1 倍吞吐量、9.7 倍更低的 TTFT,以及 1.8 倍更低的 TBT。 摘要 大模型向长上下文推理扩展,使服务系统的主要瓶颈从计算能力转向内存容量。面向稠密注意力模型的传统方案通常采用基于 RDMA 的解耦内存池,在解码开始前,以粗粒度方式将整个前缀 KV Cache 从远端存储取回本地内存。 然而,这种方法并不适合新兴的稀疏注意力模型。解码过程中虽然只有很少一部分 KV 条目真正活跃,系统仍然要把完整 KV Cache 拉回本地,从而造成严重的传输瓶颈和本地内存浪费。 ...

2026年8月28日 · 5 分钟 · Hellokitty

FMS 2026 深度解读:AI 正在重构内存与存储层级

深入解读 FMS 2026 的五条核心技术主线:High Bandwidth Flash、3D 内存封装、CXL 内存池、PCIe 6.0 液冷 SSD,以及面向 AI 的 NVMe 可运维基础设施。

2026年8月24日 · 6 分钟 · Hellokitty