Xerxes论文阅读: 用仿真看 CXL 拓扑与设备侧一致性
一台主机接一块 CXL 内存时,可以盯着延迟和带宽;如果想把主机、加速器、多个内存设备通过交换机连成更大的 fabric,瓶颈可能已经从内存本身变成路由、端口争用和一致性消息。没有对应的现成硬件,怎么比较这些设计? FAST ‘26 论文 Xerxes: Extensive Exploration of Scalable Hardware Systems with CXL-Based Simulation Framework 给出的不是一套已落地的内存池,而是一个 CXL 系统仿真框架。它重点支持较新规范里的 PBR(基于端口的路由)、DMC(设备管理的一致性),以及全双工链路建模,目的是在动手造复杂硬件前先回答设计问题。 从一棵树变成一张图 早期主机—设备连接容易用树表示,但多级交换、对等设备访问不一定适合主机为中心的树状路径。Xerxes 把系统拆成两个层次:互连层把节点和交换机组织成图,提供路由与链路队列;设备层把主机、加速器和内存端点抽象成可以主动发请求的参与者。交换机、请求者、内存设备可以分别实现自己的逻辑,拓扑变化不必重写设备模型。 互连图:主机/加速器 ─ 交换机 ─ 交换机 ─ 内存端点 │ │ └─ PBR 决定转发路径 ─┘ 设备层:请求者维护本地缓存状态 内存端点跟踪共享者、必要时主动发失效消息 论文图 3:互连层负责路由和链路,设备层模拟请求者、端点及一致性目录。截图来自 Xerxes 官方 PDF 第 6 页,版权归原作者。 因此它不仅能画出链、树、环、spine-leaf 和全连接拓扑,还能在这些结构上模拟设备之间的流量会在哪个端口排队。高连接度不是免费的,但至少可以先用统一的链路参数,把单个中心端口到底限制了多少吞吐量量出来。 模拟里一个“请求者”除了发读写,还要带着排队深度、地址交错规则和本地缓存的一致性状态;链路也不能只填一个固定 RTT。Xerxes 可以接入 DRAMsim3 模拟内存端点,并与 gem5 的处理器、SimpleSSD 的设备模型对接。独立互连层的意义就在这里:换一种存储设备或 CPU 模型,不应被迫再写一套交换机路由逻辑。 在相同端口上限、N 个请求者与 N 个内存设备的构造实验里,链与树的共享“桥”路径会被单端口带宽锁住;环提供替代路径,但总容量仍有限。全连接允许更多请求者并行获得各自的端口带宽,spine-leaf 则居中折中连接密度与路径数量。论文先分析这个受端口限制的结构性上界,再回放应用访问轨迹;如果只挑“3.63 倍”这个数字,就看不到为什么对某种热图有用、对另一个成本预算可能不合适。 DMC 为什么需要“设备会主动说话” 共享内存的一致性,不只是“大家都能读到同一个地址”。某个请求者缓存了一个内存行,另一个请求者要修改它时,原来的副本需要失效;若它是脏的,还涉及最新数据的回传。在 DMC 模型里,设备侧的 snoop filter 记录谁持有这些副本,发出反向失效请求(BISnp),收齐响应(BIRsp)之后才能继续。若 snoop filter 已满,逐出一个目录项也可能触发失效。 ...