NUMA 是什么?从内存访问距离到 LMCache 的实际用法

读 LMCache 的内存分配代码时,很容易遇到一个问题:构造函数明明有 numa_mapping 参数,为什么运行时一直是 None?回答它之前,需要先区分三件事:内存位于哪个 NUMA 节点、线程运行在哪些 CPU 上,以及主机内存是否经过 GPU 注册。 它们彼此相关,却不是同一个开关。 本文的源码结论固定在 LMCache 公开提交 fd6722d9310471bc7d1871969ef3062889878632,核对日期为 2026 年 9 月 10 日。本文是原理与代码分析,没有进行双路服务器性能实测,也不预设 NUMA 优化一定带来加速。 1. NUMA:访问同一份内存空间,距离却不一样 NUMA 是 Non-Uniform Memory Access,即非一致内存访问。这里的“非一致”说的是访问代价不一致,不是“不同 CPU 读到的数据不一致”。 Linux 内核文档把 NUMA 系统抽象为多个 node:节点可以包含 CPU、内存和 I/O 资源,节点之间通过互连通信。对某个 CPU 或 I/O 设备来说,目标内存所在节点的距离会影响访问延迟和有效带宽。常见的双路服务器可以简化成下面这样,但真实机器不能直接假定“一个 CPU 插槽等于一个 NUMA 节点”。 NUMA node 0 NUMA node 1 CPU cores + DRAM 0 CPU cores + DRAM 1 | | +---------- interconnect ----------+ | | PCIe / GPU 0 PCIe / GPU 1 CPU 0 -> DRAM 0: local access CPU 0 -> DRAM 1: remote access GPU 0 -> DRAM 1: potentially crosses the interconnect 这是一张示意图,不是某台机器的真实拓扑。实际 GPU、PCIe 交换机和内存控制器的关系,应以系统和设备工具报告为准。 ...

2026年9月10日 · 3 分钟 · Hellokitty

LMCache 三种 L1MemoryManager 源码解析:DRAM、Device-DAX 与 GDS

LMCache 的 L1MemoryManager、DevDaxL1MemoryManager 和 GDSL1MemoryManager,并不是同一种分配器换了三个名字。它们分别管理 DRAM 内存池、Device-DAX 映射池和 GDS slab 偏移空间。理解三者的关键,是把对象生命周期、空间分配和数据搬运分开。 本文基于 2026 年 9 月 10 日核对的公开 fork yangyang233333/LMCache,固定提交 7d9d54dd9b23703a73040e140753c95cd6c4bdb7。以下结论限定于这个实现快照,不代表上游发布版已经包含全部功能;本文为源码调研,没有进行真实 GDS、DAX/CXL 硬件性能实测。 1. 同一个 L1 层级,三种数据载体 先分清两个名字:L1Manager 管理 key、对象状态与读写生命周期,本文讨论的三个 memory manager 则负责空间分配与回收。淘汰策略和数据传输也不应与这层空间接口混为一谈。 L1Manager 的构造逻辑先检查 GDS 配置,再检查 DAX 路径,最后选择普通 DRAM 管理器。三者通过结构化接口 L1ManagerProtocol 暴露分配、释放、容量、介质识别、内存描述符和关闭等操作。 L1Manager:key、对象状态与读写生命周期 │ └── L1ManagerProtocol ├── L1MemoryManager │ └── LazyMemoryAllocator / MixedMemoryAllocator ├── DevDaxL1MemoryManager │ └── DevDaxMemoryAllocator │ ├── 可选 DRAM pool │ └── 一个或多个 DAX arena └── GDSL1MemoryManager └── AddressManager:slab 偏移与空闲区间 gpu_ops / connector:实际数据传输 └── GDS 对象分派到 GDSContext DevDaxL1MemoryManager 继承普通 L1MemoryManager,复用接口逻辑并替换 allocator;GDSL1MemoryManager 则是满足同一 Protocol 的独立实现,不继承普通管理器。 ...

2026年9月10日 · 4 分钟 · Hellokitty