NUMA 是什么?从内存访问距离到 LMCache 的实际用法

读 LMCache 的内存分配代码时,很容易遇到一个问题:构造函数明明有 numa_mapping 参数,为什么运行时一直是 None?回答它之前,需要先区分三件事:内存位于哪个 NUMA 节点、线程运行在哪些 CPU 上,以及主机内存是否经过 GPU 注册。 它们彼此相关,却不是同一个开关。 本文的源码结论固定在 LMCache 公开提交 fd6722d9310471bc7d1871969ef3062889878632,核对日期为 2026 年 9 月 10 日。本文是原理与代码分析,没有进行双路服务器性能实测,也不预设 NUMA 优化一定带来加速。 1. NUMA:访问同一份内存空间,距离却不一样 NUMA 是 Non-Uniform Memory Access,即非一致内存访问。这里的“非一致”说的是访问代价不一致,不是“不同 CPU 读到的数据不一致”。 Linux 内核文档把 NUMA 系统抽象为多个 node:节点可以包含 CPU、内存和 I/O 资源,节点之间通过互连通信。对某个 CPU 或 I/O 设备来说,目标内存所在节点的距离会影响访问延迟和有效带宽。常见的双路服务器可以简化成下面这样,但真实机器不能直接假定“一个 CPU 插槽等于一个 NUMA 节点”。 NUMA node 0 NUMA node 1 CPU cores + DRAM 0 CPU cores + DRAM 1 | | +---------- interconnect ----------+ | | PCIe / GPU 0 PCIe / GPU 1 CPU 0 -> DRAM 0: local access CPU 0 -> DRAM 1: remote access GPU 0 -> DRAM 1: potentially crosses the interconnect 这是一张示意图,不是某台机器的真实拓扑。实际 GPU、PCIe 交换机和内存控制器的关系,应以系统和设备工具报告为准。 ...

2026年9月10日 · 3 分钟 · Hellokitty

LMCache 三种 L1MemoryManager 源码解析:DRAM、Device-DAX 与 GDS

LMCache 的 L1MemoryManager、DevDaxL1MemoryManager 和 GDSL1MemoryManager,并不是同一种分配器换了三个名字。它们分别管理 DRAM 内存池、Device-DAX 映射池和 GDS slab 偏移空间。理解三者的关键,是把对象生命周期、空间分配和数据搬运分开。 本文基于 2026 年 9 月 10 日核对的公开 fork yangyang233333/LMCache,固定提交 7d9d54dd9b23703a73040e140753c95cd6c4bdb7。以下结论限定于这个实现快照,不代表上游发布版已经包含全部功能;本文为源码调研,没有进行真实 GDS、DAX/CXL 硬件性能实测。 1. 同一个 L1 层级,三种数据载体 先分清两个名字:L1Manager 管理 key、对象状态与读写生命周期,本文讨论的三个 memory manager 则负责空间分配与回收。淘汰策略和数据传输也不应与这层空间接口混为一谈。 L1Manager 的构造逻辑先检查 GDS 配置,再检查 DAX 路径,最后选择普通 DRAM 管理器。三者通过结构化接口 L1ManagerProtocol 暴露分配、释放、容量、介质识别、内存描述符和关闭等操作。 L1Manager:key、对象状态与读写生命周期 │ └── L1ManagerProtocol ├── L1MemoryManager │ └── LazyMemoryAllocator / MixedMemoryAllocator ├── DevDaxL1MemoryManager │ └── DevDaxMemoryAllocator │ ├── 可选 DRAM pool │ └── 一个或多个 DAX arena └── GDSL1MemoryManager └── AddressManager:slab 偏移与空闲区间 gpu_ops / connector:实际数据传输 └── GDS 对象分派到 GDSContext DevDaxL1MemoryManager 继承普通 L1MemoryManager,复用接口逻辑并替换 allocator;GDSL1MemoryManager 则是满足同一 Protocol 的独立实现,不继承普通管理器。 ...

2026年9月10日 · 4 分钟 · Hellokitty

LMCache RawBlockBackend 源码解析:读写链路与优化边界

沿 Python Core、PyO3 与 Rust worker 追踪 KV Cache 的落盘和回读,分析固定槽位、条件零拷贝、批量 I/O、NVMe passthrough 与 FDP 的收益及限制。

2026年9月9日 · 5 分钟 · Hellokitty

从原理到实战:用 Rust 理解 io_uring 异步 I/O

从 SQ/CQ 共享环、io_uring_enter 和内核执行路径出发,解释 io_uring 为什么能批量提交 I/O,并用 Rust 实现一个可运行的并发随机读程序。

2026年9月7日 · 4 分钟 · Hellokitty

vLLM 与 LMCache MP 模式如何对接:从调度器到缓存服务的数据链路

从 LMCacheMPConnector 源码出发,分析 vLLM 调度器、GPU Worker、LMCache MP Server、L1/L2 存储之间的控制面和数据面,并分别梳理 STORE、LOOKUP、RETRIEVE 的完整时序。

2026年9月6日 · 8 分钟 · Hellokitty

LMCache LazyMemoryAllocator 源码分析:延迟锁页、分配释放与内存碎片

从源码拆解 LMCache LazyMemoryAllocator 如何预留连续 CPU 缓冲区、后台分批注册 pinned memory、通过地址管理器完成 alloc/free,并分析其内部碎片、外部碎片与暂时性容量不足问题。

2026年9月6日 · 4 分钟 · Hellokitty

Linux FUSE 原理与 I/O 链路:控制面、数据面、复制次数及优化

从 VFS、fuse.ko、/dev/fuse 和用户态守护进程出发,逐跳分析 FUSE 控制面与数据面链路,并解释 read/write 路径中的复制次数及 page cache、splice、DAX、passthrough 等优化。

2026年9月5日 · 6 分钟 · Hellokitty

为什么 Rust + Tokio 更适合 Mooncake 这种 I/O 密集型工作

从 Mooncake 的 KV Cache 数据路径出发,解释 Tokio 为什么能用少量线程承载大量并发等待,以及 Rust 如何让这种模型保持低开销、可控和相对安全。

2026年9月5日 · 4 分钟 · Hellokitty

PagedAttention 与 RadixCache 原理:从分页 KV 管理到跨请求前缀复用

用操作系统虚拟内存和压缩前缀树两个类比,解释 PagedAttention 如何管理 KV 物理块、RadixCache 如何发现并复用公共前缀,并给出可运行的纯 Python 简化实现。

2026年9月4日 · 6 分钟 · Hellokitty

LMCache MP 模式详解:CUDA IPC、共享内存与 Pickle 如何传输 KV Cache

从 PagedAttention 的 Gather/Scatter 出发,解释 LMCache 多进程模式中 CUDA IPC、SHM 和 Pickle 三条 KV Cache 传输路径的工作原理、复制成本与适用场景。

2026年9月4日 · 4 分钟 · Hellokitty