vLLM 与 LMCache MP 模式如何对接:从调度器到缓存服务的数据链路
从 LMCacheMPConnector 源码出发,分析 vLLM 调度器、GPU Worker、LMCache MP Server、L1/L2 存储之间的控制面和数据面,并分别梳理 STORE、LOOKUP、RETRIEVE 的完整时序。
从 LMCacheMPConnector 源码出发,分析 vLLM 调度器、GPU Worker、LMCache MP Server、L1/L2 存储之间的控制面和数据面,并分别梳理 STORE、LOOKUP、RETRIEVE 的完整时序。
从 Mooncake 的 KV Cache 数据路径出发,解释 Tokio 为什么能用少量线程承载大量并发等待,以及 Rust 如何让这种模型保持低开销、可控和相对安全。
用操作系统虚拟内存和压缩前缀树两个类比,解释 PagedAttention 如何管理 KV 物理块、RadixCache 如何发现并复用公共前缀,并给出可运行的纯 Python 简化实现。
从 PagedAttention 的 Gather/Scatter 出发,解释 LMCache 多进程模式中 CUDA IPC、SHM 和 Pickle 三条 KV Cache 传输路径的工作原理、复制成本与适用场景。
Tutti 的论文强调 GPU 主导 I/O,但应用首先接触的不是 NVMe doorbell,而是一套稳定的 StorageRuntime API。它负责把 URI、文件 extent、GPU 内存、后端实例和异步请求组装起来,让上层无需知道底层究竟是单盘、条带化 NVMe,还是未来的其他传输路径。 本文阅读 Tutti v0.1.1 的运行时源码与设计文档,聚焦五个问题:公开 API 长什么样、open 如何解析对象、register_memory 为什么独立存在、submit/wait 如何路由,以及 vLLM connector 如何接入。 项目源码:xPU-IO/Tutti。 一、先看整体分层 当前代码把系统拆成以下层次: Application / vLLM Connector │ ▼ StorageRuntime open · register · submit · wait │ ┌──────┴──────┐ ▼ ▼ Resolver DataPath URI → target IO → backend │ │ └──── Binding ┘ │ local / striped NVMe StorageRuntime 是唯一稳定的应用接口;Resolver、Binding 和 DataPath 是内部 SPI。这样做避免上层依赖特定 NVMe 驱动或 GPU 厂商实现。 ...
长上下文推理会生成大量 KV Cache。HBM 放不下,DRAM 成本高,NVMe SSD 容量大却经常因为 I/O 控制开销而无法进入关键路径。Tutti 的结论是:问题不只是“数据能否从 SSD 直达显存”,而是谁负责把数以千计的 KV 块转成设备请求、提交队列并处理完成。 Tutti 将这条控制路径交给 GPU:CPU 按层启动 I/O kernel,GPU 批量解析 KV 对象、生成 NVMe 命令、敲 doorbell 并轮询完成,同时利用 Transformer 层之间的计算空隙隐藏读取与写回。论文报告,在其测试环境中,相比 SSD-backed LMCache,严格 SLO 下 TTFT 降低 78.3%,可承载请求率提高 2 倍,服务成本降低 27%。 本文阅读论文 Tutti: Making SSD-Backed KV Cache Practical for Long-Context LLM Serving,重点解释它为什么需要 GPU-centric I/O、系统如何工作,以及实验结论应该怎样理解。 一、SSD KV Cache 为什么难用 自回归模型在 prefill 阶段为每层生成 Key 和 Value。后续请求若共享前缀,可以直接载入已有 KV Cache,省去重复计算。 请求 A:系统提示词 + 文档 + 问题 A 请求 B:系统提示词 + 文档 + 问题 B └── 可复用前缀 ──┘ KV Cache 容量随上下文长度、层数、并发和 KV head 数增长。分层存储因此很自然: ...
本文翻译并整理自论文 SAC: Disaggregated KV Cache System for Sparse Attention LLMs with CXL(arXiv:2606.19746v1,2026 年 6 月 18 日)。原论文采用 CC BY 4.0 许可。为适应博客阅读,本文省略参考文献列表中的完整出版信息,但保留正文结构、关键论证、实验结果与附录要点。 随着大模型进入长上下文与稀疏注意力时代,推理系统的主要瓶颈正从算力转向内存容量。传统 RDMA 解耦 KV Cache 系统会在解码前把完整前缀 KV Cache 搬回本地;但稀疏注意力每一步只访问少量 top-k 条目,这种“全量搬运、少量使用”的方式会同时浪费网络带宽和本地内存。 SAC 的核心思路是:使用 CXL 的低延迟、缓存行粒度 load/store 语义,把 KV Cache 留在解耦内存池中,只在计算时按需读取被选中的 top-k 条目。论文在 DeepSeek-V3.2 与 SGLang 上的实验显示,相比 RDMA 基线,SAC 可实现最高约 2.1 倍吞吐量、9.7 倍更低的 TTFT,以及 1.8 倍更低的 TBT。 摘要 大模型向长上下文推理扩展,使服务系统的主要瓶颈从计算能力转向内存容量。面向稠密注意力模型的传统方案通常采用基于 RDMA 的解耦内存池,在解码开始前,以粗粒度方式将整个前缀 KV Cache 从远端存储取回本地内存。 然而,这种方法并不适合新兴的稀疏注意力模型。解码过程中虽然只有很少一部分 KV 条目真正活跃,系统仍然要把完整 KV Cache 拉回本地,从而造成严重的传输瓶颈和本地内存浪费。 ...
普通负载均衡只关心哪个 Worker 更空闲。LLM 推理还需要回答另一个问题:哪个 Worker 已经缓存了当前请求的最长前缀?如果忽略缓存局部性,相同 system prompt、文档或多轮会话会在不同 GPU 上反复 Prefill。 Dynamo 的 KV-aware Router 将缓存命中与运行负载放进同一次决策。本文基于提交 27f09d5,重点阅读 lib/kv-router 与 lib/llm/src/kv_router。 一、路由问题如何形式化 设请求 token 被按固定 block size 切成若干块: [t0 ... t15] [t16 ... t31] [t32 ... t47] [剩余 token] B0 B1 B2 每个完整块计算链式哈希。Router 维护如下关系: B0 -> {worker 1, worker 3} B1 -> {worker 1} B2 -> {worker 1} 如果新请求具有相同前三块,Worker 1 的重叠长度最大。但它可能已经非常繁忙,因此最终决策不是简单的最长前缀匹配,而是 locality 与 load 的权衡。 二、为什么使用链式 block hash compute_block_hash_for_seq 不会孤立地哈希每个 token 块,而是把前一个块的 hash 纳入下一个块。这使相同内容出现在不同前缀后时不会被错误视为同一缓存位置。 ...
KV Cache 是在线 LLM 推理中最重要的状态。它避免 Decode 每轮重新计算全部历史 token,却也通常成为显存容量和并发数的主要限制。 本文先解释 KV Cache、分页管理和前缀复用的基本原理,再阅读 Mini-SGLang 的 MHAKVCache、CacheManager 与 RadixPrefixCache。源码基于提交 9a91cfa。 一、为什么需要 KV Cache 自回归 Attention 在第 t 步需要当前 Query 与位置 0...t 的 Key、Value 做注意力。如果每轮都重新计算历史 K、V,生成 n 个 token 会重复执行大量投影计算。 KV Cache 将每层历史 K、V 保存下来: 第 1 轮:计算 K0,V0,保存 第 2 轮:只计算 K1,V1,读取 [K0,K1] 第 3 轮:只计算 K2,V2,读取 [K0,K1,K2] 缓存大小大致为: 2 × 层数 × token 数 × KV head 数 × head_dim × 元素字节数 其中 2 表示 Key 和 Value。长上下文、大 batch 和高精度都会快速放大显存消耗。 ...
深入分析 vLLM 内置 MooncakeConnector:从代理拆分请求、Scheduler 元数据、GPU KV Cache 注册,到 Mooncake Transfer Engine 通过 RDMA 将 Prefill KV 直接搬到 Decode 节点。