论文阅读A Performance Characterization of External KV Caching for vLLM with NVMe SSDs

阅读 py-kvcache 时,我最关心一个具体问题:已经知道一个请求的前缀命中了 SSD 缓存,接下来应该加载它,还是直接让 GPU 重算? 命中率只能说明数据是否存在,不能替系统回答这个问题。需要比较的是两条执行路径到达首个输出 token 的时间,而不只是 SSD 的标称带宽。 本文是基于 arXiv:2609.11744v1 的原创阅读笔记,不是论文全文译文。论文结果、源码观察与独立推导分别说明;没有复跑论文的性能基准。 一、先把论文数字放回实验条件里 原文第 7 节使用 vLLM 0.22。下面摘取 H100、Llama 3.2 3B、80k 前缀的 query TTFT 对照;这里的 80k 是 81,920 个 token,LMCache 基线是 0.4.7 的默认磁盘后端。 对照 论文报告的加速比 仅磁盘:py-kvcache 开启预加载,对比 LMCache 约 2.0× 同一 py-kvcache 磁盘配置,开启与关闭预加载 约 1.34× 多层缓存配置:py-kvcache 对比 LMCache 约 1.23× 仅磁盘实验使用 50 个并发请求,关闭 GPU 前缀缓存与 break-even 门控;论文多数测量使用 FP16 KV、只生成 1 个输出 token。Bailian 回放则呈现另一面:较弱 GPU 上有收益,H100 上相对 GPU 前缀缓存没有额外收益。 ...

2026年9月24日 · 3 分钟 · Hellokitty

vLLM 与 LMCache MP 模式如何对接:从调度器到缓存服务的数据链路

从 LMCacheMPConnector 源码出发,分析 vLLM 调度器、GPU Worker、LMCache MP Server、L1/L2 存储之间的控制面和数据面,并分别梳理 STORE、LOOKUP、RETRIEVE 的完整时序。

2026年9月6日 · 8 分钟 · Hellokitty

PagedAttention 与 RadixCache 原理:从分页 KV 管理到跨请求前缀复用

用操作系统虚拟内存和压缩前缀树两个类比,解释 PagedAttention 如何管理 KV 物理块、RadixCache 如何发现并复用公共前缀,并给出可运行的纯 Python 简化实现。

2026年9月4日 · 6 分钟 · Hellokitty

LMCache MP 模式详解:CUDA IPC、共享内存与 Pickle 如何传输 KV Cache

从 PagedAttention 的 Gather/Scatter 出发,解释 LMCache 多进程模式中 CUDA IPC、SHM 和 Pickle 三条 KV Cache 传输路径的工作原理、复制成本与适用场景。

2026年9月4日 · 4 分钟 · Hellokitty

Tutti 源码阅读(一):StorageRuntime 如何组织 KV Cache I/O

Tutti 的论文强调 GPU 主导 I/O,但应用首先接触的不是 NVMe doorbell,而是一套稳定的 StorageRuntime API。它负责把 URI、文件 extent、GPU 内存、后端实例和异步请求组装起来,让上层无需知道底层究竟是单盘、条带化 NVMe,还是未来的其他传输路径。 本文阅读 Tutti v0.1.1 的运行时源码与设计文档,聚焦五个问题:公开 API 长什么样、open 如何解析对象、register_memory 为什么独立存在、submit/wait 如何路由,以及 vLLM connector 如何接入。 项目源码:xPU-IO/Tutti。 一、先看整体分层 当前代码把系统拆成以下层次: Application / vLLM Connector │ ▼ StorageRuntime open · register · submit · wait │ ┌──────┴──────┐ ▼ ▼ Resolver DataPath URI → target IO → backend │ │ └──── Binding ┘ │ local / striped NVMe StorageRuntime 是唯一稳定的应用接口;Resolver、Binding 和 DataPath 是内部 SPI。这样做避免上层依赖特定 NVMe 驱动或 GPU 厂商实现。 ...

2026年9月3日 · 3 分钟 · Hellokitty

vLLM 与 Mooncake 对接源码解读:Prefill/Decode 分离中的 KV Cache 如何跨节点传输

深入分析 vLLM 内置 MooncakeConnector:从代理拆分请求、Scheduler 元数据、GPU KV Cache 注册,到 Mooncake Transfer Engine 通过 RDMA 将 Prefill KV 直接搬到 Decode 节点。

2026年8月24日 · 9 分钟 · Hellokitty

Phoenix 源码解读:把 GPU 显存变成 Linux I/O 可直达的内存

深入解析 xPU-IO/Phoenix:它如何通过内核模块、用户态库和应用适配器,将 SSD 数据直接送入 GPU 显存;并比较 full BAR、staging、batch、stream 等数据路径的实现与取舍。

2026年8月24日 · 7 分钟 · Hellokitty