vLLM 与 LMCache MP 模式如何对接:从调度器到缓存服务的数据链路

从 LMCacheMPConnector 源码出发,分析 vLLM 调度器、GPU Worker、LMCache MP Server、L1/L2 存储之间的控制面和数据面,并分别梳理 STORE、LOOKUP、RETRIEVE 的完整时序。

2026年9月6日 · 8 分钟 · Hellokitty

LMCache LazyMemoryAllocator 源码分析:延迟锁页、分配释放与内存碎片

从源码拆解 LMCache LazyMemoryAllocator 如何预留连续 CPU 缓冲区、后台分批注册 pinned memory、通过地址管理器完成 alloc/free,并分析其内部碎片、外部碎片与暂时性容量不足问题。

2026年9月6日 · 4 分钟 · Hellokitty

PagedAttention 与 RadixCache 原理:从分页 KV 管理到跨请求前缀复用

用操作系统虚拟内存和压缩前缀树两个类比,解释 PagedAttention 如何管理 KV 物理块、RadixCache 如何发现并复用公共前缀,并给出可运行的纯 Python 简化实现。

2026年9月4日 · 6 分钟 · Hellokitty

LMCache MP 模式详解:CUDA IPC、共享内存与 Pickle 如何传输 KV Cache

从 PagedAttention 的 Gather/Scatter 出发,解释 LMCache 多进程模式中 CUDA IPC、SHM 和 Pickle 三条 KV Cache 传输路径的工作原理、复制成本与适用场景。

2026年9月4日 · 4 分钟 · Hellokitty