vLLM 与 LMCache MP 模式如何对接:从调度器到缓存服务的数据链路
从 LMCacheMPConnector 源码出发,分析 vLLM 调度器、GPU Worker、LMCache MP Server、L1/L2 存储之间的控制面和数据面,并分别梳理 STORE、LOOKUP、RETRIEVE 的完整时序。
从 LMCacheMPConnector 源码出发,分析 vLLM 调度器、GPU Worker、LMCache MP Server、L1/L2 存储之间的控制面和数据面,并分别梳理 STORE、LOOKUP、RETRIEVE 的完整时序。
从源码拆解 LMCache LazyMemoryAllocator 如何预留连续 CPU 缓冲区、后台分批注册 pinned memory、通过地址管理器完成 alloc/free,并分析其内部碎片、外部碎片与暂时性容量不足问题。
用操作系统虚拟内存和压缩前缀树两个类比,解释 PagedAttention 如何管理 KV 物理块、RadixCache 如何发现并复用公共前缀,并给出可运行的纯 Python 简化实现。
从 PagedAttention 的 Gather/Scatter 出发,解释 LMCache 多进程模式中 CUDA IPC、SHM 和 Pickle 三条 KV Cache 传输路径的工作原理、复制成本与适用场景。