vLLM 与 LMCache MP 模式如何对接:从调度器到缓存服务的数据链路

从 LMCacheMPConnector 源码出发,分析 vLLM 调度器、GPU Worker、LMCache MP Server、L1/L2 存储之间的控制面和数据面,并分别梳理 STORE、LOOKUP、RETRIEVE 的完整时序。

2026年9月6日 · 8 分钟 · Hellokitty