LMCache MP 模式详解:CUDA IPC、共享内存与 Pickle 如何传输 KV Cache

从 PagedAttention 的 Gather/Scatter 出发,解释 LMCache 多进程模式中 CUDA IPC、SHM 和 Pickle 三条 KV Cache 传输路径的工作原理、复制成本与适用场景。

2026年9月4日 · 4 分钟 · Hellokitty