Agent 调用完一次工具,下一次提示词往往只是多了一段工具输出。后面的长期记忆、规则说明一个字没变,却整体向后挪了几十个 token。这一段过去生成的 KV,能直接搬到新位置用吗?

CacheSlide: Unlocking Cross Position-Aware KV Cache Reuse for Accelerating LLM Serving 回答的是一个比“前缀缓存命中没命中”更难的问题:文字相同,位置和前文改变之后,KV 不一定相同。 简单跳过 prefill 可能提升速度,但会破坏注意力,最终改变答案。

“固定片段”不一定待在固定位置

可以用下面这个简化结构理解 Agent 提示词。两轮中的固定片段内容和相对先后顺序没变,但中间动态内容变长了:

第一轮:固定规则 A │ 动态工具结果 1   │ 固定知识 B │ 新问题
第二轮:固定规则 A │ 更长的动态结果 2 │ 固定知识 B │ 新问题
                                               ↑ B 的绝对位置已变

论文把常见方法分为固定位置复用(PDC)与位置无关复用(PIC),再提出介于两者之间的相对位置依赖复用(RPDC)。区分不在于是否“允许重用一段文本”,而在于能接受怎样的提示词变化:

路线可以复用什么主要代价
固定位置复用 PDC原位置不变的前缀或预先算好的位置动态内容一插入,后续固定片段就可能错过缓存
位置无关复用 PIC从别的位置取相同片段忽略位置与前文,容易造成 KV 漂移,还需额外重算修正
相对位置依赖 RPDC固定片段绝对位置变化,但相对顺序保持需要识别提示词结构,仍须校正变化片段造成的注意力影响

为什么不能干脆把动态内容移到末尾,制造一个大前缀?因为工具结果可能被后续指令引用;调换顺序会改语义和依赖关系。RPDC 不是任意重排的缓存,而是利用 Agent 模板本身保留的顺序。

CacheSlide 系统工作流:位置编码、注意力修正与 SLIDE KV 页管理

论文图 6:CCPE 处理位置变化,WCA 修正注意力,SLIDE 管理 KV 的写入与加载。截图来自 CacheSlide 官方 PDF 第 7 页,版权归原作者。

先处理位置漂移,再补注意力

第一关是 PMKD,即相同片段在不同位置复用时,缓存 KV 与重新计算的 KV 发生偏移。作者用 CKSim 比较键向量的相似度,观察到在其受控位置移动实验里,传统 RoPE 的相似度随偏移增大明显下滑;低位置敏感度的 CoPE 更稳定。这不是说所有 RoPE 模型都不能缓存,而是在跨位置直接搬运旧 KV 的前提下,位置编码会成为障碍。

CacheSlide 的 CCPE 将提示词按模板切为可复用块与必须重算块,为可复用块学习相对稳定的位置编码范围。这里的“学习”不是可省略的配置项:论文针对任务数据做了继续适配,保留模型主干权重、训练注意力层的 LoRA adapter,以支持 CoPE。之后才有条件让固定块的缓存位置与当前推理时的位置尽量接近。

更细看,它先用同一类任务的提示词学习常见的编码模式,再由 Agent 模板标出哪些块可复用、哪些块必须重算。命中时按块的内容查找旧 KV,重新计算的块使用当前输入的编码。这不是简单为每个 token 统一减去一个偏移:如果只靠给片段前面留一个预估长度的空窗口,动态工具输出超过窗口就会再次错位;窗口留得过大,又会扩大存储和计算负担。论文的窗口填充对照也出现了明显的 F1 退化。

第二关是跨片段注意力。即便固定块彼此相对位置差不多,动态块的内容更新也会影响它们。Weighted Correction Attention(WCA)先在第一层重新计算并比较缓存 KV 和当前 KV 的差异,挑出偏差较大的 token;后续层主要重算这些 token,将新旧结果按权重融合。算法每隔数层检查相似度,必要时调整被重算的集合。换句话说,它没有“零成本缓存整个固定块”:首层比较和后续选定 token 的修正都是真实开销,收益来自避免所有层、所有固定 token反复做全量计算。

挑选依据也有讲究:第一层比较同一 token 的新旧键向量差异,再选偏差较大的 top-k;后续每隔四层检查 CKSim。如果某些原先选中的 token 仍达不到预设的相似度要求,就换入其他更需要修正的位置。作者在其模型与数据集的参数扫描里,正确完成任务的 QPS 在 top-k 约 26%、CKSim 阈值约 0.12 时达到峰值;这两个数是该组实验的调参观察,不能复制成所有 Agent 的默认参数。

也因此,论文谈的是受测任务中低精度损失的近似复用,不是像查同一条字节流那样无条件精确命中。最终该看任务准确率与首 token 延迟(TTFT)的取舍,不能只看复用率。

SSD 页管理为什么和位置编码出现在一篇论文里

WCA 会逐层读取旧 KV、更新一部分 token。若一层必须等旧页从 SSD 载入后才能写新 KV,前面省下的计算时间可能在 I/O 上还回去。CacheSlide 为此设计 SLIDE:当重算比读取更早结束时,先把更新结果写入临时新页,避免写操作卡在旧页的加载上,之后更新页映射并复用可用槽位。

这个小小的“另开一页”解决了加载旧页与写新页争同一位置的问题,但要付出额外页面和索引维护成本。系统在进入后续层前按首层选中 token 的数量准备额外槽位,加载与重算各自推进,之后再按映射关系合并。若旧数据先装完,则可以直接更新原来的槽位;两种顺序都必须保证当前层使用的 KV 版本正确。

内存压力继续增大时,KV 页还要溢出到 SSD。更新过的脏页若频繁写回,会造成零碎写入和写放大。SLIDE 先逐出不需写回的干净页;不得不逐出脏页时,优先把含较多被选 token 的页聚起来写。它把“允许跨位置重用”的算法问题,接到了“这批局部修改怎样不拖慢 SSD”的系统问题上。

数字与复现前提放在一起看

实现基于 vLLM 0.8.5。主要实验使用单张 A100 80 GB,70B 模型改用两张;主机有 500 GB DRAM 和 2 TB NVMe。模型覆盖 Mistral-7B、MPT-30B、Llama-3 70B,任务覆盖多跳问答、多会话记忆和软件修复 Agent。作者不仅量 TTFT,也量答案质量与 SSD 写放大。

指标论文报告的范围读法
请求延迟与吞吐延迟改善 3.11~4.3 倍,吞吐提升 3.5~5.8 倍来自不同受测配置,不是单个请求必然同时取得两个上界
SSD 写放大比受测方案降低 3.11~3.62 倍体现脏页感知淘汰,存储压力低时重要性会下降
答案质量在受测任务中接近重算基线,形成较好的准确率–TTFT 权衡“接近”不等于对所有提示词无损,也不是数学上的 KV 等价

最需要留意的对照条件是:CacheSlide 运行时启用了适配过的 CoPE,而比较方案保留各自原生的 RoPE/ALiBi;除了缓存管理,它还包含位置编码和模型适配的改动。固定片段相对顺序若经常变化、提示词模板无法稳定切块,或者没有条件训练 adapter,就不能把论文的倍数直接当成原生模型上“一键启用跨位置缓存”的收益。

如果只想复核“存储系统部分到底有没有用”,可以看论文在 SWE-Agent 任务下的写放大消融,以及增加 batch/beam width 后的 TTFT:并发越高、越容易把 KV 推向 SSD,脏页管理的重要性越明显。反过来,若所有 KV 都能常驻内存,SLIDE 防止 SSD 零碎写入的收益自然会减小;这时 CCPE 与 WCA 的计算/质量取舍才是主角。

参考资料

CacheSlide 论文页面

CacheSlide 官方 PDF(位置漂移、算法与消融实验)