CacheSlide论文阅读: 位置变了,KV Cache 还能复用吗
Agent 调用完一次工具,下一次提示词往往只是多了一段工具输出。后面的长期记忆、规则说明一个字没变,却整体向后挪了几十个 token。这一段过去生成的 KV,能直接搬到新位置用吗? CacheSlide: Unlocking Cross Position-Aware KV Cache Reuse for Accelerating LLM Serving 回答的是一个比“前缀缓存命中没命中”更难的问题:文字相同,位置和前文改变之后,KV 不一定相同。 简单跳过 prefill 可能提升速度,但会破坏注意力,最终改变答案。 “固定片段”不一定待在固定位置 可以用下面这个简化结构理解 Agent 提示词。两轮中的固定片段内容和相对先后顺序没变,但中间动态内容变长了: 第一轮:固定规则 A │ 动态工具结果 1 │ 固定知识 B │ 新问题 第二轮:固定规则 A │ 更长的动态结果 2 │ 固定知识 B │ 新问题 ↑ B 的绝对位置已变 论文把常见方法分为固定位置复用(PDC)与位置无关复用(PIC),再提出介于两者之间的相对位置依赖复用(RPDC)。区分不在于是否“允许重用一段文本”,而在于能接受怎样的提示词变化: 路线 可以复用什么 主要代价 固定位置复用 PDC 原位置不变的前缀或预先算好的位置 动态内容一插入,后续固定片段就可能错过缓存 位置无关复用 PIC 从别的位置取相同片段 忽略位置与前文,容易造成 KV 漂移,还需额外重算修正 相对位置依赖 RPDC 固定片段绝对位置变化,但相对顺序保持 需要识别提示词结构,仍须校正变化片段造成的注意力影响 为什么不能干脆把动态内容移到末尾,制造一个大前缀?因为工具结果可能被后续指令引用;调换顺序会改语义和依赖关系。RPDC 不是任意重排的缓存,而是利用 Agent 模板本身保留的顺序。 ...