SolidAttention论文阅读: 在小显存电脑上用 SSD 承接长上下文
只有 8 GB 显存的笔记本,能不能处理 128k token 的历史?模型权重还没算,完整 KV 就已经占了不少空间。把 KV 挪到 SSD 可以解决容量,却不能假装每生成一个 token 时都有足够时间把全量历史搬回 GPU。 FAST ‘26 论文 SolidAttention: Low-Latency SSD-based Serving on Memory-Constrained PCs 的解法,是把动态稀疏注意力与按 SSD 特性安排读写一起设计。只减小 GPU 缓冲区会让 I/O 变成新瓶颈;只减少注意力计算、不改变读取粒度,SSD 同样难以跑快。 一次 decode 实际需要多少历史 完整 KV 占用大致随上下文长度线性增长,也与层数、KV head 数、head 维度和数据精度成正比。GQA 能减少 KV head 数,但 128k 这种长度仍会给本地显存和内存带来压力。对于长上下文注意力,不同历史 token 对当前 query 的作用并不相等;SolidAttention 利用这一点,但不永久丢弃历史 KV。 系统把历史按 token 分块,从每块的 K 中提取代表向量。每层生成新 token 时,开头的 attention sink 块和最近一段的局部块必定保留;中间其他块则按代表向量与当前 query 的相似度,选出 top-k 参与本次注意力。没选中的块仍存在 SSD,后续 query 有需要时还可再读。与在 prefill 结束后一次性删除“冷 token”相比,这能避免未来问题突然需要旧信息时无处可找。 ...