SolidAttention论文阅读: 在小显存电脑上用 SSD 承接长上下文

只有 8 GB 显存的笔记本,能不能处理 128k token 的历史?模型权重还没算,完整 KV 就已经占了不少空间。把 KV 挪到 SSD 可以解决容量,却不能假装每生成一个 token 时都有足够时间把全量历史搬回 GPU。 FAST ‘26 论文 SolidAttention: Low-Latency SSD-based Serving on Memory-Constrained PCs 的解法,是把动态稀疏注意力与按 SSD 特性安排读写一起设计。只减小 GPU 缓冲区会让 I/O 变成新瓶颈;只减少注意力计算、不改变读取粒度,SSD 同样难以跑快。 一次 decode 实际需要多少历史 完整 KV 占用大致随上下文长度线性增长,也与层数、KV head 数、head 维度和数据精度成正比。GQA 能减少 KV head 数,但 128k 这种长度仍会给本地显存和内存带来压力。对于长上下文注意力,不同历史 token 对当前 query 的作用并不相等;SolidAttention 利用这一点,但不永久丢弃历史 KV。 系统把历史按 token 分块,从每块的 K 中提取代表向量。每层生成新 token 时,开头的 attention sink 块和最近一段的局部块必定保留;中间其他块则按代表向量与当前 query 的相似度,选出 top-k 参与本次注意力。没选中的块仍存在 SSD,后续 query 有需要时还可再读。与在 prefill 结束后一次性删除“冷 token”相比,这能避免未来问题突然需要旧信息时无处可找。 ...

2026年10月12日 · 2 分钟 · Hellokitty

CacheSlide论文阅读: 位置变了,KV Cache 还能复用吗

Agent 调用完一次工具,下一次提示词往往只是多了一段工具输出。后面的长期记忆、规则说明一个字没变,却整体向后挪了几十个 token。这一段过去生成的 KV,能直接搬到新位置用吗? CacheSlide: Unlocking Cross Position-Aware KV Cache Reuse for Accelerating LLM Serving 回答的是一个比“前缀缓存命中没命中”更难的问题:文字相同,位置和前文改变之后,KV 不一定相同。 简单跳过 prefill 可能提升速度,但会破坏注意力,最终改变答案。 “固定片段”不一定待在固定位置 可以用下面这个简化结构理解 Agent 提示词。两轮中的固定片段内容和相对先后顺序没变,但中间动态内容变长了: 第一轮:固定规则 A │ 动态工具结果 1 │ 固定知识 B │ 新问题 第二轮:固定规则 A │ 更长的动态结果 2 │ 固定知识 B │ 新问题 ↑ B 的绝对位置已变 论文把常见方法分为固定位置复用(PDC)与位置无关复用(PIC),再提出介于两者之间的相对位置依赖复用(RPDC)。区分不在于是否“允许重用一段文本”,而在于能接受怎样的提示词变化: 路线 可以复用什么 主要代价 固定位置复用 PDC 原位置不变的前缀或预先算好的位置 动态内容一插入,后续固定片段就可能错过缓存 位置无关复用 PIC 从别的位置取相同片段 忽略位置与前文,容易造成 KV 漂移,还需额外重算修正 相对位置依赖 RPDC 固定片段绝对位置变化,但相对顺序保持 需要识别提示词结构,仍须校正变化片段造成的注意力影响 为什么不能干脆把动态内容移到末尾,制造一个大前缀?因为工具结果可能被后续指令引用;调换顺序会改语义和依赖关系。RPDC 不是任意重排的缓存,而是利用 Agent 模板本身保留的顺序。 ...

2026年10月12日 · 2 分钟 · Hellokitty

Bidaw论文阅读: 让计算与两级 KV 存储互相感知

聊到第 20 轮时,同一个用户的前 19 轮对话还得给模型看。如果历史 KV 已经从显存移走,每轮都从头做 prefill 很浪费;可就算把 KV 存到了主机内存和 SSD,下一轮读它回来仍可能让 GPU 干等。Bidaw: Enhancing Key-Value Caching for Interactive LLM Serving via Bidirectional Computation–Storage Awareness 要解决的,正是“有缓存,端到端服务却不够快”的问题。 这篇 FAST ‘26 论文同时改计算侧的请求调度、存储侧的淘汰决策,以及缓存张量的选择。下面沿着一次用户再次提问的路径看它怎样工作。 为什么仅仅缓存 KV 不够 多轮对话的 KV 会随轮数和并发用户一起增长。作者的交互式对话负载中,平均每位用户有 22.4 轮;如果每轮重算之前的历史,冗余计算最高可占总计算量的 93.1%。所以不能简单地说“SSD 慢,不如每轮重算”。 但缓存也不是免费的。论文采用 GPU 显存之外的两层存储:主机 DRAM 是性能层,SSD 是容量层。当历史 KV 总量超过主机内存,部分请求必须先从 SSD 升到 DRAM,再进 GPU。实验机器的 SSD 阵列带宽约 1.5 GB/s,明显慢于 CPU 到 GPU 的传输;请求排错队,GPU 就可能因一份很大的历史 KV 在 SSD 上而闲着。作者将现有两级缓存方案与“所有 KV 都在主机 DRAM”的模拟上界对照,发现前者在其负载下的响应延迟最多高出 3.8 倍。这里的上界是假设能装下全部历史的对照,不是作者真的给服务器加了无限内存。 ...

2026年10月12日 · 2 分钟 · Hellokitty

SGLang 双 Stream 重叠调度:如何把 CPU 后处理藏到 GPU 计算背后

大模型自回归推理看起来是纯 GPU 工作:每一步做一次模型前向,采样一个 token,再把 token 喂给下一步。然而在高性能推理系统里,GPU 计算只是流水线的一部分。采样结果回传、EOS 判断、请求回收、KV Cache 管理、下一批组装和元数据准备,都可能在两次前向之间制造空洞。 SGLang 的 Overlap Scheduling 解决的正是这个问题。它不是简单地“多开一条 CUDA stream”,而是同时完成两件事: 让当前步产生的 token 留在 GPU,直接作为下一步输入,解除下一次 forward 对 CPU 读值的依赖; 用 scheduler stream 和 engine stream 构造软件流水线,让 GPU 计算当前批次时,调度器处理上一批次的结果。 本文以 Mini-SGLang 的 python/minisgl/scheduler/scheduler.py 为线索,解释 overlap_loop、_forward 和 _process_last_data 背后的依赖重排。 先看结论:优化的不是“提交速度”,而是依赖关系 CUDA kernel 的提交本来就是异步的。CPU 把工作放进 stream 后,不必等待 GPU 完成。因此一个自然的问题是:只用一条 stream,只要 CPU 提交得足够快,不也能让 GPU 连续工作吗? 如果系统只有计算任务,这个判断基本成立。但自回归推理存在一个控制依赖:调度器通常要知道采样出的 token,才能判断请求是否命中 EOS、是否应该释放资源,以及下一轮有哪些请求仍应留在 batch 中。 串行执行会形成如下链条: GPU: forward(B1) ── idle ── forward(B2) ── idle ── forward(B3) CPU: 处理 B1 处理 B2 读 token 读 token 判 EOS 判 EOS 组 B2 组 B3 GPU 完成 B1 后,CPU 才读取结果并决定 B2。此时 GPU 没有可执行的新工作,只能等待。这不是 CPU 调用 CUDA API 太慢,而是 B2 在逻辑上依赖 B1 的结果。 ...

2026年8月30日 · 4 分钟 · Hellokitty

tiny-llm:在 Apple Silicon 上从 Transformer 算子走到推理系统与 Agent

如果你已经知道 Transformer 的基本结构,却仍然不清楚 vLLM 一类推理系统为什么需要 KV Cache、Continuous Batching、Paged Attention,以及这些技术最终如何支撑 Agent,skyzh/tiny-llm 是一条很好的动手路径。 它不是一个追求生产可用的迷你框架,而是一门以 Qwen3 和 MLX 为载体的系统课程:先用可读的数组运算实现模型,再围绕真实性能瓶颈写 Metal 内核,随后搭出动态批处理和分页缓存,最后把同一个本地模型接入带工具、检查点、压缩、评测和分支选择的 Agent 循环。 截至 2026 年 8 月 27 日,项目约有 4.5k stars,使用 Apache-2.0 许可证。课程主体分为四周,已覆盖从注意力到受控 Agent 的完整主线。 项目定位:不是“再写一个 Transformer” 很多教学项目止步于“加载权重并生成一句话”。tiny-llm 的不同之处,是把模型实现当作起点,而不是终点。 它试图回答三个递进的问题: 一个现代开源模型如何由矩阵运算变成文本? 一个正确但缓慢的实现,如何通过测量和内核优化接近成熟框架? 一个推理引擎如何进一步成为可暂停、可审计、可恢复的 Agent 执行器? 项目选择 Apple Silicon、MLX 和 Qwen3。统一内存让 CPU、GPU 和模型权重处在相对简单的硬件环境里;MLX 提供熟悉的 Python 数组接口,同时允许下沉到 Metal;Qwen3 则带有 GQA、QK Norm、BF16 激活和 4-bit 权重,足以暴露真实推理系统中的带宽、注意力与缓存问题。 代码结构刻意分成两套: src/tiny_llm/ 是学习者逐步补全的实现; src/tiny_llm_ref/ 是参考实现,用于测试和基准对照; src/extensions/ 与 src/extensions_ref/ 分别放置 Metal/C++ 扩展; tests_refsol/ 按周和天组织验收测试; book/ 是完整课程正文。 这种布局把“阅读—实现—测试—测量”闭成了环。 ...

2026年8月27日 · 3 分钟 · Hellokitty