DeepInfer 源码拆解:DeepSeek 怎样让 GPU 少干活、少等人
沿 DeepInfer 的 C++ 调度器、Worker 和模型执行路径,拆解异步调度、DSpark 变长验证、SWA 有界回放、Wide-EP、专家负载均衡与融合算子,也聊聊当前开源版本和性能数据的边界。
沿 DeepInfer 的 C++ 调度器、Worker 和模型执行路径,拆解异步调度、DSpark 变长验证、SWA 有界回放、Wide-EP、专家负载均衡与融合算子,也聊聊当前开源版本和性能数据的边界。
64 个加速器一起保存 checkpoint,如果每个进程只会向存储系统说“写这个文件”,存储层很难发现大家写了相同参数,也不知道哪些节点还有空闲的传输链路。到了推理阶段,多个实例要读同一份模型或 KV Cache,又会遇到类似的问题。 FAST ‘26 的 Fast Cloud Storage for AI Jobs via Grouped I/O API with Transparent Read/Write Optimizations 研究的是让存储系统看见一组操作的整体意图。论文中的 AITURBO 借用空闲主机 DRAM 和加速器通信网络,把数据读写的去重、放置和分发计划从各 AI 框架里挪到存储层。 先看两张网络为什么不一样忙 论文所在的云集群里,一组加速器既连着存储服务器,也有用于彼此通信的高速计算网络。前者要承担许多作业的文件读写,后者往往按更高的带宽需求建设。受测环境中,一台计算节点的存储网卡为 100 Gbps,论文所列计算侧互联为 200 Gbps;这些是实验集群配置,不是所有 AI 集群的标准值。 可以把 AITURBO 的读路径理解成:数据先从存储服务器取到某些计算节点的 DRAM,再通过原有的计算网络向需要它的加速器转发。多个加速器需要同一块数据时,没有必要每个实例都重新穿过存储网络去拿一份。 存储服务器 ──存储网络──→ 节点 A 的空闲 DRAM │ └─计算网络─→ 需要相同数据的 XPU 组 控制面:job controller 规划来源、落点与转发路径 数据面:各节点依照计划传输,不逐块经过控制器 论文图 8:计算节点内的读写规划器和缓冲区,与计算网络、存储网络协同传输。截图来自 AITURBO 官方 PDF 第 7 页,版权归原作者。 这里的“借路”有前提:计算网络必须有余量,缓冲区也得可用。论文指出某些推荐模型推理工作负载可能把主机 DRAM 用满,AITURBO 因而瞄准的是具备可用资源的 AI 任务,而不是白白创造了新的物理带宽。 ...
只有 8 GB 显存的笔记本,能不能处理 128k token 的历史?模型权重还没算,完整 KV 就已经占了不少空间。把 KV 挪到 SSD 可以解决容量,却不能假装每生成一个 token 时都有足够时间把全量历史搬回 GPU。 FAST ‘26 论文 SolidAttention: Low-Latency SSD-based Serving on Memory-Constrained PCs 的解法,是把动态稀疏注意力与按 SSD 特性安排读写一起设计。只减小 GPU 缓冲区会让 I/O 变成新瓶颈;只减少注意力计算、不改变读取粒度,SSD 同样难以跑快。 一次 decode 实际需要多少历史 完整 KV 占用大致随上下文长度线性增长,也与层数、KV head 数、head 维度和数据精度成正比。GQA 能减少 KV head 数,但 128k 这种长度仍会给本地显存和内存带来压力。对于长上下文注意力,不同历史 token 对当前 query 的作用并不相等;SolidAttention 利用这一点,但不永久丢弃历史 KV。 系统把历史按 token 分块,从每块的 K 中提取代表向量。每层生成新 token 时,开头的 attention sink 块和最近一段的局部块必定保留;中间其他块则按代表向量与当前 query 的相似度,选出 top-k 参与本次注意力。没选中的块仍存在 SSD,后续 query 有需要时还可再读。与在 prefill 结束后一次性删除“冷 token”相比,这能避免未来问题突然需要旧信息时无处可找。 ...
Agent 调用完一次工具,下一次提示词往往只是多了一段工具输出。后面的长期记忆、规则说明一个字没变,却整体向后挪了几十个 token。这一段过去生成的 KV,能直接搬到新位置用吗? CacheSlide: Unlocking Cross Position-Aware KV Cache Reuse for Accelerating LLM Serving 回答的是一个比“前缀缓存命中没命中”更难的问题:文字相同,位置和前文改变之后,KV 不一定相同。 简单跳过 prefill 可能提升速度,但会破坏注意力,最终改变答案。 “固定片段”不一定待在固定位置 可以用下面这个简化结构理解 Agent 提示词。两轮中的固定片段内容和相对先后顺序没变,但中间动态内容变长了: 第一轮:固定规则 A │ 动态工具结果 1 │ 固定知识 B │ 新问题 第二轮:固定规则 A │ 更长的动态结果 2 │ 固定知识 B │ 新问题 ↑ B 的绝对位置已变 论文把常见方法分为固定位置复用(PDC)与位置无关复用(PIC),再提出介于两者之间的相对位置依赖复用(RPDC)。区分不在于是否“允许重用一段文本”,而在于能接受怎样的提示词变化: 路线 可以复用什么 主要代价 固定位置复用 PDC 原位置不变的前缀或预先算好的位置 动态内容一插入,后续固定片段就可能错过缓存 位置无关复用 PIC 从别的位置取相同片段 忽略位置与前文,容易造成 KV 漂移,还需额外重算修正 相对位置依赖 RPDC 固定片段绝对位置变化,但相对顺序保持 需要识别提示词结构,仍须校正变化片段造成的注意力影响 为什么不能干脆把动态内容移到末尾,制造一个大前缀?因为工具结果可能被后续指令引用;调换顺序会改语义和依赖关系。RPDC 不是任意重排的缓存,而是利用 Agent 模板本身保留的顺序。 ...
聊到第 20 轮时,同一个用户的前 19 轮对话还得给模型看。如果历史 KV 已经从显存移走,每轮都从头做 prefill 很浪费;可就算把 KV 存到了主机内存和 SSD,下一轮读它回来仍可能让 GPU 干等。Bidaw: Enhancing Key-Value Caching for Interactive LLM Serving via Bidirectional Computation–Storage Awareness 要解决的,正是“有缓存,端到端服务却不够快”的问题。 这篇 FAST ‘26 论文同时改计算侧的请求调度、存储侧的淘汰决策,以及缓存张量的选择。下面沿着一次用户再次提问的路径看它怎样工作。 为什么仅仅缓存 KV 不够 多轮对话的 KV 会随轮数和并发用户一起增长。作者的交互式对话负载中,平均每位用户有 22.4 轮;如果每轮重算之前的历史,冗余计算最高可占总计算量的 93.1%。所以不能简单地说“SSD 慢,不如每轮重算”。 但缓存也不是免费的。论文采用 GPU 显存之外的两层存储:主机 DRAM 是性能层,SSD 是容量层。当历史 KV 总量超过主机内存,部分请求必须先从 SSD 升到 DRAM,再进 GPU。实验机器的 SSD 阵列带宽约 1.5 GB/s,明显慢于 CPU 到 GPU 的传输;请求排错队,GPU 就可能因一份很大的历史 KV 在 SSD 上而闲着。作者将现有两级缓存方案与“所有 KV 都在主机 DRAM”的模拟上界对照,发现前者在其负载下的响应延迟最多高出 3.8 倍。这里的上界是假设能装下全部历史的对照,不是作者真的给服务器加了无限内存。 ...
阅读 py-kvcache 时,我最关心一个具体问题:已经知道一个请求的前缀命中了 SSD 缓存,接下来应该加载它,还是直接让 GPU 重算? 命中率只能说明数据是否存在,不能替系统回答这个问题。需要比较的是两条执行路径到达首个输出 token 的时间,而不只是 SSD 的标称带宽。 本文是基于 arXiv:2609.11744v1 的原创阅读笔记,不是论文全文译文。论文结果、源码观察与独立推导分别说明;没有复跑论文的性能基准。 一、先把论文数字放回实验条件里 原文第 7 节使用 vLLM 0.22。下面摘取 H100、Llama 3.2 3B、80k 前缀的 query TTFT 对照;这里的 80k 是 81,920 个 token,LMCache 基线是 0.4.7 的默认磁盘后端。 对照 论文报告的加速比 仅磁盘:py-kvcache 开启预加载,对比 LMCache 约 2.0× 同一 py-kvcache 磁盘配置,开启与关闭预加载 约 1.34× 多层缓存配置:py-kvcache 对比 LMCache 约 1.23× 仅磁盘实验使用 50 个并发请求,关闭 GPU 前缀缓存与 break-even 门控;论文多数测量使用 FP16 KV、只生成 1 个输出 token。Bailian 回放则呈现另一面:较弱 GPU 上有收益,H100 上相对 GPU 前缀缓存没有额外收益。 ...
一条提示词进入推理引擎之后,并不是直接“送给 GPU 生成文字”。它先变成 CPU 上的 token ID 和请求状态;调度器决定本轮计算哪些位置、复用哪些 KV 块;执行器把本轮输入和地址映射送上 GPU,运行模型并采样;采样结果再回到 CPU,才能决定下一轮要计算什么。[S1][S2][S3] nano-vLLM 很适合把这条链看清楚,因为这些环节集中在少量 Python 文件里。但不能把成熟推理系统的所有能力自动套到它身上。本文分析的版本已有 chunked prefill,却没有把 prefill 和 decode 混进同一次模型调用,也没有实现显式的跨 batch CPU/GPU 流水重叠。后文会沿实际控制流解释这个结论,而不是根据功能名称猜测。[S2][S3] 分析快照为 2026 年 9 月 12 日获取的 GeeeekExplorer/nano-vllm 默认分支提交 bb823b3e06983d71485a8e1f23715ebd87d98ef8,对应提交日期为 2026 年 4 月 26 日。源码链接全部固定到这一版本。 除静态阅读外,本文做了三类小实验:真实 Qwen3 tokenizer 编码;直接驱动仓库原有 Scheduler、BlockManager 的控制面实验;提取原始输入准备方法并在 CUDA 上执行,核对实际张量和地址映射。控制面实验使用人为指定的采样结果,不代表执行了模型;本文没有跑完整模型推理、吞吐 benchmark 或 Nsight 时间线。 一、先分清两条生命周期:引擎初始化与请求执行 LLM 本身只是 LLMEngine 的简单派生类。真正的主干如下:[S1][S4] 初始化一次 Config / 模型配置 → ModelRunner / GPU 模型与权重 → warmup / KV cache 内存池 / 可选 CUDA Graph → tokenizer / Scheduler 每个请求 字符串或 token IDs → add_request / Sequence / waiting → schedule → prepare_prefill 或 prepare_decode → GPU 模型前向 / logits / sampling → token IDs 返回 CPU → postprocess / 更新 KV 元数据与请求状态 → 下一轮,或结束后解码为文字 ModelRunner 设置 CUDA 设备和默认 dtype,在 GPU 上创建 Qwen3 模型。权重加载器从 safetensors 读取 CPU 侧权重,再经各层的 loader 复制到对应参数;Q、K、V 和 gate/up 投影还会被装入打包后的参数矩阵。[S3][S5][S6] ...
读 LMCache 的内存分配代码时,很容易遇到一个问题:构造函数明明有 numa_mapping 参数,为什么运行时一直是 None?回答它之前,需要先区分三件事:内存位于哪个 NUMA 节点、线程运行在哪些 CPU 上,以及主机内存是否经过 GPU 注册。 它们彼此相关,却不是同一个开关。 本文的源码结论固定在 LMCache 公开提交 fd6722d9310471bc7d1871969ef3062889878632,核对日期为 2026 年 9 月 10 日。本文是原理与代码分析,没有进行双路服务器性能实测,也不预设 NUMA 优化一定带来加速。 1. NUMA:访问同一份内存空间,距离却不一样 NUMA 是 Non-Uniform Memory Access,即非一致内存访问。这里的“非一致”说的是访问代价不一致,不是“不同 CPU 读到的数据不一致”。 Linux 内核文档把 NUMA 系统抽象为多个 node:节点可以包含 CPU、内存和 I/O 资源,节点之间通过互连通信。对某个 CPU 或 I/O 设备来说,目标内存所在节点的距离会影响访问延迟和有效带宽。常见的双路服务器可以简化成下面这样,但真实机器不能直接假定“一个 CPU 插槽等于一个 NUMA 节点”。 NUMA node 0 NUMA node 1 CPU cores + DRAM 0 CPU cores + DRAM 1 | | +---------- interconnect ----------+ | | PCIe / GPU 0 PCIe / GPU 1 CPU 0 -> DRAM 0: local access CPU 0 -> DRAM 1: remote access GPU 0 -> DRAM 1: potentially crosses the interconnect 这是一张示意图,不是某台机器的真实拓扑。实际 GPU、PCIe 交换机和内存控制器的关系,应以系统和设备工具报告为准。 ...
LMCache 的 L1MemoryManager、DevDaxL1MemoryManager 和 GDSL1MemoryManager,并不是同一种分配器换了三个名字。它们分别管理 DRAM 内存池、Device-DAX 映射池和 GDS slab 偏移空间。理解三者的关键,是把对象生命周期、空间分配和数据搬运分开。 本文基于 2026 年 9 月 10 日核对的公开 fork yangyang233333/LMCache,固定提交 7d9d54dd9b23703a73040e140753c95cd6c4bdb7。以下结论限定于这个实现快照,不代表上游发布版已经包含全部功能;本文为源码调研,没有进行真实 GDS、DAX/CXL 硬件性能实测。 1. 同一个 L1 层级,三种数据载体 先分清两个名字:L1Manager 管理 key、对象状态与读写生命周期,本文讨论的三个 memory manager 则负责空间分配与回收。淘汰策略和数据传输也不应与这层空间接口混为一谈。 L1Manager 的构造逻辑先检查 GDS 配置,再检查 DAX 路径,最后选择普通 DRAM 管理器。三者通过结构化接口 L1ManagerProtocol 暴露分配、释放、容量、介质识别、内存描述符和关闭等操作。 L1Manager:key、对象状态与读写生命周期 │ └── L1ManagerProtocol ├── L1MemoryManager │ └── LazyMemoryAllocator / MixedMemoryAllocator ├── DevDaxL1MemoryManager │ └── DevDaxMemoryAllocator │ ├── 可选 DRAM pool │ └── 一个或多个 DAX arena └── GDSL1MemoryManager └── AddressManager:slab 偏移与空闲区间 gpu_ops / connector:实际数据传输 └── GDS 对象分派到 GDSContext DevDaxL1MemoryManager 继承普通 L1MemoryManager,复用接口逻辑并替换 allocator;GDSL1MemoryManager 则是满足同一 Protocol 的独立实现,不继承普通管理器。 ...
沿 Python Core、PyO3 与 Rust worker 追踪 KV Cache 的落盘和回读,分析固定槽位、条件零拷贝、批量 I/O、NVMe passthrough 与 FDP 的收益及限制。