从提示词到下一个 token:nano-vLLM 请求生命周期、KV cache 与 batch 时序

一条提示词进入推理引擎之后,并不是直接“送给 GPU 生成文字”。它先变成 CPU 上的 token ID 和请求状态;调度器决定本轮计算哪些位置、复用哪些 KV 块;执行器把本轮输入和地址映射送上 GPU,运行模型并采样;采样结果再回到 CPU,才能决定下一轮要计算什么。[S1][S2][S3] nano-vLLM 很适合把这条链看清楚,因为这些环节集中在少量 Python 文件里。但不能把成熟推理系统的所有能力自动套到它身上。本文分析的版本已有 chunked prefill,却没有把 prefill 和 decode 混进同一次模型调用,也没有实现显式的跨 batch CPU/GPU 流水重叠。后文会沿实际控制流解释这个结论,而不是根据功能名称猜测。[S2][S3] 分析快照为 2026 年 9 月 12 日获取的 GeeeekExplorer/nano-vllm 默认分支提交 bb823b3e06983d71485a8e1f23715ebd87d98ef8,对应提交日期为 2026 年 4 月 26 日。源码链接全部固定到这一版本。 除静态阅读外,本文做了三类小实验:真实 Qwen3 tokenizer 编码;直接驱动仓库原有 Scheduler、BlockManager 的控制面实验;提取原始输入准备方法并在 CUDA 上执行,核对实际张量和地址映射。控制面实验使用人为指定的采样结果,不代表执行了模型;本文没有跑完整模型推理、吞吐 benchmark 或 Nsight 时间线。 一、先分清两条生命周期:引擎初始化与请求执行 LLM 本身只是 LLMEngine 的简单派生类。真正的主干如下:[S1][S4] 初始化一次 Config / 模型配置 → ModelRunner / GPU 模型与权重 → warmup / KV cache 内存池 / 可选 CUDA Graph → tokenizer / Scheduler 每个请求 字符串或 token IDs → add_request / Sequence / waiting → schedule → prepare_prefill 或 prepare_decode → GPU 模型前向 / logits / sampling → token IDs 返回 CPU → postprocess / 更新 KV 元数据与请求状态 → 下一轮,或结束后解码为文字 ModelRunner 设置 CUDA 设备和默认 dtype,在 GPU 上创建 Qwen3 模型。权重加载器从 safetensors 读取 CPU 侧权重,再经各层的 loader 复制到对应参数;Q、K、V 和 gate/up 投影还会被装入打包后的参数矩阵。[S3][S5][S6] ...

2026年9月12日 · 11 分钟 · Hellokitty

Mini-SGLang 源码阅读(二):Scheduler、Continuous Batching 与 Chunked Prefill

在线 LLM 调度器要回答的不是“下一个运行哪个进程”,而是:这一轮把哪些请求、哪些 token 放入同一个 GPU batch,并确保显存、KV Cache 和计算预算都不超限。 本文先建立 Continuous Batching、Chunked Prefill 与 Overlap Scheduling 的理论模型,再阅读 Mini-SGLang 的 Scheduler 实现。源码基于提交 9a91cfa。 一、调度器面对三种资源 LLM 请求至少消耗三类资源。 第一是计算量。Prefill 的计算大致随输入 token 数增长,Decode 每个请求每轮只增加一个 token。 第二是 KV Cache。一个请求即使本轮只计算一个 token,也必须继续持有全部历史 K、V。 第三是 batch 槽位和 CUDA Graph 形状。请求数、总 token 数和序列长度都会限制可执行 batch。 因此 Scheduler 需要同时维护两个预算: 本轮计算预算:最多处理多少新 token 长期缓存预算:这些请求最多还会占多少 KV 页 只看当前空闲页是不够的。如果 Prefill 阶段把缓存全部吃完,已经进入 Decode 的请求可能无法继续生成。 二、Continuous Batching 的状态划分 Mini-SGLang 将请求分成两个主要集合: waiting queue:尚未完成 Prefill,等待进入 GPU running batch:已经 Prefill,正在逐 token Decode 传统静态 batch 的生命周期以“整批”为单位;Continuous Batching 的生命周期以“请求”为单位。某个请求完成后立即离开,空出的槽位可以接纳新请求。 ...

2026年8月25日 · 3 分钟 · Hellokitty