从提示词到下一个 token:nano-vLLM 请求生命周期、KV cache 与 batch 时序
一条提示词进入推理引擎之后,并不是直接“送给 GPU 生成文字”。它先变成 CPU 上的 token ID 和请求状态;调度器决定本轮计算哪些位置、复用哪些 KV 块;执行器把本轮输入和地址映射送上 GPU,运行模型并采样;采样结果再回到 CPU,才能决定下一轮要计算什么。[S1][S2][S3] nano-vLLM 很适合把这条链看清楚,因为这些环节集中在少量 Python 文件里。但不能把成熟推理系统的所有能力自动套到它身上。本文分析的版本已有 chunked prefill,却没有把 prefill 和 decode 混进同一次模型调用,也没有实现显式的跨 batch CPU/GPU 流水重叠。后文会沿实际控制流解释这个结论,而不是根据功能名称猜测。[S2][S3] 分析快照为 2026 年 9 月 12 日获取的 GeeeekExplorer/nano-vllm 默认分支提交 bb823b3e06983d71485a8e1f23715ebd87d98ef8,对应提交日期为 2026 年 4 月 26 日。源码链接全部固定到这一版本。 除静态阅读外,本文做了三类小实验:真实 Qwen3 tokenizer 编码;直接驱动仓库原有 Scheduler、BlockManager 的控制面实验;提取原始输入准备方法并在 CUDA 上执行,核对实际张量和地址映射。控制面实验使用人为指定的采样结果,不代表执行了模型;本文没有跑完整模型推理、吞吐 benchmark 或 Nsight 时间线。 一、先分清两条生命周期:引擎初始化与请求执行 LLM 本身只是 LLMEngine 的简单派生类。真正的主干如下:[S1][S4] 初始化一次 Config / 模型配置 → ModelRunner / GPU 模型与权重 → warmup / KV cache 内存池 / 可选 CUDA Graph → tokenizer / Scheduler 每个请求 字符串或 token IDs → add_request / Sequence / waiting → schedule → prepare_prefill 或 prepare_decode → GPU 模型前向 / logits / sampling → token IDs 返回 CPU → postprocess / 更新 KV 元数据与请求状态 → 下一轮,或结束后解码为文字 ModelRunner 设置 CUDA 设备和默认 dtype,在 GPU 上创建 Qwen3 模型。权重加载器从 safetensors 读取 CPU 侧权重,再经各层的 loader 复制到对应参数;Q、K、V 和 gate/up 投影还会被装入打包后的参数矩阵。[S3][S5][S6] ...