Tutti 论文阅读:让 SSD KV Cache 真正服务长上下文推理

长上下文推理会生成大量 KV Cache。HBM 放不下,DRAM 成本高,NVMe SSD 容量大却经常因为 I/O 控制开销而无法进入关键路径。Tutti 的结论是:问题不只是“数据能否从 SSD 直达显存”,而是谁负责把数以千计的 KV 块转成设备请求、提交队列并处理完成。 Tutti 将这条控制路径交给 GPU:CPU 按层启动 I/O kernel,GPU 批量解析 KV 对象、生成 NVMe 命令、敲 doorbell 并轮询完成,同时利用 Transformer 层之间的计算空隙隐藏读取与写回。论文报告,在其测试环境中,相比 SSD-backed LMCache,严格 SLO 下 TTFT 降低 78.3%,可承载请求率提高 2 倍,服务成本降低 27%。 本文阅读论文 Tutti: Making SSD-Backed KV Cache Practical for Long-Context LLM Serving,重点解释它为什么需要 GPU-centric I/O、系统如何工作,以及实验结论应该怎样理解。 一、SSD KV Cache 为什么难用 自回归模型在 prefill 阶段为每层生成 Key 和 Value。后续请求若共享前缀,可以直接载入已有 KV Cache,省去重复计算。 请求 A:系统提示词 + 文档 + 问题 A 请求 B:系统提示词 + 文档 + 问题 B └── 可复用前缀 ──┘ KV Cache 容量随上下文长度、层数、并发和 KV head 数增长。分层存储因此很自然: ...

2026年9月3日 · 3 分钟 · Hellokitty

NVIDIA Dynamo 源码阅读(一):数据中心级推理栈的整体架构

NVIDIA Dynamo 不是另一个 vLLM 或 TensorRT-LLM。它不负责重新实现 Attention、Continuous Batching 或模型执行,而是把多个推理引擎实例组织成一个可路由、可拆分、可扩缩的服务。 这一区分决定了阅读源码的入口:不要从 CUDA kernel 开始,而应先找到请求如何跨过 Frontend、Router、Prefill Worker 和 Decode Worker,以及服务发现、事件传播、KV 传输分别位于哪一层。 本文基于 Dynamo 提交 27f09d5,仓库版本为 1.5.0。 一、Dynamo 解决的不是单卡执行问题 单个推理引擎已经能完成一次生成:接收 token、执行 Prefill、循环 Decode、管理本机 KV Cache。规模扩大后,系统出现新的问题: 同一前缀可能被多个副本重复 Prefill。 Prefill 与 Decode 的算力和延迟特征不同,固定配比容易浪费 GPU。 Worker 上下线后,路由器必须快速获得最新拓扑。 KV Cache 不仅存在于显存,还可能分布在主存、SSD 或其他节点。 不同后端有不同请求格式与 KV 传输协议,但上层服务不应被绑定。 Dynamo 把这些问题放在推理引擎之上: 控制面 Discovery / Planner / Metrics | v Client -> Frontend -> Router -> Inference Worker | | | | +---- KV Events+ | +------ 流式响应 ----------> KV 数据面(按需) Prefill Worker ======> Decode Worker NIXL / backend connector 请求平面回答“请求发给谁”;KV 数据面回答“缓存如何移动”;控制面回答“哪些实例存在、负载怎样、是否扩缩容”。三者分开,是 Dynamo 架构最重要的设计。 ...

2026年8月26日 · 2 分钟 · Hellokitty

Mini-SGLang 源码阅读(一):一次 LLM 请求如何穿过推理引擎

大模型推理框架并不只是执行一次 model.forward()。在线服务面对的是持续到达、长度不同、生成进度不同的请求,它必须同时解决文本编解码、动态批处理、KV Cache、GPU 执行和流式返回。 Mini-SGLang 把这些问题压缩在一套相对紧凑的代码中。本文先不进入具体优化,而是建立阅读后续源码所需的整体模型:一次请求如何从 HTTP 文本进入系统,经过 Prefill 和多轮 Decode,最后以流式文本返回。 本文基于 Mini-SGLang 提交 9a91cfa。 一、推理为何分成 Prefill 和 Decode 输入 prompt 包含多个 token。模型第一次执行时,需要同时处理全部输入 token,并为每一层生成 Key、Value。这一阶段称为 Prefill。 输入: [t0, t1, t2, t3] 计算: 同时处理多个位置 产物: 最后位置的 logits + 四个位置的 KV Cache 接下来每轮只生成一个 token。已有 token 的 K、V 不应重复计算,只需读取缓存并计算新 token: 已有: [t0, t1, t2, t3] 第 1 轮 Decode:输入 t3,生成 t4 第 2 轮 Decode:输入 t4,生成 t5 第 3 轮 Decode:输入 t5,生成 t6 因此两阶段的计算形态不同:Prefill 计算量大、输入长度不等;Decode 单次计算小,但会循环很多轮。现代推理引擎通常分别为两者设计调度与 Attention kernel。 ...

2026年8月25日 · 3 分钟 · Hellokitty