Tutti 源码阅读(二):GPU 如何直接驱动 NVMe 队列

Tutti 最具辨识度的代码位于运行时以下:自定义 snvme 内核模块建立受控 NVMe queue pair,libnvm 管理设备资源,GPU kernel 批量写 SQE、更新 doorbell 并轮询 CQE。数据通过 PCIe P2P DMA 在 SSD 与 HBM 之间移动,CPU 不再逐条提交 I/O。 本文沿一次读请求下潜,分析为什么主线 Linux NVMe 驱动不够、控制面与数据面如何分离、GPU 如何构造命令,以及条带化和 layer-wise overlap 怎样落实到代码结构。 项目源码:xPU-IO/Tutti。 一、为什么需要自定义 snvme NVMe 控制器的数据面并不复杂:主机写 Submission Queue,更新 MMIO doorbell,设备执行 DMA,再把 Completion Queue Entry 写回内存。 问题是 Linux 主线 NVMe 驱动没有向普通应用提供一套稳定机制,用来同时完成: 创建应用独占或受控的 I/O queue pair; 将 SQ/CQ 放入可被应用或 GPU 访问的固定内存; 把对应 doorbell BAR 页安全映射给应用; 将 GPU HBM 注册成 NVMe 可 DMA 的 peer memory; 允许应用自行轮询 CQ,而不经过每请求系统调用。 传统 read、io_uring 或 GDS 可以缩短部分路径,但 NVMe 队列仍主要由内核或 CPU 侧库控制。Tutti 要让 GPU 成为请求生产者,因此需要一个负责授权与建图的内核控制面。 ...

2026年9月3日 · 4 分钟 · Hellokitty

Tutti 源码阅读(一):StorageRuntime 如何组织 KV Cache I/O

Tutti 的论文强调 GPU 主导 I/O,但应用首先接触的不是 NVMe doorbell,而是一套稳定的 StorageRuntime API。它负责把 URI、文件 extent、GPU 内存、后端实例和异步请求组装起来,让上层无需知道底层究竟是单盘、条带化 NVMe,还是未来的其他传输路径。 本文阅读 Tutti v0.1.1 的运行时源码与设计文档,聚焦五个问题:公开 API 长什么样、open 如何解析对象、register_memory 为什么独立存在、submit/wait 如何路由,以及 vLLM connector 如何接入。 项目源码:xPU-IO/Tutti。 一、先看整体分层 当前代码把系统拆成以下层次: Application / vLLM Connector │ ▼ StorageRuntime open · register · submit · wait │ ┌──────┴──────┐ ▼ ▼ Resolver DataPath URI → target IO → backend │ │ └──── Binding ┘ │ local / striped NVMe StorageRuntime 是唯一稳定的应用接口;Resolver、Binding 和 DataPath 是内部 SPI。这样做避免上层依赖特定 NVMe 驱动或 GPU 厂商实现。 ...

2026年9月3日 · 3 分钟 · Hellokitty

Tutti 论文阅读:让 SSD KV Cache 真正服务长上下文推理

长上下文推理会生成大量 KV Cache。HBM 放不下,DRAM 成本高,NVMe SSD 容量大却经常因为 I/O 控制开销而无法进入关键路径。Tutti 的结论是:问题不只是“数据能否从 SSD 直达显存”,而是谁负责把数以千计的 KV 块转成设备请求、提交队列并处理完成。 Tutti 将这条控制路径交给 GPU:CPU 按层启动 I/O kernel,GPU 批量解析 KV 对象、生成 NVMe 命令、敲 doorbell 并轮询完成,同时利用 Transformer 层之间的计算空隙隐藏读取与写回。论文报告,在其测试环境中,相比 SSD-backed LMCache,严格 SLO 下 TTFT 降低 78.3%,可承载请求率提高 2 倍,服务成本降低 27%。 本文阅读论文 Tutti: Making SSD-Backed KV Cache Practical for Long-Context LLM Serving,重点解释它为什么需要 GPU-centric I/O、系统如何工作,以及实验结论应该怎样理解。 一、SSD KV Cache 为什么难用 自回归模型在 prefill 阶段为每层生成 Key 和 Value。后续请求若共享前缀,可以直接载入已有 KV Cache,省去重复计算。 请求 A:系统提示词 + 文档 + 问题 A 请求 B:系统提示词 + 文档 + 问题 B └── 可复用前缀 ──┘ KV Cache 容量随上下文长度、层数、并发和 KV head 数增长。分层存储因此很自然: ...

2026年9月3日 · 3 分钟 · Hellokitty

分布式文件系统中的 rename 为什么会冲突:从文件到目录

在本地文件系统里,rename(old, new) 看起来只是“换个名字”;到了 GPFS(IBM Storage Scale)这类分布式文件系统中,它却是一笔需要跨节点协调的元数据事务。 核心原因是:rename 改变的不是文件内容,而是命名空间中的可达关系。 一次操作可能同时读写源目录、目标目录、被移动对象以及被覆盖对象。多个客户端若触及同一批元数据,就必须串行化,否则可能出现重名、对象丢失、目录环、错误覆盖,甚至节点间看到不同命名空间。 本文不讨论某个版本的内部锁名,而从通用实现原理出发,分别分析普通文件和目录的 rename 为什么冲突。 一、先把 rename 看成一笔事务 假设执行: rename("/A/x", "/B/y") 抽象到目录项,操作近似为: 1. 在目录 A 中查找 x,得到对象 inode X 2. 在目录 B 中查找 y 3. 若 y 已存在,校验并处理被覆盖对象 Y 4. 从 A 删除目录项 x -> X 5. 在 B 创建目录项 y -> X 6. 更新相关 inode 的时间、链接数或父目录信息 7. 提交日志,使整个变化原子可恢复 POSIX 语义要求其他进程不能看到“源名字已消失、目标名字尚未出现”的中间状态。系统崩溃后,也不能只完成其中一半。因此,分布式文件系统需要把这些修改组织成一个原子事务,并协调所有可能缓存相关元数据的节点。 可以把参与者概括为: 源父目录 Psrc ─┐ 源对象 X ├── rename 元数据事务 目标父目录 Pdst ┤ 目标对象 Y? ─┘ 冲突并不等于两个请求使用了相同路径字符串。只要它们需要修改同一个目录、同一个 inode,或需要做相互影响的命名空间判断,就可能冲突。 ...

2026年9月3日 · 3 分钟 · Hellokitty

分布式 AI 训练通信原语:AllReduce、AllGather、ReduceScatter 与 AllToAll

从数据流、张量形状、通信量和训练场景出发,系统解释 Broadcast、Reduce、Gather、Scatter、AllReduce、AllGather、ReduceScatter 与 AllToAll,并给出可运行的 torch.distributed 示例。

2026年9月2日 · 6 分钟 · Hellokitty

Rust Trait 与 C++ 继承:差异、取舍与选择

Rust trait 和 C++ 继承经常被放在一起比较,因为它们都能表达“多个类型具有相同行为”。但两者并不是严格对应的语言特性:trait 主要描述能力和约束,C++ 继承同时承担类型关系、接口抽象、实现复用与运行时多态。 因此,“哪个更好”不能脱离目标讨论。先给出结论: 表达接口、泛型约束和组合能力时,Rust trait 通常更清晰,也更难误用; 表达稳定的运行时多态时,两者都能胜任,Rust 使用 trait object,C++ 使用虚函数; 需要复用对象状态和基类实现时,C++ 继承更直接,但组合通常更容易维护; 需要与既有 C++ 框架、ABI 或面向对象体系协作时,C++ 继承不可替代; 如果从零设计强调安全性和显式依赖的系统,优先选择 Rust trait 与组合,而不是模仿类继承树。 1. 两者首先在解决什么问题 假设程序需要统一处理不同形状。 C++ 常用抽象基类: class Shape { public: virtual ~Shape() = default; virtual double area() const = 0; }; class Circle final : public Shape { public: explicit Circle(double radius) : radius_(radius) {} double area() const override { return 3.1415926 * radius_ * radius_; } private: double radius_; }; Rust 使用 trait: trait Shape { fn area(&self) -> f64; } struct Circle { radius: f64, } impl Shape for Circle { fn area(&self) -> f64 { std::f64::consts::PI * self.radius * self.radius } } 表面上,两段代码都规定了 area 接口。但它们的类型关系不同: ...

2026年9月1日 · 4 分钟 · Hellokitty

从 Store Buffer 与 Invalidate Queue 理解 C++ 内存序

多核程序最难理解的地方,不是“多个线程同时执行”,而是不同核心可能以不同时间、不同顺序观察到内存操作。C++ 原子内存序就是程序员与编译器、处理器之间的约定:哪些重排被允许,哪些读写必须建立跨线程的先后关系。 本文重点解释四种常见内存序:relaxed、release、acquire 和 seq_cst,并把它们与 CPU 中的 Store Buffer、Invalidate Queue 联系起来。先给出结论: relaxed 只保证单次原子访问不可分割,不负责发布其他数据; release 用于发布,保证它前面的操作不会越过发布点跑到后面; acquire 用于接收,保证它后面的操作不会越过接收点跑到前面; 当 acquire 读到 release 写入的值时,两线程之间建立 synchronizes-with,进而形成 happens-before; seq_cst 在 acquire/release 的基础上,再要求所有 seq_cst 操作进入一个全局一致的单一顺序。 1. 为什么原子性还不够 看一个典型的消息发布程序: #include <atomic> #include <cassert> int payload = 0; std::atomic<bool> ready{false}; void producer() { payload = 42; ready.store(true, std::memory_order_release); } void consumer() { while (!ready.load(std::memory_order_acquire)) { } assert(payload == 42); } payload 不是原子变量,但这个程序没有数据竞争。原因不是 ready 本身具有原子性,而是 release/acquire 建立了下面这条关系链: producer consumer payload = 42 │ sequenced-before ▲ ▼ │ happens-before ready.store(true, release) ─ synchronizes-with ─> ready.load(acquire) │ sequenced-before ▼ read payload 如果 acquire load 读到了 release store 写入的 true,那么 release 之前的操作 happens-before acquire 之后的操作。因此 consumer 看到 ready == true 后,也必须看到此前发布的 payload == 42。 ...

2026年9月1日 · 3 分钟 · Hellokitty

CUDA Event:GPU 时间线上的事件、同步原理与实战

CUDA kernel launch 通常是异步的:CPU 把 kernel、内存拷贝等操作提交到 stream 后便继续执行。由此产生两个常见问题:如何准确测量 GPU 工作耗时,以及如何让不同 stream 在不阻塞 CPU 的情况下建立依赖? CUDA Event 就是解决这类问题的基础设施。它可以理解为插入 GPU stream 时间线中的一个标记:当 event 之前的工作全部完成,event 才进入完成状态。借助这个状态,我们可以做 GPU 计时、CPU 等待、跨 stream 同步和异步资源回收。 1. Event 不是 CPU 事件,而是 GPU 时间线标记 一个 CUDA stream 是按序执行的 GPU 工作队列: CPU 提交: Kernel A → memcpy → Event E → Kernel B 异步提交 GPU 执行: Kernel A ── memcpy ── E 完成 ── Kernel B 调用 cudaEventRecord(event, stream) 时,CPU 通常只是向 stream 提交一个 event 记录操作,并不会等待 GPU 执行到该位置。只有当这个 stream 中排在 event 前面的操作完成后,event 才会被标记为完成。 ...

2026年8月31日 · 6 分钟 · Hellokitty

SGLang 双 Stream 重叠调度:如何把 CPU 后处理藏到 GPU 计算背后

大模型自回归推理看起来是纯 GPU 工作:每一步做一次模型前向,采样一个 token,再把 token 喂给下一步。然而在高性能推理系统里,GPU 计算只是流水线的一部分。采样结果回传、EOS 判断、请求回收、KV Cache 管理、下一批组装和元数据准备,都可能在两次前向之间制造空洞。 SGLang 的 Overlap Scheduling 解决的正是这个问题。它不是简单地“多开一条 CUDA stream”,而是同时完成两件事: 让当前步产生的 token 留在 GPU,直接作为下一步输入,解除下一次 forward 对 CPU 读值的依赖; 用 scheduler stream 和 engine stream 构造软件流水线,让 GPU 计算当前批次时,调度器处理上一批次的结果。 本文以 Mini-SGLang 的 python/minisgl/scheduler/scheduler.py 为线索,解释 overlap_loop、_forward 和 _process_last_data 背后的依赖重排。 先看结论:优化的不是“提交速度”,而是依赖关系 CUDA kernel 的提交本来就是异步的。CPU 把工作放进 stream 后,不必等待 GPU 完成。因此一个自然的问题是:只用一条 stream,只要 CPU 提交得足够快,不也能让 GPU 连续工作吗? 如果系统只有计算任务,这个判断基本成立。但自回归推理存在一个控制依赖:调度器通常要知道采样出的 token,才能判断请求是否命中 EOS、是否应该释放资源,以及下一轮有哪些请求仍应留在 batch 中。 串行执行会形成如下链条: GPU: forward(B1) ── idle ── forward(B2) ── idle ── forward(B3) CPU: 处理 B1 处理 B2 读 token 读 token 判 EOS 判 EOS 组 B2 组 B3 GPU 完成 B1 后,CPU 才读取结果并决定 B2。此时 GPU 没有可执行的新工作,只能等待。这不是 CPU 调用 CUDA API 太慢,而是 B2 在逻辑上依赖 B1 的结果。 ...

2026年8月30日 · 4 分钟 · Hellokitty

SAC:面向稀疏注意力大模型的 CXL 解耦 KV Cache 系统

本文翻译并整理自论文 SAC: Disaggregated KV Cache System for Sparse Attention LLMs with CXL(arXiv:2606.19746v1,2026 年 6 月 18 日)。原论文采用 CC BY 4.0 许可。为适应博客阅读,本文省略参考文献列表中的完整出版信息,但保留正文结构、关键论证、实验结果与附录要点。 随着大模型进入长上下文与稀疏注意力时代,推理系统的主要瓶颈正从算力转向内存容量。传统 RDMA 解耦 KV Cache 系统会在解码前把完整前缀 KV Cache 搬回本地;但稀疏注意力每一步只访问少量 top-k 条目,这种“全量搬运、少量使用”的方式会同时浪费网络带宽和本地内存。 SAC 的核心思路是:使用 CXL 的低延迟、缓存行粒度 load/store 语义,把 KV Cache 留在解耦内存池中,只在计算时按需读取被选中的 top-k 条目。论文在 DeepSeek-V3.2 与 SGLang 上的实验显示,相比 RDMA 基线,SAC 可实现最高约 2.1 倍吞吐量、9.7 倍更低的 TTFT,以及 1.8 倍更低的 TBT。 摘要 大模型向长上下文推理扩展,使服务系统的主要瓶颈从计算能力转向内存容量。面向稠密注意力模型的传统方案通常采用基于 RDMA 的解耦内存池,在解码开始前,以粗粒度方式将整个前缀 KV Cache 从远端存储取回本地内存。 然而,这种方法并不适合新兴的稀疏注意力模型。解码过程中虽然只有很少一部分 KV 条目真正活跃,系统仍然要把完整 KV Cache 拉回本地,从而造成严重的传输瓶颈和本地内存浪费。 ...

2026年8月28日 · 5 分钟 · Hellokitty