GeminiFS 深入解读:让 GPU 绕过 CPU 直接读写 NVMe 的伴生文件系统

如果一个 GPU kernel 在处理第 1024 个样本时才知道自己要读 SSD 上的哪一块数据,那么让 CPU 负责逐个请求、逐个搬运,通常很难跟上 GPU 的并行度。 但把 CPU 拿掉也不是终点。GPU 如果只看到一块裸 NVMe 盘,就还要自己解决文件名、文件大小、逻辑偏移到物理块的映射、缓存共享、崩溃一致性和并发访问。这样做虽然快,却很快会变成“每个应用都重新实现一遍文件系统”。 FAST'25 的 GeminiFS 试图在这两个极端之间找一个实际可用的折中:让主机文件系统继续负责文件管理,让 GPU 获得一份足够完成读写的文件私有元数据,并让 GPU 直接向 NVMe 提交请求。 读完论文后,我觉得 GeminiFS 最值得记住的不是某个单独的 NVMe 技巧,而是它的设计取舍:它没有把 Linux 文件系统完整搬进 GPU,而是利用机器学习工作负载“可预测、预分配、长期数据大多只读或追加写”的特点,把动态语义从热路径中拿掉。 GPU 直接访问存储,难点不只在数据搬运 先把几个经常混在一起的概念分开。 数据面和控制面 传统的 GPU 存储路径大致是: GPU kernel 发现数据需求 │ ▼ CPU / 主机文件系统组织请求 │ ▼ NVMe 读取到主机内存或中转缓冲区 │ ▼ 数据再进入 GPU 显存 这条路径的问题不只是多了一次拷贝。GPU 可能同时有成百上千个线程需要发起细粒度请求,而 CPU 的线程数、调度和同步能力都有限。CPU 既要解析请求,又要组织文件系统和 NVMe 操作,最后还要负责把结果交给 GPU。 ...

2026年11月19日 · 7 分钟 · Hellokitty

从提示词到下一个 token:nano-vLLM 请求生命周期、KV cache 与 batch 时序

一条提示词进入推理引擎之后,并不是直接“送给 GPU 生成文字”。它先变成 CPU 上的 token ID 和请求状态;调度器决定本轮计算哪些位置、复用哪些 KV 块;执行器把本轮输入和地址映射送上 GPU,运行模型并采样;采样结果再回到 CPU,才能决定下一轮要计算什么。[S1][S2][S3] nano-vLLM 很适合把这条链看清楚,因为这些环节集中在少量 Python 文件里。但不能把成熟推理系统的所有能力自动套到它身上。本文分析的版本已有 chunked prefill,却没有把 prefill 和 decode 混进同一次模型调用,也没有实现显式的跨 batch CPU/GPU 流水重叠。后文会沿实际控制流解释这个结论,而不是根据功能名称猜测。[S2][S3] 分析快照为 2026 年 9 月 12 日获取的 GeeeekExplorer/nano-vllm 默认分支提交 bb823b3e06983d71485a8e1f23715ebd87d98ef8,对应提交日期为 2026 年 4 月 26 日。源码链接全部固定到这一版本。 除静态阅读外,本文做了三类小实验:真实 Qwen3 tokenizer 编码;直接驱动仓库原有 Scheduler、BlockManager 的控制面实验;提取原始输入准备方法并在 CUDA 上执行,核对实际张量和地址映射。控制面实验使用人为指定的采样结果,不代表执行了模型;本文没有跑完整模型推理、吞吐 benchmark 或 Nsight 时间线。 一、先分清两条生命周期:引擎初始化与请求执行 LLM 本身只是 LLMEngine 的简单派生类。真正的主干如下:[S1][S4] 初始化一次 Config / 模型配置 → ModelRunner / GPU 模型与权重 → warmup / KV cache 内存池 / 可选 CUDA Graph → tokenizer / Scheduler 每个请求 字符串或 token IDs → add_request / Sequence / waiting → schedule → prepare_prefill 或 prepare_decode → GPU 模型前向 / logits / sampling → token IDs 返回 CPU → postprocess / 更新 KV 元数据与请求状态 → 下一轮,或结束后解码为文字 ModelRunner 设置 CUDA 设备和默认 dtype,在 GPU 上创建 Qwen3 模型。权重加载器从 safetensors 读取 CPU 侧权重,再经各层的 loader 复制到对应参数;Q、K、V 和 gate/up 投影还会被装入打包后的参数矩阵。[S3][S5][S6] ...

2026年9月12日 · 11 分钟 · Hellokitty

BaM 深入解析:GPU 如何自主驱动 NVMe,并把 SSD 变成按需访问的后备内存

BaM 最重要的改变,不是让 SSD 的数据直接进入 GPU 显存,而是让 GPU kernel 中发现数据需求的线程,自己完成缓存查询、NVMe 命令提交和完成等待。CPU 负责建立访问条件,却不再逐条参与这条请求路径。 它用三层机制实现这个目标:接近数组的编程接口、运行在显存里的软件页缓存,以及能够被大量 GPU 线程并发访问的 NVMe 队列。真正困难的部分,是如何让“很多线程同时缺页”既不会重复读盘、错误淘汰,也不会在一个全局锁前排成长队。[S1][S2][S3] 本文基于 2026 年 9 月 12 日获取的仓库默认分支快照 315fadfc5c5c018a64596157bfac94ecbb7d87a2,对应最新提交日期为 2025 年 11 月 23 日;论文采用 ASPLOS 2023 工作的 arXiv v3。源码链接固定到该提交,避免后续代码变化使讨论失效。 以下区分三种证据:源码可以直接确认的实现、论文报告的实验结果,以及根据实现作出的推导。没有在满足 BaM 条件的 GPU/NVMe 实机上运行性能实验;文中的吞吐、加速比不是本次实测。硬件前提和复现限制见最后两节。[S1][P] 一、问题不是“怎么搬数据”,而是“谁知道下一次该搬什么” 考虑图遍历。GPU 处理当前 frontier 中的顶点后,才知道下一步需要读取哪些邻接表。如果 CPU 负责 I/O,请求路径在逻辑上会变成: GPU 发现下一批数据需求 │ ▼ CPU 获得需求、组织读取、安排传输 │ ▼ GPU 等待所需数据,再继续计算 当数据访问模式可预知时,这种分工可以用大块预取和流水线摊薄成本;但对细粒度、数据依赖的访问,下一次读取的位置本身就是上一步 GPU 计算的结果。扩大预取范围会多读,缩小预取范围又会放大请求协调成本。这正是 BaM 论文讨论的场景,而不是“所有应用都应该把 CPU 从 I/O 中移除”。[P] ...

2026年9月12日 · 7 分钟 · Hellokitty

读懂 Linux DMA API:地址映射、内存一致性,以及 Pin 为什么能加速传输

CPU 内存传到 GPU,为什么先做一次 pin 往往更快?不是因为 pin 提高了 PCIe 的物理带宽,而是因为它让内存能够更直接地参与设备传输,减少中间复制,并为传输与计算重叠创造条件。 要理解这件事,可以先读 Linux 的 Dynamic DMA mapping Guide。它面向驱动开发者,讲的是如何让设备正确访问内存;CUDA 的 pinned memory 则是应用层的一种内存注册机制。两者不是同一套 API,但背后需要解决的地址、生命周期和可见性问题是相通的。 本文以传统 Linux 主机加独立 GPU 为主要模型。支持共享页表、设备缺页等能力的平台,会在文末单独说明边界。 一、DMA 绕开的是 CPU 搬运,不是 CPU 管理 DMA,即 Direct Memory Access,允许设备的数据传输引擎读写内存,不必让 CPU 用加载、存储指令逐字节搬运整个缓冲区。 但 CPU 和驱动仍要准备缓冲区、建立映射、提交描述符,以及处理完成通知。DMA 不是“CPU 完全不参与”,更不是“有个指针就能发给设备”。 原文首先区分了三种地址,这是理解后续 API 的基础: 地址 使用者 常见表示 CPU 虚拟地址 CPU 上运行的代码 void * CPU 物理地址 CPU 物理地址空间、内存管理系统 phys_addr_t DMA 地址 设备发起内存访问时使用 dma_addr_t 它们可能有相同的数值,但不能因此当成同一种地址。 CPU 路径: CPU 虚拟地址 X ──CPU 页表──→ 物理内存 Y 设备路径: DMA 地址 Z ──IOMMU 等映射──→ 物理内存 Y 在有 IOMMU 的系统中,Z 通常是设备侧的 I/O 虚拟地址,即 IOVA;其他平台可能采用直接映射或主桥地址转换。驱动应使用 DMA API 返回的地址,而不是假设 virt_to_phys() 的结果就能写进设备描述符。 ...

2026年9月12日 · 3 分钟 · Hellokitty

NUMA 是什么?从内存访问距离到 LMCache 的实际用法

读 LMCache 的内存分配代码时,很容易遇到一个问题:构造函数明明有 numa_mapping 参数,为什么运行时一直是 None?回答它之前,需要先区分三件事:内存位于哪个 NUMA 节点、线程运行在哪些 CPU 上,以及主机内存是否经过 GPU 注册。 它们彼此相关,却不是同一个开关。 本文的源码结论固定在 LMCache 公开提交 fd6722d9310471bc7d1871969ef3062889878632,核对日期为 2026 年 9 月 10 日。本文是原理与代码分析,没有进行双路服务器性能实测,也不预设 NUMA 优化一定带来加速。 1. NUMA:访问同一份内存空间,距离却不一样 NUMA 是 Non-Uniform Memory Access,即非一致内存访问。这里的“非一致”说的是访问代价不一致,不是“不同 CPU 读到的数据不一致”。 Linux 内核文档把 NUMA 系统抽象为多个 node:节点可以包含 CPU、内存和 I/O 资源,节点之间通过互连通信。对某个 CPU 或 I/O 设备来说,目标内存所在节点的距离会影响访问延迟和有效带宽。常见的双路服务器可以简化成下面这样,但真实机器不能直接假定“一个 CPU 插槽等于一个 NUMA 节点”。 NUMA node 0 NUMA node 1 CPU cores + DRAM 0 CPU cores + DRAM 1 | | +---------- interconnect ----------+ | | PCIe / GPU 0 PCIe / GPU 1 CPU 0 -> DRAM 0: local access CPU 0 -> DRAM 1: remote access GPU 0 -> DRAM 1: potentially crosses the interconnect 这是一张示意图,不是某台机器的真实拓扑。实际 GPU、PCIe 交换机和内存控制器的关系,应以系统和设备工具报告为准。 ...

2026年9月10日 · 3 分钟 · Hellokitty

LMCache 三种 L1MemoryManager 源码解析:DRAM、Device-DAX 与 GDS

LMCache 的 L1MemoryManager、DevDaxL1MemoryManager 和 GDSL1MemoryManager,并不是同一种分配器换了三个名字。它们分别管理 DRAM 内存池、Device-DAX 映射池和 GDS slab 偏移空间。理解三者的关键,是把对象生命周期、空间分配和数据搬运分开。 本文基于 2026 年 9 月 10 日核对的公开 fork yangyang233333/LMCache,固定提交 7d9d54dd9b23703a73040e140753c95cd6c4bdb7。以下结论限定于这个实现快照,不代表上游发布版已经包含全部功能;本文为源码调研,没有进行真实 GDS、DAX/CXL 硬件性能实测。 1. 同一个 L1 层级,三种数据载体 先分清两个名字:L1Manager 管理 key、对象状态与读写生命周期,本文讨论的三个 memory manager 则负责空间分配与回收。淘汰策略和数据传输也不应与这层空间接口混为一谈。 L1Manager 的构造逻辑先检查 GDS 配置,再检查 DAX 路径,最后选择普通 DRAM 管理器。三者通过结构化接口 L1ManagerProtocol 暴露分配、释放、容量、介质识别、内存描述符和关闭等操作。 L1Manager:key、对象状态与读写生命周期 │ └── L1ManagerProtocol ├── L1MemoryManager │ └── LazyMemoryAllocator / MixedMemoryAllocator ├── DevDaxL1MemoryManager │ └── DevDaxMemoryAllocator │ ├── 可选 DRAM pool │ └── 一个或多个 DAX arena └── GDSL1MemoryManager └── AddressManager:slab 偏移与空闲区间 gpu_ops / connector:实际数据传输 └── GDS 对象分派到 GDSContext DevDaxL1MemoryManager 继承普通 L1MemoryManager,复用接口逻辑并替换 allocator;GDSL1MemoryManager 则是满足同一 Protocol 的独立实现,不继承普通管理器。 ...

2026年9月10日 · 4 分钟 · Hellokitty

Tutti 源码阅读(二):GPU 如何直接驱动 NVMe 队列

Tutti 最具辨识度的代码位于运行时以下:自定义 snvme 内核模块建立受控 NVMe queue pair,libnvm 管理设备资源,GPU kernel 批量写 SQE、更新 doorbell 并轮询 CQE。数据通过 PCIe P2P DMA 在 SSD 与 HBM 之间移动,CPU 不再逐条提交 I/O。 本文沿一次读请求下潜,分析为什么主线 Linux NVMe 驱动不够、控制面与数据面如何分离、GPU 如何构造命令,以及条带化和 layer-wise overlap 怎样落实到代码结构。 项目源码:xPU-IO/Tutti。 一、为什么需要自定义 snvme NVMe 控制器的数据面并不复杂:主机写 Submission Queue,更新 MMIO doorbell,设备执行 DMA,再把 Completion Queue Entry 写回内存。 问题是 Linux 主线 NVMe 驱动没有向普通应用提供一套稳定机制,用来同时完成: 创建应用独占或受控的 I/O queue pair; 将 SQ/CQ 放入可被应用或 GPU 访问的固定内存; 把对应 doorbell BAR 页安全映射给应用; 将 GPU HBM 注册成 NVMe 可 DMA 的 peer memory; 允许应用自行轮询 CQ,而不经过每请求系统调用。 传统 read、io_uring 或 GDS 可以缩短部分路径,但 NVMe 队列仍主要由内核或 CPU 侧库控制。Tutti 要让 GPU 成为请求生产者,因此需要一个负责授权与建图的内核控制面。 ...

2026年9月3日 · 4 分钟 · Hellokitty

Tutti 源码阅读(一):StorageRuntime 如何组织 KV Cache I/O

Tutti 的论文强调 GPU 主导 I/O,但应用首先接触的不是 NVMe doorbell,而是一套稳定的 StorageRuntime API。它负责把 URI、文件 extent、GPU 内存、后端实例和异步请求组装起来,让上层无需知道底层究竟是单盘、条带化 NVMe,还是未来的其他传输路径。 本文阅读 Tutti v0.1.1 的运行时源码与设计文档,聚焦五个问题:公开 API 长什么样、open 如何解析对象、register_memory 为什么独立存在、submit/wait 如何路由,以及 vLLM connector 如何接入。 项目源码:xPU-IO/Tutti。 一、先看整体分层 当前代码把系统拆成以下层次: Application / vLLM Connector │ ▼ StorageRuntime open · register · submit · wait │ ┌──────┴──────┐ ▼ ▼ Resolver DataPath URI → target IO → backend │ │ └──── Binding ┘ │ local / striped NVMe StorageRuntime 是唯一稳定的应用接口;Resolver、Binding 和 DataPath 是内部 SPI。这样做避免上层依赖特定 NVMe 驱动或 GPU 厂商实现。 ...

2026年9月3日 · 3 分钟 · Hellokitty

Tutti 论文阅读:让 SSD KV Cache 真正服务长上下文推理

长上下文推理会生成大量 KV Cache。HBM 放不下,DRAM 成本高,NVMe SSD 容量大却经常因为 I/O 控制开销而无法进入关键路径。Tutti 的结论是:问题不只是“数据能否从 SSD 直达显存”,而是谁负责把数以千计的 KV 块转成设备请求、提交队列并处理完成。 Tutti 将这条控制路径交给 GPU:CPU 按层启动 I/O kernel,GPU 批量解析 KV 对象、生成 NVMe 命令、敲 doorbell 并轮询完成,同时利用 Transformer 层之间的计算空隙隐藏读取与写回。论文报告,在其测试环境中,相比 SSD-backed LMCache,严格 SLO 下 TTFT 降低 78.3%,可承载请求率提高 2 倍,服务成本降低 27%。 本文阅读论文 Tutti: Making SSD-Backed KV Cache Practical for Long-Context LLM Serving,重点解释它为什么需要 GPU-centric I/O、系统如何工作,以及实验结论应该怎样理解。 一、SSD KV Cache 为什么难用 自回归模型在 prefill 阶段为每层生成 Key 和 Value。后续请求若共享前缀,可以直接载入已有 KV Cache,省去重复计算。 请求 A:系统提示词 + 文档 + 问题 A 请求 B:系统提示词 + 文档 + 问题 B └── 可复用前缀 ──┘ KV Cache 容量随上下文长度、层数、并发和 KV head 数增长。分层存储因此很自然: ...

2026年9月3日 · 3 分钟 · Hellokitty

分布式文件系统中的 rename 为什么会冲突:从文件到目录

在本地文件系统里,rename(old, new) 看起来只是“换个名字”;到了 GPFS(IBM Storage Scale)这类分布式文件系统中,它却是一笔需要跨节点协调的元数据事务。 核心原因是:rename 改变的不是文件内容,而是命名空间中的可达关系。 一次操作可能同时读写源目录、目标目录、被移动对象以及被覆盖对象。多个客户端若触及同一批元数据,就必须串行化,否则可能出现重名、对象丢失、目录环、错误覆盖,甚至节点间看到不同命名空间。 本文不讨论某个版本的内部锁名,而从通用实现原理出发,分别分析普通文件和目录的 rename 为什么冲突。 一、先把 rename 看成一笔事务 假设执行: rename("/A/x", "/B/y") 抽象到目录项,操作近似为: 1. 在目录 A 中查找 x,得到对象 inode X 2. 在目录 B 中查找 y 3. 若 y 已存在,校验并处理被覆盖对象 Y 4. 从 A 删除目录项 x -> X 5. 在 B 创建目录项 y -> X 6. 更新相关 inode 的时间、链接数或父目录信息 7. 提交日志,使整个变化原子可恢复 POSIX 语义要求其他进程不能看到“源名字已消失、目标名字尚未出现”的中间状态。系统崩溃后,也不能只完成其中一半。因此,分布式文件系统需要把这些修改组织成一个原子事务,并协调所有可能缓存相关元数据的节点。 可以把参与者概括为: 源父目录 Psrc ─┐ 源对象 X ├── rename 元数据事务 目标父目录 Pdst ┤ 目标对象 Y? ─┘ 冲突并不等于两个请求使用了相同路径字符串。只要它们需要修改同一个目录、同一个 inode,或需要做相互影响的命名空间判断,就可能冲突。 ...

2026年9月3日 · 3 分钟 · Hellokitty