GeminiFS 深入解读:让 GPU 绕过 CPU 直接读写 NVMe 的伴生文件系统

如果一个 GPU kernel 在处理第 1024 个样本时才知道自己要读 SSD 上的哪一块数据,那么让 CPU 负责逐个请求、逐个搬运,通常很难跟上 GPU 的并行度。 但把 CPU 拿掉也不是终点。GPU 如果只看到一块裸 NVMe 盘,就还要自己解决文件名、文件大小、逻辑偏移到物理块的映射、缓存共享、崩溃一致性和并发访问。这样做虽然快,却很快会变成“每个应用都重新实现一遍文件系统”。 FAST'25 的 GeminiFS 试图在这两个极端之间找一个实际可用的折中:让主机文件系统继续负责文件管理,让 GPU 获得一份足够完成读写的文件私有元数据,并让 GPU 直接向 NVMe 提交请求。 读完论文后,我觉得 GeminiFS 最值得记住的不是某个单独的 NVMe 技巧,而是它的设计取舍:它没有把 Linux 文件系统完整搬进 GPU,而是利用机器学习工作负载“可预测、预分配、长期数据大多只读或追加写”的特点,把动态语义从热路径中拿掉。 GPU 直接访问存储,难点不只在数据搬运 先把几个经常混在一起的概念分开。 数据面和控制面 传统的 GPU 存储路径大致是: GPU kernel 发现数据需求 │ ▼ CPU / 主机文件系统组织请求 │ ▼ NVMe 读取到主机内存或中转缓冲区 │ ▼ 数据再进入 GPU 显存 这条路径的问题不只是多了一次拷贝。GPU 可能同时有成百上千个线程需要发起细粒度请求,而 CPU 的线程数、调度和同步能力都有限。CPU 既要解析请求,又要组织文件系统和 NVMe 操作,最后还要负责把结果交给 GPU。 ...

2026年11月19日 · 7 分钟 · Hellokitty

BaM 深入解析:GPU 如何自主驱动 NVMe,并把 SSD 变成按需访问的后备内存

BaM 最重要的改变,不是让 SSD 的数据直接进入 GPU 显存,而是让 GPU kernel 中发现数据需求的线程,自己完成缓存查询、NVMe 命令提交和完成等待。CPU 负责建立访问条件,却不再逐条参与这条请求路径。 它用三层机制实现这个目标:接近数组的编程接口、运行在显存里的软件页缓存,以及能够被大量 GPU 线程并发访问的 NVMe 队列。真正困难的部分,是如何让“很多线程同时缺页”既不会重复读盘、错误淘汰,也不会在一个全局锁前排成长队。[S1][S2][S3] 本文基于 2026 年 9 月 12 日获取的仓库默认分支快照 315fadfc5c5c018a64596157bfac94ecbb7d87a2,对应最新提交日期为 2025 年 11 月 23 日;论文采用 ASPLOS 2023 工作的 arXiv v3。源码链接固定到该提交,避免后续代码变化使讨论失效。 以下区分三种证据:源码可以直接确认的实现、论文报告的实验结果,以及根据实现作出的推导。没有在满足 BaM 条件的 GPU/NVMe 实机上运行性能实验;文中的吞吐、加速比不是本次实测。硬件前提和复现限制见最后两节。[S1][P] 一、问题不是“怎么搬数据”,而是“谁知道下一次该搬什么” 考虑图遍历。GPU 处理当前 frontier 中的顶点后,才知道下一步需要读取哪些邻接表。如果 CPU 负责 I/O,请求路径在逻辑上会变成: GPU 发现下一批数据需求 │ ▼ CPU 获得需求、组织读取、安排传输 │ ▼ GPU 等待所需数据,再继续计算 当数据访问模式可预知时,这种分工可以用大块预取和流水线摊薄成本;但对细粒度、数据依赖的访问,下一次读取的位置本身就是上一步 GPU 计算的结果。扩大预取范围会多读,缩小预取范围又会放大请求协调成本。这正是 BaM 论文讨论的场景,而不是“所有应用都应该把 CPU 从 I/O 中移除”。[P] ...

2026年9月12日 · 7 分钟 · Hellokitty

Tutti 源码阅读(二):GPU 如何直接驱动 NVMe 队列

Tutti 最具辨识度的代码位于运行时以下:自定义 snvme 内核模块建立受控 NVMe queue pair,libnvm 管理设备资源,GPU kernel 批量写 SQE、更新 doorbell 并轮询 CQE。数据通过 PCIe P2P DMA 在 SSD 与 HBM 之间移动,CPU 不再逐条提交 I/O。 本文沿一次读请求下潜,分析为什么主线 Linux NVMe 驱动不够、控制面与数据面如何分离、GPU 如何构造命令,以及条带化和 layer-wise overlap 怎样落实到代码结构。 项目源码:xPU-IO/Tutti。 一、为什么需要自定义 snvme NVMe 控制器的数据面并不复杂:主机写 Submission Queue,更新 MMIO doorbell,设备执行 DMA,再把 Completion Queue Entry 写回内存。 问题是 Linux 主线 NVMe 驱动没有向普通应用提供一套稳定机制,用来同时完成: 创建应用独占或受控的 I/O queue pair; 将 SQ/CQ 放入可被应用或 GPU 访问的固定内存; 把对应 doorbell BAR 页安全映射给应用; 将 GPU HBM 注册成 NVMe 可 DMA 的 peer memory; 允许应用自行轮询 CQ,而不经过每请求系统调用。 传统 read、io_uring 或 GDS 可以缩短部分路径,但 NVMe 队列仍主要由内核或 CPU 侧库控制。Tutti 要让 GPU 成为请求生产者,因此需要一个负责授权与建图的内核控制面。 ...

2026年9月3日 · 4 分钟 · Hellokitty