GeminiFS 深入解读:让 GPU 绕过 CPU 直接读写 NVMe 的伴生文件系统

如果一个 GPU kernel 在处理第 1024 个样本时才知道自己要读 SSD 上的哪一块数据,那么让 CPU 负责逐个请求、逐个搬运,通常很难跟上 GPU 的并行度。 但把 CPU 拿掉也不是终点。GPU 如果只看到一块裸 NVMe 盘,就还要自己解决文件名、文件大小、逻辑偏移到物理块的映射、缓存共享、崩溃一致性和并发访问。这样做虽然快,却很快会变成“每个应用都重新实现一遍文件系统”。 FAST'25 的 GeminiFS 试图在这两个极端之间找一个实际可用的折中:让主机文件系统继续负责文件管理,让 GPU 获得一份足够完成读写的文件私有元数据,并让 GPU 直接向 NVMe 提交请求。 读完论文后,我觉得 GeminiFS 最值得记住的不是某个单独的 NVMe 技巧,而是它的设计取舍:它没有把 Linux 文件系统完整搬进 GPU,而是利用机器学习工作负载“可预测、预分配、长期数据大多只读或追加写”的特点,把动态语义从热路径中拿掉。 GPU 直接访问存储,难点不只在数据搬运 先把几个经常混在一起的概念分开。 数据面和控制面 传统的 GPU 存储路径大致是: GPU kernel 发现数据需求 │ ▼ CPU / 主机文件系统组织请求 │ ▼ NVMe 读取到主机内存或中转缓冲区 │ ▼ 数据再进入 GPU 显存 这条路径的问题不只是多了一次拷贝。GPU 可能同时有成百上千个线程需要发起细粒度请求,而 CPU 的线程数、调度和同步能力都有限。CPU 既要解析请求,又要组织文件系统和 NVMe 操作,最后还要负责把结果交给 GPU。 ...

2026年11月19日 · 7 分钟 · Hellokitty

GDS、GIDS 与 uGDS 有什么区别:从数据直达、GPU 发起到用户态 NVMe

GDS、GIDS 和 uGDS 的名字非常接近,也都在讨论 GPU 与存储之间的数据通路,因此很容易被理解成同一项技术的三个版本。 实际上,它们解决的是三个不同层面的问题: GDS 关注数据路径:怎样让存储数据不经 CPU 内存中转,直接进入 GPU 显存; GIDS 关注控制路径:怎样让 GPU Kernel 自己决定并发起存储请求,减少 GPU 与 CPU 往返; uGDS 关注软件栈:怎样让 CPU 在用户态直接管理 NVMe 队列,绕过内核 NVMe 驱动与文件系统。 可以先用一句话概括: GDS 是“数据直达 GPU”,GIDS 是“GPU 主动要数据”,uGDS 是“用户态 CPU 直接驱动 NVMe 把数据送到 GPU”。 本文从请求由谁发起、数据经过哪里、NVMe 命令由谁构造、是否保留文件系统语义等维度,分析三者的区别与联系。更深入的原理可以继续阅读本系列的三篇文章: NVIDIA GPUDirect Storage(GDS)详解:让存储数据绕过 CPU 直达 GPU NVIDIA GPU-Initiated Data Storage(GIDS)详解:让 GPU Kernel 主动访问存储 uGDS 原理解析:在用户态打通 NVMe SSD 与 GPU 显存 一、先区分数据路径与控制路径 理解这三项技术的关键,是不要把“数据经过哪里”和“谁发起 I/O”混为一谈。 数据路径 数据路径描述有效载荷如何移动。例如: 传统路径:SSD → CPU 内存 → GPU 显存 直接路径:SSD ──────────→ GPU 显存 GDS、GIDS 和 uGDS 都希望建立 SSD 与 GPU 显存之间的 DMA 路径,减少 CPU bounce buffer。但“数据不经过 CPU 内存”并不代表“CPU 没有参与”。 ...

2026年8月20日 · 5 分钟 · Hellokitty