GeminiFS 深入解读:让 GPU 绕过 CPU 直接读写 NVMe 的伴生文件系统

如果一个 GPU kernel 在处理第 1024 个样本时才知道自己要读 SSD 上的哪一块数据,那么让 CPU 负责逐个请求、逐个搬运,通常很难跟上 GPU 的并行度。 但把 CPU 拿掉也不是终点。GPU 如果只看到一块裸 NVMe 盘,就还要自己解决文件名、文件大小、逻辑偏移到物理块的映射、缓存共享、崩溃一致性和并发访问。这样做虽然快,却很快会变成“每个应用都重新实现一遍文件系统”。 FAST'25 的 GeminiFS 试图在这两个极端之间找一个实际可用的折中:让主机文件系统继续负责文件管理,让 GPU 获得一份足够完成读写的文件私有元数据,并让 GPU 直接向 NVMe 提交请求。 读完论文后,我觉得 GeminiFS 最值得记住的不是某个单独的 NVMe 技巧,而是它的设计取舍:它没有把 Linux 文件系统完整搬进 GPU,而是利用机器学习工作负载“可预测、预分配、长期数据大多只读或追加写”的特点,把动态语义从热路径中拿掉。 GPU 直接访问存储,难点不只在数据搬运 先把几个经常混在一起的概念分开。 数据面和控制面 传统的 GPU 存储路径大致是: GPU kernel 发现数据需求 │ ▼ CPU / 主机文件系统组织请求 │ ▼ NVMe 读取到主机内存或中转缓冲区 │ ▼ 数据再进入 GPU 显存 这条路径的问题不只是多了一次拷贝。GPU 可能同时有成百上千个线程需要发起细粒度请求,而 CPU 的线程数、调度和同步能力都有限。CPU 既要解析请求,又要组织文件系统和 NVMe 操作,最后还要负责把结果交给 GPU。 ...

2026年11月19日 · 7 分钟 · Hellokitty

SPDK vs IO Uring vs libaio

基于 SPDK 26.01 官方报告,对比 SPDK、io_uring 与 libaio 的每核 IOPS、扩展性、平均延迟和尾延迟,观察 4 KiB I/O 的性能上界。

2026年11月15日 · 14 分钟 · HelloKitty

SSD 的 FTL:一次读写背后的地址映射

从一次覆盖写出发,串起 SSD 的地址映射、读写链路、垃圾回收和掉电恢复,分清 NVMe、缓存与持久化各自负责什么。

2026年11月12日 · 2 分钟 · HelloKitty

DCF 股票估值:把未来现金流折算成今天的价格

从自由现金流、折现率和终值出发,用一组完整算例推导每股价值,并理解 DCF 对假设的敏感性。

2026年11月10日 · 2 分钟 · Hellokitty

Rust 迭代器:从 next 到零成本抽象

从 next 的状态推进出发,理解 Iterator 与 IntoIterator、借用与移动、惰性求值、短路消费,以及迭代器零成本抽象的边界。

2026年11月9日 · 3 分钟 · Hellokitty

看懂 NVMe SSD:从 NAND 布局到写入粒度与垃圾回收

沿着 SNIA SDC 2022 的 Optimal Performance Parameters 演讲,拆解映射单元、最优读写粒度、垃圾回收和数据生命周期,并用 RMW、写放大、批处理等待与队列深度的推导,解释为什么 SSD 没有一个通用的最优 I/O 大小。

2026年11月6日 · 4 分钟 · Hellokitty

DeepInfer 源码拆解:DeepSeek 怎样让 GPU 少干活、少等人

沿 DeepInfer 的 C++ 调度器、Worker 和模型执行路径,拆解异步调度、DSpark 变长验证、SWA 有界回放、Wide-EP、专家负载均衡与融合算子,也聊聊当前开源版本和性能数据的边界。

2026年10月20日 · 4 分钟 · Hellokitty

RDMA 和 DPDK 都在用户态,差别到底在哪?

从一次远端写和一次用户态收包出发,区分内核旁路、远端 CPU 旁路、内存访问语义与传输卸载,并结合 FaSST、eRPC、IRN 和 BURST 讨论性能边界。

2026年10月14日 · 3 分钟 · Hellokitty

Xerxes论文阅读: 用仿真看 CXL 拓扑与设备侧一致性

一台主机接一块 CXL 内存时,可以盯着延迟和带宽;如果想把主机、加速器、多个内存设备通过交换机连成更大的 fabric,瓶颈可能已经从内存本身变成路由、端口争用和一致性消息。没有对应的现成硬件,怎么比较这些设计? FAST ‘26 论文 Xerxes: Extensive Exploration of Scalable Hardware Systems with CXL-Based Simulation Framework 给出的不是一套已落地的内存池,而是一个 CXL 系统仿真框架。它重点支持较新规范里的 PBR(基于端口的路由)、DMC(设备管理的一致性),以及全双工链路建模,目的是在动手造复杂硬件前先回答设计问题。 从一棵树变成一张图 早期主机—设备连接容易用树表示,但多级交换、对等设备访问不一定适合主机为中心的树状路径。Xerxes 把系统拆成两个层次:互连层把节点和交换机组织成图,提供路由与链路队列;设备层把主机、加速器和内存端点抽象成可以主动发请求的参与者。交换机、请求者、内存设备可以分别实现自己的逻辑,拓扑变化不必重写设备模型。 互连图:主机/加速器 ─ 交换机 ─ 交换机 ─ 内存端点 │ │ └─ PBR 决定转发路径 ─┘ 设备层:请求者维护本地缓存状态 内存端点跟踪共享者、必要时主动发失效消息 论文图 3:互连层负责路由和链路,设备层模拟请求者、端点及一致性目录。截图来自 Xerxes 官方 PDF 第 6 页,版权归原作者。 因此它不仅能画出链、树、环、spine-leaf 和全连接拓扑,还能在这些结构上模拟设备之间的流量会在哪个端口排队。高连接度不是免费的,但至少可以先用统一的链路参数,把单个中心端口到底限制了多少吞吐量量出来。 模拟里一个“请求者”除了发读写,还要带着排队深度、地址交错规则和本地缓存的一致性状态;链路也不能只填一个固定 RTT。Xerxes 可以接入 DRAMsim3 模拟内存端点,并与 gem5 的处理器、SimpleSSD 的设备模型对接。独立互连层的意义就在这里:换一种存储设备或 CPU 模型,不应被迫再写一套交换机路由逻辑。 在相同端口上限、N 个请求者与 N 个内存设备的构造实验里,链与树的共享“桥”路径会被单端口带宽锁住;环提供替代路径,但总容量仍有限。全连接允许更多请求者并行获得各自的端口带宽,spine-leaf 则居中折中连接密度与路径数量。论文先分析这个受端口限制的结构性上界,再回放应用访问轨迹;如果只挑“3.63 倍”这个数字,就看不到为什么对某种热图有用、对另一个成本预算可能不合适。 DMC 为什么需要“设备会主动说话” 共享内存的一致性,不只是“大家都能读到同一个地址”。某个请求者缓存了一个内存行,另一个请求者要修改它时,原来的副本需要失效;若它是脏的,还涉及最新数据的回传。在 DMC 模型里,设备侧的 snoop filter 记录谁持有这些副本,发出反向失效请求(BISnp),收齐响应(BIRsp)之后才能继续。若 snoop filter 已满,逐出一个目录项也可能触发失效。 ...

2026年10月12日 · 1 分钟 · Hellokitty

Cylon论文阅读: 怎样真实模拟 CXL-SSD 的快命中与慢缺失

若 SSD 容量通过 CXL 以类似内存的方式暴露给 CPU,命中设备上的 DRAM 缓存可能不到 1 微秒,落到 NAND 却要几十微秒。普通设备模拟器如果让每次访存都发生 VM-exit,模拟器自己的开销便已超过真实设备的快路径。此时拿它比较缓存算法,结论可能是错的。 FAST ‘26 论文 Cylon: Fast and Accurate Full-System Emulation of CXL-SSDs 针对的不是“把普通 SSD 变成 CXL 内存”,而是构建一套能运行未修改操作系统与应用的研究工具。它在 QEMU/KVM 中暴露 CXL Type-3 设备,用 FEMU 模拟 SSD 的闪存与 FTL 时序,再用快慢分流避免虚拟化开销掩盖设备特征。 对 CPU 来说,看到的到底是什么 来宾系统可以把设备视作 DAX 区域,或者一个不带 CPU 的 NUMA 节点。应用通过 load/store 读写地址,而不是向传统 NVMe 块设备发一次文件读取。来宾看得到的容量对应模拟的 SSD;中间还有一块设备自己管理的 DRAM 缓存,应用通常不用手动把热页放进去。 一份地址是否命中缓存,决定它下一步走哪条完全不同的路: 来宾 load/store → EPT 页表项 ├─ Direct:映到宿主 DRAM 缓存 → 直接完成 └─ Trap:触发 KVM 陷入 → QEMU/FEMU 模拟 NAND、填充缓存 → 更新 EPT,下次命中走 Direct ...

2026年10月12日 · 2 分钟 · Hellokitty