https://yangyang233333.github.io/tags/linux-%E5%86%85%E6%A0%B8/ Recent content in Linux 内核 on Hellokitty's Blog Hugo zh-CN Mon, 24 Aug 2026 14:49:50 +0800 https://yangyang233333.github.io/posts/phoenix-paper-chinese-translation/ Mon, 24 Aug 2026 14:49:50 +0800 https://yangyang233333.github.io/posts/phoenix-paper-chinese-translation/ 按原论文结构详译 SC'25 论文 Phoenix：解释 NVIDIA GDS 的伪缓冲区问题、基于 ZONE_DEVICE 的 GPU 显存映射、POSIX/io_uring 编程模型，以及本地 NVMe、远程存储、KV Cache 和模型加载实验。 https://yangyang233333.github.io/posts/phoenix-source-code-reading/ Mon, 24 Aug 2026 14:40:15 +0800 https://yangyang233333.github.io/posts/phoenix-source-code-reading/ 深入解析 xPU-IO/Phoenix：它如何通过内核模块、用户态库和应用适配器，将 SSD 数据直接送入 GPU 显存；并比较 full BAR、staging、batch、stream 等数据路径的实现与取舍。 https://yangyang233333.github.io/posts/nvidia-fs-source-code-reading-architecture/ Fri, 21 Aug 2026 10:45:00 +0800 https://yangyang233333.github.io/posts/nvidia-fs-source-code-reading-architecture/ <p><code>nvidia-fs</code> 是 NVIDIA GPUDirect Storage（GDS）的 Linux 内核模块。它不是一种文件系统，而是连接 <code>libcufile</code>、NVIDIA GPU 驱动、Linux 文件 I/O 和支持 GPUDirect 的存储驱动的一层内核协调组件。</p> <p>这组文章阅读 NVIDIA 官方 <code>gds-nvidia-fs</code> 仓库，采用的版本为：</p> <div class="highlight"><pre tabindex="0" style="color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;"><code class="language-text" data-lang="text"><span style="display:flex;"><span>commit: 328d1d8cce1175c013720985c30e123e9a35242c </span></span><span style="display:flex;"><span>GDS_VERSION: 2.29.4 </span></span><span style="display:flex;"><span>commit date: 2026-06-01 </span></span></code></pre></div><p>系列分为三篇：</p> <ol> <li>模块初始化、设备接口与整体架构；</li> <li>GPU 内存注册、页表与 DMA 映射；</li> <li>文件 I/O、批量请求、完成路径与可观测性。</li> </ol> <p>本文先回答一个问题：加载 <code>nvidia_fs.ko</code> 后，内核里究竟多了什么？</p> <h2 id="一源码目录">一、源码目录</h2> <p>核心代码都位于 <code>src/</code>：</p> <table> <thead> <tr> <th>文件</th> <th>职责</th> </tr> </thead> <tbody> <tr> <td><code>nvfs-core.c/.h</code></td> <td>字符设备、ioctl、GPU 内存注册和文件 I/O 主流程</td> </tr> <tr> <td><code>nvfs-mod.c</code></td> <td>与 NVMe、RDMA 等外部模块动态注册 DMA 回调</td> </tr> <tr> <td><code>nvfs-mmap.c/.h</code></td> <td>GPU 页对应的影子 <code>struct page</code> 和 mmap 管理</td> </tr> <tr> <td><code>nvfs-dma.c/.h</code></td> <td>block request 到 GPU DMA 地址的映射</td> </tr> <tr> <td><code>nvfs-batch.c/.h</code></td> <td>批量 I/O 提交与完成</td> </tr> <tr> <td><code>nvfs-rdma.c/.h</code></td> <td>RDMA 注册信息管理</td> </tr> <tr> <td><code>nvfs-pci.c/.h</code></td> <td>GPU 与存储设备的 PCIe 拓扑、距离和亲和性</td> </tr> <tr> <td><code>nvfs-proc.c</code>、<code>nvfs-stat.c</code></td> <td><code>/proc</code> 配置、统计和诊断接口</td> </tr> <tr> <td><code>nvfs-kernel-interface.c</code></td> <td>不同 Linux 内核版本的兼容封装</td> </tr> </tbody> </table> <p>主线集中在 <code>nvfs-core.c</code>，但真正的数据直达能力是多个文件共同完成的。</p>