https://yangyang233333.github.io/tags/linux-i/o/ Recent content in Linux I/O on Hellokitty's Blog Hugo zh-CN Fri, 21 Aug 2026 10:47:00 +0800 https://yangyang233333.github.io/posts/nvidia-fs-source-code-reading-io/ Fri, 21 Aug 2026 10:47:00 +0800 https://yangyang233333.github.io/posts/nvidia-fs-source-code-reading-io/ <p>前两篇分别介绍了 <code>nvidia-fs</code> 的模块结构，以及 GPU virtual address 到 peer DMA address 的映射。本文沿一次 <code>cuFileRead</code> 对应的内核路径，分析文件 I/O 如何提交、完成和清理，并介绍 batch、稀疏文件、RDMA 与 <code>/proc</code> 诊断接口。</p> <p>阅读版本：</p> <div class="highlight"><pre tabindex="0" style="color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;"><code class="language-text" data-lang="text"><span style="display:flex;"><span>commit: 328d1d8cce1175c013720985c30e123e9a35242c </span></span><span style="display:flex;"><span>GDS_VERSION: 2.29.4 </span></span></code></pre></div><h2 id="一io-入口">一、I/O 入口</h2> <p><code>nvfs_ioctl()</code> 接收：</p> <div class="highlight"><pre tabindex="0" style="color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;"><code class="language-text" data-lang="text"><span style="display:flex;"><span>NVFS_IOCTL_READ </span></span><span style="display:flex;"><span>NVFS_IOCTL_WRITE </span></span><span style="display:flex;"><span>NVFS_IOCTL_BATCH_IO </span></span></code></pre></div><p>单次读写共用两阶段结构：</p> <div class="highlight"><pre tabindex="0" style="color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;"><code class="language-text" data-lang="text"><span style="display:flex;"><span>nvfs_io_init(op, ioargs) </span></span><span style="display:flex;"><span> -&gt; 验证并构造 nvfs_io </span></span><span style="display:flex;"><span> </span></span><span style="display:flex;"><span>nvfs_io_start_op(nvfsio) </span></span><span style="display:flex;"><span> -&gt; 向目标文件提交真正 I/O </span></span></code></pre></div><p>分成两步的意义在于：参数验证、对象引用和资源分配都应在进入异步 I/O 前完成。一旦请求提交，完成回调可能很快发生，初始化不完整会造成竞态。</p> <h2 id="二nvfs_io_init-做了什么">二、<code>nvfs_io_init</code> 做了什么</h2> <p><code>nvfs_io_init()</code> 是用户参数到内核 I/O 对象的转换层，主要工作包括：</p> <ol> <li>根据文件描述符取得目标 <code>struct file</code>；</li> <li>检查读写权限；</li> <li>查找已经注册的 GPU buffer/mgroup；</li> <li>验证 GPU buffer offset、文件 offset 和长度；</li> <li>建立影子 page 对应的 iov 或迭代器；</li> <li>初始化 <code>kiocb</code>、完成函数和统计字段；</li> <li>为同步、异步和特殊文件系统路径设置标志。</li> </ol> <p>源码还会检查文件系统类型、direct I/O 条件和文件权限。写操作比读操作更复杂，因为它可能涉及文件扩展、页缓存一致性及磁盘空间预分配。</p>