https://yangyang233333.github.io/tags/gpu-initiated-data-storage/ Recent content in GPU-Initiated Data Storage on Hellokitty's Blog Hugo zh-CN Wed, 19 Aug 2026 14:05:00 +0800 https://yangyang233333.github.io/posts/nvidia-gpu-initiated-data-storage-gids/ Wed, 19 Aug 2026 14:05:00 +0800 https://yangyang233333.github.io/posts/nvidia-gpu-initiated-data-storage-gids/ <p>GPUDirect Storage（GDS）已经能够让存储数据绕过 CPU 内存，直接进入 GPU 显存。但经典 GDS 仍有一个重要特征：I/O 请求由 CPU 侧应用代码提交。</p> <p>当 GPU kernel 在执行过程中才知道下一份数据位于哪里时，控制权必须在 GPU 与 CPU 之间往返。对于图计算、向量检索、稀疏模型和超大规模数据分析，这种细粒度同步可能比数据传输本身更昂贵。</p> <p>NVIDIA GPU-Initiated Data Storage，简称 <strong>GIDS</strong>，试图进一步消除这层控制瓶颈：让 GPU kernel 直接发起存储 I/O，使 GPU 不仅是数据的接收者，也是 I/O 请求的生产者。</p> <p>本文介绍 GIDS 的动机、架构、工作流程、适用场景，以及它和 GDS 的本质区别。</p> <h2 id="一为什么有了-gds-还需要-gids">一、为什么有了 GDS 还需要 GIDS</h2> <p>GDS 优化了数据路径：</p> <div class="highlight"><pre tabindex="0" style="color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;"><code class="language-text" data-lang="text"><span style="display:flex;"><span>CPU 发起请求 </span></span><span style="display:flex;"><span> │ </span></span><span style="display:flex;"><span> ▼ </span></span><span style="display:flex;"><span>存储 ─────────────► GPU 显存 </span></span><span style="display:flex;"><span> 数据不经过 CPU 内存 </span></span></code></pre></div><p>这已经消除了大量主机内存中转，但控制路径仍然经过 CPU。经典流程可能是：</p> <ol> <li>GPU 执行 kernel；</li> <li>GPU 产生下一批要访问的数据索引；</li> <li>kernel 结束或与 CPU 同步；</li> <li>CPU 读取结果并构造文件 I/O；</li> <li>CPU 调用 cuFile；</li> <li>数据进入 GPU；</li> <li>CPU 再次启动 kernel。</li> </ol> <p>如果每次请求都是大块、批量且可提前预测，这种方式通常没有问题。但如果 GPU 在计算过程中产生数以万计甚至更多的动态访问，频繁的 GPU—CPU 往返会带来：</p>