SR-IOV RDMA 虚拟化原理:从 VF 直通到内存隔离
从 PF/VF 的职责分工出发,沿一次 RDMA Write 解释虚拟机如何直接使用网卡,以及 MR、地址转换和 IOMMU 如何共同建立隔离边界。
从 PF/VF 的职责分工出发,沿一次 RDMA Write 解释虚拟机如何直接使用网卡,以及 MR、地址转换和 IOMMU 如何共同建立隔离边界。
CPU 内存传到 GPU,为什么先做一次 pin 往往更快?不是因为 pin 提高了 PCIe 的物理带宽,而是因为它让内存能够更直接地参与设备传输,减少中间复制,并为传输与计算重叠创造条件。 要理解这件事,可以先读 Linux 的 Dynamic DMA mapping Guide。它面向驱动开发者,讲的是如何让设备正确访问内存;CUDA 的 pinned memory 则是应用层的一种内存注册机制。两者不是同一套 API,但背后需要解决的地址、生命周期和可见性问题是相通的。 本文以传统 Linux 主机加独立 GPU 为主要模型。支持共享页表、设备缺页等能力的平台,会在文末单独说明边界。 一、DMA 绕开的是 CPU 搬运,不是 CPU 管理 DMA,即 Direct Memory Access,允许设备的数据传输引擎读写内存,不必让 CPU 用加载、存储指令逐字节搬运整个缓冲区。 但 CPU 和驱动仍要准备缓冲区、建立映射、提交描述符,以及处理完成通知。DMA 不是“CPU 完全不参与”,更不是“有个指针就能发给设备”。 原文首先区分了三种地址,这是理解后续 API 的基础: 地址 使用者 常见表示 CPU 虚拟地址 CPU 上运行的代码 void * CPU 物理地址 CPU 物理地址空间、内存管理系统 phys_addr_t DMA 地址 设备发起内存访问时使用 dma_addr_t 它们可能有相同的数值,但不能因此当成同一种地址。 CPU 路径: CPU 虚拟地址 X ──CPU 页表──→ 物理内存 Y 设备路径: DMA 地址 Z ──IOMMU 等映射──→ 物理内存 Y 在有 IOMMU 的系统中,Z 通常是设备侧的 I/O 虚拟地址,即 IOVA;其他平台可能采用直接映射或主桥地址转换。驱动应使用 DMA API 返回的地址,而不是假设 virt_to_phys() 的结果就能写进设备描述符。 ...
在操作系统驱动、高性能网卡、NVMe SSD 和 GPU 系统中,经常会同时看到 BAR、MMIO、DMA、IOMMU、peer-to-peer DMA、GPUDirect RDMA 和 GPUDirect Storage 等概念。这些名词都与“设备怎样通过 PCIe 交换控制信息和数据”有关,但它们处在不同层次。 最简洁的理解是: BAR:让 CPU 能够定位并访问 PCIe 设备中的寄存器或显存窗口 DMA:让 PCIe 设备能够主动读取或写入系统内存 P2P DMA:让一个 PCIe 设备直接访问另一个 PCIe 设备暴露的地址空间 GDS:利用 DMA、GPU 内存映射和驱动协作,让存储数据尽量直接进入 GPU 显存 本文从 PCIe 地址空间和事务模型出发,解释 BAR 是如何分配和映射的,驱动为什么通过 BAR 下发命令,DMA 地址为什么不能简单等同于物理地址,以及 GPUDirect Storage 如何把这些机制组合成一条高性能数据路径。 一、先建立 PCIe 系统视图 一个典型服务器的 PCIe 拓扑如下: CPU │ Memory Controller │ Host RAM │ Root Complex ┌──────┴──────┐ │ │ PCIe Switch PCIe Endpoint ┌────┴────┐ GPU │ │ NVMe SSD NIC CPU 和内存构成主机侧。Root Complex 把 CPU/内存系统连接到 PCIe fabric。NVMe、网卡和 GPU 通常是 Endpoint。PCIe Switch 用于扩展端口和转发事务。 ...