读懂 Linux DMA API:地址映射、内存一致性,以及 Pin 为什么能加速传输

CPU 内存传到 GPU,为什么先做一次 pin 往往更快?不是因为 pin 提高了 PCIe 的物理带宽,而是因为它让内存能够更直接地参与设备传输,减少中间复制,并为传输与计算重叠创造条件。 要理解这件事,可以先读 Linux 的 Dynamic DMA mapping Guide。它面向驱动开发者,讲的是如何让设备正确访问内存;CUDA 的 pinned memory 则是应用层的一种内存注册机制。两者不是同一套 API,但背后需要解决的地址、生命周期和可见性问题是相通的。 本文以传统 Linux 主机加独立 GPU 为主要模型。支持共享页表、设备缺页等能力的平台,会在文末单独说明边界。 一、DMA 绕开的是 CPU 搬运,不是 CPU 管理 DMA,即 Direct Memory Access,允许设备的数据传输引擎读写内存,不必让 CPU 用加载、存储指令逐字节搬运整个缓冲区。 但 CPU 和驱动仍要准备缓冲区、建立映射、提交描述符,以及处理完成通知。DMA 不是“CPU 完全不参与”,更不是“有个指针就能发给设备”。 原文首先区分了三种地址,这是理解后续 API 的基础: 地址 使用者 常见表示 CPU 虚拟地址 CPU 上运行的代码 void * CPU 物理地址 CPU 物理地址空间、内存管理系统 phys_addr_t DMA 地址 设备发起内存访问时使用 dma_addr_t 它们可能有相同的数值,但不能因此当成同一种地址。 CPU 路径: CPU 虚拟地址 X ──CPU 页表──→ 物理内存 Y 设备路径: DMA 地址 Z ──IOMMU 等映射──→ 物理内存 Y 在有 IOMMU 的系统中,Z 通常是设备侧的 I/O 虚拟地址,即 IOVA;其他平台可能采用直接映射或主桥地址转换。驱动应使用 DMA API 返回的地址,而不是假设 virt_to_phys() 的结果就能写进设备描述符。 ...

2026年9月12日 · 3 分钟 · Hellokitty

PCIe BAR 深入解析:从设备地址窗口到 DMA 与 GPUDirect Storage

在操作系统驱动、高性能网卡、NVMe SSD 和 GPU 系统中,经常会同时看到 BAR、MMIO、DMA、IOMMU、peer-to-peer DMA、GPUDirect RDMA 和 GPUDirect Storage 等概念。这些名词都与“设备怎样通过 PCIe 交换控制信息和数据”有关,但它们处在不同层次。 最简洁的理解是: BAR:让 CPU 能够定位并访问 PCIe 设备中的寄存器或显存窗口 DMA:让 PCIe 设备能够主动读取或写入系统内存 P2P DMA:让一个 PCIe 设备直接访问另一个 PCIe 设备暴露的地址空间 GDS:利用 DMA、GPU 内存映射和驱动协作,让存储数据尽量直接进入 GPU 显存 本文从 PCIe 地址空间和事务模型出发,解释 BAR 是如何分配和映射的,驱动为什么通过 BAR 下发命令,DMA 地址为什么不能简单等同于物理地址,以及 GPUDirect Storage 如何把这些机制组合成一条高性能数据路径。 一、先建立 PCIe 系统视图 一个典型服务器的 PCIe 拓扑如下: CPU │ Memory Controller │ Host RAM │ Root Complex ┌──────┴──────┐ │ │ PCIe Switch PCIe Endpoint ┌────┴────┐ GPU │ │ NVMe SSD NIC CPU 和内存构成主机侧。Root Complex 把 CPU/内存系统连接到 PCIe fabric。NVMe、网卡和 GPU 通常是 Endpoint。PCIe Switch 用于扩展端口和转发事务。 ...

2026年8月21日 · 10 分钟 · Hellokitty

nvidia-fs 源码阅读(二):GPU 内存注册、影子页与 DMA 映射

上一篇从 nvfs_init()、字符设备和 ioctl 看到了 nvidia-fs 的外部形态。本文进入 GDS direct path 的核心:怎样把用户分配的 GPU virtual address 变成存储设备能够 DMA 的地址,同时又让 Linux 文件 I/O 栈能够携带它。 阅读版本仍为 NVIDIA gds-nvidia-fs: commit: 328d1d8cce1175c013720985c30e123e9a35242c GDS_VERSION: 2.29.4 一、问题本质 普通块 I/O 最终围绕 bio_vec、struct page、scatterlist 和 DMA mapping 展开。但 cudaMalloc 得到的是 GPU 虚拟地址,对 Linux 页缓存和块层来说,它并不是普通 CPU 内存页。 驱动需要解决三次“翻译”: GPU virtual address -> NVIDIA P2P page table 中的 GPU physical pages -> Linux I/O 栈可携带的影子 struct page -> 某个存储 PCIe 设备可使用的 DMA address 三个地址空间不能混为一谈: ...

2026年8月21日 · 4 分钟 · Hellokitty