jemalloc 内存分配链路:tcache、bin、arena 与 extent

理解 jemalloc,可以先抓住一条主线:对象尽量在线程本地复用,小对象按尺寸组织,底层再按页管理内存。 因而一次 malloc 通常不需要向操作系统申请内存,一次 free 也不意味着页面马上归还操作系统。 本文以 jemalloc 5.4.0,源码提交 7a34f18502e7 为准,讨论 Linux 上启用 tcache、使用默认 PAC 页分配后端的常见路径。HPA、自定义 extent hooks、特殊对齐和性能采样会引入其他分支。文中的具体尺寸来自 x86-64、4 KiB 页环境的实际构建,不应当作所有平台的常量。 一、先把六个概念放到正确的位置 概念 管理什么 容易混淆的地方 tcache 线程本地、按 size class 缓存的可复用对象指针 缓存的不只是 small 对象;不是操作系统页缓存 arena 一组相对独立的分配、页面管理、回收与统计状态 可以被多个线程共享,不是一线程一个,也不是一段固定连续内存 bin 某个 arena 中、某一 small size class 对应的 slab 管理结构 不是一个对象,也不是所有大小请求都要经过的统一桶 slab 被切成多个同尺寸 region 的页级内存块 是一种用途特殊的 extent;不保证只有一页 region slab 中用于容纳一个小对象的固定尺寸槽位 malloc(100) 对应的槽位可能大于 100 字节 extent 页对齐、虚拟地址连续的一段内存范围 不要求物理连续,也不一定对应一次独立的 mmap 这里有两个维度:arena 和 bin 是组织、管理结构;extent、slab、region 是被管理的内存及其切分方式。 不能把它们理解成几个相互独立、依次复制数据的缓存层。 ...

2026年9月27日 · 4 分钟 · Hellokitty

Vistara 论文解读:CXL 扩容的收益、边界与工程代价

更慢的内存,为什么反而能降低业务延迟、减少服务器数量? Vistara 的答案不是把 DDR4 变成 DDR5,而是让本来装不下的数据留在内存里,同时尽量不让关键访问落到慢层。 本文解读 ISCA 2026 论文 Vistara: Making CXL Real—Full Path from ASIC Design and OS Support to Hyperscale Deployment,以作者公开的 15 页 camera-ready PDF 为准,并结合作者报告、TPP/TMO 及 Linux 文档交叉核对。所有生产性能数字均为作者报告;本文没有复现 Vistara 硬件或生产流量实验。 一、先问清楚:缺的是容量,还是访存性能? 一台服务器可能已经用完内存,CPU、网络和存储却还有余量。继续加任务会 OOM,不加任务又浪费其他资源。论文报告,Meta 被调查服务器中约四成受到内存容量约束。 这与“内存带宽已经跑满”是两个问题。前者需要更多位置存放数据,后者需要更快地搬运数据。扩容只有在没有引入更严重瓶颈时,才能提高整机利用率。 Vistara 选择的机会来自访问不均匀:大量页面必须驻留,却不经常访问。论文的页面空闲时间统计中,Cache 工作负载的中位数达到 19.4 分钟。若把这些页放到慢层,而连接状态、索引和活跃请求数据仍留在本地 DRAM,容量可以增加,关键路径不必同比变慢。 但这里有一个重要区分:冷页面占容量的比例,不等于慢层承担访问的比例。 判断方案是否适合某个服务,不能只统计“有多少 GB 是冷的”,还要看访问频率、热点变化,以及高峰时慢层真正承受的流量。 二、硬件:复用 DDR4,但不掩盖它更慢的事实 Vistara 是 Type-3 CXL 内存扩展器。论文中的 MemServer 使用单路 AMD Turin CPU,本地接 768 GB DDR5,另外通过两颗 Vistara ASIC 接入 256 GB DDR4: ...

2026年9月27日 · 3 分钟 · Hellokitty

jemalloc 原理详解:从小对象分配到页面回收

jemalloc 的核心不是“找到一块空闲内存”,而是把不同成本的内存管理工作拆成多层:线程缓存处理高频请求,arena 分散共享状态,小对象通过 slab 紧凑存放,页级分配器负责复用、拆分与回收映射。 理解这几层,就能回答三个常见问题:为什么 malloc 通常不需要系统调用?为什么 free 之后 RSS 不下降?为什么增大缓存、增加 arena 能提高吞吐,却可能增加内存占用? 本文以截至 2026-09-21 核对的 jemalloc 5.4.0 发布版及同版本手册为基线。数值示例和实验采用 64 位 Linux、4 KiB 页、16 字节 quantum、默认大小类;页大小、构建选项和运行配置改变后,应通过 mallctl 重新查询,不能照搬数字。 一、先分清:对象、页和物理内存不是同一层 应用请求的是字节,操作系统管理的是页,而 CPU 真正访问的是经过地址转换的物理内存。jemalloc 工作在这几者之间,但它不能把任意多个物理页变成物理连续内存,也不会替应用移动仍然存活的普通 C/C++ 对象。 默认配置下,可以把主要分配路径画成下面这样。图中省略了 profiling、显式对齐和部分特殊缓存分支。 application: malloc / free | size class + thread state | thread-local tcache hit | | miss / flush / bypass | v | arena | | | +----+--------------------+ | | | | small large | | | | bin -> slab -> regions dedicated extent | | | | +------------+------------+ | | | page allocator (PA) | | | PAC: reusable extents | | | extent hooks / OS VM | | | mmap / madvise / munmap v return object pointer 这里有几个容易混淆的名词: ...

2026年9月21日 · 8 分钟 · Hellokitty

读懂 Linux DMA API:地址映射、内存一致性,以及 Pin 为什么能加速传输

CPU 内存传到 GPU,为什么先做一次 pin 往往更快?不是因为 pin 提高了 PCIe 的物理带宽,而是因为它让内存能够更直接地参与设备传输,减少中间复制,并为传输与计算重叠创造条件。 要理解这件事,可以先读 Linux 的 Dynamic DMA mapping Guide。它面向驱动开发者,讲的是如何让设备正确访问内存;CUDA 的 pinned memory 则是应用层的一种内存注册机制。两者不是同一套 API,但背后需要解决的地址、生命周期和可见性问题是相通的。 本文以传统 Linux 主机加独立 GPU 为主要模型。支持共享页表、设备缺页等能力的平台,会在文末单独说明边界。 一、DMA 绕开的是 CPU 搬运,不是 CPU 管理 DMA,即 Direct Memory Access,允许设备的数据传输引擎读写内存,不必让 CPU 用加载、存储指令逐字节搬运整个缓冲区。 但 CPU 和驱动仍要准备缓冲区、建立映射、提交描述符,以及处理完成通知。DMA 不是“CPU 完全不参与”,更不是“有个指针就能发给设备”。 原文首先区分了三种地址,这是理解后续 API 的基础: 地址 使用者 常见表示 CPU 虚拟地址 CPU 上运行的代码 void * CPU 物理地址 CPU 物理地址空间、内存管理系统 phys_addr_t DMA 地址 设备发起内存访问时使用 dma_addr_t 它们可能有相同的数值,但不能因此当成同一种地址。 CPU 路径: CPU 虚拟地址 X ──CPU 页表──→ 物理内存 Y 设备路径: DMA 地址 Z ──IOMMU 等映射──→ 物理内存 Y 在有 IOMMU 的系统中,Z 通常是设备侧的 I/O 虚拟地址,即 IOVA;其他平台可能采用直接映射或主桥地址转换。驱动应使用 DMA API 返回的地址,而不是假设 virt_to_phys() 的结果就能写进设备描述符。 ...

2026年9月12日 · 3 分钟 · Hellokitty

从原理到实战:用 Rust 理解 io_uring 异步 I/O

从 SQ/CQ 共享环、io_uring_enter 和内核执行路径出发,解释 io_uring 为什么能批量提交 I/O,并用 Rust 实现一个可运行的并发随机读程序。

2026年9月7日 · 4 分钟 · Hellokitty

Linux FUSE 原理与 I/O 链路:控制面、数据面、复制次数及优化

从 VFS、fuse.ko、/dev/fuse 和用户态守护进程出发,逐跳分析 FUSE 控制面与数据面链路,并解释 read/write 路径中的复制次数及 page cache、splice、DAX、passthrough 等优化。

2026年9月5日 · 6 分钟 · Hellokitty