jemalloc 内存分配链路:tcache、bin、arena 与 extent

理解 jemalloc,可以先抓住一条主线:对象尽量在线程本地复用,小对象按尺寸组织,底层再按页管理内存。 因而一次 malloc 通常不需要向操作系统申请内存,一次 free 也不意味着页面马上归还操作系统。 本文以 jemalloc 5.4.0,源码提交 7a34f18502e7 为准,讨论 Linux 上启用 tcache、使用默认 PAC 页分配后端的常见路径。HPA、自定义 extent hooks、特殊对齐和性能采样会引入其他分支。文中的具体尺寸来自 x86-64、4 KiB 页环境的实际构建,不应当作所有平台的常量。 一、先把六个概念放到正确的位置 概念 管理什么 容易混淆的地方 tcache 线程本地、按 size class 缓存的可复用对象指针 缓存的不只是 small 对象;不是操作系统页缓存 arena 一组相对独立的分配、页面管理、回收与统计状态 可以被多个线程共享,不是一线程一个,也不是一段固定连续内存 bin 某个 arena 中、某一 small size class 对应的 slab 管理结构 不是一个对象,也不是所有大小请求都要经过的统一桶 slab 被切成多个同尺寸 region 的页级内存块 是一种用途特殊的 extent;不保证只有一页 region slab 中用于容纳一个小对象的固定尺寸槽位 malloc(100) 对应的槽位可能大于 100 字节 extent 页对齐、虚拟地址连续的一段内存范围 不要求物理连续,也不一定对应一次独立的 mmap 这里有两个维度:arena 和 bin 是组织、管理结构;extent、slab、region 是被管理的内存及其切分方式。 不能把它们理解成几个相互独立、依次复制数据的缓存层。 ...

2026年9月27日 · 4 分钟 · Hellokitty

jemalloc 原理详解:从小对象分配到页面回收

jemalloc 的核心不是“找到一块空闲内存”,而是把不同成本的内存管理工作拆成多层:线程缓存处理高频请求,arena 分散共享状态,小对象通过 slab 紧凑存放,页级分配器负责复用、拆分与回收映射。 理解这几层,就能回答三个常见问题:为什么 malloc 通常不需要系统调用?为什么 free 之后 RSS 不下降?为什么增大缓存、增加 arena 能提高吞吐,却可能增加内存占用? 本文以截至 2026-09-21 核对的 jemalloc 5.4.0 发布版及同版本手册为基线。数值示例和实验采用 64 位 Linux、4 KiB 页、16 字节 quantum、默认大小类;页大小、构建选项和运行配置改变后,应通过 mallctl 重新查询,不能照搬数字。 一、先分清:对象、页和物理内存不是同一层 应用请求的是字节,操作系统管理的是页,而 CPU 真正访问的是经过地址转换的物理内存。jemalloc 工作在这几者之间,但它不能把任意多个物理页变成物理连续内存,也不会替应用移动仍然存活的普通 C/C++ 对象。 默认配置下,可以把主要分配路径画成下面这样。图中省略了 profiling、显式对齐和部分特殊缓存分支。 application: malloc / free | size class + thread state | thread-local tcache hit | | miss / flush / bypass | v | arena | | | +----+--------------------+ | | | | small large | | | | bin -> slab -> regions dedicated extent | | | | +------------+------------+ | | | page allocator (PA) | | | PAC: reusable extents | | | extent hooks / OS VM | | | mmap / madvise / munmap v return object pointer 这里有几个容易混淆的名词: ...

2026年9月21日 · 8 分钟 · Hellokitty