jemalloc 内存分配链路:tcache、bin、arena 与 extent

理解 jemalloc,可以先抓住一条主线:对象尽量在线程本地复用,小对象按尺寸组织,底层再按页管理内存。 因而一次 malloc 通常不需要向操作系统申请内存,一次 free 也不意味着页面马上归还操作系统。 本文以 jemalloc 5.4.0,源码提交 7a34f18502e7 为准,讨论 Linux 上启用 tcache、使用默认 PAC 页分配后端的常见路径。HPA、自定义 extent hooks、特殊对齐和性能采样会引入其他分支。文中的具体尺寸来自 x86-64、4 KiB 页环境的实际构建,不应当作所有平台的常量。 一、先把六个概念放到正确的位置 概念 管理什么 容易混淆的地方 tcache 线程本地、按 size class 缓存的可复用对象指针 缓存的不只是 small 对象;不是操作系统页缓存 arena 一组相对独立的分配、页面管理、回收与统计状态 可以被多个线程共享,不是一线程一个,也不是一段固定连续内存 bin 某个 arena 中、某一 small size class 对应的 slab 管理结构 不是一个对象,也不是所有大小请求都要经过的统一桶 slab 被切成多个同尺寸 region 的页级内存块 是一种用途特殊的 extent;不保证只有一页 region slab 中用于容纳一个小对象的固定尺寸槽位 malloc(100) 对应的槽位可能大于 100 字节 extent 页对齐、虚拟地址连续的一段内存范围 不要求物理连续,也不一定对应一次独立的 mmap 这里有两个维度:arena 和 bin 是组织、管理结构;extent、slab、region 是被管理的内存及其切分方式。 不能把它们理解成几个相互独立、依次复制数据的缓存层。 ...

2026年9月27日 · 4 分钟 · Hellokitty

Vistara 论文解读:CXL 扩容的收益、边界与工程代价

更慢的内存,为什么反而能降低业务延迟、减少服务器数量? Vistara 的答案不是把 DDR4 变成 DDR5,而是让本来装不下的数据留在内存里,同时尽量不让关键访问落到慢层。 本文解读 ISCA 2026 论文 Vistara: Making CXL Real—Full Path from ASIC Design and OS Support to Hyperscale Deployment,以作者公开的 15 页 camera-ready PDF 为准,并结合作者报告、TPP/TMO 及 Linux 文档交叉核对。所有生产性能数字均为作者报告;本文没有复现 Vistara 硬件或生产流量实验。 一、先问清楚:缺的是容量,还是访存性能? 一台服务器可能已经用完内存,CPU、网络和存储却还有余量。继续加任务会 OOM,不加任务又浪费其他资源。论文报告,Meta 被调查服务器中约四成受到内存容量约束。 这与“内存带宽已经跑满”是两个问题。前者需要更多位置存放数据,后者需要更快地搬运数据。扩容只有在没有引入更严重瓶颈时,才能提高整机利用率。 Vistara 选择的机会来自访问不均匀:大量页面必须驻留,却不经常访问。论文的页面空闲时间统计中,Cache 工作负载的中位数达到 19.4 分钟。若把这些页放到慢层,而连接状态、索引和活跃请求数据仍留在本地 DRAM,容量可以增加,关键路径不必同比变慢。 但这里有一个重要区分:冷页面占容量的比例,不等于慢层承担访问的比例。 判断方案是否适合某个服务,不能只统计“有多少 GB 是冷的”,还要看访问频率、热点变化,以及高峰时慢层真正承受的流量。 二、硬件:复用 DDR4,但不掩盖它更慢的事实 Vistara 是 Type-3 CXL 内存扩展器。论文中的 MemServer 使用单路 AMD Turin CPU,本地接 768 GB DDR5,另外通过两颗 Vistara ASIC 接入 256 GB DDR4: ...

2026年9月27日 · 3 分钟 · Hellokitty

jemalloc 原理详解:从小对象分配到页面回收

jemalloc 的核心不是“找到一块空闲内存”,而是把不同成本的内存管理工作拆成多层:线程缓存处理高频请求,arena 分散共享状态,小对象通过 slab 紧凑存放,页级分配器负责复用、拆分与回收映射。 理解这几层,就能回答三个常见问题:为什么 malloc 通常不需要系统调用?为什么 free 之后 RSS 不下降?为什么增大缓存、增加 arena 能提高吞吐,却可能增加内存占用? 本文以截至 2026-09-21 核对的 jemalloc 5.4.0 发布版及同版本手册为基线。数值示例和实验采用 64 位 Linux、4 KiB 页、16 字节 quantum、默认大小类;页大小、构建选项和运行配置改变后,应通过 mallctl 重新查询,不能照搬数字。 一、先分清:对象、页和物理内存不是同一层 应用请求的是字节,操作系统管理的是页,而 CPU 真正访问的是经过地址转换的物理内存。jemalloc 工作在这几者之间,但它不能把任意多个物理页变成物理连续内存,也不会替应用移动仍然存活的普通 C/C++ 对象。 默认配置下,可以把主要分配路径画成下面这样。图中省略了 profiling、显式对齐和部分特殊缓存分支。 application: malloc / free | size class + thread state | thread-local tcache hit | | miss / flush / bypass | v | arena | | | +----+--------------------+ | | | | small large | | | | bin -> slab -> regions dedicated extent | | | | +------------+------------+ | | | page allocator (PA) | | | PAC: reusable extents | | | extent hooks / OS VM | | | mmap / madvise / munmap v return object pointer 这里有几个容易混淆的名词: ...

2026年9月21日 · 8 分钟 · Hellokitty

NUMA 是什么?从内存访问距离到 LMCache 的实际用法

读 LMCache 的内存分配代码时,很容易遇到一个问题:构造函数明明有 numa_mapping 参数,为什么运行时一直是 None?回答它之前,需要先区分三件事:内存位于哪个 NUMA 节点、线程运行在哪些 CPU 上,以及主机内存是否经过 GPU 注册。 它们彼此相关,却不是同一个开关。 本文的源码结论固定在 LMCache 公开提交 fd6722d9310471bc7d1871969ef3062889878632,核对日期为 2026 年 9 月 10 日。本文是原理与代码分析,没有进行双路服务器性能实测,也不预设 NUMA 优化一定带来加速。 1. NUMA:访问同一份内存空间,距离却不一样 NUMA 是 Non-Uniform Memory Access,即非一致内存访问。这里的“非一致”说的是访问代价不一致,不是“不同 CPU 读到的数据不一致”。 Linux 内核文档把 NUMA 系统抽象为多个 node:节点可以包含 CPU、内存和 I/O 资源,节点之间通过互连通信。对某个 CPU 或 I/O 设备来说,目标内存所在节点的距离会影响访问延迟和有效带宽。常见的双路服务器可以简化成下面这样,但真实机器不能直接假定“一个 CPU 插槽等于一个 NUMA 节点”。 NUMA node 0 NUMA node 1 CPU cores + DRAM 0 CPU cores + DRAM 1 | | +---------- interconnect ----------+ | | PCIe / GPU 0 PCIe / GPU 1 CPU 0 -> DRAM 0: local access CPU 0 -> DRAM 1: remote access GPU 0 -> DRAM 1: potentially crosses the interconnect 这是一张示意图,不是某台机器的真实拓扑。实际 GPU、PCIe 交换机和内存控制器的关系,应以系统和设备工具报告为准。 ...

2026年9月10日 · 3 分钟 · Hellokitty

LMCache 三种 L1MemoryManager 源码解析:DRAM、Device-DAX 与 GDS

LMCache 的 L1MemoryManager、DevDaxL1MemoryManager 和 GDSL1MemoryManager,并不是同一种分配器换了三个名字。它们分别管理 DRAM 内存池、Device-DAX 映射池和 GDS slab 偏移空间。理解三者的关键,是把对象生命周期、空间分配和数据搬运分开。 本文基于 2026 年 9 月 10 日核对的公开 fork yangyang233333/LMCache,固定提交 7d9d54dd9b23703a73040e140753c95cd6c4bdb7。以下结论限定于这个实现快照,不代表上游发布版已经包含全部功能;本文为源码调研,没有进行真实 GDS、DAX/CXL 硬件性能实测。 1. 同一个 L1 层级,三种数据载体 先分清两个名字:L1Manager 管理 key、对象状态与读写生命周期,本文讨论的三个 memory manager 则负责空间分配与回收。淘汰策略和数据传输也不应与这层空间接口混为一谈。 L1Manager 的构造逻辑先检查 GDS 配置,再检查 DAX 路径,最后选择普通 DRAM 管理器。三者通过结构化接口 L1ManagerProtocol 暴露分配、释放、容量、介质识别、内存描述符和关闭等操作。 L1Manager:key、对象状态与读写生命周期 │ └── L1ManagerProtocol ├── L1MemoryManager │ └── LazyMemoryAllocator / MixedMemoryAllocator ├── DevDaxL1MemoryManager │ └── DevDaxMemoryAllocator │ ├── 可选 DRAM pool │ └── 一个或多个 DAX arena └── GDSL1MemoryManager └── AddressManager:slab 偏移与空闲区间 gpu_ops / connector:实际数据传输 └── GDS 对象分派到 GDSContext DevDaxL1MemoryManager 继承普通 L1MemoryManager,复用接口逻辑并替换 allocator;GDSL1MemoryManager 则是满足同一 Protocol 的独立实现,不继承普通管理器。 ...

2026年9月10日 · 4 分钟 · Hellokitty

LMCache LazyMemoryAllocator 源码分析:延迟锁页、分配释放与内存碎片

从源码拆解 LMCache LazyMemoryAllocator 如何预留连续 CPU 缓冲区、后台分批注册 pinned memory、通过地址管理器完成 alloc/free,并分析其内部碎片、外部碎片与暂时性容量不足问题。

2026年9月6日 · 4 分钟 · Hellokitty