jemalloc 内存分配链路:tcache、bin、arena 与 extent

理解 jemalloc,可以先抓住一条主线:对象尽量在线程本地复用,小对象按尺寸组织,底层再按页管理内存。 因而一次 malloc 通常不需要向操作系统申请内存,一次 free 也不意味着页面马上归还操作系统。 本文以 jemalloc 5.4.0,源码提交 7a34f18502e7 为准,讨论 Linux 上启用 tcache、使用默认 PAC 页分配后端的常见路径。HPA、自定义 extent hooks、特殊对齐和性能采样会引入其他分支。文中的具体尺寸来自 x86-64、4 KiB 页环境的实际构建,不应当作所有平台的常量。 一、先把六个概念放到正确的位置 概念 管理什么 容易混淆的地方 tcache 线程本地、按 size class 缓存的可复用对象指针 缓存的不只是 small 对象;不是操作系统页缓存 arena 一组相对独立的分配、页面管理、回收与统计状态 可以被多个线程共享,不是一线程一个,也不是一段固定连续内存 bin 某个 arena 中、某一 small size class 对应的 slab 管理结构 不是一个对象,也不是所有大小请求都要经过的统一桶 slab 被切成多个同尺寸 region 的页级内存块 是一种用途特殊的 extent;不保证只有一页 region slab 中用于容纳一个小对象的固定尺寸槽位 malloc(100) 对应的槽位可能大于 100 字节 extent 页对齐、虚拟地址连续的一段内存范围 不要求物理连续,也不一定对应一次独立的 mmap 这里有两个维度:arena 和 bin 是组织、管理结构;extent、slab、region 是被管理的内存及其切分方式。 不能把它们理解成几个相互独立、依次复制数据的缓存层。 ...

2026年9月27日 · 4 分钟 · Hellokitty

论文阅读A Performance Characterization of External KV Caching for vLLM with NVMe SSDs

阅读 py-kvcache 时,我最关心一个具体问题:已经知道一个请求的前缀命中了 SSD 缓存,接下来应该加载它,还是直接让 GPU 重算? 命中率只能说明数据是否存在,不能替系统回答这个问题。需要比较的是两条执行路径到达首个输出 token 的时间,而不只是 SSD 的标称带宽。 本文是基于 arXiv:2609.11744v1 的原创阅读笔记,不是论文全文译文。论文结果、源码观察与独立推导分别说明;没有复跑论文的性能基准。 一、先把论文数字放回实验条件里 原文第 7 节使用 vLLM 0.22。下面摘取 H100、Llama 3.2 3B、80k 前缀的 query TTFT 对照;这里的 80k 是 81,920 个 token,LMCache 基线是 0.4.7 的默认磁盘后端。 对照 论文报告的加速比 仅磁盘:py-kvcache 开启预加载,对比 LMCache 约 2.0× 同一 py-kvcache 磁盘配置,开启与关闭预加载 约 1.34× 多层缓存配置:py-kvcache 对比 LMCache 约 1.23× 仅磁盘实验使用 50 个并发请求,关闭 GPU 前缀缓存与 break-even 门控;论文多数测量使用 FP16 KV、只生成 1 个输出 token。Bailian 回放则呈现另一面:较弱 GPU 上有收益,H100 上相对 GPU 前缀缓存没有额外收益。 ...

2026年9月24日 · 3 分钟 · Hellokitty

jemalloc 原理详解:从小对象分配到页面回收

jemalloc 的核心不是“找到一块空闲内存”,而是把不同成本的内存管理工作拆成多层:线程缓存处理高频请求,arena 分散共享状态,小对象通过 slab 紧凑存放,页级分配器负责复用、拆分与回收映射。 理解这几层,就能回答三个常见问题:为什么 malloc 通常不需要系统调用?为什么 free 之后 RSS 不下降?为什么增大缓存、增加 arena 能提高吞吐,却可能增加内存占用? 本文以截至 2026-09-21 核对的 jemalloc 5.4.0 发布版及同版本手册为基线。数值示例和实验采用 64 位 Linux、4 KiB 页、16 字节 quantum、默认大小类;页大小、构建选项和运行配置改变后,应通过 mallctl 重新查询,不能照搬数字。 一、先分清:对象、页和物理内存不是同一层 应用请求的是字节,操作系统管理的是页,而 CPU 真正访问的是经过地址转换的物理内存。jemalloc 工作在这几者之间,但它不能把任意多个物理页变成物理连续内存,也不会替应用移动仍然存活的普通 C/C++ 对象。 默认配置下,可以把主要分配路径画成下面这样。图中省略了 profiling、显式对齐和部分特殊缓存分支。 application: malloc / free | size class + thread state | thread-local tcache hit | | miss / flush / bypass | v | arena | | | +----+--------------------+ | | | | small large | | | | bin -> slab -> regions dedicated extent | | | | +------------+------------+ | | | page allocator (PA) | | | PAC: reusable extents | | | extent hooks / OS VM | | | mmap / madvise / munmap v return object pointer 这里有几个容易混淆的名词: ...

2026年9月21日 · 8 分钟 · Hellokitty

NUMA 是什么?从内存访问距离到 LMCache 的实际用法

读 LMCache 的内存分配代码时,很容易遇到一个问题:构造函数明明有 numa_mapping 参数,为什么运行时一直是 None?回答它之前,需要先区分三件事:内存位于哪个 NUMA 节点、线程运行在哪些 CPU 上,以及主机内存是否经过 GPU 注册。 它们彼此相关,却不是同一个开关。 本文的源码结论固定在 LMCache 公开提交 fd6722d9310471bc7d1871969ef3062889878632,核对日期为 2026 年 9 月 10 日。本文是原理与代码分析,没有进行双路服务器性能实测,也不预设 NUMA 优化一定带来加速。 1. NUMA:访问同一份内存空间,距离却不一样 NUMA 是 Non-Uniform Memory Access,即非一致内存访问。这里的“非一致”说的是访问代价不一致,不是“不同 CPU 读到的数据不一致”。 Linux 内核文档把 NUMA 系统抽象为多个 node:节点可以包含 CPU、内存和 I/O 资源,节点之间通过互连通信。对某个 CPU 或 I/O 设备来说,目标内存所在节点的距离会影响访问延迟和有效带宽。常见的双路服务器可以简化成下面这样,但真实机器不能直接假定“一个 CPU 插槽等于一个 NUMA 节点”。 NUMA node 0 NUMA node 1 CPU cores + DRAM 0 CPU cores + DRAM 1 | | +---------- interconnect ----------+ | | PCIe / GPU 0 PCIe / GPU 1 CPU 0 -> DRAM 0: local access CPU 0 -> DRAM 1: remote access GPU 0 -> DRAM 1: potentially crosses the interconnect 这是一张示意图,不是某台机器的真实拓扑。实际 GPU、PCIe 交换机和内存控制器的关系,应以系统和设备工具报告为准。 ...

2026年9月10日 · 3 分钟 · Hellokitty

CUDA Event:GPU 时间线上的事件、同步原理与实战

CUDA kernel launch 通常是异步的:CPU 把 kernel、内存拷贝等操作提交到 stream 后便继续执行。由此产生两个常见问题:如何准确测量 GPU 工作耗时,以及如何让不同 stream 在不阻塞 CPU 的情况下建立依赖? CUDA Event 就是解决这类问题的基础设施。它可以理解为插入 GPU stream 时间线中的一个标记:当 event 之前的工作全部完成,event 才进入完成状态。借助这个状态,我们可以做 GPU 计时、CPU 等待、跨 stream 同步和异步资源回收。 1. Event 不是 CPU 事件,而是 GPU 时间线标记 一个 CUDA stream 是按序执行的 GPU 工作队列: CPU 提交: Kernel A → memcpy → Event E → Kernel B 异步提交 GPU 执行: Kernel A ── memcpy ── E 完成 ── Kernel B 调用 cudaEventRecord(event, stream) 时,CPU 通常只是向 stream 提交一个 event 记录操作,并不会等待 GPU 执行到该位置。只有当这个 stream 中排在 event 前面的操作完成后,event 才会被标记为完成。 ...

2026年8月31日 · 6 分钟 · Hellokitty

从朴素循环到硬件极限:GEMM / GEMV 高性能算子优化指南

GEMM 与 GEMV 看起来都只是乘加: GEMM: C = alpha * A * B + beta * C GEMV: y = alpha * A * x + beta * y 但二者的最佳实现完全不同。GEMM 可以反复复用矩阵块,通常有机会逼近计算峰值;GEMV 中矩阵元素通常只读一次,往往受内存带宽限制。高性能算子的第一步不是写 SIMD 或 CUDA,而是先判断瓶颈究竟在哪里。 本文给出一条从正确基线走向高性能内核的完整路线。重点不是某段固定代码,而是每一步为什么有效、如何验证,以及何时应该停止优化。 一、先建立性能上限 1. 计算量 对于矩阵尺寸: A: M × K B: K × N C: M × N GEMM 约执行: FLOPs = 2 * M * N * K GEMV 是 N = 1 的特殊形态: FLOPs = 2 * M * K 乘法和加法各算一次浮点操作。 ...

2026年8月26日 · 6 分钟 · Hellokitty