Rust Send 与 Sync:从所有权理解线程安全

Rust 中的 Send 和 Sync 不是发送消息或执行同步的方法,而是编译器用来检查跨线程操作是否安全的两个标记 trait: Send:这个类型的值可以安全地转移到另一个线程。 Sync:这个类型的值可以安全地通过共享引用被多个线程访问。 理解它们的起点不是“有没有锁”,而是:跨线程传递的究竟是一个值,还是指向它的共享引用? 1. Send:把值交给另一个线程 所有权决定谁负责一个值。以 String 为例,转移所有权后,原来的变量不能继续使用这个值。把所有权转移放到两个线程之间,就需要检查 Send。 use std::thread; fn main() { let message = String::from("hello"); let worker = thread::spawn(move || { println!("子线程:{message}"); }); worker.join().unwrap(); } move 让闭包按值捕获 message,随后 thread::spawn 把闭包交给子线程。String 满足 Send,所以这种传递是允许的。主线程不能再通过原来的 message 访问它;join() 只是等待线程结束,不会自动把所有权还回来。 这里有两个不同的检查:move 决定闭包怎样捕获变量,Send 决定闭包能否跨线程传递。写了 move,不等于里面的值就自动变得线程安全。 为什么 Rc 不能 Send Rc<T> 允许多个句柄共同拥有同一份数据,并通过引用计数决定何时释放数据。克隆或销毁句柄都会修改这个计数,但它的计数更新不是原子操作。 假设主线程保留一个 Rc,把克隆出的另一个 Rc 移到子线程。虽然转移出去的句柄有了新主人,两个句柄仍然指向同一个引用计数,两个线程可能同时修改它。因此,Rc<T> 不满足 Send。 关键不是“这个变量有没有被 move”,而是移动这个值之后,它关联的共享状态是否仍然安全。移动一个句柄,不等于独占句柄指向的底层资源。 2. Sync:共享引用能否跨线程 借用不转移所有权,而是提供访问一个值的引用。&T 是共享引用,&mut T 是可变、独占的引用。 ...

2026年9月27日 · 2 分钟 · Hellokitty

jemalloc 内存分配链路:tcache、bin、arena 与 extent

理解 jemalloc,可以先抓住一条主线:对象尽量在线程本地复用,小对象按尺寸组织,底层再按页管理内存。 因而一次 malloc 通常不需要向操作系统申请内存,一次 free 也不意味着页面马上归还操作系统。 本文以 jemalloc 5.4.0,源码提交 7a34f18502e7 为准,讨论 Linux 上启用 tcache、使用默认 PAC 页分配后端的常见路径。HPA、自定义 extent hooks、特殊对齐和性能采样会引入其他分支。文中的具体尺寸来自 x86-64、4 KiB 页环境的实际构建,不应当作所有平台的常量。 一、先把六个概念放到正确的位置 概念 管理什么 容易混淆的地方 tcache 线程本地、按 size class 缓存的可复用对象指针 缓存的不只是 small 对象;不是操作系统页缓存 arena 一组相对独立的分配、页面管理、回收与统计状态 可以被多个线程共享,不是一线程一个,也不是一段固定连续内存 bin 某个 arena 中、某一 small size class 对应的 slab 管理结构 不是一个对象,也不是所有大小请求都要经过的统一桶 slab 被切成多个同尺寸 region 的页级内存块 是一种用途特殊的 extent;不保证只有一页 region slab 中用于容纳一个小对象的固定尺寸槽位 malloc(100) 对应的槽位可能大于 100 字节 extent 页对齐、虚拟地址连续的一段内存范围 不要求物理连续,也不一定对应一次独立的 mmap 这里有两个维度:arena 和 bin 是组织、管理结构;extent、slab、region 是被管理的内存及其切分方式。 不能把它们理解成几个相互独立、依次复制数据的缓存层。 ...

2026年9月27日 · 4 分钟 · Hellokitty

Vistara 论文解读:CXL 扩容的收益、边界与工程代价

更慢的内存,为什么反而能降低业务延迟、减少服务器数量? Vistara 的答案不是把 DDR4 变成 DDR5,而是让本来装不下的数据留在内存里,同时尽量不让关键访问落到慢层。 本文解读 ISCA 2026 论文 Vistara: Making CXL Real—Full Path from ASIC Design and OS Support to Hyperscale Deployment,以作者公开的 15 页 camera-ready PDF 为准,并结合作者报告、TPP/TMO 及 Linux 文档交叉核对。所有生产性能数字均为作者报告;本文没有复现 Vistara 硬件或生产流量实验。 一、先问清楚:缺的是容量,还是访存性能? 一台服务器可能已经用完内存,CPU、网络和存储却还有余量。继续加任务会 OOM,不加任务又浪费其他资源。论文报告,Meta 被调查服务器中约四成受到内存容量约束。 这与“内存带宽已经跑满”是两个问题。前者需要更多位置存放数据,后者需要更快地搬运数据。扩容只有在没有引入更严重瓶颈时,才能提高整机利用率。 Vistara 选择的机会来自访问不均匀:大量页面必须驻留,却不经常访问。论文的页面空闲时间统计中,Cache 工作负载的中位数达到 19.4 分钟。若把这些页放到慢层,而连接状态、索引和活跃请求数据仍留在本地 DRAM,容量可以增加,关键路径不必同比变慢。 但这里有一个重要区分:冷页面占容量的比例,不等于慢层承担访问的比例。 判断方案是否适合某个服务,不能只统计“有多少 GB 是冷的”,还要看访问频率、热点变化,以及高峰时慢层真正承受的流量。 二、硬件:复用 DDR4,但不掩盖它更慢的事实 Vistara 是 Type-3 CXL 内存扩展器。论文中的 MemServer 使用单路 AMD Turin CPU,本地接 768 GB DDR5,另外通过两颗 Vistara ASIC 接入 256 GB DDR4: ...

2026年9月27日 · 3 分钟 · Hellokitty

C++20 协程:理解 co_await、promise 与生命周期

理解 C++20 协程,最重要的是分清三个事件:挂起、完成、销毁。挂起不等于完成,完成也不一定意味着协程状态已经销毁。 语言提供的三个关键字是 co_await、co_yield 和 co_return。下面用一个整数生成器串起它们背后的协议,重点回答:状态存在哪里、谁能恢复执行、结果如何交给调用者,以及最后由谁回收资源。 一、先分清五个角色 C++20 的协程是一种无栈协程:编译器为当前协程组织可挂起、可恢复的状态,而不是在每次暂停时保存整条普通函数调用栈。 角色 作用 容易混淆的地方 协程帧,coroutine frame 保存恢复执行需要的状态、promise、参数副本等 不等于每次 co_await 都把全部局部变量复制到堆上 promise 对象 定制启动、产值、完成、异常等行为 不是 <future> 中的 std::promise<T> std::coroutine_handle<Promise> 引用一个协程,提供恢复、观察和销毁操作 它不是自动管理生命周期的智能指针 返回对象 提供调用者使用的接口,例如后文的 IntGenerator 协程函数的返回类型不必是 coroutine_handle awaiter 实现一次等待的就绪判断、控制权交接和结果获取 源表达式中的 awaitable 不一定直接就是 awaiter 编译器通过 std::coroutine_traits<R, Args...>::promise_type 确定 promise 类型。把 promise_type 嵌套在返回类型 R 中是常见的默认用法,不是唯一可能;成员协程的类型推导还涉及隐式对象参数。 协程通常需要保存跨挂起点仍要使用的状态,但协程帧不意味着必然发生一次堆分配:编译器可以在满足条件时消除分配。更重要的是,帧的存在不会取消局部变量原有的作用域和析构规则。 二、co_await 是一套等待协议 对普通 co_await expression,编译器可能先调用 promise 的 await_transform,再通过 operator co_await 得到 awaiter。下面假定 awaiter 已经确定,只看三个核心方法。 await_ready():结果是否已经就绪? 返回 true 时,不进入挂起交接,直接调用 await_resume()。 await_suspend(handle):如何交接控制权? 当 await_ready() 返回 false,协程在进入这个方法之前就已被视为挂起。 await_resume():等待表达式得到什么? 它在直接就绪或恢复执行后运行,返回值及值类别决定 co_await 表达式的结果,也可以在这里抛出操作异常。 await_suspend 不只是一个“保存句柄的回调”。其正常返回时的行为取决于返回类型: ...

2026年9月26日 · 3 分钟 · Hellokitty

论文阅读A Performance Characterization of External KV Caching for vLLM with NVMe SSDs

阅读 py-kvcache 时,我最关心一个具体问题:已经知道一个请求的前缀命中了 SSD 缓存,接下来应该加载它,还是直接让 GPU 重算? 命中率只能说明数据是否存在,不能替系统回答这个问题。需要比较的是两条执行路径到达首个输出 token 的时间,而不只是 SSD 的标称带宽。 本文是基于 arXiv:2609.11744v1 的原创阅读笔记,不是论文全文译文。论文结果、源码观察与独立推导分别说明;没有复跑论文的性能基准。 一、先把论文数字放回实验条件里 原文第 7 节使用 vLLM 0.22。下面摘取 H100、Llama 3.2 3B、80k 前缀的 query TTFT 对照;这里的 80k 是 81,920 个 token,LMCache 基线是 0.4.7 的默认磁盘后端。 对照 论文报告的加速比 仅磁盘:py-kvcache 开启预加载,对比 LMCache 约 2.0× 同一 py-kvcache 磁盘配置,开启与关闭预加载 约 1.34× 多层缓存配置:py-kvcache 对比 LMCache 约 1.23× 仅磁盘实验使用 50 个并发请求,关闭 GPU 前缀缓存与 break-even 门控;论文多数测量使用 FP16 KV、只生成 1 个输出 token。Bailian 回放则呈现另一面:较弱 GPU 上有收益,H100 上相对 GPU 前缀缓存没有额外收益。 ...

2026年9月24日 · 3 分钟 · Hellokitty

jemalloc 原理详解:从小对象分配到页面回收

jemalloc 的核心不是“找到一块空闲内存”,而是把不同成本的内存管理工作拆成多层:线程缓存处理高频请求,arena 分散共享状态,小对象通过 slab 紧凑存放,页级分配器负责复用、拆分与回收映射。 理解这几层,就能回答三个常见问题:为什么 malloc 通常不需要系统调用?为什么 free 之后 RSS 不下降?为什么增大缓存、增加 arena 能提高吞吐,却可能增加内存占用? 本文以截至 2026-09-21 核对的 jemalloc 5.4.0 发布版及同版本手册为基线。数值示例和实验采用 64 位 Linux、4 KiB 页、16 字节 quantum、默认大小类;页大小、构建选项和运行配置改变后,应通过 mallctl 重新查询,不能照搬数字。 一、先分清:对象、页和物理内存不是同一层 应用请求的是字节,操作系统管理的是页,而 CPU 真正访问的是经过地址转换的物理内存。jemalloc 工作在这几者之间,但它不能把任意多个物理页变成物理连续内存,也不会替应用移动仍然存活的普通 C/C++ 对象。 默认配置下,可以把主要分配路径画成下面这样。图中省略了 profiling、显式对齐和部分特殊缓存分支。 application: malloc / free | size class + thread state | thread-local tcache hit | | miss / flush / bypass | v | arena | | | +----+--------------------+ | | | | small large | | | | bin -> slab -> regions dedicated extent | | | | +------------+------------+ | | | page allocator (PA) | | | PAC: reusable extents | | | extent hooks / OS VM | | | mmap / madvise / munmap v return object pointer 这里有几个容易混淆的名词: ...

2026年9月21日 · 8 分钟 · Hellokitty

C++ 实现 SPSC 与 MPSC:从所有权交接到内存序

SPSC 是单生产者、单消费者;MPSC 是多生产者、单消费者。它们描述的是线程访问约束,不代表一定无锁,也不决定队列必须用数组还是链表。 实现并发队列,关键不是把下标换成 atomic,而是回答三个问题:谁能写这块内存?写完怎样交给别人?什么时候可以复用或释放? 本文实现两个存储 std::uint64_t 的 C++17 队列:有界 SPSC 环形队列,以及基于原子交换的无界 MPSC 链式队列。固定元素类型是为了把注意力放在同步协议上,而不是泛型对象的构造、异常和析构。两者都要求构造完成后再交给工作线程,析构前停止并等待所有访问者退出。 一、SPSC:把共享队列拆成两块单写者状态 环形队列维护两个下标:write_index 指向下一个可写槽位,read_index 指向下一个可读槽位。只有生产者修改前者,只有消费者修改后者;另一方只读取。 这种单写者约束消除了“两个线程抢同一个写下标”的问题,因此更新下标不需要 CAS,也不需要 fetch_add。但下标仍然被跨线程读写,需要是原子变量。 使用 Slots 个物理槽位,始终留一个空位: 状态 判定 空 read_index == write_index 满 next(write_index) == read_index 实际容量 Slots - 1 例如物理槽位为 8 个,当前读下标是 2、写下标是 5: slot: 0 1 2 3 4 5 6 7 contents: . . A B C . . . ^ ^ read_index write_index readable: [2, 5) next push: slot 5 next pop: slot 2 留空位不是同步手段,只是用最简单的编码区分空和满。真正的同步发生在下标发布时。 ...

2026年9月13日 · 4 分钟 · Hellokitty

从提示词到下一个 token:nano-vLLM 请求生命周期、KV cache 与 batch 时序

一条提示词进入推理引擎之后,并不是直接“送给 GPU 生成文字”。它先变成 CPU 上的 token ID 和请求状态;调度器决定本轮计算哪些位置、复用哪些 KV 块;执行器把本轮输入和地址映射送上 GPU,运行模型并采样;采样结果再回到 CPU,才能决定下一轮要计算什么。[S1][S2][S3] nano-vLLM 很适合把这条链看清楚,因为这些环节集中在少量 Python 文件里。但不能把成熟推理系统的所有能力自动套到它身上。本文分析的版本已有 chunked prefill,却没有把 prefill 和 decode 混进同一次模型调用,也没有实现显式的跨 batch CPU/GPU 流水重叠。后文会沿实际控制流解释这个结论,而不是根据功能名称猜测。[S2][S3] 分析快照为 2026 年 9 月 12 日获取的 GeeeekExplorer/nano-vllm 默认分支提交 bb823b3e06983d71485a8e1f23715ebd87d98ef8,对应提交日期为 2026 年 4 月 26 日。源码链接全部固定到这一版本。 除静态阅读外,本文做了三类小实验:真实 Qwen3 tokenizer 编码;直接驱动仓库原有 Scheduler、BlockManager 的控制面实验;提取原始输入准备方法并在 CUDA 上执行,核对实际张量和地址映射。控制面实验使用人为指定的采样结果,不代表执行了模型;本文没有跑完整模型推理、吞吐 benchmark 或 Nsight 时间线。 一、先分清两条生命周期:引擎初始化与请求执行 LLM 本身只是 LLMEngine 的简单派生类。真正的主干如下:[S1][S4] 初始化一次 Config / 模型配置 → ModelRunner / GPU 模型与权重 → warmup / KV cache 内存池 / 可选 CUDA Graph → tokenizer / Scheduler 每个请求 字符串或 token IDs → add_request / Sequence / waiting → schedule → prepare_prefill 或 prepare_decode → GPU 模型前向 / logits / sampling → token IDs 返回 CPU → postprocess / 更新 KV 元数据与请求状态 → 下一轮,或结束后解码为文字 ModelRunner 设置 CUDA 设备和默认 dtype,在 GPU 上创建 Qwen3 模型。权重加载器从 safetensors 读取 CPU 侧权重,再经各层的 loader 复制到对应参数;Q、K、V 和 gate/up 投影还会被装入打包后的参数矩阵。[S3][S5][S6] ...

2026年9月12日 · 11 分钟 · Hellokitty

BaM 深入解析:GPU 如何自主驱动 NVMe,并把 SSD 变成按需访问的后备内存

BaM 最重要的改变,不是让 SSD 的数据直接进入 GPU 显存,而是让 GPU kernel 中发现数据需求的线程,自己完成缓存查询、NVMe 命令提交和完成等待。CPU 负责建立访问条件,却不再逐条参与这条请求路径。 它用三层机制实现这个目标:接近数组的编程接口、运行在显存里的软件页缓存,以及能够被大量 GPU 线程并发访问的 NVMe 队列。真正困难的部分,是如何让“很多线程同时缺页”既不会重复读盘、错误淘汰,也不会在一个全局锁前排成长队。[S1][S2][S3] 本文基于 2026 年 9 月 12 日获取的仓库默认分支快照 315fadfc5c5c018a64596157bfac94ecbb7d87a2,对应最新提交日期为 2025 年 11 月 23 日;论文采用 ASPLOS 2023 工作的 arXiv v3。源码链接固定到该提交,避免后续代码变化使讨论失效。 以下区分三种证据:源码可以直接确认的实现、论文报告的实验结果,以及根据实现作出的推导。没有在满足 BaM 条件的 GPU/NVMe 实机上运行性能实验;文中的吞吐、加速比不是本次实测。硬件前提和复现限制见最后两节。[S1][P] 一、问题不是“怎么搬数据”,而是“谁知道下一次该搬什么” 考虑图遍历。GPU 处理当前 frontier 中的顶点后,才知道下一步需要读取哪些邻接表。如果 CPU 负责 I/O,请求路径在逻辑上会变成: GPU 发现下一批数据需求 │ ▼ CPU 获得需求、组织读取、安排传输 │ ▼ GPU 等待所需数据,再继续计算 当数据访问模式可预知时,这种分工可以用大块预取和流水线摊薄成本;但对细粒度、数据依赖的访问,下一次读取的位置本身就是上一步 GPU 计算的结果。扩大预取范围会多读,缩小预取范围又会放大请求协调成本。这正是 BaM 论文讨论的场景,而不是“所有应用都应该把 CPU 从 I/O 中移除”。[P] ...

2026年9月12日 · 7 分钟 · Hellokitty

读懂 Linux DMA API:地址映射、内存一致性,以及 Pin 为什么能加速传输

CPU 内存传到 GPU,为什么先做一次 pin 往往更快?不是因为 pin 提高了 PCIe 的物理带宽,而是因为它让内存能够更直接地参与设备传输,减少中间复制,并为传输与计算重叠创造条件。 要理解这件事,可以先读 Linux 的 Dynamic DMA mapping Guide。它面向驱动开发者,讲的是如何让设备正确访问内存;CUDA 的 pinned memory 则是应用层的一种内存注册机制。两者不是同一套 API,但背后需要解决的地址、生命周期和可见性问题是相通的。 本文以传统 Linux 主机加独立 GPU 为主要模型。支持共享页表、设备缺页等能力的平台,会在文末单独说明边界。 一、DMA 绕开的是 CPU 搬运,不是 CPU 管理 DMA,即 Direct Memory Access,允许设备的数据传输引擎读写内存,不必让 CPU 用加载、存储指令逐字节搬运整个缓冲区。 但 CPU 和驱动仍要准备缓冲区、建立映射、提交描述符,以及处理完成通知。DMA 不是“CPU 完全不参与”,更不是“有个指针就能发给设备”。 原文首先区分了三种地址,这是理解后续 API 的基础: 地址 使用者 常见表示 CPU 虚拟地址 CPU 上运行的代码 void * CPU 物理地址 CPU 物理地址空间、内存管理系统 phys_addr_t DMA 地址 设备发起内存访问时使用 dma_addr_t 它们可能有相同的数值,但不能因此当成同一种地址。 CPU 路径: CPU 虚拟地址 X ──CPU 页表──→ 物理内存 Y 设备路径: DMA 地址 Z ──IOMMU 等映射──→ 物理内存 Y 在有 IOMMU 的系统中,Z 通常是设备侧的 I/O 虚拟地址,即 IOVA;其他平台可能采用直接映射或主桥地址转换。驱动应使用 DMA API 返回的地址,而不是假设 virt_to_phys() 的结果就能写进设备描述符。 ...

2026年9月12日 · 3 分钟 · Hellokitty