SPDK vs IO Uring vs libaio

基于 SPDK 26.01 官方报告,对比 SPDK、io_uring 与 libaio 的每核 IOPS、扩展性、平均延迟和尾延迟,观察 4 KiB I/O 的性能上界。

2026年11月15日 · 14 分钟 · HelloKitty

论文阅读A Performance Characterization of External KV Caching for vLLM with NVMe SSDs

阅读 py-kvcache 时,我最关心一个具体问题:已经知道一个请求的前缀命中了 SSD 缓存,接下来应该加载它,还是直接让 GPU 重算? 命中率只能说明数据是否存在,不能替系统回答这个问题。需要比较的是两条执行路径到达首个输出 token 的时间,而不只是 SSD 的标称带宽。 本文是基于 arXiv:2609.11744v1 的原创阅读笔记,不是论文全文译文。论文结果、源码观察与独立推导分别说明;没有复跑论文的性能基准。 一、先把论文数字放回实验条件里 原文第 7 节使用 vLLM 0.22。下面摘取 H100、Llama 3.2 3B、80k 前缀的 query TTFT 对照;这里的 80k 是 81,920 个 token,LMCache 基线是 0.4.7 的默认磁盘后端。 对照 论文报告的加速比 仅磁盘:py-kvcache 开启预加载,对比 LMCache 约 2.0× 同一 py-kvcache 磁盘配置,开启与关闭预加载 约 1.34× 多层缓存配置:py-kvcache 对比 LMCache 约 1.23× 仅磁盘实验使用 50 个并发请求,关闭 GPU 前缀缓存与 break-even 门控;论文多数测量使用 FP16 KV、只生成 1 个输出 token。Bailian 回放则呈现另一面:较弱 GPU 上有收益,H100 上相对 GPU 前缀缓存没有额外收益。 ...

2026年9月24日 · 3 分钟 · Hellokitty

LMCache RawBlockBackend 源码解析:读写链路与优化边界

沿 Python Core、PyO3 与 Rust worker 追踪 KV Cache 的落盘和回读,分析固定槽位、条件零拷贝、批量 I/O、NVMe passthrough 与 FDP 的收益及限制。

2026年9月9日 · 5 分钟 · Hellokitty

从原理到实战:用 Rust 理解 io_uring 异步 I/O

从 SQ/CQ 共享环、io_uring_enter 和内核执行路径出发,解释 io_uring 为什么能批量提交 I/O,并用 Rust 实现一个可运行的并发随机读程序。

2026年9月7日 · 4 分钟 · Hellokitty

Phoenix 源码解读:把 GPU 显存变成 Linux I/O 可直达的内存

深入解析 xPU-IO/Phoenix:它如何通过内核模块、用户态库和应用适配器,将 SSD 数据直接送入 GPU 显存;并比较 full BAR、staging、batch、stream 等数据路径的实现与取舍。

2026年8月24日 · 7 分钟 · Hellokitty