DCQCN 论文精读:无损 RDMA 为什么还需要拥塞控制
从 SIGCOMM 2015 原论文出发,解释 PFC 的局限、ECN/CNP 反馈、DCQCN 的降速与恢复,以及为什么反馈限频会改变公平性和参数选择。
从 SIGCOMM 2015 原论文出发,解释 PFC 的局限、ECN/CNP 反馈、DCQCN 的降速与恢复,以及为什么反馈限频会改变公平性和参数选择。
阅读 py-kvcache 时,我最关心一个具体问题:已经知道一个请求的前缀命中了 SSD 缓存,接下来应该加载它,还是直接让 GPU 重算? 命中率只能说明数据是否存在,不能替系统回答这个问题。需要比较的是两条执行路径到达首个输出 token 的时间,而不只是 SSD 的标称带宽。 本文是基于 arXiv:2609.11744v1 的原创阅读笔记,不是论文全文译文。论文结果、源码观察与独立推导分别说明;没有复跑论文的性能基准。 一、先把论文数字放回实验条件里 原文第 7 节使用 vLLM 0.22。下面摘取 H100、Llama 3.2 3B、80k 前缀的 query TTFT 对照;这里的 80k 是 81,920 个 token,LMCache 基线是 0.4.7 的默认磁盘后端。 对照 论文报告的加速比 仅磁盘:py-kvcache 开启预加载,对比 LMCache 约 2.0× 同一 py-kvcache 磁盘配置,开启与关闭预加载 约 1.34× 多层缓存配置:py-kvcache 对比 LMCache 约 1.23× 仅磁盘实验使用 50 个并发请求,关闭 GPU 前缀缓存与 break-even 门控;论文多数测量使用 FP16 KV、只生成 1 个输出 token。Bailian 回放则呈现另一面:较弱 GPU 上有收益,H100 上相对 GPU 前缀缓存没有额外收益。 ...
按原论文结构详译 SC'25 论文 Phoenix:解释 NVIDIA GDS 的伪缓冲区问题、基于 ZONE_DEVICE 的 GPU 显存映射、POSIX/io_uring 编程模型,以及本地 NVMe、远程存储、KV Cache 和模型加载实验。