AITURBO论文阅读: 把 AI 任务的群组 I/O 交给存储层

64 个加速器一起保存 checkpoint,如果每个进程只会向存储系统说“写这个文件”,存储层很难发现大家写了相同参数,也不知道哪些节点还有空闲的传输链路。到了推理阶段,多个实例要读同一份模型或 KV Cache,又会遇到类似的问题。 FAST ‘26 的 Fast Cloud Storage for AI Jobs via Grouped I/O API with Transparent Read/Write Optimizations 研究的是让存储系统看见一组操作的整体意图。论文中的 AITURBO 借用空闲主机 DRAM 和加速器通信网络,把数据读写的去重、放置和分发计划从各 AI 框架里挪到存储层。 先看两张网络为什么不一样忙 论文所在的云集群里,一组加速器既连着存储服务器,也有用于彼此通信的高速计算网络。前者要承担许多作业的文件读写,后者往往按更高的带宽需求建设。受测环境中,一台计算节点的存储网卡为 100 Gbps,论文所列计算侧互联为 200 Gbps;这些是实验集群配置,不是所有 AI 集群的标准值。 可以把 AITURBO 的读路径理解成:数据先从存储服务器取到某些计算节点的 DRAM,再通过原有的计算网络向需要它的加速器转发。多个加速器需要同一块数据时,没有必要每个实例都重新穿过存储网络去拿一份。 存储服务器 ──存储网络──→ 节点 A 的空闲 DRAM │ └─计算网络─→ 需要相同数据的 XPU 组 控制面:job controller 规划来源、落点与转发路径 数据面:各节点依照计划传输,不逐块经过控制器 论文图 8:计算节点内的读写规划器和缓冲区,与计算网络、存储网络协同传输。截图来自 AITURBO 官方 PDF 第 7 页,版权归原作者。 这里的“借路”有前提:计算网络必须有余量,缓冲区也得可用。论文指出某些推荐模型推理工作负载可能把主机 DRAM 用满,AITURBO 因而瞄准的是具备可用资源的 AI 任务,而不是白白创造了新的物理带宽。 ...

2026年10月12日 · 1 分钟 · Hellokitty

SolidAttention论文阅读: 在小显存电脑上用 SSD 承接长上下文

只有 8 GB 显存的笔记本,能不能处理 128k token 的历史?模型权重还没算,完整 KV 就已经占了不少空间。把 KV 挪到 SSD 可以解决容量,却不能假装每生成一个 token 时都有足够时间把全量历史搬回 GPU。 FAST ‘26 论文 SolidAttention: Low-Latency SSD-based Serving on Memory-Constrained PCs 的解法,是把动态稀疏注意力与按 SSD 特性安排读写一起设计。只减小 GPU 缓冲区会让 I/O 变成新瓶颈;只减少注意力计算、不改变读取粒度,SSD 同样难以跑快。 一次 decode 实际需要多少历史 完整 KV 占用大致随上下文长度线性增长,也与层数、KV head 数、head 维度和数据精度成正比。GQA 能减少 KV head 数,但 128k 这种长度仍会给本地显存和内存带来压力。对于长上下文注意力,不同历史 token 对当前 query 的作用并不相等;SolidAttention 利用这一点,但不永久丢弃历史 KV。 系统把历史按 token 分块,从每块的 K 中提取代表向量。每层生成新 token 时,开头的 attention sink 块和最近一段的局部块必定保留;中间其他块则按代表向量与当前 query 的相似度,选出 top-k 参与本次注意力。没选中的块仍存在 SSD,后续 query 有需要时还可再读。与在 prefill 结束后一次性删除“冷 token”相比,这能避免未来问题突然需要旧信息时无处可找。 ...

2026年10月12日 · 2 分钟 · Hellokitty

CacheSlide论文阅读: 位置变了,KV Cache 还能复用吗

Agent 调用完一次工具,下一次提示词往往只是多了一段工具输出。后面的长期记忆、规则说明一个字没变,却整体向后挪了几十个 token。这一段过去生成的 KV,能直接搬到新位置用吗? CacheSlide: Unlocking Cross Position-Aware KV Cache Reuse for Accelerating LLM Serving 回答的是一个比“前缀缓存命中没命中”更难的问题:文字相同,位置和前文改变之后,KV 不一定相同。 简单跳过 prefill 可能提升速度,但会破坏注意力,最终改变答案。 “固定片段”不一定待在固定位置 可以用下面这个简化结构理解 Agent 提示词。两轮中的固定片段内容和相对先后顺序没变,但中间动态内容变长了: 第一轮:固定规则 A │ 动态工具结果 1 │ 固定知识 B │ 新问题 第二轮:固定规则 A │ 更长的动态结果 2 │ 固定知识 B │ 新问题 ↑ B 的绝对位置已变 论文把常见方法分为固定位置复用(PDC)与位置无关复用(PIC),再提出介于两者之间的相对位置依赖复用(RPDC)。区分不在于是否“允许重用一段文本”,而在于能接受怎样的提示词变化: 路线 可以复用什么 主要代价 固定位置复用 PDC 原位置不变的前缀或预先算好的位置 动态内容一插入,后续固定片段就可能错过缓存 位置无关复用 PIC 从别的位置取相同片段 忽略位置与前文,容易造成 KV 漂移,还需额外重算修正 相对位置依赖 RPDC 固定片段绝对位置变化,但相对顺序保持 需要识别提示词结构,仍须校正变化片段造成的注意力影响 为什么不能干脆把动态内容移到末尾,制造一个大前缀?因为工具结果可能被后续指令引用;调换顺序会改语义和依赖关系。RPDC 不是任意重排的缓存,而是利用 Agent 模板本身保留的顺序。 ...

2026年10月12日 · 2 分钟 · Hellokitty

Bidaw论文阅读: 让计算与两级 KV 存储互相感知

聊到第 20 轮时,同一个用户的前 19 轮对话还得给模型看。如果历史 KV 已经从显存移走,每轮都从头做 prefill 很浪费;可就算把 KV 存到了主机内存和 SSD,下一轮读它回来仍可能让 GPU 干等。Bidaw: Enhancing Key-Value Caching for Interactive LLM Serving via Bidirectional Computation–Storage Awareness 要解决的,正是“有缓存,端到端服务却不够快”的问题。 这篇 FAST ‘26 论文同时改计算侧的请求调度、存储侧的淘汰决策,以及缓存张量的选择。下面沿着一次用户再次提问的路径看它怎样工作。 为什么仅仅缓存 KV 不够 多轮对话的 KV 会随轮数和并发用户一起增长。作者的交互式对话负载中,平均每位用户有 22.4 轮;如果每轮重算之前的历史,冗余计算最高可占总计算量的 93.1%。所以不能简单地说“SSD 慢,不如每轮重算”。 但缓存也不是免费的。论文采用 GPU 显存之外的两层存储:主机 DRAM 是性能层,SSD 是容量层。当历史 KV 总量超过主机内存,部分请求必须先从 SSD 升到 DRAM,再进 GPU。实验机器的 SSD 阵列带宽约 1.5 GB/s,明显慢于 CPU 到 GPU 的传输;请求排错队,GPU 就可能因一份很大的历史 KV 在 SSD 上而闲着。作者将现有两级缓存方案与“所有 KV 都在主机 DRAM”的模拟上界对照,发现前者在其负载下的响应延迟最多高出 3.8 倍。这里的上界是假设能装下全部历史的对照,不是作者真的给服务器加了无限内存。 ...

2026年10月12日 · 2 分钟 · Hellokitty

DCQCN 论文精读:无损 RDMA 为什么还需要拥塞控制

从 SIGCOMM 2015 原论文出发,解释 PFC 的局限、ECN/CNP 反馈、DCQCN 的降速与恢复,以及为什么反馈限频会改变公平性和参数选择。

2026年10月8日 · 3 分钟 · Hellokitty

CPU 缓存一致性:从 MESI 到 MOESI

理解 MESI 和 MOESI,先抓住两个问题:谁可以写这条缓存行,以及谁负责保存尚未写回下层的最新数据。 MESI 用四种状态协调缓存副本之间的关系。MOESI 增加一个 Owned 状态,让修改过的数据也能以只读方式被多个缓存共享,不必为了共享而立即更新下层副本。 1. 一致性管理的是缓存行,不是变量 多核 CPU 可以把同一地址的数据缓存在不同核心里。如果核心 A 修改自己的副本,核心 B 却一直把旧副本当作有效数据使用,程序就会出错。 MESI、MOESI 都属于写失效式协议:一个核心要写,必须先取得独占写权限,让其他核心的相关副本失效,而不是每次写入都把新值广播给所有缓存。 这种权限管理通常以 cache line(缓存行)为单位。许多常见 CPU 的缓存行是 64 字节,但具体大小取决于实现;即使只修改其中几个字节,也会影响整条缓存行的权限。 下面采用一个简化模型:两个核心各有一份私有缓存,共同访问下层存储,只讨论普通可缓存、写回式内存。表格和示例展示的是请求完成后的稳定状态。 文中的“脏”不是数据损坏,而是下层副本不保证最新。真实 CPU 有多级缓存,“写回下层”可能只是更新 LLC 等下一级缓存,不能一概理解为立即写入 DRAM。“独占”也指这里讨论的同级缓存之间,不排斥下层保存副本。 2. MESI 的四种状态 状态属于“某个缓存中的某条缓存行”,不是整个核心的状态。 状态 其他同级缓存的副本 下层副本 本地访问权限 M:Modified,已修改 均无有效副本 不保证最新 可读、可写 E:Exclusive,独占 均无有效副本 最新 可读;写时本地转为 M S:Shared,共享 可能还有其他 S 副本 最新 可读;写前必须取得独占权 I:Invalid,无效 不能由本地 I 状态推断 不能由本地 I 状态推断 本地没有可用副本 M 和 E 都是独占,区别在于有没有尚未向下层交代的修改。 E 状态的缓存行第一次被写入时,可以直接变成 M,不需要再向其他核心申请权限。这是 E 状态的重要价值:优化“先读、随后写,而且数据没有被其他核心共享”的场景。 ...

2026年10月7日 · 2 分钟 · Hellokitty

RoCEv2 拥塞控制详解:ECN、CNP、DCQCN 与 PFC

沿一次多发送端争用出口的过程,解释 ECN 标记、CNP 反馈、DCQCN 调速与 PFC 逐跳流控的分工,并讨论反馈时延、缓冲预算、无损与有损部署,以及计数器排障方法。

2026年10月3日 · 3 分钟 · Hellokitty

RoCEv1 与 RoCEv2:从以太网二层交换到三层路由

沿一次跨网段传输,解释 MAC 与 IP 各自负责什么、路由器如何改写以太网帧,以及 RoCEv2 为什么用 IP/UDP 替换 RoCEv1 的 GRH 封装。

2026年9月29日 · 3 分钟 · Hellokitty

线性注意力机制:从矩阵重排到递推记忆

从核函数与矩阵乘法结合律推导线性注意力,解释固定大小的递推状态、分块并行训练,以及 GLA、DeltaNet、Gated DeltaNet 如何管理有限记忆,并用 NumPy 验证等价关系。

2026年9月28日 · 4 分钟 · Hellokitty

SR-IOV RDMA 虚拟化原理:从 VF 直通到内存隔离

从 PF/VF 的职责分工出发,沿一次 RDMA Write 解释虚拟机如何直接使用网卡,以及 MR、地址转换和 IOMMU 如何共同建立隔离边界。

2026年9月28日 · 3 分钟 · Hellokitty