线性注意力机制:从矩阵重排到递推记忆

从核函数与矩阵乘法结合律推导线性注意力,解释固定大小的递推状态、分块并行训练,以及 GLA、DeltaNet、Gated DeltaNet 如何管理有限记忆,并用 NumPy 验证等价关系。

2026年9月28日 · 4 分钟 · Hellokitty