交换机不丢包,RDMA 的吞吐就一定好吗?未必。它还可能用 PAUSE 把发送端一层层停下来,连没有争用瓶颈的流也一起受影响。
这正是 SIGCOMM 2015 论文《Congestion Control for Large-Scale RDMA Deployments》要解决的问题。Yibo Zhu 等人提出的 DCQCN,不是再造一个可靠传输协议,而是给 RoCEv2 增加一套在端点按流调速的拥塞控制,让网络尽量不必依靠大范围暂停来维持无损。
这篇文章按原论文的设计讲,不把 2015 年的硬件条件和参数当成今天所有网卡的通用配置。
PFC 能阻止溢出,却不负责按流分配带宽
PFC(Priority-based Flow Control)做的是逐跳流控:某个优先级的接收缓冲吃紧,就通知直连上游暂停该优先级的发送。暂停生效前仍会有数据在路上,因此还需要预留缓冲。
问题在于它控制的是链路上的优先级,而不是一条独立的流。
同一优先级里,既可能有正在挤占瓶颈的流,也可能有发往空闲出口的流。前者引起暂停,后者也可能被挡住,这就是论文讨论的队头阻塞。下游暂停还可能使上游积压,再触发更上游的暂停,把局部拥塞的影响扩散出去。
公平性也不是 PFC 自带的。如果一个上游端口承载多条流,另一个只承载一条,那么即使链路层仲裁看起来很均匀,各条流获得的带宽也未必均匀。
所以问题不只是“怎么把包留在缓冲里”,而是“怎么让真正造成拥塞的发送端少发一点”。DCQCN 把这个动作放到源端网卡上做,PFC 则继续承担防止缓冲溢出的职责。
拥塞信号怎样回到发送端
DCQCN 的闭环里有三个角色:发送端 RP、交换机 CP、接收端 NP。
Sender (RP) ---> Switch (CP) ---> Receiver (NP)
^ mark ECN |
| |
+------------- CNP --------------+
交换机 CP(Congestion Point)观察出口队列,按照 ECN 标记策略,把经过的数据包标为 CE,也就是“经历了拥塞”。包继续向接收端转发,不必为了传递这个信号先丢掉它。
接收端 NP(Notification Point)看到标记后,向相应数据发送端发出 CNP(Congestion Notification Packet)。交换机负责标记,接收端负责生成反馈,发送端负责减速。 CNP 不是数据交付成功的确认。
这里有个决定后续设计的细节:CNP 不是逐包发送的。论文的接收端对每条流最多每 50 μs 生成一个 CNP;首次满足条件的标记包可以立即触发反馈,后续窗口里有标记也只合并成有限次数的通知。这样可以控制网卡处理反馈的开销,但同时压缩了拥塞信息。
发送端 RP(Reaction Point)收到 CNP 后,通过网卡里的限速器改变这条流的发送速率,而不是调整 TCP 的拥塞窗口。
这个设计借了两边的思路:DCTCP 的 ECN 反馈和拥塞程度估计,以及 QCN 的速率恢复机制。但它不是把两套算法原样拼起来。DCTCP 有 ACK 反馈路径;原始 QCN 则依赖二层流标识,不能直接跨 IP 路由使用。DCQCN 让交换机只需提供已有的 ECN/RED 功能,把新增状态机放在端点网卡里。
发送端究竟怎样调速
先记住三个状态量:R_C 是当前发送速率,R_T 是恢复时参考的目标速率,alpha 是拥塞历史的平滑估计。
R_T 不是交换机计算后下发的“公平带宽”,发送端其实并不知道瓶颈容量和竞争流数量。它只是控制器自己维护的一个恢复目标。
减速时,记住原来跑多快
按论文给出的核心更新,收到 CNP 后:
R_T <- R_C
R_C <- R_C * (1 - alpha / 2)
alpha <- (1 - g) * alpha + g
先把减速前的速率记下来,再依据 alpha 做乘法下降,并更新拥塞估计。alpha 越大,这次退让越多;原论文将它初始化为 1,因此第一次降速可以把当前速率减半。
如果连续一段时间没有 CNP,则执行 alpha <- (1 - g) * alpha,让旧的拥塞记忆逐渐衰减。论文使用的无反馈更新间隔是 55 μs,略大于接收端的 50 μs CNP 间隔。
不要把这里的 alpha 直接解释成“最近一个 RTT 中,ECN 标记字节占全部字节的比例”。那是理解 DCTCP 时的常见入口;DCQCN 接收到的是经过限频的 CNP,再结合无反馈计时器更新状态,并没有拿到同样完整的逐 ACK 信息。
恢复时,不能一步跳回原速率
拥塞可能只是暂时的,永久停留在低速率也会浪费带宽。DCQCN 用两种事件驱动恢复:定时器到期,或者累计发送了足够多的字节。
为什么两个都要有?字节计数器让活跃流能够推进恢复;定时器则防止一条已经降到很低速率的流,因为迟迟发不够字节而难以恢复。
恢复分成几个阶段:
- 快速恢复:先保持
R_T不变,每次执行R_C <- (R_T + R_C) / 2,逐步靠近减速前的速率。 - 加性增长:把目标速率增加一个小步长
R_AI,再执行同样的平均操作,试探是否还有空余带宽。 - 更激进的增长:当时间和字节两套计数都推进到相应阶段,进入 hyper increase,加快继续爬升。
举个只用于说明公式的例子:原来是 40 Gbit/s,降到 20 Gbit/s 后,如果目标仍是 40 Gbit/s,且没有新的反馈打断,接下来的快速恢复速率会是 30、35、37.5 Gbit/s。它不是一下恢复到 40,也不是每轮固定增加同一个数。
论文用 F = 5 控制快速恢复阶段,但阶段切换由两套计数器共同判断,不能把它理解成“等 5 个 RTT”。新的 CNP 会重新触发降速并重置相关恢复状态。原设计也没有 TCP 式的慢启动:主机没有其他活跃流时,新流可以从线速开始;否则起始速率受本地 QoS 策略约束。
最值得琢磨的地方:为什么照搬参数会不公平
到这里很容易觉得,既然 ECN、乘法下降和速率恢复都已有先例,给它们填上推荐参数就行了。
论文的结果恰恰相反:直接组合 DCTCP、QCN 的参数,会出现两条竞争流长期不能收敛到公平份额的情况。
关键在于,反馈已经限频,增长却仍可能与发送字节数紧密相关。
假设交换机采用硬阈值标记:队列超过阈值后,所有包都标记。只要每个反馈窗口内都有包,两条流就都容易顶到 CNP 频率上限。快流发得更多,却未必收到更多 CNP;与此同时,快流更早攒够字节计数器,又更频繁地增加速率。这样,原先的速率差距可能难以消失。
论文用了两条互补的路来改善它。
一条是让时间驱动的增长占主导:缩短恢复定时器,增大字节门槛,削弱“谁本来快,谁就更频繁增长”的优势,也避免过早进入激进增长阶段。
另一条是让拥塞反馈保留一点对流量大小的区分:在一段队列区间里采用较低概率的 RED 式 ECN 标记,而不是一越界就全部标记。
可以用一个简化模型理解后者。假设一个窗口内有 m 个包,每包以固定概率 p 独立被标记,那么:
P(窗口内至少一个包被标记) = 1 - (1 - p)^m
包更多的流,更容易在窗口里产生一次反馈;当 p = 1 且至少有一个包时,这个概率却全部变成了 1,反馈对流量大小的区分就消失了。这只是帮助理解的独立标记模型,真实队列和标记过程并不保证独立。
论文最终选用的一组参数如下。它们来自原论文的部署配置与算法说明,不是 RoCEv2 的协议常量。
| 参数 | 论文中的取值 | 主要作用 |
|---|---|---|
| CNP 生成间隔 | 50 μs | 限制接收端每条流的反馈频率 |
| 无反馈时的 alpha 更新间隔 | 55 μs | 衰减历史拥塞估计 |
| 速率恢复定时器 | 55 μs | 推进时间驱动的增长 |
| 速率恢复字节门槛 | 10 MB | 减弱字节驱动增长的支配作用 |
| ECN 的 K_min / K_max | 5 KB / 200 KB | 确定概率标记区间 |
| P_max | 1% | 控制概率标记区间上端的标记概率 |
| g | 1/256 | 控制 alpha 更新的平滑程度 |
P_max = 1% 不表示交换机在所有情况下最多只标记 1% 的包。按原论文的分段函数,队列低于下界时不标记,区间内线性增加标记概率,超过上界后仍然全部标记。
这些数值背后还有反馈时延的约束。恢复定时器不能随便缩到 CNP 间隔以下,否则可能在下一次拥塞通知还没来得及到达时就开始不必要的增长。g 较小则让拥塞记忆变化更慢;论文中的实验表明,这有助于减小队列振荡,但会付出一定收敛速度代价。
作者用流体模型分析这些取舍。把各条流的速率记作 R_i、出口容量记作 C,并统一使用字节每秒,队列有积压时最基本的关系就是:
dq/dt = sum(R_i) - C
发送速率改变队列,队列改变标记,延迟到达的标记再改变发送速率。模型的意义是把这几个相互影响的量一起看,而不是分别给每个开关找一个“最佳值”。
但模型也有边界:论文从单瓶颈、持续有数据可发的流出发,假设 ECN 先于 PFC 起作用,因此分析中忽略 PFC,也省略了 hyper increase 阶段。这不是对任意拓扑、任意突发都成立的全局稳定性证明。
ECN 要先起作用,PFC 仍然不能随手关掉
“先 ECN,后 PFC”是正确方向,却不能简单翻译成两个配置数字比大小。
原论文分析的共享缓冲交换机上,ECN 看的是出口队列,PFC 看的是入口优先级队列。它们并不是同一个队列计数。多个出口的数据可能来自同一个入口,因而 ECN 阈值小于 PFC 阈值,并不足以自动保证 ECN 总是先触发。
论文把入口与出口的关系、共享缓冲占用、PFC 动态阈值,以及暂停生效前必须保留的 headroom 放在一起推导。那些具体数值依赖当时的交换芯片、端口数量和启用的优先级数量,不能脱离硬件直接复制。
即便 ECN 已经先标记了,发送端也不会瞬间减速:数据还要抵达接收端,CNP 还要返回,发送端还要响应。在这段时间里,队列仍然可能继续增长。再加上原设计允许新流从线速起步,PFC 仍是处理瞬时超额输入的重要保护。
因此,DCQCN 的目标是让 PFC 少触发、少扩散,而不是证明 PFC 从此不需要了。至于后来的有损 RoCE 或其他丢包恢复设计,需要连同其传输机制一起讨论,不能从这篇 2015 年论文直接推出结论。
实验到底说明了什么
原论文不只给了一套控制公式,还用网卡实现和实际交换机验证了参数选择。实验使用 40 Gbit/s 链路;三层测试网络有四台 ToR、四台 Leaf、两台 Spine,端点使用 Mellanox ConnectX-3 Pro。
在单交换机的 incast 微基准里,发送端数量从 1 增加到 19 时,总吞吐始终超过 39 Gbit/s,观测队列没有超过 100 KB。这个结果说明,在该测试配置里,较浅的标记下界不等于链路会吃不满。
更能体现设计目的的是混合业务测试:作者从生产流量轨迹中提取分布生成用户请求流量,再叠加模拟磁盘恢复的 incast,而不是完整重放整个生产集群。在一次 10:1 incast 测试中,两个 Spine 收到的 PAUSE 消息,从未启用 DCQCN 时的超过 600 万条,下降到启用后的约 3000 条。少了广泛的暂停干扰,普通用户流量的吞吐和公平性都得到改善。
论文中常被引用的“16 倍”,也要连同实验定义一起读:固定 10:1 incast,把用户通信对数量从 5 增加到 80,启用 DCQCN 的吞吐分布仍能达到相近水平。它说的是这一工作负载下可承载的用户流量规模,不是网卡带宽提升 16 倍,更不是任意 RDMA 应用都能快 16 倍。
边界同样值得留下:关闭 PFC,或者让缓冲设置导致 PFC 早于 ECN 触发,都会损害原方案的表现;多瓶颈场景下的不公平得到缓解,但没有被彻底解决;论文也没有研究与 TCP 混跑时的公平性。
读完 DCQCN,最有用的认识不只是记住降速公式,而是看到:反馈怎样被采样,会改变控制器的行为。 交换机标记策略、CNP 频率、网卡恢复节奏和缓冲预算,必须作为一套系统来设计。
参考资料
- Yibo Zhu 等:Congestion Control for Large-Scale RDMA Deployments,SIGCOMM 2015 原论文:第 3 节算法、第 4 节缓冲设置、第 5 节参数分析、第 6 节实验,以及第 7 节多瓶颈等讨论。
- Microsoft Research:论文主页:论文信息与官方入口。
- RFC 8257:Data Center TCP(DCTCP):尤其是第 3.3 节的拥塞程度估计,便于对照 DCTCP 与 DCQCN 的反馈差别;该 RFC 发布于 2017 年,是补充阅读,不是 2015 年论文的引用来源。