分布式 AI 训练通信原语：AllReduce、AllGather、ReduceScatter 与 AllToAll
从数据流、张量形状、通信量和训练场景出发，系统解释 Broadcast、Reduce、Gather、Scatter、AllReduce、AllGather、ReduceScatter 与 AllToAll，并给出可运行的 torch.distributed 示例。
从数据流、张量形状、通信量和训练场景出发，系统解释 Broadcast、Reduce、Gather、Scatter、AllReduce、AllGather、ReduceScatter 与 AllToAll，并给出可运行的 torch.distributed 示例。