在多GPU分布式AI计算中，PyTorch的torch.distributed模块提供了多种通信操作，用于协调不同GPU之间的数据交换。这些操作分为点对点通信和集体通信（Collective Operations），是构建分布式训练任务的基础。 点对点通信（Point-to-Point）包括send和recv，允许两个特定进程之间直接传输数据。虽然这些操作在PyTorch中被标记为同步，但实际行为在NCCL后端中较为特殊：首次调用recv会真正阻塞直到数据接收完成，而后续调用仅阻塞到数据传输内核被加入CUDA流为止，CPU可继续执行其他任务。若在数据未到达前尝试访问GPU张量（如打印），会导致CPU等待，造成死锁。 集体通信（Collectives）则涉及多个进程间的协同操作，支持同步和异步模式（通过async_op参数控制）。主要类型包括： 广播（Broadcast）：一个进程将数据发送给所有其他进程。 散射（Scatter）：一个进程将数据分块发送给每个进程，每块由一个进程接收。 规约（Reduce）：所有进程将数据汇总到一个目标进程，支持求和、最大值等操作。 聚集（Gather）：所有进程将数据收集到一个进程的列表中。 全部规约（AllReduce）：每个进程都接收所有进程数据的规约结果，常用于梯度同步。 全部聚集（AllGather）：每个进程收集所有进程的数据，形成完整列表。 规约散射（ReduceScatter）：每个进程先进行规约，再将结果分发给各个进程。 这些操作由NCCL（NVIDIA）或RCCL（AMD）等底层库实现，能自动识别GPU间的高速互联（如NVLink、InfiniBand），并选择最优路径。通信可通过同步（如wait()）或异步（如req.wait()）方式管理。注意，torch.cuda.synchronize()会阻塞CPU直到所有GPU任务完成，而request.wait()仅等待特定异步操作结束。 理解这些通信机制是掌握分布式AI训练的关键。下一节将深入探讨PCIe、NVLink等硬件互联技术如何支撑高效的多GPU通信。