在多GPU环境下运行AI任务，理解“主机（Host）与设备（Device）”的协作机制是关键。本指南以NVIDIA GPU为例，介绍分布式AI计算的基础概念，帮助你建立清晰的思维模型。 程序始终从CPU（主机）启动。当需要GPU执行任务（如矩阵乘法）时，CPU将指令和数据发送给GPU。这一过程通过一个称为CUDA Stream的队列系统完成：CPU不等待GPU完成，而是将任务放入队列后立即继续执行下一行代码，这种异步执行是实现高性能的核心。 CUDA Stream是一个有序的任务队列。同一Stream中的操作按顺序执行，但不同Stream之间可并发运行。例如，一个Stream用于计算，另一个用于数据传输。这样，当GPU正在处理第N批数据时，CPU可同时将第N+1批数据从内存复制到GPU显存，实现流水线并行。在PyTorch中，可通过上下文管理器手动创建多个Stream，并使用non_blocking=True标志实现非阻塞数据传输，避免CPU被卡住。 当不同Stream之间存在依赖关系时，必须显式同步。最简单的方法是调用torch.cuda.synchronize()，但这会阻塞所有流，效率较低。更高效的方式是使用CUDA Events：在某个Stream中标记事件，其他Stream可等待该事件，从而实现精准同步，且不影响CPU继续调度任务。 PyTorch张量的存储结构也体现了主机与设备的分离：张量的元数据（如形状、类型）存于CPU内存，而实际数值数据则位于GPU显存。因此，访问张量形状（如print(t.shape)）无需同步，但打印整个张量（如print(t)）会触发主机与设备的同步，迫使CPU等待GPU完成计算并将结果传回，这常常成为性能瓶颈。 高效编程的关键是尽量减少同步点。例如，直接在GPU上创建张量（torch.randn(100, 100, device='cuda')）比先在CPU创建再传输更高效。 当模型规模扩大，单个GPU无法满足需求时，就需要多GPU协同。此时引入“Rank”概念：每个GPU运行一个独立的Python进程，称为一个Rank。在单机多卡场景下，各Rank共享CPU但独立运行，通过Rank ID区分任务。例如，Rank 0负责cuda:0，Rank 1负责cuda:1，各自处理数据的不同部分。这种机制为后续的分布式训练打下基础。 掌握主机-设备模型，是理解并优化多GPU AI训练的第一步。下一讲将深入探讨点对点与集体通信操作，实现多GPU协同训练。