Google DeepMind 推出 Decoupled DiLoCo：分布式 AI 训练的新范式
2026/04/22 18:20阅读量 2
Google DeepMind 发布了 Decoupled DiLoCo，一种旨在提升分布式 AI 训练韧性的新架构。该方法通过解耦通信与计算步骤，有效解决了大规模集群中的同步瓶颈问题。这一进展为构建更稳定、高效的超大规模模型训练系统提供了关键技术路径。
事件概述
Google DeepMind 正式提出并发布了 Decoupled DiLoCo（Decoupled Distributed Large-scale Co-training），作为其分布式 AI 训练框架的重要演进。该架构旨在解决当前大规模模型训练中面临的通信瓶颈和系统韧性不足的问题。
核心机制
与传统同步或异步训练方法不同，Decoupled DiLoCo 的核心创新在于将“通信”与“计算”两个关键步骤进行了解耦：
- 解耦设计：不再强制要求所有节点在每一步都进行全局同步，而是允许计算过程独立于通信过程并行推进。
- 提升韧性：这种机制显著降低了因个别节点故障或网络延迟导致的整体训练停滞风险，增强了系统在异构硬件环境下的稳定性。
- 效率优化：通过减少等待时间，提高了 GPU/TPU 集群的利用率，使得在更大规模的集群上训练成为可能。
技术意义
Decoupled DiLoCo 代表了分布式训练从“强一致性”向“高可用性”转变的新方向。它为解决超大规模模型（如万亿参数级）训练中的扩展性难题提供了新的工程实践方案，标志着分布式 AI 训练进入了一个更具弹性的新阶段。