谷歌Jeff Dean重磅论文:弹性大规模分布式预训练终于可行了
36氪 - 最新资讯频道•4/25/2026•tech
弹性 AI 预训练已经推进到了下一个前沿!
没有意外:来自谷歌。
据介绍,他们提出的 Decoupled DiLoCo 是一种革命性的分布式训练技术,能够利用全球各地的异构硬件进行训练,并且即使当硬件发生故障时,系统也不会停止运行!
这项重磅研究成果引发了广泛关注,论文 Leads 作者之一的 Arthur Douillard 在 X 上的分享推文获得了超 260 万次浏览!
值得注意的是,著名研究