谷歌Jeff Dean重磅论文:弹性大规模分布式预训练终于可行了

36氪 - 最新资讯频道4/25/2026tech

弹性 AI 预训练已经推进到了下一个前沿!

没有意外:来自谷歌。

据介绍,他们提出的 Decoupled DiLoCo 是一种革命性的分布式训练技术,能够利用全球各地的异构硬件进行训练,并且即使当硬件发生故障时,系统也不会停止运行!

这项重磅研究成果引发了广泛关注,论文 Leads 作者之一的 Arthur Douillard 在 X 上的分享推文获得了超 260 万次浏览!

值得注意的是,著名研究