Google DeepMind, Decoupled DiLoCo 공개 — 분산 AI 학습 내결함성 향상

Google DeepMind가 분산 AI 학습 아키텍처 Decoupled DiLoCo를 논문으로 발표했다. 기존 동기식 학습 대비 '섬(island)' 단위로 분리된 비동기 데이터 흐름을 통해 하드웨어 장애 영향을 국소화하고, 대역폭 요구를 낮춰 전 세계 데이터센터 간 학습을 가능하게 한다. 이전 DiLoCo 대비 통신 지연 문제를 해결했으며, Pathways의 비동기 설계를 계승했다. 현재 연구 단계로, 실제 모델 학습 적용은 아직 공개되지 않았다.

• #google-deepmind
• #decoupled-diloco
• #distributed-training
• #fault-tolerance
• #asynchronous