Ai2, EMO 공개 — 데이터에서 모듈 구조가 저절로 생기는 MoE

Allen Institute for AI (Ai2) 가 새로운 MoE 모델 EMO 를 출시했습니다. 기존 MoE 와 달리, 사전학습 과정에서 전문가 모듈이 데이터로부터 자연스럽게 분화되며, 특정 태스크에 전체 전문가의 12.5% 만 사용해도 거의 전체 성능을 유지합니다. 모든 전문가를 함께 쓰면 강력한 범용 모델로도 동작하네요. 다만 아직 연구 단계로, 실제 서비스 적용까지는 검증이 더 필요해 보입니다.

• #huggingface
• #allenai
• #emo
• #moe
• #pretraining