Princeton, MoE 압축의 숨은 장벽 '조화 커널'을 Hodge 분해로 해결 — HodgeCover, 전문가 3분의 1로도 성능 유지

Princeton 연구팀이 Sparse MoE 레이어의 학습 없는 압축에서 발생하는 '삼중 비호환성' 문제를 수학적으로 규명하고, Hodge 분해를 이용한 새로운 압축 알고리즘 HodgeCover를 제안했습니다. 기존 pairwise 기반 압축기는 세 전문가가 각각 호환되더라도 셋을 동시에 합치면 순환 비호환성이 생기는 구조적 맹점을 가집니다. HodgeCover는 2-복합체 위의 조화 커널을 분리해 삼중 충돌을 우선 제거한 뒤 남은 전문가에 가지치기를 적용합니다. 세 가지 오픈 MoE 모델에서 전문가 수를 3분의 1로 줄인 실험에서, 기존 학습 없는 압축기와 동등하거나 더 나은 성능을 보였고, 특히 공격적 압축 영역에서 우위를 점했습니다. 다만 이 방법은 pairwise 신호만으로는 감지 못하는 삼중 장벽에 초점을 맞춘 만큼, pairwise 기반 압축기와의 결합이 필요합니다.

• #moe
• #compression
• #hodge-decomposition
• #princeton