Papers·2일 전
KAIST, MDLM 앙상블 기법 TIE 제안 — 신뢰도 기반 궤적 중계로 추론 성능 향상
KAIST 연구팀이 Masked Diffusion Language Model(MDLM)의 앙상블을 위한 TIE(Trajectory-based Iterative Ensembling) 프레임워크를 제안했습니다. TIE는 각 MDLM의 디노이징 과정에서 답변 관련 위치의 confidence 동적을 추적해 더 신뢰할 수 있는 궤적을 가진 모델을 식별하고, 부분적으로 노이즈가 제거된 시퀀스를 다른 모델로 중계합니다. 다양한 추론 태스크에서 단일 모델 대비 일관된 성능 향상을 보였지만, 앙상블 비용(추론 시간 증가)과 MDLM 특화 방법이라는 점은 한계입니다.
KAIST 연구팀이 Masked Diffusion Language Model(MDLM)의 앙상블을 위한 TIE 프레임워크를 공개했습니다.
핵심 결론
- 태스크 — MDLM 앙상블 — 추론 태스크(GSM8K, StrategyQA, etc.)에서 단일 모델 대비 최대 5% 정확도 향상.
- 방식 — 디노이징 궤적의 confidence 동적을 기반으로 모델 간 부분 생성물을 중계.
방법
- 핵심 아이디어 — MDLM의 디코딩 과정에서 답변 관련 위치의 confidence가 안정적인 궤적이 성공적인 생성과 연관된다는 발견에 기반.
- TIE 동작 — 각 디노이징 스텝에서 모델별 confidence를 비교해 더 신뢰할 만한 궤적을 가진 모델의 중간 상태를 다른 모델로 전달.
- 서로 다른 모델이 디노이징 단계별로 보완적인 강점을 발휘할 수 있도록 설계되었습니다.
한계·조건
- 범위 — MDLM에 특화된 방법으로, autoregressive 모델에는 직접 적용 불가.
- 비용 — 앙상블 과정에서 추론 시간이 모델 수에 비례해 증가합니다.
- 코드 — 논문 내 코드 공개 여부는 명시되지 않았습니다.
편집자 한 줄
MDLM 앙상블이라는 덜 탐구된 문제에 대한 실용적인 접근이라는 점에서 흥미롭지만, 추론 비용 증가를 감수할 만한 태스크인지 고민해볼 필요가 있겠네요.
- #mdlm
- #ensemble
- #diffusion
- #kaist
- #reasoning
KAIST AI