ELF: 연속 임베딩 공간에서 동작하는 Flow Matching 기반 언어 모델 — 기존 DLM 대비 생성 품질 향상

ELF(Embedded Language Flows)는 연속 임베딩 공간에서 Flow Matching을 수행하는 확산 언어 모델로, 최종 시간 단계에서만 공유 가중치 네트워크를 통해 이산 토큰으로 매핑합니다. 이미지 도메인의 classifier-free guidance(CFG)를 그대로 적용할 수 있어, 기존 이산 및 연속 DLM 대비 더 적은 샘플링 스텝으로 더 나은 생성 품질을 달성했습니다. 다만 이 연구는 연속 DLM의 가능성을 보여준 초기 단계로, 대규모 언어 모델과의 비교나 실제 응용에서의 견고성은 추가 검증이 필요합니다.

• #diffusion
• #flow-matching
• #language-modeling
• #embedding