DiHAL: 기하학 기반 확산-트랜스포머 하이브리드 — 8B 규모에서 은닉 상태 복원 성능 향상

HOLI-LAB 연구진이 사전학습된 트랜스포머의 어느 층에 확산을 주입할지 기하학 점수로 결정하는 DiHAL을 제안했습니다. 하부 트랜스포머를 확산 브리지로 대체하고 상부 층과 LM 헤드는 유지한 채, 선택된 층의 은닉 상태를 복원함으로써 연속-이산 변환 문제를 회피합니다. 8B 규모 백본 실험에서 고정 브리지 학습 조건 하에 기하학 점수가 효과적인 얕은 삽입 층을 예측했으며, 동일 학습 예산 대비 기존 연속 확산 기준선보다 은닉 상태 복원 성능이 개선되었습니다. 다만 이 비교는 확산/복원 학습 예산을 맞춘 진단적 비교로, 실제 생성 품질이나 추론 속도는 보고되지 않았습니다.

• #diffusion
• #transformer
• #hidden-state
• #geometry-guided
• #holi-lab