Papers·2개월 전
B^3D-RWKV — diffusion 과 causal LM 을 통합한 O(L) 추론 모델, 1.6x 속도 향상
B^3D-RWKV 는 diffusion 과 causal LM 의 통합을 시도한 RWKV 변종입니다. triplet-block layout 으로 bidirectional attention 과 unidirectional decoding 을 동시에 처리하며, 7.2B 모델이 8개 태스크에서 기존 모델과 유사한 정확도를 유지하면서 디코딩 처리량을 평균 1.6배 높였습니다. 다만 벤치마크 규모가 작고 코드 공개 여부는 아직 확인되지 않았습니다.
RWKV 에 diffusion 을 얹어 O(L) 추론 속도를 유지하면서도 bidirectional attention 을 가능하게 한 시도입니다.
핵심 결론
- 성능 — 7.2B 모델, 8개 태스크 평균 정확도는 기존 diffusion LM 과 유사 수준.
- 속도 — 디코딩 처리량에서 기존 대비 평균 1.6x speedup.
방법
- 구조 — triplet-block layout: diffusion 용 bidirectional attention 블록과 causal LM 용 unidirectional 블록을 교차 배치.
- RWKV 의 linear attention 을 그대로 사용해 O(L) 추론 비용을 유지한 점이 핵심입니다.
한계·조건
- 벤치 — 8개 태스크로 평가했으며, 대규모 벤치마크(MMLU 등)에서의 검증은 아직.
- 코드 — 논문 내 코드 공개 언급 없음 — 재현성은 불확실합니다.
편집자 한 줄
diffusion + causal 통합 아이디어는 흥미롭지만, 벤치 규모가 작아 일반화 가능성은 좀 더 지켜봐야겠네요.
- #diffusion
- #causal-lm
- #rwkv
- #efficiency
- #huggingface
Ke Lin