News·3시간 전
GDM, DiffusionGemma 투명성 감사 — Gemma 와 유사한 수준
GDM 해석가능성 팀과 텍스트 확산 팀이 협력해 DiffusionGemma 의 투명성을 감사한 결과, 직전 모델 Gemma 와 유의미한 차이가 없음을 발견했습니다. 확산 모델은 본질적으로 알고리즘 투명성이 낮지만, 변수 투명성은 비슷하게 유지된다는 점을 확인했습니다.
GDM 해석가능성 팀이 텍스트 확산 모델 DiffusionGemma 의 투명성을 Gemma 와 비교 감사했습니다.
골자
- 대상 — DiffusionGemma, GDM 의 새로운 텍스트 확산 모델.
- 방법 — 모니터링 평가, logit lens 적용, 중간 변수 제거 실험.
- 결과 — DiffusionGemma 는 Gemma 대비 투명성이 유의미하게 낮지 않음.
변수 투명성 vs 알고리즘 투명성
- 변수 투명성 — 중간 벡터에 logit lens 적용 가능, 불투명 직렬 깊이가 Gemma 와 유사.
- 알고리즘 투명성 — 확산 모델은 모든 토큰을 동시 생성해 인과 관계 파악이 어려워 기본적으로 낮음.
- 자기회귀 모델은 토큰 순서대로 추론 과정을 추적할 수 있는 반면, 확산 모델은 캔버스 전체를 한 번에 생성해 각 토큰 간 인과성이 불명확.
편집자 한 줄
투명성의 두 축을 구분한 점이 흥미롭습니다. 변수 단위 해석은 가능하지만 전체 알고리즘을 이해하는 것은 여전히 어렵다는 점이 확산 모델 해석의 핵심 과제로 보입니다.
- #diffusiongemma
- #gdm
- #interpretability
- #transparency
LessWrong