Papers·5일 전
TUM, MLLM 시각적 편향 분석 — 25K 이미지로 15개 속성이 80% 편향 설명
뮌헨공대(TUM) 팀이 MLLM의 시각적 편향을 속성 단위로 분해하는 벤치마크 StylisticBias를 공개했습니다. 500명의 가상 인물에 대해 각각 50개 단일 속성 변형(총 25K 이미지)을 생성해, 동일 인물에서 속성 하나만 바꿨을 때 모델 판단이 어떻게 달라지는지 측정합니다. 6개 MLLM을 25개 사회적 판단 시나리오로 평가한 결과, 약 15개 속성이 전체 변동의 80%를 차지하며 편향이 소수 시각 단서에 집중된다는 점을 확인했습니다. 코드와 데이터셋은 공개되었습니다.
뮌헨공대 연구진이 MLLM의 시각적 편향을 속성 단위로 분해하는 통제된 벤치마크 StylisticBias를 발표했습니다.
핵심 결론
- 벤치마크 — 500명의 가상 인물 × 50개 단일 속성 변형 = 총 25K 이미지로, 동일 인물에서 속성 하나만 바꿔 편향을 측정합니다.
- 결과 — 6개 MLLM 평가 결과, 약 15개 속성이 전체 변동의 80%를 차지하며 편향이 소수 시각 단서에 집중됩니다.
- 민감도 — 판단 유형 중 사회경제적·스타일 관련 판단이 시각 속성에 가장 민감하게 반응합니다.
방법
- 데이터 생성 — Stable Diffusion으로 500명의 사실적인 베이스 얼굴을 생성하고, 각각에 대해 나이·체형·패션·안경 등 50개 단일 속성 변형을 적용합니다.
- 통제 설계 — 동일 인물(identity)을 고정한 채 속성 하나만 변화시키므로, 기존 연구처럼 서로 다른 인물 간 비교에서 발생하는 혼동을 제거합니다.
- 판단 시나리오 — 25개 이진 사회적 판단(예: 신뢰할 수 있는가, 부유한가, 지적인가)을 수집해 모델 출력을 분석합니다.
한계·조건
- 범위 — 얼굴 이미지에 한정되며, 전신·배경·상호작용 등 다른 시각 맥락은 포함하지 않습니다.
- 재현성 — 코드와 데이터셋은 GitHub 및 Hugging Face에 공개되어 재현 가능합니다.
- 속성 수 — 50개 속성은 전체 시각 변이 공간의 일부에 불과하며, 더 많은 속성에서 추가 편향이 발견될 가능성이 있습니다.
편집자 한 줄
속성 단위로 편향을 분해한 점이 기존 연구 대비 확실한 진전입니다. 다만 생성된 얼굴 데이터의 다양성(인종·연령 등)에 대한 추가 검토가 필요해 보입니다.
- #mllm
- #bias
- #benchmark
- #tum
Technical University of Munich