멀티모달 지식 편집에서 발견된 '개체 정체성 혼동' — EC-Bench로 진단하고 I-E 결합 제약으로 완화

중국과학원 자동화연구소는 대규모 비전-언어 모델의 지식 편집 후 발생하는 '개체 정체성 혼동(EIC)' 현상을 체계적으로 분석했습니다. EIC는 편집된 모델이 원래 개체에 대한 텍스트 질의에 새 개체 정보를 반환하는 오류로, EC-Bench라는 진단 벤치마크를 통해 기존 방법이 이미지-개체(I-E) 결합과 개체-개체(E-E) 관계 지식을 구분하지 못해 발생함을 밝혔습니다. 해결 방안으로 I-E 처리 단계에 편집을 제한하면 EIC가 크게 줄어든다는 점을 실험으로 보였습니다.

• #multimodal
• #knowledge-editing
• #vision-language
• #eic
• #chinese-academy-of-sciences