Fraunhofer IGD, ViT 중간층 활용한 얼굴 품질 평가 — 8개 벤치마크에서 단일 출구 대비 성능 향상

Fraunhofer IGD 연구진이 Vision Transformer(ViT)의 중간 층 표현을 활용해 얼굴 품질 평가(Face Image Quality Assessment) 성능을 개선하는 프레임워크를 제안했습니다. 기존 ViT 기반 방법은 마지막 층의 표현만 사용했지만, 이 연구는 12개 transformer 블록 각각이 서로 다른 품질 관련 정보를 포착함을 보이고, 깊이 가중 평균을 적용한 점수 융합 전략으로 단일 출구 접근보다 향상된 결과를 달성했습니다. 4개의 얼굴 인식 모델과 8개 벤치마크 데이터셋에서 평가했으며, 조기 종료 메커니즘을 통해 계산 효율성과 성능 간 균형을 맞출 수 있다는 점도 확인했습니다. 단, 추가 학습 없이 기존 아키텍처에 적용 가능하지만, 특정 ViT 구조에 의존적일 수 있습니다.

• #face-quality-assessment
• #vision-transformer
• #early-exit
• #fraunhofer