Papers·2주 전
밀집 검색기의 위치 편향은 학습 데이터 분포에서 비롯된다 — 균형 훈련으로 편향 57~87% 감소
밀집 검색기(dense retriever)가 문서 내 질의 관련 정보의 위치에 따라 검색 성능이 달라지는 위치 편향(positional bias)을 보인다는 연구입니다. Sionic AI 팀은 합성 데이터로 위치별 편향을 유도한 훈련 세트를 구성해 8개 모델을 미세조정한 결과, 훈련 데이터의 증거 위치 분포가 검색 순위 편향 방향을 결정한다는 것을 발견했습니다. 위치 균형 훈련(position-balanced training)으로 편향을 57~87% 줄일 수 있었으며, 일부 모델에서는 사전 학습된 편향이 잔존하기도 했습니다.
밀집 검색기의 위치 편향이 아키텍처보다 훈련 데이터 분포에 더 크게 영향받는다는 실증 결과입니다.
핵심 결론
- 편향 원인 — 훈련 데이터 내 질의 관련 증거의 위치 분포가 검색 순위 편향의 방향을 결정합니다.
- 개선 폭 — 위치 균형 훈련으로 위치 인식 벤치마크에서 편향을 57~87% 감소시켰습니다.
- 모델 다양성 — 8개 아키텍처가 다른 사전 훈련 모델에서 일관된 패턴을 보였습니다.
방법
- 합성 데이터 — 증거가 문서의 처음/중간/끝에 위치하도록 합성 훈련 세트를 구성했습니다.
- 훈련 분포 — 위치 편향 분포(예: 처음 80%)와 균형 분포(각 위치 33%)로 각각 미세조정했습니다.
- 표현 수준 분석에서 미세조정이 위치 선호도를 재형성하지만, 일부 모델은 사전 훈련된 편향이 남아 있었습니다.
한계·조건
- 통제 환경 — 합성 데이터 기반 실험이며, 실제 문서 분포에서의 일반화는 추가 검증이 필요합니다.
- 벤치마크 — 위치 인식 벤치마크에서의 성능이며, 일반 검색 성능은 경쟁적 수준에 머물렀습니다.
- 재현성 — 코드와 데이터는 공개되지 않았습니다.
편집자 한 줄
훈련 데이터 분포가 검색 편향의 주요 원인임을 실험적으로 보인 점이 인상적입니다. 다만 합성 데이터 환경이므로 실제 서비스에 적용하려면 추가 연구가 필요해 보입니다.
- #dense-retrieval
- #positional-bias
- #training-data
- #sionic-ai
sionic-ai