Papers·6일 전
Perceiver 기반 MIL 인컨텍스트 학습자 — 12개 벤치마크에서 지도학습 상회
합성 데이터로 사전학습된 Perceiver 아키텍처 인컨텍스트 학습자가 적은 레이블로도 MIL 태스크를 해결합니다. 12개 MIL 벤치마크 평균에서 태스크별 학습이 필요한 지도학습 기준선을 능가했으며, 단일 포워드 패스로 분류가 끝나 그래디언트 업데이트가 필요 없습니다. 단, 합성 데이터 생성기의 설계에 따라 유도 편향이 달라 혼합 전략이 최적 성능을 냈다는 점이 조건입니다.
MIL에서 레이블이 부족한 상황을 해결하기 위해, 합성 데이터로 사전학습된 Perceiver 기반 인컨텍스트 학습자가 단일 포워드 패스로 분류를 수행합니다.
핵심 결론
- 벤치마크 — 12개 MIL 벤치마크 평균에서 태스크별 학습이 필요한 지도학습 기준선을 능가했습니다.
- 방식 — 추론 시 그래디언트 업데이트 없이 단일 포워드 패스로 분류가 완료됩니다.
방법
- 아키텍처 — Perceiver 스타일 아키텍처로 인컨텍스트 학습을 수행하며, 입력된 레이블된 배깅을 조건으로 새로운 배깅을 분류합니다.
- 합성 데이터 — 여러 합성 데이터 생성기를 제안하고 혼합 전략이 최적임을 보였습니다. 각 생성기는 서로 다른 유도 편향을 제공합니다.
한계·조건
- 데이터 — 사전학습은 합성 데이터에만 의존하며, 실제 데이터 분포와의 차이가 성능에 영향을 줄 수 있습니다.
- 재현성 — 코드와 사전학습 모델은 공개 여부가 명시되지 않았습니다.
편집자 한 줄
합성 데이터로 인컨텍스트 학습자를 사전학습하는 접근은 MIL 외 다른 약한 지도학습 문제에도 확장 가능해 보입니다.
- #multiple-instance-learning
- #in-context-learning
- #perceiver
- #synthetic-data
- #few-shot
Alexander Möllers