Papers·5일 전
서울대, SAM 기반 세포 분할에서 타입당 클릭 한 번으로 90% 성능 유지 — Chain-of-Prompts
서울대 연구팀이 SAM의 frozen 이미지 인코더가 동일 타입 세포를 feature space에서 이미 군집화한다는 점을 활용해, 타입당 한 번의 클릭으로 모든 인스턴스를 분할하는 training-free 프레임워크 Chain-of-Prompts(CoP)를 제안했습니다. CoP는 다중 스케일 인코더 feature의 non-parametric gating으로 신뢰할 수 있는 동일 타입 위치를 식별하고, 가장 먼 지점을 다음 prompt로 선택해 커버리지를 극대화합니다. 세 가지 세포 타입 주석 벤치마크에서 타입당 한 클릭으로 per-instance 성능의 90% 이상을 유지했으며, 형태적으로 균일한 네 벤치마크에서는 99% 이상을 기록했습니다. 단, 현재는 세포 분할에 특화된 평가이며, 일반 객체 분할로의 확장 가능성은 추가 검증이 필요합니다.
서울대 연구팀이 SAM 기반 세포 분할에서 타입당 한 번의 클릭만으로 모든 인스턴스를 분할하는 training-free 프레임워크 Chain-of-Prompts를 공개했습니다.
핵심 결론
- 성능 — 세 가지 세포 타입 주석 벤치마크에서 타입당 한 클릭으로 per-instance prompting 대비 90% 이상의 성능 유지.
- 비교 — 형태적으로 균일한 네 벤치마크에서는 단일 클릭으로 99% 이상 유지, fully-supervised 방법을 능가.
방법
- 핵심 관찰 — SAM의 frozen image encoder는 prompt 없이도 동일 타입 세포를 feature space에서 군집화함.
- CoP — 단일 클릭을 재귀적으로 확장: (1) non-parametric gating으로 신뢰할 수 있는 동일 타입 위치 식별, (2) 가장 먼 지점을 다음 prompt로 선택.
- O(N) per-instance prompting을 O(T) per-type으로 줄인 새로운 패러다임입니다.
한계·조건
- 범위 — 세포 분할에 특화된 평가로, 일반 객체 분할에서의 일반화 가능성은 미검증.
- 코드 — 프로젝트 페이지에서 코드 및 데이터 공개 예정.
편집자 한 줄
SAM의 feature space 특성을 활용한 아이디어가 깔끔합니다. histopathology처럼 밀집된 인스턴스에서 실용적일 만하네요.
- #sam
- #cell-segmentation
- #prompting
- #seoul-national-university
Seoul National University