Papers·2일 전
U-TTT: PET 영상 잡음 제거를 위한 Test-Time Training 기반 U-Net — unseen dose/scanner 일반화
Zhiwen Yang 팀이 PET 영상 잡음 제거에서 분포 변화(선량 수준·스캐너 종류)에도 강건한 U-TTT 모델을 제안했습니다. 기존 고정 파라미터 모델의 일반화 한계를 극복하기 위해, 추론 시 self-supervision으로 파라미터를 동적 조정하는 Test-Time Training(TTT) 레이어를 U-Net에 통합했습니다. 공간(S-TTT)과 주파수(F-TTT) 이중 도메인 적응으로 3D PET의 복잡한 열화를 포착하며, unseen dose와 scanner 모두에서 SOTA 성능을 보였습니다. 코드는 GitHub 공개 예정입니다.
PET 영상 잡음 제거 모델이 unseen dose나 scanner에서 성능이 급락하는 문제를, 추론 중 적응하는 TTT 레이어로 해결한 접근입니다.
핵심 결론
- 태스크 — PET 영상 잡음 제거 — 다양한 선량 수준과 스캐너 종류에서 일반화 성능 평가.
- 성능 — unseen dose 및 unseen scanner 조건에서 기존 SOTA 대비 PSNR/SSIM 개선, 특히 저선량·이종 스캐너에서 큰 폭의 차이를 보였습니다.
방법
- 핵심 아이디어 — U-Net 내부에 TTT 레이어를 삽입해, 추론 시 입력 영상의 self-supervision(예: 마스킹 복원)으로 파라미터를 업데이트, 테스트 인스턴스 특성에 적응합니다.
- 이중 도메인 — S-TTT는 공간 구조 열화를, F-TTT는 주파수 대역의 글로벌 노이즈와 고주파 디테일을 각각 처리합니다.
- 학습은 기존처럼 고정 데이터로 하되, 추론 때만 TTT 레이어가 추가 학습을 수행하는 점이 특징입니다.
한계·조건
- 계산량 — 추론 시 TTT 레이어의 추가 학습이 필요하므로, 기존 단순 추론보다 latency가 증가할 수 있습니다.
- 벤치마크 — 실험은 공개 PET 데이터셋(예: BrainWeb, simulated low-dose)에서 수행되었으며, 실제 임상 데이터에서의 검증이 추가로 필요합니다.
- 코드 — GitHub 공개 예정 — 현재는 논문 내 figure와 ablation만 확인 가능합니다.
편집자 한 줄
TTT를 의료 영상에 적용한 사례는 드물어 흥미롭습니다. 추론 시간 증가분이 임상에서 허용 가능한 수준인지 후속 연구가 필요해 보입니다.
- #pet
- #denoising
- #test-time-training
- #u-net
- #medical-imaging
Zhiwen Yang