Haiku: 삼중 모달 대조 학습 모델로 공간 단백체·조직학·임상 데이터 통합

Zhi Huang Lab이 Haiku라는 삼중 모달 대조 학습 모델을 공개했습니다. 1,606명 환자의 11개 장기에서 추출한 2,670만 개 mIF 패치와 H&E 염색, 임상 메타데이터를 정렬해 교차 검색(Recall@50 0.611), 생존 예측(C-index 0.737, +7.91%), 제로샷 바이오마커 추론(평균 Pearson 0.718)에서 우수한 성능을 보였습니다. 특히 조직 형태를 고정한 채 임상 정보만 변경하는 반사실적 예측으로 폐암 생존 관련 미세환경 변화(CD8, granzyme B 증가, PD-L1, Ki67 감소)를 탐색했습니다. 단, 반사실적 결과는 가설 생성용이며 인과적 주장은 아닙니다.

• #multimodal
• #contrastive-learning
• #spatial-proteomics
• #histopathology
• #clinical-data