Papers·2일 전
FedOT: 연합 학습 기반 잠재 확산 모델의 소유권 검증과 유출 추적
중국 연구팀이 연합 학습(FL) 환경에서 잠재 확산 모델(LDM)의 불법 배포를 방지하는 FedOT 프레임워크를 제안했습니다. 기존 VAE 기반 워터마킹은 소유권 확인만 가능하고 악성 클라이언트 추적이 불가능하며, VAE 교체 공격에 취약한 문제가 있었습니다. FedOT는 청크 워터마크(소유권+클라이언트 식별)와 Latent Vector Transformation(LVT)을 도입해 VAE 교체 시 이미지 품질이 급격히 저하되도록 설계했습니다. 실험 결과 소유권 검증과 추적 성능이 모두 우수했습니다.
연합 학습에서 LDM을 공유할 때 악성 클라이언트가 모델을 재배포해도 추적이 어려운 문제를 해결한 프레임워크입니다.
핵심 결론
- 과제 — FL 환경의 LDM에 대한 소유권 검증과 악성 클라이언트 식별을 동시에 달성한 최초의 프레임워크.
- 성능 — 기존 VAE 워터마킹 대비 VAE 교체 공격에 강인하며, 이미지 품질 저하 없이 추적 가능.
방법
- 청크 워터마크 — 첫 번째 부분은 소유권 확인, 두 번째 부분은 클라이언트 ID를 인코딩하여 유출 시 특정 클라이언트를 추적합니다.
- LVT — VAE의 잠재 분포를 변환하여 U-Net과의 연결을 강화, VAE 교체 시 심각한 품질 저하를 유발해 워터마크 제거를 무력화합니다.
- 기존 VAE 기반 방식은 단순히 VAE 디코더를 교체하면 워터마크가 제거되지만, LVT는 이를 방지합니다.
한계·조건
- 환경 — FL 시나리오에서만 검증되었으며, 중앙 집중식 학습에는 적용되지 않습니다.
- 코드 — 프로젝트 페이지(https://spyzixuan.github.io/FedOT/)는 공개되었으나 코드는 아직 확인되지 않았습니다.
편집자 한 줄
VAE 교체 공격에 대한 실용적 방어를 제시한 점이 인상적이지만, 실제 FL 환경에서의 오버헤드와 확장성은 추가 검증이 필요해 보입니다.
- #federated-learning
- #latent-diffusion
- #watermarking
- #ownership-verification
- #fedot
Wenlong Cheng