Papers·1주 전
Functional Attention — 연산자 학습을 위한 함수 공간 어텐션, PDE·3D 세그멘테이션에서 SOTA
TUM 팀이 연산자 학습에서 token-wise attention 의 한계를 극복하는 Functional Attention 을 제안했습니다. Softmax 대신 functional map 기반의 선형 연산자로 attention 을 재정의해, 해상도 불변·전역 의존성 포착이 가능해집니다. PDE 해석, 3D segmentation, regression 벤치에서 기존 operator transformer 와 동등하거나 더 나은 성능을 보였고, 특히 discretization 변화에 강건한 점이 특징입니다.
TUM 팀이 연산자 학습에서 token-wise attention 의 한계를 극복하는 Functional Attention 을 제안했습니다.
핵심 결론
- 태스크 — 연산자 학습(PDE 해석, 3D segmentation, regression)에서 기존 operator transformer 대비 동등 이상의 성능.
- 강점 — 해상도 불변성 — discretization 이 바뀌어도 재학습 없이 동작하며, 전역 의존성을 명시적으로 포착합니다.
방법
- 핵심 아이디어 — Attention 을 adaptive basis 간 functional correspondence 로 재해석. Softmax affinity 대신 geometric functional map 에서 영감을 받은 선형 연산자를 씁니다.
- Token-wise attention 이 continuous field 를 discrete token 으로 쪼개는 반면, 본 방법은 함수 공간에서 직접 매핑을 학습해 구조적 정보를 보존합니다.
한계·조건
- 벤치 범위 — 비교 대상은 FNO, GNOT, Galerkin Transformer 등 — 대규모 언어 모델 스케일에서의 검증은 아직 없습니다.
- 코드 — GitHub 에 프로젝트 페이지 공개 — 학습 코드와 사전학습 가중치 포함.
편집자 한 줄
Operator learning 에서 attention 을 함수 공간 대응으로 바라보는 관점은 꽤 신선합니다. 다만 1D·2D PDE 위주 실험이라 3D large-scale 문제에서도 잘 작동할지는 추가 확인이 필요해 보입니다.
- #operator-learning
- #attention
- #functional-map
- #pde
- #tum
Technical University of Munich