Papers·5일 전
군 대칭성 prior의 샘플 복잡도 이득을 측정하다 — 오히려 잘못된 군은 해롭다
C_n 대칭 태스크에서 equivariant 모델이 augmentation + test-time orbit averaging과 bit-identical validation 곡선을 보여, architecture-vs-augmentation 격차는 비대칭 test-time 계산 조건부임을 밝혔습니다. 잘못된 군 제약은 오히려 성능을 해친다는 점이 가장 깔끔한 발견입니다. 다만 이 연구는 탐색적이며, 사전 등록되지 않았고, 주요 추정량은 사후 채택된 점을 유의해야 합니다.
Equivariant prior가 샘플 복잡도를 |G|배 줄인다는 이론적 예측을 통제된 실험으로 측정한 연구입니다.
핵심 결론
- 잘못된 군 — 같은 orbit 크기와 compute 조건에서 잘못된 군 제약은 아무 제약보다 성능이 나빴습니다 (joint pairwise CI [+0.79, +3.26], zero 제외).
- augmentation — Test-time orbit averaging을 포함한 augmentation baseline이 equivariant 모델과 epoch별 validation 곡선이 완전히 일치했습니다.
- 상대 교환율 — beta_diff = 1.28로 이론값 1.0과 부호 및 크기 일관성을 보였으나, 보수적 bootstrap은 CI [-0.63, +1.72]로 zero를 포함합니다.
방법
- 상대율 추정량 — 공유 난이도 confound를 상쇄하는 relative-rate estimator를 도입했습니다.
- 통제군 — 잘못된 군 제어(wrong-group control)와 사전 정의된 실패 분류 체계를 사용했습니다.
- 한계 — 주 추정량 beta_diff는 초기 분석 후 사후 채택되었으며, coarse N grid에서 OLS slope에 의존합니다.
한계·조건
- 탐색적 연구 — 사전 등록되지 않았고, 확증적 측정이 아닌 탐색적 연구입니다.
- 재현성 — 재현 등록 복제는 향후 과제입니다.
- 일반화 — 방법론은 다른 귀납적 편향으로 전이 가능하나, 본 결과는 C_n 대칭 태스크에 국한됩니다.
편집자 한 줄
잘못된 군이 해롭다는 결과는 직관에 반하지만 통계적으로 깔끔합니다. 다만 탐색적 설계이므로 확증적 해석은 주의가 필요합니다.
- #equivariance
- #symmetry
- #sample-complexity
- #scaling-law
- #inductive-bias
Ahmed M. Adly