Papers·5일 전
Uppsala 대학, Squeeze-Release 기법으로 신경망 39x 압축 — 정확도 유지
Uppsala 대학 연구팀이 마스킹된 가중치를 완전히 제거하는 정확한 구조적 재작성(minimization) 기법과, Squeeze-Release 사이클을 통해 네트워크를 최대 39x(MLP) 및 14.8x(ConvNeXt-Tiny) 압축하면서도 정확도를 유지하는 방법을 제안했습니다. 핵심은 압축 후 재활성화된 용량을 재학습에 활용해 단일 패스로 찾지 못한 구조적 중복을 제거하는 점입니다. 다만 트랜스포머 확장은 이론적 증명만 제시되었고, 실제 벤치마크 결과는 공개되지 않았습니다.
Uppsala 대학이 마스킹된 네트워크를 완전히 작은 밀집 네트워크로 변환하는 정확한 구조적 재작성(minimization)과, Squeeze-Release 사이클을 통해 압축률을 극대화하는 방법을 공개했습니다.
핵심 결론
- 압축률 — 완전연결 모델에서 39x, ConvNeXt-Tiny에서 14.8x 압축, 정확도는 유사 수준.
- 적용 범위 — LayerNorm이 있는 residual stream에서 채널 축소를 가능하게 하는 CompensatedLayerNorm도 함께 제안.
방법
- Minimization — 마스크된 가중치 텐서를 정확히 더 작은 텐서로 재작성, 부동소수점 오차 이내로 동일한 forward 함수 유지.
- Squeeze-Release — 압축 후 release 단계에서 정확히 0이었던 위치에 작은 보정 노이즈를 주어 용량을 재활성화, 여러 사이클을 통해 구조적 중복을 추가 제거.
- CompensatedLayerNorm — LayerNorm을 대체하는 함수 보존 변환으로, 채널 차원의 축소를 residual stream에서도 가능하게 함.
한계·조건
- 트랜스포머 — 트랜스포머 구조로의 확장은 이론적 증명만 제시, 실제 실험 결과는 아직 없음.
- 코드 — 코드 공개 여부는 명시되지 않음.
편집자 한 줄
압축률 자체는 인상적이지만, 트랜스포머 실험이 빠져 있어 실제 LLM 적용 가능성은 좀 더 지켜봐야겠네요.
- #pruning
- #compression
- #layer-norm
- #uppsala-university
Uppsala University