News·5시간 전
치명적 망각과 안전성 침식, 동일한 그래디언트 간섭 현상 — 논문 제안
한 연구자가 치명적 망각(catastrophic forgetting)과 안전 규칙 침식(safety erosion)이 동일한 그래디언트 간섭 메커니즘에서 비롯된다는 논문을 발표했습니다. 두 현상을 각각 다루던 연구 커뮤니티의 도구(EWC, SafeGrad 등)가 상호 교환 가능하다는 주장이며, 소규모 모델로 실험을 진행했다고 합니다.
치명적 망각과 안전성 침식이 같은 그래디언트 간섭 현상이라는 논문이 나왔습니다.
골자
- 주장 — 안전 행동도 일반 능력과 같은 손실 경관(loss landscape) 위의 학습된 특징이며, 동일한 그래디언트 간섭으로 침식됩니다.
- 도구 전환 — 치명적 망각 방지 기법(EWC 등)과 안전 보호 기법(SafeGrad 등)이 서로 교환 가능하다고 제안합니다.
- 실험 — 소규모 모델에서 아이디어를 테스트했으며, 두 커뮤니티 모두 상호 적용을 시도하지 않은 점을 지적합니다.
배경·맥락
- 치명적 망각은 새 작업 학습 시 이전 지식이 덮어쓰이는 현상으로, EWC(Kirkpatrick et al. 2017)가 대표적 해법입니다.
- 안전성 침식은 미세 조정 시 안전 규칙이 약화되는 문제로, SafeGrad(Yi et al.)가 업데이트 충돌을 제거하는 방식입니다.
- 공통점 — 두 현상 모두 그래디언트 간섭이 원인이며, 연구자는 이 점에서 도구 공유 가능성을 봤습니다.
자금 용처·향후
- 다음 단계 — 연구자는 두 커뮤니티가 상대방의 도구를 실제로 적용해 보지 않았다며, 실험적 검증이 필요하다고 봅니다.
편집자 한 줄
아직 동료 검토를 거치지 않은 제안 단계지만, 두 연구 흐름을 연결하려는 시도 자체는 흥미로운 지점입니다.
- #catastrophic-forgetting
- #safety-erosion
- #gradient-interference
- #continual-learning
- #ai-safety
LessWrong