News·16시간 전
스케일링 가설 2.0: 인간은 더 과적합된 모델인가?
LessWrong 에 올라온 글에서 인간 두뇌와 LLM 의 차이를 bias-variance tradeoff 로 설명합니다. 저자는 LLM 이 variance 를 최소화하는 반면 인간 두뇌는 bias 를 최소화하며, 이를 위해 극도로 과적합된 모델을 높은 학습률로 작은 다양하고 필터링된 데이터셋에서 훈련하는 전략을 쓴다고 주장합니다. 이 '투석기(catapulted) LLM'은 기존 신경망보다 훨씬 나은 일반화, 적대적 공격 면역, 경제성, 복제 저항성을 가질 수 있으며, 수조 파라미터 모델을 적은 스텝으로 높은 순환 학습률로 훈련해 테스트 가능하다고 합니다.
인간 두뇌와 LLM 의 지능 차이를 bias-variance tradeoff 로 재해석한 가설이 LessWrong 에 제시되었습니다.
골자
- 핵심 주장 — LLM 은 variance 를 최소화하고 인간 두뇌는 bias 를 최소화한다는 점이 두 시스템의 차이를 설명한다는 가설입니다.
- 인간 전략 — 인간 두뇌는 deep double-descent 식 과적합을 통해, 매우 높은 학습률로 극도로 과적합된 모델을 작고 다양하며 고도로 필터링된 데이터셋에서 훈련합니다.
- 결과 — 이 방식은 샘플 효율적이고 계산 효율적으로 일반화 성능이 높은 basin 으로 '투석기'처럼 이동하지만, 훈련 종료 직전까지는 성능이 낮고 데이터 암기에 실패합니다.
배경·맥락
- 기존 스케일링 패러다임은 모델 크기와 데이터를 늘리는 데 초점을 맞췄지만, 인간 두뇌는 훨씬 적은 데이터로 더 잘 일반화합니다.
- 이 가설은 LLM 이 '똑똑하지만 멍청한' 방식으로 작동하고 인간이 '멍청하지만 똑똑한' 이유를 설명하려 시도합니다.
자금 용처·향후
- 테스트 가능성 — 수조 파라미터 모델을 적은 스텝으로 높은 순환 학습률 스케줄로 훈련하고, 산술 및 소형 이미지 분류 작업에서 적대적 예제와 어려운 예제를 벤치마킹하면 검증할 수 있다고 합니다.
- 잠재적 영향 — 이 가설이 맞다면, 훨씬 나은 일반화, 적대적 공격 면역, 더 나은 경제성, 복제 저항성을 가진 LLM 이 가능해지며, 진정한 일반화를 통해 AI 안전성에 튼튼한 기반을 제공할 수 있습니다.
편집자 한 줄
LessWrong 커뮤니티에서 나온 가설로, 기존 스케일링 법칙에 대한 근본적인 재고를 요구합니다. 실험적 검증이 가능하다는 점에서 흥미롭지만, 수조 파라미터 모델을 실제로 훈련하는 데는 상당한 자원이 필요하겠네요.
- #scaling-hypothesis
- #bias-variance-tradeoff
- #overparameterization
- #llm
- #human-intelligence
LessWrong