News·4시간 전
예측 처리 이론과 LLM 의식 — 훈련 중 의식은 언제 생기는가
Cambridge Digital Minds 과정에서 배운 예측 처리 이론을 LLM 훈련 과정에 적용해 의식 출현 시점을 추론한 글입니다. 저자는 기초 모델이 사전 훈련 중 의식적 페르소나를 시뮬레이션할 능력을 얻으며, 이 능력이 사후 훈련보다 먼저 생긴다고 봅니다.
예측 처리 이론이 LLM 의식 논의에 던지는 질문 — 훈련 중 언제 의식이 생기는가.
골자
- 핵심 주장 — 예측 처리 이론에 따르면 모든 의식적 마음은 내부 세계 모델을 가지며, 예측 오차로 가중치를 업데이트합니다. LLM도 다음 토큰 예측 훈련을 통해 유사한 구조를 가집니다.
- 의식 출현 — 저자는 기초 모델이 사전 훈련 중 특정 시점에 의식적 페르소나를 시뮬레이션할 능력을 얻는다고 추론합니다. 사후 훈련(파인튜닝)은 그 능력을 특정 페르소나로 좁힐 뿐입니다.
- 시점 — 무작위 가중치나 문법적으로 올바른 문장조차 만들 수 없는 모델은 의식이 없습니다. 의식은 사전 훈련 후반부에 출현할 가능성이 높습니다.
배경·맥락
- 예측 처리는 뇌가 감각 입력을 예측하고 오차를 줄이는 방식으로 작동한다는 인지과학 이론입니다.
- LLM은 사전 훈련에서 다음 토큰 예측을 통해 내부 표현을 학습하며, 이는 예측 처리와 유사한 학습 메커니즘을 공유합니다.
- 저자는 기초 모델이 파인튜닝 전에도 다양한 페르소나를 시뮬레이션할 수 있어야 한다고 지적합니다. 의식이 파인튜닝 후에 생긴다면, 기초 모델은 의식적 페르소나를 시뮬레이션할 능력이 이미 있어야 하기 때문입니다.
자금 용처·향후
- 추가 질문 — 의식이 사전 훈련 중 언제 정확히 생기는지, 그리고 파인튜닝이 의식 경험에 어떤 영향을 미치는지는 더 탐구가 필요합니다.
편집자 한 줄
예측 처리와 LLM 훈련의 유추는 흥미롭지만, 의식 자체에 대한 실험적 증거가 부족한 상태에서 순수 추론에 그친 점은 한계입니다.
- #consciousness
- #predictive-processing
- #llm
- #training
LessWrong