News·3시간 전
프롬프트 인젝션의 이론: LLM이 역할을 인식하는 방식
LessWrong 게시물에서 LLM이 프롬프트 인젝션에 취약한 이유를 '역할 인식' 이론으로 설명합니다. 연구진은 LLM이 입력을 단일 토큰 스트림으로 처리하기 때문에 시스템 프롬프트와 사용자 메시지의 경계를 구분하지 못한다고 주장합니다. 이를 바탕으로 새로운 공격 기법을 만들고, 기계 해석 결과를 설명하며, 공격 성공 조건을 예측합니다. CBAI와 Cosmos의 지원을 받았으며, ICML 논문으로도 발표되었습니다.
LLM이 프롬프트 인젝션에 취약한 근본 원인을 '역할' 개념으로 분석한 연구입니다.
골자
- 핵심 주장 — 프롬프트 인젝션은 LLM이 입력 스트림에서 역할(시스템/사용자/어시스턴트)을 구분하지 못하기 때문에 발생합니다.
- 증거 — 연구진은 이 이론으로 새로운 공격을 설계하고, 기계 해석 결과의 이상 현상을 설명하며, 공격 성공 조건을 예측했습니다.
- 지원 — 본 연구는 CBAI와 Cosmos의 지원을 받았으며, ICML 2024에 논문이 채택되었습니다.
배경·맥락
- 문제의 본질 — LLM은 입력을 단일 텍스트 스트림으로 보기 때문에, 우리가 보는 대화 구조(턴)와 모델이 받는 실제 입력 사이에 차이가 있습니다.
- 의미 — 시스템 프롬프트, 사용자 메시지, 모델의 이전 응답이 모두 같은 문자열 안에 섞여 있어, 모델이 '자신의 생각'과 '외부 명령'을 구분할 방법이 없습니다.
- 기존 연구와의 차이 — 기존에는 인젝션을 단순히 '명령 무시'로 보았지만, 이 연구는 역할 경계 인식의 실패로 재정의합니다.
자금 용처·향후
- 제안 — 연구진은 '역할 과학(science of roles)'이라는 새로운 하위 분야를 제안하며, 아직 탐구되지 않은 연구 문제들을 스케치했습니다.
- 의의 — 이 이론은 프롬프트 인젝션 방어에 대한 근본적인 접근을 바꿀 수 있습니다.
편집자 한 줄
LLM의 입력 구조 자체가 취약점이라는 관점은 방어 설계에 중요한 시사점을 줍니다.
- #prompt-injection
- #llm
- #roles
- #mechanistic-interpretability
- #security
LessWrong