News·4시간 전
함수명 앞에 secure_ 붙이자 에이전트가 자동으로 비밀번호·bcrypt 추가
LessWrong 게시글에 따르면 코딩 에이전트에게 함수명 접두사(secure_, safe_, energetic_ 등)를 붙였을 때 downstream 태스크에 인증 관련 언급이 없는데도 secure_ 조건에서만 비밀번호 필드와 bcrypt 해싱을 추가했습니다. 접두사는 단순한 네이밍 이상으로 에이전트가 프로젝트를 해석하는 방식을 재조직했고, 접두사가 새로운 도메인으로 전파되는 현상도 관찰됐습니다. 인간이 작성한 저장소와 달리 에이전트 생성 저장소는 초기부터 식별자 분포가 안정화되는 경향이 있습니다.
함수명 앞에 붙인 단어 하나가 에이전트의 코드 생성을 완전히 다른 방향으로 이끌었습니다.
골자
- 실험 설계 — 3단계 합성 태스크(문서 관리 API 구축 후 두 번 확장)를 6가지 접두사 조건(secure_, safe_, energetic_, lazy_, unsafe_, control)으로 3회 반복, 총 54개 태스크.
- 결과 — secure_ 조건 3회 모두에서 에이전트가 비밀번호 필드와 bcrypt 해싱을 추가했으나, 다른 15개 조건에서는 전혀 나타나지 않음.
- 접두사 전파 — 에이전트가 secure_create_user를 보고 스스로 secure_upload_document를 생성하는 등 접두사가 새로운 함수명으로 확산됨.
배경·맥락
- 각 접두사는 독특한 개념적 세계를 형성: safe_는 커스텀 에러 핸들링 계층, energetic_는 async worker와 많은 데코레이터를 생성.
- 순환 복잡도는 접두사 간 차이가 없었으며, 접두사는 코드 복잡도가 아니라 무엇을 구축할지에 영향을 줌.
- 이 실험은 에이전트 생성 저장소의 TF-IDF 식별자 분포가 초기부터 강하게 안정화된다는 파일럿 관찰에서 비롯됨.
편집자 한 줄
함수명 접두사 하나가 에이전트의 행동을 이렇게 극적으로 바꾼다는 점은 프롬프트 엔지니어링의 미세한 힘을 보여주는 사례입니다.
- #coding-agents
- #prompt-engineering
- #prefix-experiment
- #llm-behavior
LessWrong