Papers·5일 전
Mila, 단일 가중치로 다중 능력 수준 제어 — Tiered Language Model (TLM) 제안
Mila 연구팀이 단일 가중치 집합으로 여러 능력 수준을 지원하는 Tiered Language Model (TLM)을 제안했습니다. 공개 설정에서는 일반 LLM처럼 동작하지만, 소형 비밀 키로 일부 파라미터 순열을 지정하면 추가 능력(새 언어, 명령 수행, 사실 기억)이 활성화됩니다. 180M/650M 모델로 실증했으며, 키 기반 제어는 미세조정 추출 및 부분 키 유출에 강합니다. 단, 현재는 소규모 모델에 한정되어 확장성 검증이 필요합니다.
Mila 연구팀이 단일 가중치로 여러 능력 수준을 제어하는 Tiered Language Model (TLM)을 공개했습니다.
핵심 결론
- 태스크 — 공개(default) 설정에서는 일반 LLM, 비밀 키 적용 시 추가 능력(새 언어, 명령 수행, 사실 기억) 획득.
- 수치 — 180M/650M 파라미터 모델에서 공개 설정은 해당 능력 전혀 없음, 키 설정은 성공적으로 학습.
- 저자 — Mila – Quebec Artificial Intelligence Institute 소속.
방법
- 구조 — 단일 가중치 집합에 소형 비밀 키가 특정 파라미터 순열을 지정, 동일 가중치 위에 다른 계산 그래프를 유도합니다.
- 학습 — 두 설정을 처음부터 함께 사전학습한 후, 키 설정만 개인 데이터로 미세조정하며 공개 설정의 행동을 정규화로 보존.
- 확장 — 여러 계층적 티어로 자연스럽게 확장 가능하며, 권한 부여가 입력 공간이 아닌 가중치 구조에서 작동합니다.
한계·조건
- 규모 — 실험은 180M/650M 소규모 모델에 한정되어 대규모 모델에서의 확장성은 추가 검증 필요.
- 키 보안 — 키가 완전히 유출되면 모든 능력이 노출될 수 있으며, 키 길이와 보안 강도 간 트레이드오프 존재.
- 코드 — 논문에는 코드 공개 여부 명시되지 않음.
편집자 한 줄
오픈웨이트와 능력 제어를 양립시키려는 시도 자체는 흥미롭지만, 실제 배포 시 키 관리와 대규모 확장성은 여전히 숙제로 남습니다.
- #open-weight
- #capability-control
- #tiered-models
- #mila
- #llm
Mila – Quebec Artificial Intelligence Institute