EndPrompt: 8K 학습만으로 64K 컨텍스트 확장 — RULER 76.03, LongBench 최고점

Baidu 연구진이 제안한 EndPrompt는 긴 시퀀스 학습 없이도 LLM의 컨텍스트 윈도우를 8K에서 64K로 확장하는 방법입니다. 기존의 청크 기반 시뮬레이션과 달리, 짧은 원본 문맥을 그대로 유지한 채 끝부분에 목표 위치 인덱스를 가진 짧은 프롬프트를 붙이는 두-세그먼트 구조를 사용해, 물리적 길이는 짧으면서도 장거리 상대 위치 정보를 학습합니다. 이 방식은 LLaMA 계열 모델에서 LCEG(72.24), LongLoRA(72.95), 전체 미세조정(69.23)보다 높은 RULER 점수 76.03을 기록했으며, LongBench에서도 최고 평균을 달성했습니다. 단, 이 방법은 Rotary Position Embedding 기반 모델에 특화되어 있으며, 코드는 공개되었습니다.

• #llm
• #context-extension
• #baidu
• #rope
• #efficient-training