AutoLLMResearch — 에이전트가 저비용 실험에서 일반화 원칙을 학습해 고비용 LLM 설정을 자동 탐색

Notre Dame 팀이 LLM 실험 구성을 자동화하는 에이전틱 프레임워크 AutoLLMResearch를 제안했습니다. 저비용 실험에서 일반화 가능한 원칙을 학습한 뒤, 고비용 설정에서 유망한 구성을 효율적으로 찾아냅니다. 핵심은 다중 충실도 실험 환경 LLMConfig-Gym(100만 GPU 시간 이상의 검증된 결과 포함)과 장기 마르코프 결정 과정으로 구성된 훈련 파이프라인으로, 교차 충실도 추론을 장려합니다. 다양한 강력한 베이스라인 대비 효과성과 일반화를 입증했지만, 100만 GPU 시간 규모의 데이터가 필요해 재현성에 제약이 있습니다.

• #automl
• #llm
• #experiment-automation
• #notre-dame