Papers·2개월 전
KAIST LearnWeak: 약한 컴퓨터 사용 에이전트 전문화 프레임워크 — OSWorld 8개 도메인 평균 11.6%p 향상
KAIST 팀이 작은 컴퓨터 사용 에이전트(CUA)를 특정 도메인에 전문화하는 LearnWeak 프레임워크를 제안했습니다. 강한 참조 에이전트로 학생의 약점을 식별하고, 해당 약점을 보완하는 태스크를 합성하며, 계획 오류와 실행 오류를 분리하는 오류 인식 목적 함수를 도입했습니다. OSWorld 벤치마크 8개 도메인에서 EvoCUA-8B 대비 평균 11.6%p, OpenCUA-7B 대비 11.1%p 향상되었으며, 기존 자율 궤적 생성 및 훈련 기준선을 능가했습니다.
KAIST 연구진이 작은 컴퓨터 사용 에이전트를 특정 도메인에 효율적으로 전문화하는 LearnWeak 프레임워크를 공개했습니다.
핵심 결론
- 벤치 — OSWorld 8개 도메인 평균 성능: EvoCUA-8B 대비 +11.6%p, OpenCUA-7B 대비 +11.1%p.
- 비교 — 기존 자율 궤적 생성 및 훈련 기준선보다 일관되게 높은 성능을 보였습니다.
방법
- 약점 식별 — 강한 참조 에이전트(예: GPT-4V)를 사용해 학생 에이전트가 실패하는 태스크를 자동으로 찾아냅니다.
- 태스크 합성 — 식별된 약점을 보완하는 맞춤형 태스크를 생성하여 데이터를 수집합니다.
- 오류 분리 — 계획 오류와 실행 오류를 분리하는 오류 인식 목적 함수로, 균일한 감독보다 더 정밀한 업데이트를 가능하게 합니다.
한계·조건
- 참조 의존 — 강한 참조 에이전트(예: GPT-4V)가 필요하므로 완전한 annotation-free는 아닙니다.
- 도메인 범위 — OSWorld 8개 도메인에서 검증되었으나, 더 다양한 도메인에서의 일반화는 추가 검증이 필요합니다.
- 코드 — 코드 공개 여부는 논문에 명시되지 않았습니다.
편집자 한 줄
약한 모델의 약점을 강한 모델로 진단해 맞춤형 데이터를 생성하는 접근은 효율적이면서도 실용적입니다. 다만 참조 에이전트의 비용과 접근성이 실제 배포에서 걸림돌이 될 수 있겠네요.
- #computer-use-agent
- #specialization
- #kaist
- #osworld
- #weak-to-strong
KAIST AI