PyRAG: 멀티홉 QA를 프로그램 합성으로 푸는 RAG 프레임워크 — 5개 벤치마크에서 일관된 개선

일리노이대학교 어배너-섐페인 팀이 멀티홉 질의응답에서 RAG의 취약점을 해결하는 PyRAG을 제안했습니다. 기존 RAG는 자유형식 자연어 추론으로 인해 중간 상태가 암시적이고 검색 쿼리가 표류하며 오류 자가진단이 불안정한 반면, PyRAG는 추론 과정을 검색·QA 도구를 호출하는 Python 프로그램으로 표현해 중간 변수를 명시화하고 실행 피드백을 결정적으로 얻습니다. PopQA, HotpotQA 등 5개 QA 벤치마크에서 training-free와 RL-trained 설정 모두 강력한 기준선을 일관되게 능가했으며, 특히 조합적 멀티홉 데이터셋에서 큰 폭의 성능 향상을 보였습니다. 코드와 데이터는 공개되었습니다.

• #rag
• #multi-hop-qa
• #program-synthesis
• #illinois