Papers·6일 전
UBC, attention-guided 계층적 RAG 프레임워크 SproutRAG — 정보 효율성 6.1% 향상
UBC 연구팀이 문장 단위 청크를 이진 청킹 트리로 조직하는 attention-guided 계층적 RAG 프레임워크 SproutRAG를 발표했습니다. 기존 LLM 기반 청킹이나 단일 수준 확장과 달리, 학습된 inter-sentence attention으로 의미적 문서 구조를 포착해 추가 LLM 호출 없이 다중 세분화 검색을 가능하게 했습니다. 네 벤치마크(과학, 법률, 오픈 도메인)에서 정보 효율성(IE)이 가장 강력한 기준선 대비 평균 6.1% 개선되었으며, 코드도 공개되었습니다.
UBC 연구팀이 문장 단위 청크를 attention-guided 이진 트리로 조직해 추가 LLM 호출 없이 다중 세분화 검색을 가능하게 한 RAG 프레임워크 SproutRAG를 공개했습니다.
핵심 결론
- 벤치 — 과학·법률·오픈 도메인 네 벤치마크에서 정보 효율성(IE)이 가장 강력한 기준선 대비 평균 6.1% 향상.
- 비교 — 기존 LLM-guided chunking이나 단일 수준 확장 대비 추가 LLM 호출 없이 동등하거나 더 나은 성능.
방법
- 이진 청킹 트리 — 문장 간 attention 가중치를 학습해 점진적으로 큰 의미 단위로 병합하는 이진 트리를 구축합니다.
- 다중 세분화 검색 — 계층적 beam search로 여러 세분화 수준의 후보를 동시에 검색, 단순 평면 검색보다 풍부한 맥락을 포착합니다.
- 공동 학습 — 임베딩과 트리 구조를 함께 최적화하는 end-to-end 학습으로, 별도 LLM 호출이나 요약이 필요 없습니다.
한계·조건
- 벤치 범위 — 네 벤치마크 모두 영어 문서 기반이며, 다국어나 코드 등 다른 도메인에서의 일반화는 추가 검증이 필요합니다.
- 코드 — GitHub에 공개되어 재현 가능합니다.
편집자 한 줄
attention 기반 계층 구조를 LLM 호출 없이 학습한다는 점이 실용적입니다. 다만 트리 구축에 추가 학습 비용이 드는 만큼, 기존 파이프라인 대비 trade-off를 확인해볼 만합니다.
- #rag
- #hierarchical-retrieval
- #attention
- #ubc
Vision and NLP Group at University of British Columbia