PatRe: 특허 심사 전 과정을 다중 턴 벤치마크로 — 480건 사례, LLM 한계 드러내

특허 심사를 Office Action 생성과 출원인 반박을 포함한 동적 다중 턴 과정으로 모델링한 최초의 벤치마크 PatRe가 공개됐습니다. 480건 실제 사례로 구성되며, oracle과 retrieval-simulated 평가 설정을 지원합니다. 여러 LLM 실험 결과, 상용과 오픈소스 모델 간 차이, 심사관 분석과 출원인 반박 간 비대칭성이 확인됐습니다. 복잡한 법적 추론과 기술적 신규성 판단에서 LLM의 가능성과 현재 한계를 동시에 보여준다는 점이 흥미로운 포인트. 코드와 데이터셋은 공개됐습니다.

• #patent-examination
• #benchmark
• #llm
• #legal-reasoning
• #multi-turn