Papers·2일 전
AuditFlow: 그래프 기반 다중 에이전트로 재무 감사 정확도 82.09% — GPT-5.5 대비 14.93p 개선
재무 감사는 구조화된 증거를 요구해 LLM만으로 처리하기 어렵습니다. AuditFlow는 US-GAAP 분류 그래프와 XBRL 제출 그래프를 결합한 심볼릭 환경 위에서 두 주니어 감사관과 한 시니어 감사관이 협력하는 다중 에이전트 프레임워크를 제안합니다. FinMR 샘플에서 GPT-5.5 기반으로 82.09%의 공동 감사 정확도를 달성해 최강 기준선보다 14.93p 높았으며, 결정론적 검증을 제거하면 17.91%로 급락해 심볼릭 환경의 역할이 결정적임을 보여줍니다.
재무 감사는 텍스트가 아닌 구조화된 증거에 의존해 LLM 에이전트가 어려워하는 태스크입니다. AuditFlow는 그래프 기반 심볼릭 환경과 다중 에이전트 협업으로 이 문제를 해결합니다.
핵심 결론
- 정확도 — FinMR 샘플에서 GPT-5.5 기반 공동 감사 정확도 82.09%, 기준선 대비 14.93p 개선.
- 심볼릭 중요성 — 결정론적 검증을 제거하면 정확도가 17.91%로 급락해, 모델이 대체할 수 없는 검증 단계임을 입증.
방법
- 심볼릭 환경 — 정적 US-GAAP 분류 그래프와 동적 XBRL 제출 그래프를 결합해 팩트 검색, 분류 탐색, 수치 확인, 규칙 평가를 위한 타입화된 도구를 제공.
- 다중 에이전트 — 두 주니어 감사관이 규제 및 증거 관점에서 각각 검토하고, 시니어 감사관이 불일치를 해결하며 추가 조사를 요청.
- 증거 융합 — 최종 보고서는 증거 집계를 통해 감사 판결, 기대값, 증거 추적, 신뢰도 점수를 생성.
한계·조건
- 데이터 — FinAuditing에서 파생된 FinMR 샘플만 사용, 실제 감사 환경과의 차이가 있을 수 있음.
- 모델 의존성 — GPT-5.5에 최적화되어 있으며, 다른 LLM에서의 성능은 추가 검증 필요.
- 코드 공개 — 논문에서 코드 공개 여부는 명시되지 않음.
편집자 한 줄
심볼릭 환경과 LLM의 결합이 감사 도메인에서 강력한 시너지를 보여주는 사례입니다. 다만 실제 감사 데이터의 복잡성을 고려하면 추가 벤치마크가 필요해 보입니다.
- #audit
- #multi-agent
- #graph
- #finance
- #symbolic
The Fin AI