Ships·3시간 전
Anthropic, Claude 기반 속성 기반 테스트 에이전트로 NumPy·SciPy·Pandas 버그 발견
Anthropic이 Claude를 활용해 대규모 Python 프로젝트에서 버그를 효율적으로 찾아내는 에이전트를 개발했습니다. 코드의 일반 속성을 추론한 뒤 속성 기반 테스트(퍼지 테스트와 유사)를 적용해 NumPy, SciPy, Pandas 등 주요 패키지에서 실제 버그를 발견했으며, 여러 건이 이미 패치되었습니다. 기존 예제 기반 테스트가 놓치기 쉬운 엣지 케이스를 자동으로 탐색한다는 점에서 실무에 유용해 보입니다.
Anthropic이 Claude 기반 에이전트로 Python 생태계의 숨은 버그를 찾아내는 접근법을 공개했습니다.
핵심 변경
- 기술 — 속성 기반 테스트(property-based testing)를 활용해 코드의 일반적 속성(예: JSON 직렬화/역직렬화의 역관계)을 추론하고, 이를 위반하는 입력을 자동 생성해 버그를 탐지합니다.
- 대상 — NumPy, SciPy, Pandas 등 대규모 Python 패키지에 적용했으며, 수동 검증을 거쳐 개발자에게 보고 중입니다.
- 결과 — 여러 버그가 이미 패치되었으며, 전체 목록은 전용 사이트에서 확인 가능합니다.
가격·가용성
- 에이전트 코드는 GitHub에 공개되어 있으며, 관련 논문과 발견된 버그 목록도 함께 제공됩니다.
- 현재 Anthropic 내부 연구 단계로, 별도 API나 서비스 형태로 제공되지는 않습니다.
제한·주의
- 속성 추론의 정확도는 Claude의 성능에 의존적이며, 복잡한 도메인에서는 완전 자동화가 어려울 수 있습니다.
- 대규모 프로젝트 전체를 대상으로 한 평가는 아직 초기 단계입니다.
편집자 한 줄
예제 기반 테스트의 한계를 보완하는 실용적인 접근법이네요. 특히 오픈소스 생태계에 기여할 수 있는 방식이라는 점이 눈에 띕니다.
- #anthropic
- #claude
- #property-based-testing
- #bug-detection
- #python
Anthropic