Rule2DRC — 자연어 설계 규칙을 DRC 스크립트로 변환하는 LLM 에이전트 벤치마크, 1,000개 태스크

서울대 연구팀이 반도체 설계 규칙을 DRC(Design Rule Checking) 스크립트로 자동 변환하는 LLM 에이전트를 평가하기 위한 대규모 벤치마크 Rule2DRC를 공개했습니다. 1,000개의 규칙-스크립트 태스크와 13,921개의 평가용 칩 레이아웃으로 구성되며, 실행 기반 정확도로 기능적 정확성을 측정합니다. 기존 벤치마크가 코드 유사도나 소수 레이아웃에 의존한 반면, Rule2DRC는 에이전트에 평가 레이아웃을 입력하지 않고 실행 결과로 평가한다는 점이 특징입니다. 또한 SplitTester라는 테스터 에이전트를 제안해 실행 피드백을 기반으로 판별력 있는 테스트 케이스를 생성, Best-of-N 선택 성능을 크게 개선했습니다. 단, DRC 스크립트 합성이라는 특수 도메인에 한정된 벤치마크라는 점은 유의할 필요가 있습니다.

• #drc
• #llm-agent
• #benchmark
• #chip-design
• #seoul-national-university