Papers·2주 전
Notes2Skills: 실험 노트에서 AI 에이전트가 확실성을 보존하며 스킬 추출하는 프레임워크
Southern University of Science and Technology 팀이 실험 노트(lab notes)에서 AI 과학 에이전트가 사용할 수 있는 검증된 스킬을 추출하는 Notes2Skills 프레임워크를 제안했습니다. 기존 연구는 논문이나 정형 데이터베이스에 집중했지만, 실험 노트는 관찰, 불확실한 판단, 다음 실험 계획이 섞여 있어 이를 그대로 에이전트에 넘기면 오류가 발생합니다. Notes2Skills는 2단계 파이프라인으로 확실성(certainty)을 보존하며, 7개 조건과 3개 wet-lab 세션에서 유일하게 불확실한 노트를 확정 명령으로 오인하지 않으면서도 확정된 내용을 버리지 않았습니다.
실험 노트는 확정된 관찰, 잠정적 판단, 다음 실험 계획이 뒤섞인 채로 기록되는데, 기존 AI 시스템은 이를 구분하지 못해 불확실한 내용을 확정 명령으로 오인하는 문제가 있었습니다.
핵심 결론
- 태스크 — 실험 노트에서 AI 에이전트가 실행 가능한 스킬을 추출하되, 원 저자의 확실성(certainty)을 보존하는 것.
- 성능 — 7개 조건과 3개 wet-lab 세션에서 Notes2Skills만이 불확실한 노트를 확정 명령으로 오인하지 않으면서 확정된 내용도 폐기하지 않았습니다.
방법
- 2단계 파이프라인 — 1단계에서는 노트의 각 문장을 '확정 관찰', '잠정 판단', '실행 계획' 등으로 분류하고, 2단계에서 확정된 내용만 스킬로 변환합니다.
- 확실성 보존 — 잠정 판단이나 불확실한 내용은 스킬에서 제외하되, 원본 노트에 남겨 추후 재검토가 가능하게 합니다.
한계·조건
- 데이터 — 7개 조건과 3개 wet-lab 세션으로 제한된 평가이며, 다양한 분야의 실험 노트로 일반화가 필요합니다.
- 코드 — 현재 코드 공개 여부는 명시되지 않았습니다.
편집자 한 줄
실험 노트의 비정형성과 불확실성을 직접 다루는 점이 신선합니다. 확실성 보존이 실제 AI co-scientist 시스템의 안전성에 얼마나 기여할지 후속 연구가 기대되네요.
- #ai-agents
- #scientific-discovery
- #lab-notes
- #certainty-preservation
Southern university of science and technology