Papers·1주 전
LOGOS: 자연과학 전 분야 통합 생성 언어 모델 — 8B에서 1B 대비 일관된 성능 향상
LOGOS 팀이 자연과학의 이종 태스크를 단일 autoregressive 프레임워크로 통합한 생성 언어 모델을 공개했습니다. 분자 구조, 물질 상호작용 등을 공유 토큰 시퀀스로 인코딩해, 좌표나 기하 신경망 없이 순차적 예측만으로 다양한 과학 태스크를 처리합니다. 1B, 3B, 8B 스케일에서 domain-specific baseline을 일관되게 따라잡거나 능가했고, 모델 크기와 성능 간 양의 상관관계도 확인됐습니다. 다만 아직은 'one model fits all'의 예비 증명 단계이며, 더 넓은 태스크와 데이터셋에서의 검증이 필요해 보입니다.
자연과학 전반을 아우르는 단일 생성 언어 모델 LOGOS가 공개되었습니다. 좌표 없이 토큰 시퀀스만으로 분자·물질 상호작용을 표현하는 게 핵심입니다.
핵심 결론
- 태스크 — 분자 생성, 물질 특성 예측, 결정 구조 예측 등 10여 개 과학 태스크에서 domain-specific baseline을 일관되게 따라잡거나 능가.
- 스케일링 — 1B, 3B, 8B 모델에서 크기가 클수록 성능이 향상되는 경향을 확인.
- 의의 — LLM과 동일한 아키텍처·훈련 패러다임으로 과학 모델을 통합할 가능성을 제시.
방법
- 공유 문법 — 분자, 결정, 단백질 등 다양한 과학 객체를 공통 어휘의 토큰 시퀀스로 인코딩. 공간 접촉·제약 패턴을 이산 토큰으로 표현.
- 단일 프레임워크 — 모든 다운스트림 태스크를 동일한 문법 공간에서 next-token prediction으로 통일. 별도의 좌표계나 기하 신경망 불필요.
- 훈련 — 다양한 도메인의 데이터로 지속적 사전학습(continued multi-domain pre-training)을 수행해 하류 태스크와의 정렬을 강화.
한계·조건
- 범위 — 아직 예비 증명 단계로, 더 넓은 태스크와 데이터셋에서의 검증이 필요.
- 비교 — domain-specific baseline 대비 우위가 태스크에 따라 편차가 있음. 일부 태스크에서는 단순히 따라잡는 수준.
- 공개 — 모델 가중치와 관련 리소스를 공개해 재현성 확보.
편집자 한 줄
과학 전 분야를 하나의 언어 모델로 통합하려는 시도 자체는 신선합니다. 다만 'one model fits all'이 실제로 성립하려면 더 다양한 스케일과 태스크에서의 검증이 필요해 보입니다.
- #scientific-language-model
- #unified-model
- #ai-for-science
- #log-os
LOGOS-Hub