Ships·1개월 전
Mistral Small 4 공개 — 119B MoE, 6B 활성 파라미터, 256K 컨텍스트
Mistral이 Mistral Small 4를 출시했다. 128개 전문가 중 토큰당 4개 활성화되는 MoE 구조로, 총 119B 파라미터 중 6B만 활성화된다. 256K 컨텍스트 윈도우, 텍스트와 이미지 입력 지원, 추론 노력 조절 기능을 갖췄다. Mistral Small 3 대비 지연 시간 40% 단축, 처리량 3배 향상되었으며 Apache 2.0 라이선스로 공개된다. NVIDIA Nemotron Coalition 창립 멤버로 참여한다.
- #mistral
- #mistral-small-4
- #moe
- #multimodal
- #open-source
Mistral