Papers·4일 전
inclusionAI, 하이브리드 선형 어텐션 기반 Ling-2.6·Ring-2.6 공개 — 1T 모델 KPop RL로 에이전트 학습 안정화
inclusionAI가 Ling-2.0을 업그레이드한 Ling-2.6(저지연·고효율)과 Ring-2.6(심층 추론·에이전트) 모델군을 공개했습니다. 핵심은 Lightning Attention과 MLA를 결합한 하이브리드 선형 어텐션으로, 긴 컨텍스트 학습과 디코딩 효율을 높였습니다. 또한 Ring-2.6-1T 학습을 위해 비동기 스케줄링 기반 RL 프레임워크 KPop을 도입해 코딩·검색·도구 사용·워크플로우 실행을 안정적으로 학습시켰습니다. 모든 체크포인트는 오픈소스로 공개됩니다.
inclusionAI가 Ling-2.0을 업그레이드한 하이브리드 선형 어텐션 기반 모델군을 오픈소스로 공개했습니다.
핵심 결론
- 모델군 — Ling-2.6은 저지연·토큰 효율에 특화, Ring-2.6은 심층 추론과 에이전트 워크플로우에 최적화되었습니다.
- 학습 방식 — Ling-2.0에서 아키텍처 마이그레이션 사전학습과 대규모 후학습으로 업그레이드, 처음부터 학습하지 않았습니다.
- 공개 — 2.6 패밀리 전체 체크포인트를 오픈소스로 공개해 재현성과 후속 연구를 지원합니다.
방법
- 아키텍처 — Lightning Attention과 MLA를 통합한 하이브리드 선형 어텐션 설계로 긴 컨텍스트 학습과 디코딩 효율을 개선했습니다.
- 토큰 효율 — Evolutionary Chain-of-Thought, Linguistic Unit Policy Optimization, 양방향 선호 정렬, 최단 정답 응답 증류로 출력 토큰당 성능을 높였습니다.
- 에이전트 RL — Ring-2.6-1T 학습을 위해 KPop RL 프레임워크를 도입, 코딩·검색·도구 사용·워크플로우 실행을 비동기 스케줄링으로 안정화했습니다.
한계·조건
- 규모 — Ring-2.6-1T는 1T 파라미터로, 학습과 서빙에 상당한 컴퓨팅 리소스가 필요합니다.
- 벤치마크 — 구체적인 벤치마크 수치나 비교 결과는 보고서에 포함되지 않아 성능 개선폭을 정량적으로 확인하기 어렵습니다.
- 코드 — 체크포인트는 공개되지만, 학습 코드나 KPop 구현 세부는 공개 여부가 명시되지 않았습니다.
편집자 한 줄
하이브리드 선형 어텐션과 KPop RL 프레임워크는 에이전트 모델 확장에 실용적인 설계지만, 벤치마크 수치 없이는 실제 효용을 가늠하기 어렵습니다.
- #hybrid-attention
- #linear-attention
- #reinforcement-learning
- #agentic-ai
- #inclusionai
inclusionAI