Papers·4일 전
EvoEmbedding: 문맥에 따라 진화하는 임베딩 — long-context 검색에서 8B 모델 능가
Nanjing University 팀이 제안한 EvoEmbedding은 입력을 순차 처리하며 latent memory를 갱신해 같은 쿼리라도 문맥에 따라 다른 임베딩을 생성합니다. Qwen3-Embedding-8B, KaLM-Embedding-Gemma3-12B 등 큰 전용 모델을 long-context 검색 벤치마크에서 능가했고, 10배 긴 맥락의 개인화 작업에도 일반화됩니다. 학습용 데이터셋 EvoTrain-180K와 메모리 큐를 통한 표현 붕괴 방지, segment-batching으로 3.8배 학습 가속이 핵심입니다.
기존 임베딩은 문맥을 무시하고 정적으로 텍스트를 인코딩하지만, EvoEmbedding은 latent memory를 유지하며 문맥에 따라 표현이 진화합니다.
핵심 결론
- 성능 — Qwen3-Embedding-8B, KaLM-Embedding-Gemma3-12B 등 8B 이상 모델을 long-context 검색 벤치마크에서 능가.
- 일반화 — 학습 윈도우보다 10배 긴 맥락의 개인화 downstream 작업에서도 우수.
- 에이전트 — Naive RAG에 EvoEmbedding을 얹으면 전용 agentic memory 시스템을 능가.
방법
- 진화 메커니즘 — 입력을 순차 처리하며 업데이트되는 latent memory를 raw content와 함께 사용해 임베딩 생성.
- 데이터 — EvoTrain-180K: latent memory와 검색을 공동 최적화하는 다양한 long-context 데이터셋.
- 안정화 — 메모리 큐로 recurrent encoding 중 표현 붕괴 방지.
- 가속 — Segment-batching으로 길이 편차를 처리, 학습 3.8배 가속.
한계·조건
- 리소스 — 학습에 상당한 GPU 메모리가 필요할 것으로 보이나 구체적 수치는 미공개.
- 코드 — 프로젝트 페이지는 공개되었으나 코드는 아직 공개되지 않음.
편집자 한 줄
임베딩이 문맥에 따라 동적으로 변한다는 발상은 단순하지만, latent memory 유지와 학습 안정화를 실제로 구현한 점이 인상적입니다.
- #embedding
- #long-context
- #retrieval
- #nankai
Nanjing University