Papers·2일 전
OneRank: Transformer 네이티브 멀티태스크 랭킹 — 인코더-예측기 분리 제거, 오프라인·온라인 SOTA
추천 시스템에서 Transformer가 멀티태스크 학습(MTL)의 성능과 확장성을 제한하는 인코더-예측기 분리 구조를 해결한 OneRank가 공개됐습니다. OneRank는 Transformer 내부에 task-private 채널을 도입해 전방에서는 task-conditioned 정보 선택과 후보-aware 맥락화로 태스크별 표현을 학습하고, 역방향에서는 gradient detachment로 간섭을 차단합니다. 동적 매칭 기반 스코어링으로 정적 MLP를 대체했고, 대규모 산업 데이터셋에서 SOTA 대비 유의미한 성능 향상을 보였습니다. 단, 실험 환경(compute 규모, 데이터셋 규모)에 대한 구체적 수치는 논문에서 확인해야 합니다.
추천 시스템 MTL에서 Transformer가 단순 인코더로 쓰이는 한계를 지적하고, Transformer 내부에 태스크 전용 채널을 통합한 OneRank를 제안합니다.
핵심 결론
- 성능 — 대규모 산업 데이터셋 오프라인·온라인 실험에서 SOTA 베이스라인 대비 유의미한 개선, 계산 효율성 유지.
- 구조 — 인코더-예측기 분리를 없애고 Transformer 스택 내에서 멀티태스크 추론을 내재화한 최초의 프레임워크.
방법
- 전방 학습 — task-conditioned 정보 선택, candidate-aware 맥락화, 제어된 크로스태스크 상호작용으로 태스크별 표현을 bottom-up 학습.
- 역방향 학습 — 크로스태스크 gradient detachment로 task-private 파라미터 업데이트와 공유 지식 추출 모듈을 분리, 부정 전이 방지.
- 스코어링 — 정적 MLP 대신 동적 매칭 기반 스코어링으로 맥락-aware 개인화 랭킹.
한계·조건
- 재현성 — 논문에 실험 환경(데이터셋 규모, compute) 세부 수치가 명시되지 않아 재현에 추가 정보 필요.
- 범위 — 추천 시스템 MTL에 특화된 설계로, 다른 도메인 일반화는 검증되지 않음.
편집자 한 줄
Transformer를 단순 인코더로 쓰는 현 관행에 대한 명확한 문제 제기와 해법을 제시한 점이 인상적입니다.
- #multi-task-learning
- #recommender-system
- #transformer
- #ranking
- #one-rank
Jiakai Tang