Scratchpad Patching: 토크나이저 없는 언어모델의 패치 크기-품질 트레이드오프 해결

토크나이저 없이 바이트 단위로 동작하는 언어모델에서 패치 크기와 품질 간 트레이드오프를 해결하는 Scratchpad Patching(SP) 기법이 제안됐습니다. 패치 내부에 transient scratchpad를 삽입해 지금까지 본 바이트를 집계하고 패치 수준 컨텍스트를 갱신함으로써, 패치 지연(patch lag) 문제를 완화합니다. 16바이트/패치 설정에서 SP를 적용한 모델은 바이트 수준 베이스라인과 동등한 품질을 유지하면서 KV 캐시를 16배, 추론 연산량을 3~4배 줄였습니다. 단, scratchpad 연산이 추가로 필요해 엔지니어링 최적화가 더 필요할 수 있습니다.

• #tokenizer-free
• #scratchpad-patching
• #byte-level
• #language-modeling
• #efficiency