Hugging Face 연구원, 토크나이저 변호 — "토크나이저 없는 접근도 결국 토크나이저"

Hugging Face 의 Catherine Arnett 연구원이 토크나이저에 대한 부정적 인식을 반박하는 글을 올렸습니다. 토크나이저는 모델이 입력을 처리할 수 있도록 이산 단위로 분할하는 모든 방식을 의미하며, '토크나이저 없는' 접근법 역시 다른 형태의 토크나이저에 불과하다고 주장합니다. 기존 연구를 무시하지 말고 더 많은 사람이 토크나이저 개선에 참여해야 한다는 실용적 관점이 인상적입니다.

• #hugging-face
• #tokenization
• #nlp
• #research