llama.cpp, OCR 모델 지원 — 4GB VRAM GPU 및 CPU에서 구동 가능

Hugging Face의 ggml-org이 llama.cpp에서 LightOnOCR, Qianfan-OCR, GLM-OCR, Deepseek-OCR 등 여러 소형 OCR 모델을 지원한다고 발표했다. 이 모델들은 4GB VRAM GPU에서 실행 가능하며 일부는 CPU에서도 준수한 성능을 낸다. CLI 테스트나 REST API 서버 모드로 사용할 수 있으며, GLM-OCR GGUF 모델을 예시로 제시했다.

• #hugging-face
• #llama-cpp
• #ocr
• #gguf
• #multimodal