Rukopys-OCR-4B-GGUF

Rukopys-OCR-4B - GGUF (Q4_K_M)

English | Українська | Русский

---

<a name="english"></a>

🇬🇧 English

This repository contains a quantized version of the original model ebinan92/Rukopys-OCR-4B in GGUF format (Q4_K_M).

The original model is designed for optical character recognition (OCR) of handwritten and printed text, with a strong focus on Ukrainian and Cyrillic script languages.

📌 Quantization Details

• Base Model: ebinan92/Rukopys-OCR-4B
• Quantization Type: Q4_K_M (Medium 4-bit quantization, optimal balance between speed, RAM/VRAM usage, and quality retention)
• Format: GGUF (compatible with llama.cpp, LM Studio, Ollama, etc.)

💻 Usage

In LM Studio / llama.cpp

Working with GGUF Multimodal/Vision models requires downloading both the main .gguf model file and the corresponding mmproj (multimodal projector) file, or using a compatible version of llama.cpp supporting vision architectures.

1. Download the .gguf model file from the Files and versions tab.
2. Load it in LM Studio or run via llama.cpp:

./llama-cli -m rukopys-ocr-4b-q4_k_m.gguf   --mmproj mmproj-model-f16.gguf   --image /path/to/your/handwritten_image.png   -p "Recognize the text in this image:"

---

<a name="українська"></a>

🇺🇦 Українська

Цей репозиторій містить квантовану версію оригінальної моделі ebinan92/Rukopys-OCR-4B у форматі GGUF (Q4_K_M).

Оригінальна модель призначена для розпізнавання рукописного та друкованого тексту (OCR), з особливим акцентом на українську та кириличні мови.

📌 Інформація про квантування

• Оригінальна модель: ebinan92/Rukopys-OCR-4B
• Тип квантування: Q4_K_M (Medium 4-bit quantization, оптимальний баланс між швидкістю, використанням пам'яті та збереженням якості)
• Формат: GGUF (для використання в llama.cpp, LM Studio, Ollama тощо)

💻 Використання

У LM Studio / llama.cpp

Для роботи з Multimodal/Vision моделями у форматі GGUF необхідно завантажити як основний .gguf файл моделі, так і відповідний mmproj (multimodal projector) файл, або використовувати сумісну версію llama.cpp із підтримкою vision-архітектур.

1. Завантажте файл моделі .gguf із вкладки Files and versions.
2. Завантажте модель у LM Studio або запустіть через llama.cpp:

./llama-cli -m rukopys-ocr-4b-q4_k_m.gguf   --mmproj mmproj-model-f16.gguf   --image /path/to/your/handwritten_image.png   -p "Розпізнай текст на цьому зображенні:"

---

<a name="русский"></a>

🇷🇺 Русский

Данный репозиторий содержит квантованную версию оригинальной модели ebinan92/Rukopys-OCR-4B в формате GGUF (Q4_K_M).

Оригинальная модель предназначена для распознавания рукописного и печатного текста (OCR), с особым упором на украинский и кириллические языки.

📌 Информация о квантовании

• Исходная модель: ebinan92/Rukopys-OCR-4B
• Тип квантования: Q4_K_M (Medium 4-bit quantization, идеальный баланс между скоростью, потреблением памяти и сохранением качества)
• Формат: GGUF (для использования в llama.cpp, LM Studio, Ollama и др.)

💻 Использование

В LM Studio / llama.cpp

Для работы с Multimodal/Vision моделями в формате GGUF требуется загрузить как основной .gguf файл модели, так и соответствующий mmproj (multimodal projector) файл, либо использовать совместимую версию llama.cpp с поддержкой vision-архитектур.

1. Скачайте файл модели .gguf из вкладки Files and versions.
2. Загрузите модель в LM Studio или запустите через llama.cpp:

./llama-cli -m rukopys-ocr-4b-q4_k_m.gguf   --mmproj mmproj-model-f16.gguf   --image /path/to/your/handwritten_image.png   -p "Распознай текст на этом изображении:"

---

📄 License & Terms / Ліцензія / Лицензия

The original model is distributed under the Apache 2.0 license. Please refer to the original repository for licensing details.