Downloads · 30 days
205
21% of all-time downloads
Lev384501/qwen3-0.6b-russian-dialogues-Q4_K_M-GGUF
qwen3-0.6b-russian-dialogues-Q4_K_M-GGUF is a text generation model from Lev384501. Use it when you need the model to write or continue text. It is set up for transformers. The card lists the license as apache-2.0.
Квантование Q4KM модели ya-yje-krasni/qwen3-0.6b-russian-dialogues — полного файнтюнинга Qwen3-0.6B на русских диалогах (обучались все параметры, без LoRA и адаптеров).
Downloads · 30 days
205
21% of all-time downloads
All-time downloads
968
Public
Repo size
793 MB
Likes
1
Public
Click a slice to open those files.
.gguf397 MB · 100%
From the Hugging Face model README
Квантование Q4_K_M модели ya-yje-krasni/qwen3-0.6b-russian-dialogues — полного файнтюнинга Qwen3-0.6B на русских диалогах (обучались все параметры, без LoRA и адаптеров).
Конвертировано в GGUF через llama.cpp с помощью GGUF-my-repo.
| Квантование | Q4_K_M |
| Размер файла | 397 МБ |
| Исходная модель | ya-yje-krasni/qwen3-0.6b-russian-dialogues (float32, 2.4 ГБ) |
| Базовая модель | Qwen/Qwen3-0.6B |
| Датасет | Den4ikAI/russian_dialogues |
| Контекст | 32 768 токенов |
| Язык | русский |
| Лицензия | Apache 2.0 |
Более точная версия: Q8_0 (639 МБ).
Модель обучена на шаблоне с явным маркером ответа, а не на chat template:
<реплика пользователя>
### Ответ:
Генерация продолжает текст после ### Ответ:. Поэтому используйте обычное дополнение текста (llama-cli, /completion), а не чат-эндпоинт.
Установка (macOS и Linux):
brew install llama.cpp
Одиночная генерация напрямую из Hub:
llama-cli --hf-repo Lev384501/qwen3-0.6b-russian-dialogues-Q4_K_M-GGUF \
--hf-file qwen3-0.6b-russian-dialogues-q4_k_m.gguf \
-p $'Привет, как дела?\n### Ответ:' -n 128 --no-display-prompt
Локальный сервер с OpenAI-совместимым API:
llama-server --hf-repo Lev384501/qwen3-0.6b-russian-dialogues-Q4_K_M-GGUF \
--hf-file qwen3-0.6b-russian-dialogues-q4_k_m.gguf -c 4096
Скачать файл заранее:
pip install -U "huggingface_hub[cli]"
hf download Lev384501/qwen3-0.6b-russian-dialogues-Q4_K_M-GGUF \
qwen3-0.6b-russian-dialogues-q4_k_m.gguf --local-dir .
Готовые скрипты запуска и конфиги: github.com/lev73748/qwen3-0.6b-russian-dialogues
Модель на 0.6B параметров плюс 4-битное квантование — ответы короткие, разговорные, факты могут быть неверными. Не подходит для задач, требующих точности.