Downloads · 30 days
99
20% of all-time downloads
Lev384501/qwen3-0.6b-russian-dialogues-Q8_0-GGUF
qwen3-0.6b-russian-dialogues-Q8_0-GGUF is a text generation model from Lev384501. Use it when you need the model to write or continue text. It is set up for transformers. The card lists the license as apache-2.0.
Квантование Q80 модели ya-yje-krasni/qwen3-0.6b-russian-dialogues — полного файнтюнинга Qwen3-0.6B на русских диалогах (обучались все параметры, без LoRA и адаптеров).
Downloads · 30 days
99
20% of all-time downloads
All-time downloads
506
Public
Repo size
639 MB
Likes
1
Public
Click a slice to open those files.
.gguf639 MB · 100%
From the Hugging Face model README
Квантование Q8_0 модели ya-yje-krasni/qwen3-0.6b-russian-dialogues — полного файнтюнинга Qwen3-0.6B на русских диалогах (обучались все параметры, без LoRA и адаптеров).
Конвертировано в GGUF через llama.cpp с помощью GGUF-my-repo.
| Квантование | Q8_0 |
| Размер файла | 639 МБ |
| Исходная модель | ya-yje-krasni/qwen3-0.6b-russian-dialogues (float32, 2.4 ГБ) |
| Базовая модель | Qwen/Qwen3-0.6B |
| Датасет | Den4ikAI/russian_dialogues |
| Контекст | 32 768 токенов |
| Язык | русский |
| Лицензия | Apache 2.0 |
Более компактная версия: Q4_K_M (397 МБ).
Модель обучена на шаблоне с явным маркером ответа, а не на chat template:
<реплика пользователя>
### Ответ:
Генерация продолжает текст после ### Ответ:. Поэтому используйте обычное дополнение текста (llama-cli, /completion), а не чат-эндпоинт.
Установка (macOS и Linux):
brew install llama.cpp
Одиночная генерация напрямую из Hub:
llama-cli --hf-repo Lev384501/qwen3-0.6b-russian-dialogues-Q8_0-GGUF \
--hf-file qwen3-0.6b-russian-dialogues-q8_0.gguf \
-p $'Привет, как дела?\n### Ответ:' -n 128 --no-display-prompt
Локальный сервер с OpenAI-совместимым API:
llama-server --hf-repo Lev384501/qwen3-0.6b-russian-dialogues-Q8_0-GGUF \
--hf-file qwen3-0.6b-russian-dialogues-q8_0.gguf -c 4096
Скачать файл заранее:
pip install -U "huggingface_hub[cli]"
hf download Lev384501/qwen3-0.6b-russian-dialogues-Q8_0-GGUF \
qwen3-0.6b-russian-dialogues-q8_0.gguf --local-dir .
Готовые скрипты запуска и конфиги: github.com/lev73748/qwen3-0.6b-russian-dialogues
Модель на 0.6B параметров — ответы короткие, разговорные, факты могут быть неверными. Не подходит для задач, требующих точности. Q8_0 почти не теряет качества относительно исходных весов, но занимает 639 МБ.