Downloads · 30 days
127
7% of all-time downloads
dariprim/yandexgpt-5-lite-finetuned-gguf
yandexgpt-5-lite-finetuned-gguf is a text generation model from dariprim. Use it when you need the model to write or continue text. It is set up for transformers.
Дообученная и слитая модель YandexGPT-5-Lite-8B-instruct в формате GGUF (GPTQ Unified Format) с полной 4-битной квантизацией.
Downloads · 30 days
127
7% of all-time downloads
All-time downloads
1.8K
Public
Repo size
4.9 GB
Likes
0
Public
Click a slice to open those files.
.gguf4.9 GB · 100%
From the Hugging Face model README
Дообученная и слитая модель YandexGPT-5-Lite-8B-instruct в формате GGUF (GPTQ Unified Format) с полной 4-битной квантизацией.
Важно: Это полная модель, готовая к использованию. LoRA адаптеры уже объединены (merged) в веса базовой модели.
yandex/YandexGPT-5-Lite-8B-instructtokenizer.json (18 MB)
tokenizer_config.json (15 MB)
chat_template.jinja
config.json
generation_config.json
# Установить llama.cpp
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make
# Скачать модель с Hub
huggingface-cli download dariprim/yandexgpt-5-lite-finetuned-gguf models/model.gguf
# Запустить интерактивный режим
./main -m models/model.gguf -n 256 -c 2048 --temp 0.7 -i
# Установить Ollama из https://ollama.ai
# Создать Modelfile
cat > Modelfile <<'MODELFILE'
FROM models/model.gguf
TEMPLATE """Вопрос: {{.Prompt}}
Ответ:"""
MODELFILE
# Создать модель
ollama create yandexgpt -f Modelfile
# Запустить
ollama run yandexgpt "Как мне справиться с тревогой?"
from llama_cpp import Llama
model = Llama(
model_path="models/model.gguf",
n_gpu_layers=-1, # использовать GPU
n_ctx=2048,
verbose=False,
)
prompt = "Вопрос: Как мне справиться с тревогой?\nОтвет:"
response = model(prompt, max_tokens=256, temperature=0.7)
print(response['choices'][0]['text'])
Установить зависимость:
pip install llama-cpp-python
from ctransformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained(
"dariprim/yandexgpt-5-lite-finetuned-gguf",
model_file="models/model.gguf",
model_type="llama",
gpu_layers=50, # Use GPU if available
)
prompt = "Вопрос: Как мне справиться с тревогой?\nОтвет:"
result = model(prompt, max_new_tokens=256, temperature=0.7)
print(result)
| Характеристика | LoRA версия | GGUF версия |
|---|---|---|
| Размер | 47 MB (адаптер) | 4.9 GB (полная) |
| Использование памяти | 4-5 GB (с базовой) | ~2-3 GB |
| Скорость инференса | Медленнее | Быстрее (Q4) |
| Совместимость | HuggingFace трансформеры | llama.cpp, Ollama, и т.д. |
| Требует базовую модель | Да | Нет |
| Замораживание весов | Да (LoRA) | Нет (merged) |
LoRA версия: https://huggingface.co/dariprim/yandexgpt-5-lite-finetuned
Дообучение (train.py):
yandex/YandexGPT-5-Lite-8B-instructСлияние (merge_and_save.py):
Конвертация в GGUF (convert_to_gguf.py):
На MacBook Pro M1/M2 (16GB RAM):
На NVIDIA GPU (RTX 4090):
Следует лицензии исходной модели yandex/YandexGPT-5-Lite-8B-instruct.