Downloads · 30 days
49
2% of all-time downloads
kunteynir-lyrics-ruadapt_llama2_7b-gguf
screamuch/kunteynir-lyrics-ruadapt_llama2_7b-gguf
kunteynir-lyrics-ruadapt_llama2_7b-gguf is a machine learning model from screamuch. Use it for the machine learning task on the model card, and read the license before you ship it in a product. The card lists the license as cc-by-4.0.
https://huggingface.co/screamuch/kunteynir-lyrics-ruadaptllama27b
All-time downloads
2.2K
Public
Repo size
32.3 GB
Likes
0
Public
Repo makeup
Click a slice to open those files.
.gguf32.3 GB · 100%
At a glance
- License
- cc-by-4.0
- Access
- Public
- Created
- Apr 4, 2024
- Updated
- Apr 5, 2024
- SHA
- 1e6f664a
Model card
From the Hugging Face model README
основа
https://huggingface.co/screamuch/kunteynir-lyrics-ruadapt_llama2_7b
юсадж
q6_k работает нормально и быстро на rtx 3060, q8_0 уже нет. оригинальная модель в f16, поэтому если есть 16гб врам то вам лучше в основную модель.
в каком-нибудь нормальном шелле типа fish
./main --color --interactive --n-gpu-layers 15000 --n-predict 500 --ctx-size 1024 -m models/kunteynir-lyrics-ruadapt_llama2_7b-q8_0.gguf -p "### Input:
Напиши куплет в стиле Паши Техника/Кальмара/Максима Синицына/Блева про {скелет повествования}. {список каких-то ключевых слов}.
### Response:
"
в баше можно вот так:
./main --color --interactive --n-gpu-layers 15000 --n-predict 500 --ctx-size 1024 -m models/kunteynir-lyrics-ruadapt_llama2_7b-q8_0.gguf -p "### Input:\nНапиши куплет в стиле Паши Техника/Кальмара/Максима Синицына/Блева про {скелет повествования}. {список каких-то ключевых слов}.\n\n### Response:\n"
- License
- cc-by-4.0
- Languages
- ru
- Created
- Apr 4, 2024
- Updated
- Apr 5, 2024