Downloads · 30 days
148
3% of all-time downloads
YugoGPT-GGUF
alkibijad/YugoGPT-GGUF
YugoGPT-GGUF is a machine learning model from alkibijad. Use it for the machine learning task on the model card, and read the license before you ship it in a product. It is set up for transformers. The card lists the license as apache-2.0.
[](https://huggingface.co/alkibijad/YugoGPT-GGUF/blob/main/README.md) [](https://huggingface.co/alkibijad/YugoGPT-GGUF/blob/main/README.en.md) YugoGPT je trenutno najbolji "open source" model za srpski, hrvatski, bosa…
All-time downloads
4.4K
Public
Repo size
55.7 GB
Likes
4
Public
Repo makeup
Click a slice to open those files.
.gguf55.7 GB · 100%
At a glance
- Library
- transformers
- License
- apache-2.0
- Model type
- mistral
- Access
- Public
- Created
- Apr 9, 2024
- Updated
- Apr 16, 2024
- SHA
- 6f16d52a
Base models
Model card
From the Hugging Face model README
O modelu
YugoGPT je trenutno najbolji "open source" model za srpski, hrvatski, bosanski... i sve ostale jezike na koje uspemo da se "podelimo" 🙂
Ovaj repozitorijum sadrži model u GGUF formatu, koji je pogodan za korišćenje modela u lokalu i ne zahteva skupe grafičke kartice.
Verzije modela
Da bi model radio brže, kompresovan je u nekoliko manjih verzija. Kompresijom se neznatno gubi na kvalitetu, ali se znatno dobija na brzini.
Preporučeno je koristiti Q4_1 verziju jer je najbrža.
| Naziv | Veličina (GB) | Napomena |
|---|---|---|
| Q4_1 | 4.55 | Težine su kompresovane na 4 bita. Najbrža verzija. |
| q8_0 | 7.7 | Težine su kompresovane na 8 bita. |
| fp16 | 14.5 | Težine se čuvaju kao 16 bita. |
| fp32 | 29 | Originalne, 32 bitne težine. Nepotrebno za korišćenje na lokalnom računaru |
Kako koristiti ovaj model na svom računaru?
LMStudio - najlakši način ⚡️
Najlakši način je da se prvo instalira LMStudio, program koji omogućuva veoma lako korišćenje LLM-ova.
- Nakon instalacije, u polju za pretragu ukucaj "alkibijad/YugoGPT":
- Izaberi neki od modela (preporučeno
Q4_1):
- Nakon što se model "skine", klikni na "chat" u levom delu ekrana i možeš da ćaskaš sa modelom.
- [Opciono] Možeš da podesiš "system prompt", npr. "Ti si AI asistent koji uvek želi da pomogne." ili kako god već hoćeš.
To je to!
llama.cpp - napredno 🤓
Ako si napredan korisnik i želiš da se petljaš sa komandnom linijom i naučiš više o GGUF formatu, idi na llama.cpp i pročitaj uputstva 🙂
Naredni koraci 🐾
Ovaj repozitorijum je plod mini projekta za upoznavanje sa GGUF formatom.
Ovo bi mogli biti naredni koraci, ali teško da će do njih doći:
- [] Konvertovanje u još neke od varijanti (npr. 5 bitova, 2 bita itd.) Ovo teško da ću raditi pošto je zapravo to već uradjeno ovde 🙌
- [] Kačenje koda za konverziju. U suštini dovoljno je pratiti ova uputstva.
- Library
- transformers
- Type
- mistral
- License
- apache-2.0
- Languages
- sr, hr
- Created
- Apr 9, 2024
- Updated
- Apr 16, 2024