Downloads · 30 days
27
9% of all-time downloads
mikelalda/qwen3.8-27b_euskara-GGUF
qwen3.8-27b_euskara-GGUF is a text generation model from mikelalda. Use it when you need the model to write or continue text. The card lists the license as cc-by-sa-4.0.
mikelalda/qwen3.8-27beuskara modeloaren GGUF esportazioa, llama.cpp, Ollama eta LM Studiorekin exekutatzeko.
Downloads · 30 days
27
9% of all-time downloads
All-time downloads
310
Public
Repo size
33.6 GB
Likes
0
Public
Click a slice to open those files.
.gguf16.8 GB · 100%
From the Hugging Face model README
mikelalda/qwen3.8-27b_euskara
modeloaren GGUF esportazioa, llama.cpp, Ollama eta LM Studiorekin
exekutatzeko.
Modeloari buruzko informazio osoa — entrenamendu-datuak, hiperparametroak, prompt-formatuak eta mugak — oinarrizko modeloaren fitxan dago. Hemen esportazioari dagokiona baino ez.
Egoera: ebaluatu gabe. Ez da benchmarkik exekutatu, ez modelo honekin ez kuantizatu gabekoarekin.
| Fitxategia | Kuantizazioa | Tamaina |
|---|---|---|
qwen3.8-27b_euskara-q4_k_m.gguf | Q4_K_M | 16,8 GB |
Q4_K_M-k Q6_K erabiltzen du attention.wv eta feed_forward.w2 tentsoreen
erdietan, eta Q4_K gainerakoetan. Kalitatearen eta tamainaren arteko oreka
gomendatua da.
Xehetasun teknikoak: 866 tentsore, qwen35 arkitektura, 248.320 tokeneko
hiztegia.
Txat-txantiloia GGUF fitxategian bertan dago txertatuta, beraz ez duzu Modelfile-rik edo txantiloi gehigarririk behar.
llama-cli -m qwen3.8-27b_euskara-q4_k_m.gguf -cnv \
-p "Itzultzaile profesionala zara. Eres un traductor profesional."
Zerbitzari gisa:
llama-server -m qwen3.8-27b_euskara-q4_k_m.gguf -c 4096
-c 4096 entrenamenduko sekuentzia-luzerarekin bat dator.
ollama create qwen3.8-27b_euskara -f Modelfile
Modelfile:
FROM ./qwen3.8-27b_euskara-q4_k_m.gguf
Bi urratsetan sortua, RAM gutxiko makina batean (14 GiB):
merged_bf16/ → GGUF bf16 (convert_hf_to_gguf.py)llama-quantize)Bitartekaria bf16 da eta ez q8_0, arrazoi praktiko batengatik:
token_embd.weight tentsoreak {5120, 248320} forma du — 1.271 milioi
elementu — eta Q8_0-ra kuantizatzeko float32-n materializatu behar da,
5,1 GB asignazio bakarrean. bf16-ra kopia zuzena da, memoriaren erdia.
Oinarrizko modeloaren muga guztiak heredatzen ditu — HiTZ/RAG_eu
benchmarkarekin ebaluatzeko ezintasuna eta epoka partziala barne. Irakurri
modelo nagusiaren fitxa
erabili aurretik.
Gainera, kuantizazioak berezko degradazioa dakar: Q4_K_M-k kalitatea galtzen du bf16 originalarekin alderatuta, neurtu gabeko kopuru batean.