Downloads · 30 days
671
18% of all-time downloads
yusufbaykaloglu/qwen3.5-4b-turkish-sft-gguf
qwen3.5-4b-turkish-sft-gguf is a text generation model from yusufbaykaloglu. Use it when you need the model to write or continue text. It is set up for gguf. The card lists the license as apache-2.0.
<p align="center" <img src="model-banner.png" alt="Qwen3.5-4B Turkish SFT GGUF" width="400"/ </p
Downloads · 30 days
671
18% of all-time downloads
All-time downloads
3.7K
Public
Repo size
28.2 GB
Likes
3
Public
Click a slice to open those files.
.gguf14.4 GB · 100%
From the Hugging Face model README
| Dosya | Quantization | Boyut | Kullanım |
|---|---|---|---|
Qwen3.5-4B.Q4_K_M.gguf | Q4_K_M | 2.6 GB | CPU / hafif GPU — hız-kalite dengesi |
Qwen3.5-4B.Q5_K_M.gguf | Q5_K_M | 2.9 GB | CPU / GPU — iyi kalite-boyut dengesi |
Qwen3.5-4B.Q6_K.gguf | Q6_K | 3.2 GB | CPU / GPU — Q8_0'a yakın yüksek kalite |
Qwen3.5-4B.Q8_0.gguf | Q8_0 | 4.2 GB | CPU / GPU — yüksek kalite |
Qwen3.5-4B.BF16-mmproj.gguf | BF16 | 676 MB | Vision projector (multimodal kullanım) |
Önerilen: Genel kullanım için Q4_K_M, dengeli kalite için Q5_K_M, yüksek kalite için Q6_K veya Q8_0 tercih edin.
pip install llama-cpp-python
from llama_cpp import Llama
llm = Llama(
model_path="Qwen3.5-4B.Q4_K_M.gguf",
n_ctx=4096,
n_threads=8,
)
output = llm.create_chat_completion(
messages=[
{"role": "user", "content": "Python'da bir listeyi nasıl sıralarım?"}
],
max_tokens=512,
temperature=0.6,
top_p=0.95,
top_k=20,
)
print(output["choices"][0]["message"]["content"])
# Model indirme
huggingface-cli download yusufbaykaloglu/qwen3.5-4b-turkish-sft-gguf \
Qwen3.5-4B.Q4_K_M.gguf --local-dir ./models
# Çalıştırma
./llama-cli -m ./models/Qwen3.5-4B.Q4_K_M.gguf \
-p "Türkiye'nin en büyük şehri hangisidir?" \
-n 512 --temp 0.6 --top-p 0.95 --top-k 20
yusufbaykaloglu/qwen3.5-4b-turkish-sft-gguf yazınTam hassasiyetli (bf16) GPU versiyonu için: 👉 yusufbaykaloglu/qwen3.5-4b-turkish-sft
| Yöntem | Bit | Açıklama |
|---|---|---|
| Q4_K_M | ~4.5 bpw | En küçük boyut, hızlı inference. Düşük VRAM/RAM sistemler için ideal. |
| Q5_K_M | ~5.5 bpw | İyi kalite-boyut dengesi. Çoğu kullanım için önerilen orta yol. |
| Q6_K | ~6.5 bpw | Yüksek kalite. Q8_0'a yakın performans, daha az alan. |
| Q8_0 | 8 bpw | En yüksek kalite. Orijinal modele en yakın sonuçlar. |
bpw = bits per weight (ağırlık başına bit)
| Özellik | Değer |
|---|---|
| Temel Model | Qwen/Qwen3.5-4B |
| Mimari | Qwen3_5ForConditionalGeneration (VLM) |
| Eğitim Yöntemi | LoRA SFT (r=16, alpha=16, bf16) |
| Eğitim Verisi | yusufbaykaloglu/helpsteer3-tr (edit subset, 13,740 örnek) |
| Framework | Unsloth + TRL |
| Quantization | llama.cpp (Unsloth üzerinden) |
@misc{qwen35-4b-turkish-sft-gguf,
author = {Yusuf Baykalioğlu},
title = {Qwen3.5-4B Turkish SFT GGUF},
year = {2026},
publisher = {HuggingFace},
url = {https://huggingface.co/yusufbaykaloglu/qwen3.5-4b-turkish-sft-gguf}
}