Downloads · 30 days
182
17% of all-time downloads
canyrtcn/Gemma_E4B_Kizagan_Abliterated-GGUF
Gemma_E4B_Kizagan_Abliterated-GGUF is a text generation model from canyrtcn. Use it when you need the model to write or continue text. It is set up for llama.cpp. The card lists the license as apache-2.0.
canyrtcn/GemmaE4BKizaganAbliterated modelinin GGUF quantize edilmiş versiyonları.
Downloads · 30 days
182
17% of all-time downloads
All-time downloads
1.1K
Public
Repo size
20.4 GB
Likes
2
Public
Click a slice to open those files.
.gguf20.4 GB · 100%
From the Hugging Face model README
canyrtcn/Gemma_E4B_Kizagan_Abliterated modelinin GGUF quantize edilmiş versiyonları.
| Dosya | Quant | Boyut | Kalite | Önerilen |
|---|---|---|---|---|
Gemma_E4B_Kizagan_Abliterated-Q4_K_M.gguf | Q4_K_M | ~5 GB | ⭐⭐⭐⭐ | 8GB VRAM, dengeli kullanım |
Gemma_E4B_Kizagan_Abliterated-F16.gguf | F16 | ~15 GB | ⭐⭐⭐⭐⭐ | 16GB+ VRAM, maksimum kalite |
# Q4_K_M
llama-cli -hf canyrtcn/Gemma_E4B_Kizagan_Abliterated-GGUF:Q4_K_M \
--chat-template gemma
# F16
llama-cli -hf canyrtcn/Gemma_E4B_Kizagan_Abliterated-GGUF:F16 \
--chat-template gemma
ollama create kizagan-abliterated -f Modelfile
Modelfile:
FROM ./Gemma_E4B_Kizagan_Abliterated-Q4_K_M.gguf
PARAMETER temperature 0.3
PARAMETER top_p 0.95
PARAMETER top_k 20
PARAMETER repeat_penalty 1.05
TEMPLATE """{{ if .System }}<|turn>system
{{ .System }}<turn|>
{{ end }}<|turn>user
{{ .Prompt }}<turn|>
<|turn>model
"""
Repoyu aratıp indirebilirsiniz.
Bu GGUF'lar, canyrtcn/Gemma_E4B_Kizagan_Abliterated modelinden dönüştürülmüştür:
| Parametre | Değer |
|---|---|
temperature | 0.3 |
top_p | 0.95 |
min_p | 0.05 |
top_k | 20 |
repeat_penalty | 1.05 |
Bu modelin reddetme davranışı kaldırılmıştır (abliterated). Filtrelenmemiş içerik üretebilir. Kullanım sorumluluğu size aittir.
Apache 2.0. Google Gemma Terms of Use koşullarına tabidir.