Downloads · 30 days
39
10% of all-time downloads
jpalmae/qwen35b-espanol-abliterated-gguf
qwen35b-espanol-abliterated-gguf is a text generation model from jpalmae. Use it when you need the model to write or continue text. It is set up for llama.cpp. The card lists the license as mit.
Fine-tune de Huihui-Qwen3.6-35B-A3B-abliterated (MoE 35B/3B activos) en GGUF — combina uncensored (abliterated) + español neutro/chileno (sin sesgo rioplatense).
Downloads · 30 days
39
10% of all-time downloads
All-time downloads
405
Public
Repo size
90.5 GB
Likes
0
Public
Click a slice to open those files.
.gguf90.5 GB · 100%
From the Hugging Face model README
Fine-tune de Huihui-Qwen3.6-35B-A3B-abliterated (MoE 35B/3B activos) en GGUF — combina uncensored (abliterated) + español neutro/chileno (sin sesgo rioplatense).
| Archivo | Tamaño | Uso |
|---|---|---|
model_Q4_K_M.gguf | 20GB | Consumer: RTX 3090/4090 24GB (~169 tok/s) |
model_F16_patched.gguf | 65GB | Precisión completa / re-cuantizar / A100·H100·RTX PRO 6000 |
Ambos GGUF llevan el parche binario que corrige la metadata MTP del conversor (block_count 41→40, nextn_predict_layers 1→0). Sin parche llama.cpp falla con missing tensor 'blk.39.nextn.eh_proj.weight'; con parche carga perfecto.
# Consumer 24GB
llama-server -m model_Q4_K_M.gguf --alias qwen35b-espanol-abl -c 4096 -ngl 99 --port 8080
# GPU grande (F16)
llama-server -m model_F16_patched.gguf --alias qwen35b-espanol-abl -c 8192 -ngl 99 --port 8080
LoRA r=64 sobre Huihui-Qwen3.6-35B-A3B-abliterated, 1200 pasos, dataset 200k (C4 .cl + neutro, filtro anti-voseo). Detalles en jpalmae/qwen35b-espanol-abliterated.
"Abliterated/uncensored": el modelo no rehúsa por defecto. Úsalo responsablemente.
MIT.