Downloads · 30 days
1.4K
56% of all-time downloads
Thaurock/DeepSeek-R1-Distill-Llama-70B-abliterated-GGUF
DeepSeek-R1-Distill-Llama-70B-abliterated-GGUF is a text generation model from Thaurock. Use it when you need the model to write or continue text. The card lists the license as apache-2.0.
Esta es la colección integral y completa de cuantizaciones en formato GGUF del modelo DeepSeek-R1-Distill-Llama-70B-abliterated, preparadas localmente para su uso con llama.cpp, Ollama, LM Studio o Text-Generation-WebUI.
Downloads · 30 days
1.4K
56% of all-time downloads
All-time downloads
2.4K
Public
Repo size
584 GB
Likes
0
Public
Click a slice to open those files.
.gguf584 GB · 100%
From the Hugging Face model README
Esta es la colección integral y completa de cuantizaciones en formato GGUF del modelo DeepSeek-R1-Distill-Llama-70B-abliterated, preparadas localmente para su uso con llama.cpp, Ollama, LM Studio o Text-Generation-WebUI.
Este modelo combina la destilación de razonamiento avanzado (capacidad de pensamiento lógico profundo mediante tags) basada en el modelo Llama-70B de Meta, pero procesada con técnicas de abliteration para remover de raíz los bloqueos y filtros de censura artificiales del sistema, respondiendo sin restricciones.
| Archivo | Tamaño Est. | BPW (Bits por Peso) | Perfil de Uso Recomendado |
|---|---|---|---|
DeepSeek-R1-Distill-Llama-70B-abliterated-F16.gguf | ~141.1 GB | 16.00 | Molde Base Completo. Fidelidad absoluta de los pesos en coma flotante. |
DeepSeek-R1-Distill-Llama-70B-abliterated-Q8_0.gguf | ~75.0 GB | 8.50 | Calidad idéntica al original, ideal para exprimir en tarjetas masivas locales como la GPU NVIDIA A100. |
DeepSeek-R1-Distill-Llama-70B-abliterated-Q6_K.gguf | ~57.9 GB | 6.59 | Altísima retención del árbol de razonamiento lógico con un peso optimizado. Ideal para exprimir en tarjetas masivas locales como la GPU NVIDIA CMP-170HX. |
DeepSeek-R1-Distill-Llama-70B-abliterated-Q5_K_M.gguf | ~49.9 GB | 5.69 | Punto Dulce Recomendado. Mantiene intacta la coherencia del pensamiento profundo reduciendo el peso de forma crítica. |
DeepSeek-R1-Distill-Llama-70B-abliterated-Q5_K_S.gguf | ~48.7 GB | 5.54 | Variante de 5 bits compacta. |
DeepSeek-R1-Distill-Llama-70B-abliterated-Q4_K_M.gguf | ~42.5 GB | 4.85 | El más buscado. Balance óptimo para correr inferencias de 70B en setups hogareños avanzados. |
DeepSeek-R1-Distill-Llama-70B-abliterated-Q4_K_S.gguf | ~40.3 GB | 4.58 | Variante compacta de 4 bits para acelerar la velocidad de tokens por segundo. |
DeepSeek-R1-Distill-Llama-70B-abliterated-Q3_K_L.gguf | ~37.1 GB | 4.01 | Compresión media alta de 3 bits. Conserva el razonamiento básico. |
DeepSeek-R1-Distill-Llama-70B-abliterated-Q3_K_M.gguf | ~34.3 GB | 3.66 | Variante de 3 bits intermedia. |
DeepSeek-R1-Distill-Llama-70B-abliterated-Q3_K_S.gguf | ~30.9 GB | 3.44 | Variante de 3 bits ligera. |
DeepSeek-R1-Distill-Llama-70B-abliterated-Q2_K.gguf | ~26.4 GB | 2.90 | Compresión Extrema. Puede experimentar problemas menores en la estructura de las etiquetas internas. Solo para desarrollo experimental. |
Nota: Los tamaños son estimaciones iniciales de referencia basadas en el peso nativo del modelo en safetensors; se recomienda verificar el tamaño final en disco tras la compilación local.
Al ser un modelo de razonamiento, se recomienda utilizar un formato de prompt limpio que respete la generación nativa de la cadena de pensamiento:
./llama-cli -m DeepSeek-R1-Distill-Llama-70B-abliterated-Q4_K_M.gguf -n 1024 -p "¿Cómo funciona un reactor de fusión nuclear?"
Este modelo es de acceso abierto y carece de filtros de seguridad artificiales. El contenido generado es responsabilidad exclusiva de quien ejecute la inferencia local.