Downloads · 30 days
29
21% of all-time downloads
nonoskygt/Qwen3-VL-30B-A3B-Thinking-abliterated-GPTQ-INT4
Qwen3-VL-30B-A3B-Thinking-abliterated-GPTQ-INT4 is a image-text-to-text model from nonoskygt. Use it for the image-text-to-text task on the model card, and read the license before you ship it in a product. The card lists the license as apache-2.0.
Cuantización INT4 (GPTQ, formato compressed-tensors) de huihui-ai/Huihui-Qwen3-VL-30B-A3B-Thinking-abliterated, a su vez basado en Qwen/Qwen3-VL-30B-A3B-Thinking.
Downloads · 30 days
29
21% of all-time downloads
All-time downloads
141
Public
Parameters
31.3B
17.8 GB on disk
Likes
0
Public
Click a slice to open those files.
.safetensors17.8 GB · 100%
How the weights are stored.
I3229.9B · 96%
From the Hugging Face model README
Cuantización INT4 (GPTQ, formato compressed-tensors) de huihui-ai/Huihui-Qwen3-VL-30B-A3B-Thinking-abliterated, a su vez basado en Qwen/Qwen3-VL-30B-A3B-Thinking.
Modelo MoE (30B total, ~3B parámetros activos) que combina razonamiento (thinking), visión, y comportamiento sin censura (abliterated) en un solo checkpoint — hasta donde sabemos, no existía previamente una cuantización INT4 de esta variante específica lista para usar con vLLM.
embed_tokens, visual.* (torre de visión completa, en fp16), lm_head, mlp.gate (router de expertos)Servido con vLLM 0.24 en 2× NVIDIA A2 (24GB c/u, TP=2):
vllm serve nonoskygt/Qwen3-VL-30B-A3B-Thinking-abliterated-GPTQ-INT4 \
--tensor-parallel-size 2 \
--max-model-len 131072 \
--gpu-memory-utilization 0.93 \
--kv-cache-dtype fp8 \
--enable-prefix-caching --enable-chunked-prefill \
--trust-remote-code \
--dtype float16 \
--limit-mm-per-prompt '{"image":2,"video":0}' \
--reasoning-parser qwen3 \
--enable-auto-tool-choice --tool-call-parser hermes
El compressed-tensors se autodetecta, no hace falta --quantization.
Apache 2.0, heredada del modelo base.
Este es un modelo abliterated (sin las salvaguardas de seguridad del modelo original). Úsalo bajo tu propia responsabilidad y de acuerdo a las leyes aplicables en tu jurisdicción.