Downloads · 30 days
281
0% of all-time downloads
goldhub/Qwen3.8-27B-BF16-INT4-W4A16-G32-AutoRound
Qwen3.8-27B-BF16-INT4-W4A16-G32-AutoRound is a image-text-to-text model from goldhub. Use it for the image-text-to-text task on the model card, and read the license before you ship it in a product. The card lists the license as apache-2.0.
Qwen3.8-27B-INT4-W4A16-AutoRound is a highly optimized, 4-bit quantized variant of the Qwen3.8 27B Vision-Language Model. Quantized using AutoRound with a W4A16 scheme, this model delivers near-lossless performance, r…
Downloads · 30 days
281
0% of all-time downloads
All-time downloads
68.9K
Public
Parameters
11.6B
28.3 GB on disk
Likes
40
Public
Click a slice to open those files.
.safetensors28.3 GB · 100%
How the weights are stored.
BF168.6B · 74%
From the Hugging Face model README
Qwen3.8-27B-INT4-W4A16-AutoRound is a highly optimized, 4-bit quantized variant of the Qwen3.8 27B Vision-Language Model. Quantized using AutoRound with a W4A16 scheme, this model delivers near-lossless performance, retaining the massive 256K context window, advanced multimodal (image & video) capabilities, and Multi-Token Prediction (MTP) support, while drastically reducing VRAM requirements for consumer-grade and enterprise hardware alike.
Aligned for unrestricted, "Heretic" level reasoning, this model bypasses standard corporate guardrails to provide raw, unfiltered philosophical, creative, and technical outputs.
max_position_embeddings: 262144).linear_attn projections, and embeddings) are explicitly kept in FP16/BF16 to prevent multimodal degradation and attention collapse.Based on internal stress testing (Qwen3.8-27B-INT4-W4A16-AutoRound):
bitarray implementation of the Sieve of Eratosthenes, complete with memory complexity analysis and benchmarking harnesses.| Parameter | Value |
|---|---|
| Method | AutoRound (v0.15.0) |
| Scheme | W4A16 (4-bit Weights, 16-bit Activations) |
| Group Size | 32 |
| Symmetric | True |
| Iterations | 1000 |
| Format | auto_round:auto_gptq |
| FP16 Preserved | embed_tokens, model.visual.*, linear_attn.* (in_proj_a/b/qkv/z, out_proj) |
vllm serve goldhub/Qwen3.8-27B-INT4-W4A16-AutoRound \
--tensor-parallel-size 1 \
--max-model-len 32768 \
--trust-remote-code
python -m sglang.launch_server \
--model-path goldhub/Qwen3.8-27B-INT4-W4A16-AutoRound \
--tp 1 \
--trust-remote-code
from transformers import AutoProcessor, AutoModelForCausalLM
import torch
model_id = "goldhub/Qwen3.8-27B-INT4-W4A16-AutoRound"
processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
model_id,
torch_dtype=torch.float16,
device_map="auto",
trust_remote_code=True
)
# Text + Image Input
messages = [
{"role": "user", "content": [
{"type": "image", "image": "https://example.com/image.jpg"},
{"type": "text", "text": "Describe this image in extreme detail."}
]}
]
text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
# Note: Ensure you pass the actual image object to the processor
inputs = processor(text=[text], images=[image], return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=512)
print(processor.decode(outputs[0], skip_special_tokens=True))
Братко, встречай. Это не просто "еще один квант". Это хирургическое вмешательство в веса Qwen3.8-27B с одной целью: сохранить 100% рассудка модели на железе 2x RTX 3090.
Оригинальные BF16 веса весят ~54GB. Обычный INT4-квант сжал бы их до унизительных 15-18GB, но мы отказались от синтетической экономии.
Вес этого репозитория — ~27GB (как у INT8). Почему? Потому что мы намеренно оставили критические слои (linear_attn.*, model.visual.*, embed_tokens, lm_head) в FP16/BF16. Мы не кастрируем attention-механизмы и зрение модели ради того, чтобы она влезла в одну видеокарту ценой галлюцинаций на длинном контексте.
Качество и приемлемый вес — вот наш манифест.
Модель идеально ложится на 2x RTX 3090 (24GB) с tensor-parallel-size=2.
Благодаря сохранению FP16 для linear_attn, модель стабильно держит 128K - 256K контекста, но требует аккуратного батчинга.
Рекомендуемый запуск (vLLM):
vllm serve goldhub/Qwen3.8-27B-INT4-W4A16-AutoRound \
--tensor-parallel-size 2 \
--max-model-len 131072 \
--max-num-seqs 2 \
--max-num-batched-tokens 2048 \
--trust-remote-code \
--enable-prefix-caching
Модель полностью поддерживает MTP (Multi-Token Prediction). Наши тесты показывают, что MTP=3 работает абсолютно стабильно, давая колоссальный буст к пропускной способности (tok/s) без деградации качества. В зависимости от задачи (например, структурированный вывод или код), можно захерачить и MTP=4, и даже MTP=5. Всё зависит от вашего сетапа и температуры.
Мы не делаем синтетические бенчи вроде MMLU или GSM8K, ответы на которые модели уже давно "подглядели" в трейне. LOL. Мы тестируем модель на реальных рабочих задачах, где нужно думать, а не вспоминать.
Мы скормили моделям 1.8M символов сложнейшего ивритского текста (Каббала, Зогар, комментарии) для построения графа знаний через LightRAG. Задача: извлечь сущности, связи и концепты без галлюцинаций.
| Metric | 🏆 LOCAL (Qwen3.8 INT4) | DeepSeek V4 Flash | Noise Floor |
|---|---|---|---|
| Wall Time | 531s | 856s | ±19s |
| Entities Extracted | 188 | 139 | ±40 |
| Relations Mapped | 138 | 92 | ±23 |
| Rel/Ent Ratio | 0.73 | 0.66 | ±0.03 |
| Speed (sec/entity) | 2.82s | 6.16s | ±0.58s |
| Score (Weighted) | 12/17 (WIN) | 10/17 | - |
Вердикт: DeepSeek V4 Flash теряет связи (sparse graph), рвет текст на куски и работает в 2 раза медленнее (6.16с vs 2.82с на сущность). Наш локальный INT4 Qwen3.8 строит плотный, связный граф, выдумывая минимум синтетических типов и идеально сохраняя иерархию концептов.
Модель написала production-ready код на Python с использованием bitarray, бенчмарком, type-hinting'ом и глубоким математическим разбором алгоритмической сложности (вплоть до теоремы Менькова и суммы обратных простых). Скорость: ~52 tok/s.
На промпт в стиле "Ницше + Киберпанк + Цифровое Сознание" модель выдала эссе на 2800+ токенов со скоростью 42.4 tok/s, рассуждая о смерти Наблюдателя и алгоритмической воле к власти. Никаких "As an AI language model". Только хардкор.
Мы использовали AutoRound 0.15.0 со схемой W4A16, group_size=32 и калибровкой на 1024 сэмплах (seqlen 2048).
Главный секрет — калибровочные датасеты. Мы не использовали мусорные вики-тексты. Модель калибровалась на:
Complete-FABLE.5-traces-2Mclaude_opus_4.8_max_thinking_5k_v2 (Глубокие цепочки рассуждений)Qwen3.8-GLM5.2-Kimi-K3-GPT5.6-Gemini-3.1-Claude-Fable5-Mythos5-distillationpython qwen_quantization.py \
--method autoround \
--model ../MODELS/Qwen/Qwen3.8-27B/ \
--scheme W4A16 \
--recipe best \
--group-size 32 \
--calib-limit 8192 \
--nsamples 1024 \
--seqlen 2048 \
--bs 1 \
--datasets "${DATASETS[@]}" \
--gpus 0
Слои linear_attn и visual были принудительно исключены из квантования через extra_config и переведены в FP16 для сохранения архитектуры Qwen3.8.
Made with 🔥 by Goldhub. Use responsibly. Think deeply.
More from the authors of Ruach Studio: Awesome YUE2, our curated list of everything the community of the open YuE2 music model has made.