Downloads · 30 days
4.1K
30% of all-time downloads
Ar4ikov/Qwen3.8-27B-Uncensored-AWQ-W4A16-ASYM
Qwen3.8-27B-Uncensored-AWQ-W4A16-ASYM is a image-text-to-text model from Ar4ikov. Use it for the image-text-to-text task on the model card, and read the license before you ship it in a product. It is set up for transformers. The card lists the license as apache-2.0.
4-битный AWQ-квант orcarouter/Qwen3.8-27B-Uncensored, сделанный llm-compressor в формате compressed-tensors (pack-quantized). Грузится в vLLM нативно.
Downloads · 30 days
4.1K
30% of all-time downloads
All-time downloads
13.9K
Public
Parameters
27.4B
19.6 GB on disk
Likes
4
Public
Click a slice to open those files.
.safetensors19.5 GB · 100%
How the weights are stored.
I3224.3B · 89%
From the Hugging Face model README
4-битный AWQ-квант orcarouter/Qwen3.8-27B-Uncensored,
сделанный llm-compressor в формате
compressed-tensors (pack-quantized). Грузится в vLLM нативно.
Квантование выполнено с BF16-весов, а не поверх FP8-чекпоинта — чтобы не накладывать INT4 на уже потерянную точность.
| Схема | W4A16_ASYM (asymmetric, zero-point) |
| Group size | 128 |
| Стратегия | group, type: int, num_bits: 4 |
| Формат | compressed-tensors / pack-quantized |
| Активации | BF16 (weight-only) |
| Калибровка | HuggingFaceH4/ultrachat_200k, 256 сэмплов × 2048 токенов, через chat template |
| Размер | 19 GB (было 52 GB в BF16) |
Qwen3.8-27B — гибрид: 64 слоя по схеме 16 × (3 × Gated DeltaNet → 1 × Gated Attention),
плюс vision-башня и MTP-голова.
В INT4:
q_proj, k_proj, v_proj, o_projgate_proj, up_proj, down_projin_proj_qkv, in_proj_z, out_projОстались в BF16:
lm_head и эмбеддингиmodel.visual.*) — квантование визуального энкодера бьёт по качеству
распознавания сильнее, чем экономит памятьlinear_attn.in_proj_a / in_proj_b — чувствительные гейты SSM-веткиmtp.*) — чтобы не ломать спекулятивный декодингПро MTP.
transformersне инстанцирует MTP-голову дляqwen3_5, поэтому llm-compressor её не видит и не сохраняет — наивный квант теряет MTP целиком. Здесь тензорыmtp.*скопированы из исходного BF16-чекпоинта в готовый результат, зарегистрированы вmodel.safetensors.index.jsonи внесены вquantization_config.ignore. Спекулятивный декодинг сохранён.
Про AWQ-mappings. У гибридной архитектуры нет общего для всех слоёв набора проекций, поэтому дефолтные маппинги AWQ не резолвятся. В
recipe.yamlлежат кастомные: отдельный маппинг дляinput_layernormfull-attention слоёв и отдельный — для DeltaNet-слоёв, где вbalance_layersобязаны быть все потребители выхода нормы, включая неквантуемыеin_proj_a/in_proj_b, иначе сглаживание ломает математику.
vllm serve Ar4ikov/Qwen3.8-27B-Uncensored-AWQ-W4A16-ASYM \
--max-model-len 262144 \
--tensor-parallel-size 2
from transformers import AutoModelForImageTextToText, AutoProcessor
model = AutoModelForImageTextToText.from_pretrained(
"Ar4ikov/Qwen3.8-27B-Uncensored-AWQ-W4A16-ASYM", dtype="auto", device_map="auto"
)
processor = AutoProcessor.from_pretrained("Ar4ikov/Qwen3.8-27B-Uncensored-AWQ-W4A16-ASYM")
transformers при загрузке распаковывает веса обратно в BF16, так что экономии VRAM здесь не будет. Реальная экономия видна только в рантаймах с нативными INT4-ядрами (vLLM, SGLang): ожидаемо ≈ размер файла + KV-кэш.
Наследуются от базовой модели:
temperature=1.0, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=0.0temperature=0.7, top_p=0.80, top_k=20, min_p=0.0, presence_penalty=1.5Поддерживается reasoning_effort (low / medium / xhigh), контекст 262 144 токена нативно.
В репозитории лежит recipe.yaml, сгенерированный llm-compressor. Ключевая часть:
from llmcompressor.modifiers.awq import AWQModifier
recipe = [AWQModifier(
targets=["Linear"],
scheme="W4A16_ASYM",
ignore=[
"re:.*lm_head",
r"re:model\.visual\..*",
r"re:.*\.linear_attn\.in_proj_a",
r"re:.*\.linear_attn\.in_proj_b",
r"re:mtp\..*",
],
mappings=MAPPINGS, # см. recipe.yaml
)]
weight_packed (I32-упаковка INT4) с weight_scale и weight_zero_point.orcarouter/Qwen3.8-27B-Uncensored.