Llama-PLLuM-8B-chat-2512-awq

Llama-PLLuM-8B-chat-2512 — AWQ W4A16

Built with Llama. AWQ W4A16 quantization of CYFRAGOVPL/Llama-PLLuM-8B-chat-2512 for single-GPU vLLM deployment on consumer/prosumer hardware. Validated on 1× AMD Radeon AI PRO R9700 (gfx1201, TP=1); the compressed-tensors format is expected to be portable to NVIDIA via awq_marlin — not independently validated in this release.

Kwantyzacja AWQ W4A16 modelu Llama-PLLuM-8B-chat-2512 — uruchamia się na pojedynczej konsumenckiej karcie AMD Radeon AI PRO R9700 (32 GB VRAM) przez vLLM. Część Run-3 (rozszerzenie rodziny PLLuM AWQ poza 70B na desktop/laptop tier).

⚠ Note on Hugging Face parameter display: Hugging Face may show this quantized repository with reduced parameter count because the safetensors index counts packed 4-bit tensors. The logical base architecture is Llama-PLLuM-8B (8.03B parameters); this repository contains AWQ-compressed derivative weights of the 8B model. Verify with the base model card: CYFRAGOVPL/Llama-PLLuM-8B-chat-2512.

---

Opis modelu (PL)

Czterobitowa kwantyzacja (AWQ W4A16, format compressed-tensors) modelu Llama-PLLuM-8B-chat-2512 wytworzonego przez konsorcjum PLLuM (SpeakLeash, OPI-PIB, NASK, Politechnika Wrocławska), publikowanego na HuggingFace przez Ministerstwo Cyfryzacji RP (organizacja CYFRAGOVPL). Celem kwantyzacji jest deployment na pojedynczej karcie konsumenckiej — 5.53 GiB footprintu pozwala uruchomić 8B parametrów na 1× AMD Radeon AI PRO R9700 (32 GB VRAM) z dużym headroomem dla KV cache (22.22 GiB available, max_concurrency 88.89× przy max_seq_len=2048).

Dla kogo:

• asystent dialogowy w polskim do zadań research/edukacja/prototypowanie
• chat-based ewaluacja LLM w polskim kontekście
• baseline do RLHF / preference tuning na małym budżecie sprzętowym
• deployment edge/desktop — laptop z dedykowanym GPU, mini-workstation, single-card development box

Co dało nowego: według wiedzy autora — pierwsza publiczna kwantyzacja AWQ W4A16 (vLLM-native compressed-tensors) tego wariantu Llama-PLLuM-8B (stan na 2026-05-26). Dla użytkowników llama.cpp/ollama dostępne są GGUF quantizacje społeczności; tutejsze wagi są zoptymalizowane pod inferencję serwerową w vLLM.

Model description (EN)

4-bit AWQ W4A16 quantization (compressed-tensors format) of Llama-PLLuM-8B-chat-2512 developed by the PLLuM consortium (SpeakLeash, OPI-PIB, NASK, Wrocław University of Science and Technology), published on HuggingFace by the Polish Ministry of Digital Affairs (CYFRAGOVPL). Quantized for single-GPU consumer deployment: 5.53 GiB footprint fits comfortably on a single 32 GB R9700 with large KV cache headroom (22.22 GiB → 88.89× concurrency at max_seq_len=2048), served via vLLM. To the author's knowledge, this is the first public AWQ W4A16 (vLLM-native compressed-tensors) quantization of this Llama-PLLuM-8B-chat-2512 checkpoint (HuggingFace Hub check, 2026-05-26).

---

Quantization details

Pełna procedura kwantyzacji + skrypty: navimed-umb/calibration/quantization/.

---

Hardware envelope — Gate 1 (sanity, 2026-05-26)

Pomiary z weryfikacji vehicle-integrity (METHODOLOGY §8) na 1× AMD Radeon AI PRO R9700 (gfx1201), TP=1, max_seq_len=2048, enforce_eager=True:

Verdict: PASS (5/5 prompts non-empty, coherent Polish output)

Raw outputs: navimed-umb/environment/sanity-tests/2026-05-26-Llama-PLLuM-8B-chat-2512-awq-sanity.json.

Co to znaczy "envelope": to są twarde liczby pamięci/ładowania/pojemności KV — czyli "czy model w ogóle się mieści i odpowiada poprawnie na pojedyncze zapytanie". To nie są liczby throughput (tok/s, P50/P95, scaling z N) — te pozostają EMBARGOED do akceptacji paper'a (METHODOLOGY §11.2, stricter embargo dla modeli polskich §11.3).

---

Gate 2 — coherence probe (2026-05-26)

5 polskich promptów medycznych (Stolicą Polski / Tiotropium / Astma / Pacjent z dusznością / Spirometria) via /v1/completions, temperature=0.0, max_tokens=64. Vehicle-integrity per METHODOLOGY §8 — NIE ocena jakości modelu.

Verdict: PASS (5/5 coherent Polish output, no degeneration, medical context plausible)

Sample (Tiotropium prompt):

"Tiotropium to lek wziewny stosowany w leczeniu astmy oskrzelowej i przewlekłej obturacyjnej choroby płuc (POChP). Zawiera on substancję czynną tiotropiumbromek, która działa na receptory muskarynowe M3 znajdujące [...]"

Raw outputs: linked above (sanity JSON).

---

Usage with vLLM

⚠ Important — ignore Hugging Face autogenerated snippets. The "Use this model" button on the HF UI may suggest snippets like pipeline("text-generation", model="...") or a bare vllm serve "..." — these are incomplete for this quantized AWQ release and will fail or misbehave without the flags below (ROCm env vars, --quantization compressed-tensors or awq_marlin, --enforce-eager on gfx1201).

On AMD ROCm (validated configuration — 1× R9700, gfx1201)

Stack: vLLM 0.19.0+rocm721 PINNED + ROCm 7.2 + PyTorch 2.10 (regressions reported on newer ROCm wheels on gfx1201, cf. Capitelli #40980). Build wheel from ROCm vLLM fork or use AMD-provided container — NOT available on PyPI. Setup: navimed-umb environment/.

# Required env vars for gfx1201
export VLLM_ROCM_USE_AITER=0      # AITER unsupported on gfx1201
export AMD_SERIALIZE_KERNEL=1
export HIP_LAUNCH_BLOCKING=1
export ROCR_VISIBLE_DEVICES=0     # single GPU; adjust for your card

vllm serve mozarcik/Llama-PLLuM-8B-chat-2512-awq \
  --tensor-parallel-size 1 \
  --enforce-eager \
  --max-model-len 2048 \
  --gpu-memory-utilization 0.90 \
  --quantization compressed-tensors

On NVIDIA GPUs (portable — RTX 3090/4090/A6000, vLLM ≥ 0.7.0)

vllm serve mozarcik/Llama-PLLuM-8B-chat-2512-awq \
  --tensor-parallel-size 1 \
  --max-model-len 4096 \
  --gpu-memory-utilization 0.85 \
  --quantization awq_marlin

Note for NVIDIA users: drop --enforce-eager (CUDA graphs work on Hopper/Ampere/Ada); use awq_marlin quantization flag (faster on NVIDIA than compressed-tensors); lower gpu_memory_utilization to 0.85 to avoid OOM with fragmentation. If awq_marlin is rejected by your vLLM version, fall back to --quantization awq.

Request example — chat (instruction-following)

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "mozarcik/Llama-PLLuM-8B-chat-2512-awq",
    "messages": [{"role": "user", "content": "Wyjaśnij krótko zasadę działania spirometrii."}],
    "max_tokens": 256,
    "temperature": 0.3
  }'

Python client (OpenAI-compatible)

from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="dummy")

resp = client.chat.completions.create(
    model="mozarcik/Llama-PLLuM-8B-chat-2512-awq",
    messages=[{"role": "user", "content": "Wyjaśnij krótko zasadę działania spirometrii."}],
    max_tokens=256, temperature=0.3,
)
print(resp.choices[0].message.content)

---

Limitations & known issues

• AWQ na gfx1201 ≠ szybkość. Profil korzyści tego modelu to możliwość zmieszczenia (5.53 GiB → fits on entry-level workstation), nie tokeny/s. Empirycznie obserwowany istotny narzut vs FP16 na RDNA 4 (AITER kernels pending ROCm 7.3+ — patrz AMD ROCm tracker). Na NVIDIA z awq_marlin performance jest typowa dla AWQ Marlin kernels (cf. vLLM docs).
• llm-compressor v_proj skip on GQA — known library artifact dla Grouped-Query Attention (Llama 3.1 family); patrz vllm-project/llm-compressor#issues. Wpływ na koherencję outputu zweryfikowany Gate 2 probe — patrz sekcja powyżej.
• To NIE jest model evaluation. Release jest vehicle-integrity artefaktem (METHODOLOGY §8 navimed-umb): "loads + responds + healthy envelope + coherent Polish", NIE task evaluation (MMLU/PolEval/MERA — poza skopem). Nie wnioskuj o jakości odpowiedzi na zadania kliniczne/językowe bez własnego protokołu ewaluacji.
• License inheritance — wszystkie ograniczenia Llama 3.1 Community License + Acceptable Use Policy dziedziczą na wagi skwantyzowane. Patrz Built with Llama i sekcja License poniżej.

---

Intended use

Research and engineering use only.

Model dialogowy (instrukcja + RLHF). Przeznaczony do interakcji wieloturowych w polskim — asystent research/edukacyjny, prototypowanie chat UX, ewaluacja jakości dialogu. Obsługuje /v1/chat/completions z chat template z tokenizera.

This model is NOT intended for, and is NOT validated for:

• diagnosis, prognosis, triage, or treatment recommendation in clinical practice
• autonomous clinical decision support
• processing of patient health data (PHI) without expert oversight and appropriate compliance review (GDPR/RODO, HIPAA, EU AI Act)
• direct patient care workflows or unsupervised generation of medical advice

The calibration corpus consists of public regulatory text (EMA Summary of Product Characteristics) selected to test Polish-domain robustness and AWQ deployment feasibility — NOT to confer clinical capability. Any clinical application requires independent validation, expert human verification of all output, and appropriate regulatory/ethical clearance.

No clinical guarantee. Not a medical device. Use at your own risk.

---

Built with Llama

This work uses Llama materials. The base model CYFRAGOVPL/Llama-PLLuM-8B-chat-2512 (Llama-PLLuM-8B family by the PLLuM consortium, published by the Polish Ministry of Digital Affairs) is derived from Meta's Llama 3.1 and is governed by the Llama 3.1 Community License Agreement and the Llama 3.1 Acceptable Use Policy.

Llama 3.1 is licensed under the Llama 3.1 Community License, Copyright © Meta Platforms, Inc. All Rights Reserved.

These quantized derivative weights are redistributed under the same terms; users must comply with both the License and the Acceptable Use Policy.

---

Credits / Attribution

Base model — Llama-PLLuM-8B family:

• Developed by PLLuM consortium: SpeakLeash · OPI-PIB · NASK · Politechnika Wrocławska / Wrocław University of Science and Technology
• Published by: Polish Ministry of Digital Affairs — HF org CYFRAGOVPL
• Paper: Kocoń et al., PLLuM: A Family of Polish Large Language Models — arXiv:2511.03823 (2025)
• Base weights: CYFRAGOVPL/Llama-PLLuM-8B-chat-2512

Quantization:

• Łukasz Minarowski — pulmonolog UMB (Zakład Fizjopatologii Oddychania) + AI researcher
• ORCID: 0000-0002-2536-3508
• HF: mozarcik
• Calibration corpus: mozarcik/clinical-pl-smpc-awq-calibration (License: see dataset card; EMA reproduction policy applies)

Compute:

• Calibration host: AMD Radeon AI PRO R9700 (gfx1201, RDNA 4), local workstation — 2× R9700 (64 GB VRAM combined), AMD Ryzen 9 9950X3D, Kubuntu 24.04, kernel 6.17, ROCm 7.2.1, vLLM 0.19.0+rocm721
• Deployment target: 1× AMD Radeon AI PRO R9700

Benchmark suite & methodology:

• navimed-umb v0.4.0 — github.com/kicrazom/navimed-umb
• Concept DOI (all versions): 10.5281/zenodo.19851346
• METHODOLOGY: vehicle-integrity gates, embargo policy, AI disclosure framework

---

License

llama3.1 — inherited from CYFRAGOVPL/Llama-PLLuM-8B-chat-2512.

This repository contains quantized derivative weights only. Use of these weights is subject to:

• the Llama 3.1 Community License Agreement (full text in LICENSE)
• the Llama 3.1 Acceptable Use Policy (full text in USE_POLICY.md)
• PLLuM consortium attribution requirements
• the Notice file (NOTICE) reproducing the required Meta copyright text

---

Citation

@software{minarowski_2026_pllum8b_chat_2512_awq,
  author    = {Minarowski, Łukasz},
  title     = {{Llama-PLLuM-8B-chat-2512} AWQ W4A16 quantization for vLLM on consumer AMD},
  year      = {2026},
  publisher = {HuggingFace},
  url       = {https://huggingface.co/mozarcik/Llama-PLLuM-8B-chat-2512-awq},
  doi       = {10.5281/zenodo.19851346}
}

Cite the original PLLuM paper:

@article{kocon2025pllum,
  title   = {PLLuM: A Family of Polish Large Language Models},
  author  = {Kocoń, Jan and others},
  journal = {arXiv preprint arXiv:2511.03823},
  year    = {2025}
}

---

AI assistance disclosure

This model card was drafted by Claude (Anthropic) as part of an interactive engineering session with the maintainer (Łukasz Minarowski). The maintainer reviewed, edited, and signed off on all factual claims, hardware envelope numbers, license attributions, and release claims before publication. The AI did not generate, modify, or validate: the quantized model weights, benchmark measurements, calibration data, or the underlying methodology.

Niniejsza karta modelu została zredagowana przez Claude (Anthropic) podczas interaktywnej sesji inżynierskiej z opiekunem repo (Łukasz Minarowski). Opiekun zweryfikował, poprawił i zaaprobował wszystkie twierdzenia faktyczne, liczby z envelope sprzętowego, atrybucje licencyjne i twierdzenia release'owe przed publikacją. AI nie generował, nie modyfikował ani nie walidował: wag modelu, wyników pomiarów, danych kalibracyjnych ani metodologii.