Downloads · 30 days
166
20% of all-time downloads
kataguru/Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-W4A16-AWQ
Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-W4A16-AWQ is a image-text-to-text model from kataguru. Use it for the image-text-to-text task on the model card, and read the license before you ship it in a product. The card lists the license as apache-2.0.
Downloads · 30 days
166
20% of all-time downloads
All-time downloads
833
Public
Parameters
27.8B
19.6 GB on disk
Likes
0
Public
Click a slice to open those files.
.safetensors19.5 GB · 100%
How the weights are stored.
I3224.3B · 88%
From the Hugging Face model README
🇫🇮 Suomenkielinen mallikortti & käyttöohje | 🇬🇧 English Documentation & Quickstart
Tämä on W4A16 AWQ (compressed-tensors) -kvantisoitu versio mallista DavidAU/Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-ULTRA-HERETIC-Uncensored, kalibroituna erikseen rikkaalla suomenkielisellä monialaisella aineistolla (256 monikierrosnäytettä: kaunokirjallisuus, asiateksti, IT/Linux, filosofia sekä sensuroimaton eroottinen kerronta).
Kvantisointi on suoritettu llm-compressor -työkalulla suoraan BF16-lähdepainoista.
Suomen kielen ja sanaston kalibrointi:
Natiivi MTP (Multi-Token Prediction) -spekulaatiotuki:
model-nonquant.safetensors).--speculative-config '{"method":"mtp","num_speculative_tokens":3}' tuottaa yli 145 tokenia sekunnissa (TP=2) ja pudottaa ensimmäisen tokenin viiveen (TTFT) ~0.27 sekuntiin.Mukautettu suomenkielinen Chat Template ja päättelytasot ({REASON:}):
{REASON:taso}:
{REASON:low}: Lyhyt ja tiivis pohdinta.{REASON:medium}: Tasapainoinen analyysi ja jäsennelty vastaus.{REASON:xhigh}: Erittäin syvällinen päättely ja oletusten validointi.{REASON:spoon}: Syvätutkimus (7-vaiheinen moniasiantuntijaprotokolla: tehtävän kehystys, virtuaalipaneeli, ehdokkaat, katselmointi ja lopputulos).{REASON:einstein}: Luova aivoriihi (10 Sternbergin näkökulmaa, radikaalien ideoiden jalostus ja IdeaArray).Testattu järjestelmässä: 2x RTX-5090 GPU (Tensor Parallelism = 2), FP8 KV-cache, vLLM 0.29.0+:
| Tehtävätyyppi | Nopeus (tok/s) | Keskimääräinen vasteaika |
|---|---|---|
| Lyhyt faktavastaus (TTFT) | - | 0.27 s |
| Keskipitkä luova teksti | ~88 tok/s | 0.89 s |
| Pitkä asiaproosa / essee | 146 tok/s | 2.97 s (375 tok) |
| Eroottinen fiktio | 110 tok/s | 2.72 s (300 tok) |
Täysi tuotantoresepti vLLM:lle:
vllm serve kataguru/Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-W4A16-AWQ \
--tensor-parallel-size 2 \
--gpu-memory-utilization 0.92 \
--max-model-len 262144 \
--kv-cache-dtype fp8 \
--enable-chunked-prefill \
--limit-mm-per-prompt '{"image":99}' \
--max-num-batched-tokens 8192 \
--max-num-seqs 16 \
--reasoning-parser qwen3 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder \
--override-generation-config '{"temperature":0.6,"top_p":0.95}' \
--speculative-config '{"method":"mtp","num_speculative_tokens":3}'
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8003/v1", api_key="local")
# 1. Nopea suora vastaus
response = client.chat.completions.create(
model="kataguru/Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-W4A16-AWQ",
messages=[{"role": "user", "content": "Mikä on Suomen pääkaupunki?"}]
)
print(response.choices[0].message.content)
# 2. Syvätutkimusmoodi (Spoon)
response_research = client.chat.completions.create(
model="kataguru/Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-W4A16-AWQ",
messages=[{"role": "user", "content": "{REASON:spoon} Selitä kvanttitietokoneiden kolme suurinta teknistä haastetta."}]
)
print(response_research.choices[0].message.content)
lm_head, GDN linear attention in_proj, MTP (mtp.*)This model is part of the Kataguru Finnish & Multilingual Open Source Fleet, engineered for high epistemic honesty, native morphosyntax, and uncensored reasoning.
<think>...</think>).# Example vLLM server launch:
vllm serve kataguru/Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-W4A16-AWQ --port 8000
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="local")
response = client.chat.completions.create(
model="kataguru/Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-W4A16-AWQ",
messages=[
{"role": "user", "content": "Explain the core principle of metabolic health."}
],
temperature=0.6
)
print(response.choices[0].message.content)