Downloads · 30 days
464
28% of all-time downloads
kataguru/Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-GGUF
Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-GGUF is a image-text-to-text model from kataguru. Use it for the image-text-to-text task on the model card, and read the license before you ship it in a product. The card lists the license as apache-2.0.
Downloads · 30 days
464
28% of all-time downloads
All-time downloads
1.7K
Public
Repo size
65.3 GB
Likes
0
Public
Click a slice to open those files.
.gguf65.3 GB · 100%
From the Hugging Face model README
🇫🇮 Suomenkielinen mallikortti & käyttöohje | 🇬🇧 English Documentation & Quickstart
| Kenttä | Kuvaus |
|---|---|
| Base model | DavidAU/Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-ULTRA-HERETIC-Uncensored |
| Katagurun muutos | Suomalainen kalibrointi / chat-template / kvantisointi |
| Mitä EI muutettu | Mallin perusarkkitehtuuri ja esikoulutetut painot |
| Ensisijainen käyttö | Paikallinen suomenkielinen päättely ja inferenssi |
| Testattu laitteisto | NVIDIA RTX 5090 32GB / vLLM & llama.cpp |
Tämä repositorio sisältää GGUF-kvantisoinnit mallista DavidAU/Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-ULTRA-HERETIC-Uncensored, joka on rikastettu ja optimoitu huippuluokan suomen kielelle ja suomalaiselle ilmaisulle.
Malli on saatavilla myös vLLM-optimoituna AWQ-versiona: kataguru/Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-W4A16-AWQ.
| Tiedosto | Koko | BPW | Suositeltu laitteisto / VRAM | Kuvaus & Käyttökohde |
|---|---|---|---|---|
Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-Q5_K_M.gguf | 18.2 GB | 5.72 | 24 GB VRAM (esim. RTX 3090 / 4090 / 5090 tai Mac 32GB+) | Huipputarkkuus: Minimaalinen hävikki, paras kielellinen ja analyyttinen tarkkuus. |
Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-Q4_K_M.gguf | 15.6 GB | 4.92 | 20–24 GB VRAM tai 32 GB RAM | Kultainen keskitie (Suositeltu): Loistava tasapaino nopeuden, koon ja laadun välillä. |
Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-IQ4_XS.gguf | 14.4 GB | 4.51 | 16–20 GB VRAM | Kompakti 4-bit: Pienempi muistijalanjälki erinomaisella laadulla (Importance Matrix -taso). |
Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-Q3_K_M.gguf | 12.6 GB | 3.95 | 16 GB VRAM (esim. RTX 4080 / 4070 Ti Super tai Mac 16-24GB) | Kevyt & Nopea: Mahtuu mukavasti 16 GB VRAM -näytönohjaimelle FP8 KV-cachella (n. 32k–64k konteksti). |
[!NOTE] VRAM & KV-Cache -huomautus 16 GB -korteille (esim. RTX 4080 / 4070 Ti Super): Qwen 27B:n KV-cache vie FP16-tarkkuudella n. 256 KB per token. 16 GB VRAM -kortilla
Q3_K_M(12.9 GB) jättää n. 3 GB vapaata muistia, jolloin suositellaan käyttämään FP8/Q8 KV-cachea (LM Studiossa Context Quantization tai llama.cpp:ssä-ctk q8_0 -ctv q8_0), jolla saavutetaan sujuvasti 32k–64k konteksti ilman muistin loppumista. Pidemmille konteksteille (128k+) suositellaan 24 GB+ VRAMia tai osittaista CPU-offloadia.
Luonnollinen ja vivahteikas suomen kieli:
Mukautettu Chat Template & Päättelytasot ({REASON:}):
<think>-pohdintaa.{REASON:low}: Nopea ja lyhyt analyysi.{REASON:medium}: Tasapainoinen ja jäsennelty päättelyketju.{REASON:xhigh}: Erittäin syvällinen ja kriittinen analyysi.{REASON:spoon}: Syvätutkimus (7-vaiheinen asiantuntijapaneeli, hypoteesit, synteesi).{REASON:einstein}: Luova aivoriihi (10 Sternbergin näkökulmaa, radikaalien ratkaisujen jalostus).Sensuroimaton vapaus (Uncensored / Heretic):
kataguru/Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-GGUF.Q4_K_M tai Q5_K_M) ja lataa se.Luo Modelfile:
FROM ./Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-Q4_K_M.gguf
PARAMETER temperature 0.6
PARAMETER top_p 0.95
PARAMETER stop "<|im_end|>"
PARAMETER stop "<|endoftext|>"
Kokoa ja käynnistä:
ollama create qwen-fable-fi -f Modelfile
ollama run qwen-fable-fi
./llama-server \
-m Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-Q4_K_M.gguf \
--port 8080 \
-ngl 99 \
-c 32768 \
--temp 0.6 \
--top-p 0.95
This model is part of the Kataguru Finnish & Multilingual Open Source Fleet, engineered for high epistemic honesty, native morphosyntax, and uncensored reasoning.
<think>...</think>).# Example vLLM server launch:
vllm serve kataguru/Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-GGUF --port 8000
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="local")
response = client.chat.completions.create(
model="kataguru/Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-GGUF",
messages=[
{"role": "user", "content": "Explain the core principle of metabolic health."}
],
temperature=0.6
)
print(response.choices[0].message.content)