Apodex-1.1-mini-Finnish-GPTQ-Int4

Apodex-1.1-mini-Finnish-GPTQ-Int4 (vLLM Tuotantomalli) 🇫🇮⚡

Mitä Kataguru muutti?

---

[!TIP] Tuotantosuositus: Mallia suositellaan erittäin lämpimästi tuotantoympäristöihin ja vLLM-päättelypalvelimille. Se yhdistää poikkeuksellisen syvän suomen kielen hallinnan, erittäin vahvan teknisen ja matemaattisen osaamisen sekä markkinoiden johtavan sukupolvinopeuden (yli 242 tokenia sekunnissa vLLM TP=2 -ajossa kahdella RTX 5090 -kortilla).

Apodex-1.1-mini-Finnish-GPTQ-Int4 on vLLM-päättelyyn optimoitu, optimoitu ja nopea suomenkielinen tekoälymalli. Malli perustuu Apodex AI:n kehittyneeseen 36B MoE -arkkitehtuuriin (3B aktiivista parametria per token), jossa yhdistyvät lineaarinen huomio (Linear Attention / GDN) ja täysi huomio (Full Attention), 262 144 tokenin konteksti, natiivi visio/multimodal-kyvykkyys sekä sisäänrakennettu autonominen päättely.

Malli on varustettu integroidulla suomalaisella chat-templatella (chat_template.jinja ja tokenizer_config.json), joka ohjaa mallin vastaamaan oletuksena luonnollisella suomen kielellä ja mahdollistaa autonomisen tai ohjatun päättelyn.

---

🌟 Tärkeimmät Vahvuudet

1. 🇫🇮 Suomen kielen rakenne ja chat-template

• Ei käännöskankeutta: Tuottaa elävää, idiomaattista ja kieliopillisesti luontevaa suomea niin kaunokirjallisessa proosassa, teknisessä asiatekstissä kuin vaativassa juridisessa sopimuskielessä.
• Autonominen Ajattelu (auto): Rutiinikysymyksiin ja faktatiedusteluihin malli vastaa välittömästi ilman keinotekoista viivettä. Vaativissa matemaattisissa, loogisissa tai järjestelmäarkkitehtuurin ongelmissa malli aktivoi autonomisesti sisäisen monivaiheisen päättelyn (<think>...</think>).
• Ohjattavat Erikoistilat:
  • {REASON:spoon}: Apodex Deep Research – 6-vaiheinen simuloitu monialainen asiantuntijapaneeli (tehtävän rajaus, reunaehdot, ehdokkaiden vertailu, kaksoistarkistus).
  • {REASON:einstein}: Apodex Luova Aivoriihi – 10–20 eri näkökulman luova ideointi ja käsitteellinen syntetisointi.
  • {REASON:none}: Päättelyn ohitus minimilatenssia vaativiin automaatioihin.

2. ⚡ Huippuluokan vLLM-nopeus (242+ tok/s)

Koska 36 miljardin parametrin kokonaismallista vain 3 miljardia parametria on aktiivisena per token (8/256 asiantuntijaa):

• Generointinopeus vLLM:ssä (TP=2): 241,2 – 242,7 tokenia sekunnissa!
• TTFT (Time To First Token): Vain murto-osia sekunnista.
• Kompakti koko: Koko 23 GB mahtuu erittäin helposti kahteen 16 GB tai 24/32 GB GPU-korttiin (~11.5 GB per GPU).

3. 🧠 Teknisesti Erittäin Vahva Arkkitehtuuri

• Hybridi-Attention (40 kerrosta): 30 Linear Attention (GDN) -kerrosta ja 10 Full Attention -kerrosta.
• 262k Konteksti: 262 144 tokenin konteksti-ikkuna massiivisten asiakirjakokonaisuuksien ja koodikantojen samanaikaiseen analysointiin.
• Natiivi Visio & OCR: Tukee suoraan kuvien analysointia ja tekstintunnistusta (--limit-mm-per-prompt '{"image":99}').

---

📊 Empiiriset Validointitulokset (vLLM TP=2 / 2x RTX 5090)

---

🚀 Käyttöönotto vLLM:ssä

Käynnistyskomento (vLLM CLI / Docker)

vllm serve kataguru/Apodex-1.1-mini-Finnish-GPTQ-Int4 \
  --tensor-parallel-size 2 \
  --kv-cache-dtype fp8 \
  --enable-chunked-prefill \
  --limit-mm-per-prompt '{"image":99}' \
  --max-num-batched-tokens 8192 \
  --max-num-seqs 16 \
  --reasoning-parser qwen3 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder \
  --host 0.0.0.0 --port 8003

Kyselyesimerkki (Python / OpenAI API)

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8003/v1",
    api_key="token-jos-kaytossa"
)

response = client.chat.completions.create(
    model="kataguru/Apodex-1.1-mini-Finnish-GPTQ-Int4",
    messages=[
        {"role": "user", "content": "{REASON:spoon} Analysoi hajautettujen tietokantojen konsensusmallien suorituskykyä."}
    ],
    temperature=0.6,
    top_p=0.95
)

print(response.choices[0].message.content)

---

📜 Lisenssi & Alkuperä

Pohjamalli on Apodex AI:n kehittämä apodex/Apodex-1.1-mini-GPTQ-Int4 (Apache 2.0 -lisenssi). Suomenkielinen chat template, integrointi ja validointi: Kataguru.