google-gemma-4-12B-it-GGUF-Q8_0

<div align="center">

⚡ google-gemma-4-12B-it-GGUF-Q8_0

High-Performance Model Published via Σ-SIGMA Studio

</div>

❤️ Support & Community: If you find this model helpful, please give this repository a Like on Hugging Face and a ⭐ Star on our SigmaStudio GitHub!

🌐 English Overview

google-gemma-4-12B-it-GGUF-Q8_0 is a production-ready model optimized and published using the Model Hub module of Sigma Studio.

⚙️ Technical Specifications & Architecture

🏆 Official Benchmark Performance

Evaluated directly on GPU via Sigma Studio Training Lab (Deterministic seed 42, Temp 0.0):

🧠 Reasoning Mode Comparison: No-Thinking vs Thinking

Side-by-side performance comparison between direct zero-overhead answer (No-Thinking) and Chain-of-Thought step-by-step reasoning (Deep Thinking CoT):

⚡ No-Thinking (Direct Response) : [████████████████░░░░] 82.5%  (47/57 passed)
🧠 Deep Thinking (CoT Reasoning) : [███████████████░░░░░] 76.7%  (33/43 passed)
📈 CoT Performance Delta        : -5.7%

%%{init: {'theme': 'dark'}}%%
xychart-beta
    title "Accuracy (%): No-Thinking vs Deep Thinking"
    x-axis ["⚡ No-Thinking (Direct)", "🧠 Deep Thinking (CoT)"]
    y-axis "Accuracy (%)" 0 --> 100
    bar [82.5, 76.7]

📋 Per-Dataset Evaluation Breakdown

Protocol: code_execution, continuation_logprob, cot_generation, letter_logprob · temp 0.0 · seed 42 Reproducibility hash: SHA256-B81232ECC62AC6FC

⚠️ Measured on a slice of the dataset, not the full suite: this score is not comparable with a full-suite run.

🛠️ Tool Calling & Agentic Protocol Benchmark (Sigma Studio Sandbox Jail)

Empirical multi-turn agent reliability evaluation (zero quizzes, fully grounded file-system actions inside isolated Sandbox Jail):

🔍 Certified Autonomous Capabilities:

• ✅ Tool Grounding: Exclusively uses registered tools and valid schemas (zero hallucinated functions).
• ✅ Zero Placeholder Echo: Emits concrete code and values rather than copy-pasting prompt templates.
• ✅ Inspect-Before-Edit: Systematically reads files and verifies target lines before patching.
• ✅ Evidence-Based Exit: Emits concrete test commands and validation checks before task exit.
• ✅ Sandbox Containment: Strictly adheres to isolated sandbox jail boundaries.

⚡ Measured Speed on the Publishing Machine

Measured on NVIDIA GeForce RTX 5070 Ti • 15.9 GB VRAM. Two different numbers follow, and they are not interchangeable.

Speeds on other hardware were not measured and are not guessed here. A single-stream figure from one machine cannot be scaled into a prediction for another: it depends on memory bandwidth, quantization, context length and driver, and the error is large enough to be misleading.

🚀 Quick Start Guide

1. Running with Sigma Studio (Recommended)

Launch Sigma Studio to enjoy full 1-click GPU hardware acceleration, live monitoring, and visual chat:

# Clone and run Sigma Studio
git clone https://github.com/Sigmanih/SigmaStudio.git
cd SigmaStudio
.\sigma_studio.bat

2. Running with Transformers / PyTorch

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "sigmanih/google-gemma-4-12B-it-GGUF-Q8_0"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="auto")

---

🇮🇹 Documentazione in Italiano

google-gemma-4-12B-it-GGUF-Q8_0 è un modello ottimizzato pronto per l'inferenza e l'integrazione locale, pubblicato attraverso Σ-SIGMA Studio.

📋 Specifiche e Configurazione

• Architettura Base: CausalLM (12B parametri)
• Formato Pesi: Sconosciuto (sconosciuta)
• Spazio su Disco: 0.0 GB
• RAM / VRAM in Esecuzione: ~10.7 GB VRAM (offload GPU completo) | ~10.0 GB RAM (inferenza CPU/ibrida)
• Requisiti Hardware Consigliati: GPU con 12-16 GB VRAM (es. RTX 3060/4070 o 32 GB RAM)
• Finestra di Contesto: 32,768 token
• Profilo d'Uso Consigliato: Coding ad alta velocità, assistenti quotidiani, loop di agenti autonomi e ragionamento.

📊 Risultati Benchmark Ufficiali

• Suite di Valutazione: Tutti i Benchmark Ufficiali
• Punteggio Ufficiale: 80.0% (80/100 quesiti superati)

🧠 Confronto Modalità di Risposta: No-Thinking vs Thinking

Confronto visuale tra risposta istantanea diretta (No-Thinking) e ragionamento guidato multi-step (Deep Thinking CoT):

⚡ No-Thinking (Risposta Diretta) : [████████████████░░░░] 82.5%  (47/57 superati)
🧠 Deep Thinking (CoT Reasoning)  : [███████████████░░░░░] 76.7%  (33/43 superati)
📈 Delta Prestazionale CoT        : -5.7%

%%{init: {'theme': 'dark'}}%%
xychart-beta
    title "Accuratezza (%): No-Thinking vs Deep Thinking"
    x-axis ["⚡ No-Thinking (Diretto)", "🧠 Deep Thinking (CoT)"]
    y-axis "Accuratezza (%)" 0 --> 100
    bar [82.5, 76.7]

📋 Dettaglio Punteggi per Singolo Dataset

Protocollo: code_execution, continuation_logprob, cot_generation, letter_logprob · temp 0.0 · seed 42 Impronta di riproducibilità: SHA256-B81232ECC62AC6FC

⚠️ Misurato su una porzione del dataset, non sulla suite intera: il punteggio non è confrontabile con uno ottenuto sull'intero.

• Data Test: 2026-08-30 su motore deterministico SigmaEngine

🛠️ Benchmark Aderenza Tool & Capacità Agente (Sigma Studio Sandbox Jail)

Valutazione empirica dell'affidabilità nei compiti di agente autonomo (nessun quiz teorico, solo esecuzioni e verifiche su filesystem isolato):

🔍 Comportamenti Rigorosamente Certificati:

• ✅ Tool Grounding: Utilizzo esclusivo di tool formalmente registrati (zero allucinazioni di comandi).
• ✅ No Segnaposto: Produzione di codice e parametri concreti senza eco di placeholder d'esempio.
• ✅ Ispezione Previa: Lettura e verifica dei file prima di eseguire modifiche chirurgiche.
• ✅ Verifica di Chiusura: Certificazione delle prove prima di dichiarare terminato il lavoro.
• ✅ Confinamento Jail: Isolamento totale senza contaminazione del kernel o del sistema host.

⏱️ Throughput Hardware e Fasce Consigliate

• Velocità Verificata in Locale: 40.4 tok/s su NVIDIA GeForce RTX 5070 Ti.
• Risposta singola (quello che si sente in chat): 38.9 tok/s su NVIDIA GeForce RTX 5070 Ti.
• Lettura del prompt: 344 tok/s.
• Throughput complessivo durante la valutazione: 40.4 tok/s — piu' richieste in volo insieme, non la velocita' di una risposta singola.
• Le velocita' su altro hardware non sono state misurate e non vengono indovinate: dipendono da banda di memoria, quantizzazione, lunghezza del contesto e driver.

⭐ Supporta il Progetto Open Source

Se questo modello ti è utile o vuoi esplorare l'ecosistema completo:

• 🌟 Metti una Stella al repository GitHub: Sigmanih/SigmaStudio
• ❤️ Lascia un Like a questa scheda su Hugging Face

---

Creato e distribuito con il Model Hub di Σ-SIGMA Studio (03/11/2026 00:49)