Bel-KI-v1-GGUF

<div align="center"> <h1 style="font-size: 64px; line-height: 1.05; margin: 0;"> 🇩🇪 Bel KI v1 </h1>

---

🔗 BEL-KI – Wahrheit ohne Kompromiss | Deutsche KI Revolution

🔒 Security & Integrity

SHA256 Checksum (Q4_K_M): 8B97EC63954565EBF6BB8F495E854957FD9D605EB84FAF7795D5FFB101BD0624

Verify the file integrity after downloading to ensure security. Run Get-FileHash Bel-KI-v1-Q4_K_M.gguf in PowerShell to check.

Sovereign German Language Model

---

Präzision · Ehrlichkeit · Datensouveränität

Ein deutschsprachiges KI-Modell, das Fakten über Fiktion stellt

Schnellstart · Architektur · Benchmarks · Verwendung

</div>

---

Wir ruhen uns nicht auf den Lorbeeren von Bel KI v1 aus.
Der Trainingsprozess für Version 1.5 läuft bereits auf Hochtouren – und die Änderungen sind fundamental.

Während v1 auf ~13.000 hochwertigen GermanQuAD-Samples basierte, skalieren wir nun um den Faktor 20+.

---

🏗️ Neue Trainingsarchitektur (Current Progress)

Das Training von Bel KI v1.5 erfolgt vollständig lokal und ist in drei rigorose Phasen unterteilt:

🔹 PHASE 1 – Gehirn & Sprache (Knowledge Injection)

Initiales Supervised Fine-Tuning (SFT) auf 225.000+ neuen, hochwertigen deutschsprachigen Datensätzen.

Ziel:
Tiefe Sprachkompetenz, Faktenverständnis, Kontextrobustheit.

🔄 Status: Running …50 Stunden ca.

---

🔹 PHASE 2 – Charakter & Haltung

Gezieltes Fine-Tuning zur Ausbildung eines direkten, ehrlichen und souveränen Charakters.

Fokus:

• Keine ausweichenden Antworten
• Kein Corporate-Blabla
• Klare Aussagen bei Unsicherheit

---

🔹 PHASE 3 – Alignment (DPO)

Direct Preference Optimization (DPO) zur mathematischen Feinjustierung auf Wahrhaftigkeit, Konsistenz und logische Kohärenz.

Ziel:
Nicht „nett“, sondern richtig.

---

🎯 Das Ziel von Bel KI v1.5

Bel KI v1.5 wird:

• 📈 signifikant präziser
• 🧠 kontextstärker
• 🗣️ menschlicher & direkter
• 🛡️ robuster gegenüber Halluzinationen

Wir bewegen uns weg von einem reinen Q&A-Modell hin zu einem souveränen deutschen Assistenten mit Haltung.

🧪 Release-Politik:
GGUF-Dateien werden erst veröffentlicht, wenn der finale Loss-Wert meinen Qualitätsstandards entspricht.

---

---

📦 Verfügbare Formate

Dieses Repository enthält alle Formate von Bel KI v1:

📱 NEU: IQ2_M für Mobile Devices

Die IQ2_M Quantisierung wurde speziell für Smartphones und Geräte mit begrenztem RAM optimiert:

---

👑 Bel KI v1 Master (FP16 - Full Precision)

Dies ist die hochpräzise Master-Version von Bel KI. Sie dient als Basis für alle weiteren Quantisierungen und Anwendungen, die maximale mathematische Genauigkeit erfordern.

📋 Master Details

🔒 Integrität (SHA256 Checksums)

Um die Integrität der Master-Dateien zu gewährleisten, vergleiche die Hashes nach dem Download:

Verifizierung (Linux/Mac):

sha256sum model-*.safetensors

Verifizierung (Windows PowerShell):

Get-FileHash model-00001-of-00004.safetensors -Algorithm SHA256

🚀 Master vs. GGUF - Was brauche ich?

💻 Master in Python laden

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_path = "Beko2210/Bel-KI-v1-GGUF"  # oder lokaler Pfad

tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    torch_dtype=torch.float16,
    device_map="auto"
)

# Inference
inputs = tokenizer("Was ist die Hauptstadt von Bayern?", return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=100)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

---

📋 Übersicht

<table> <tr> <td width="50%">

🎯 Was ist Bel KI?

Bel KI v1 ist ein spezialisiertes deutschsprachiges Large Language Model, entwickelt für:

• ✅ Faktentreue — Präzise Antworten ohne Halluzinationen
• ✅ Transparenz — Ehrliche Eingeständnisse bei Wissensgrenzen
• ✅ Datenschutz — 100% lokale Ausführung möglich
• ✅ Effizienz — Optimiert für Consumer-Hardware

</td> <td width="50%">

🚀 Highlights

</td> </tr> </table>

---

🏗️ Architektur

Pipeline: Meta Llama 3.1 8B (4-bit) → Unsloth Fine-Tune (SFT) → GGUF Export (Q4_K_M / IQ2_M)

Modellspezifikationen

<details> <summary><b>📊 Detaillierte Architektur-Parameter</b></summary> </details>

---

📈 Training & Performance

Trainingskonfiguration

Training Metrics

Quantisierungsvergleich

---

📊 Training & Benchmarks

Training Metrics

🏆 Validation Scores (GermanQuAD)

Tested on the official validation split using src/evaluate.py.

---

💻 Verwendung

Schnellstart

<table> <tr> <td width="50%">

🖥️ LM Studio (Empfohlen)

# 1. Download der GGUF-Datei
Bel-KI-v1-Q4_K_M.gguf

# 2. In LM Studio importieren
# 3. System Prompt setzen (siehe unten)
# 4. Chat starten

</td> <td width="50%">

🦙 Ollama

# Modelfile erstellen
cat > Modelfile << 'EOF'
FROM ./Bel-KI-v1-Q4_K_M.gguf
SYSTEM "Du bist Bel KI, ein präziser deutscher Assistent."
PARAMETER temperature 0.7
PARAMETER top_p 0.9
EOF

# Modell erstellen & starten
ollama create bel-ki -f Modelfile
ollama run bel-ki

</td> </tr> </table>

Welches Format brauche ich?

System Prompt

Du bist Bel KI, eine präzise und ehrliche deutsche KI.

KERNPRINZIPIEN:
• Antworte sachlich, klar und faktenbasiert
• Spekuliere nicht — gib Unsicherheiten offen zu
• Priorisiere Genauigkeit über Eloquenz
• Nutze präzise Fachterminologie wo angemessen

ANTWORTFORMAT:
• Strukturiere komplexe Antworten logisch
• Verwende Aufzählungen für Übersichtlichkeit
• Belege Aussagen mit Kontext wenn verfügbar

Python Integration

from llama_cpp import Llama

# Modell laden
llm = Llama(
    model_path="./Bel-KI-v1-Q4_K_M.gguf",
    n_ctx=4096,           # Kontextfenster
    n_gpu_layers=-1,      # Alle Layer auf GPU
    verbose=False
)

# System Prompt
system = "Du bist Bel KI, ein präziser deutscher Assistent."

# Anfrage
response = llm.create_chat_completion(
    messages=[
        {"role": "system", "content": system},
        {"role": "user", "content": "Was ist die Hauptstadt von Bayern?"}
    ],
    temperature=0.7,
    max_tokens=512
)

print(response['choices'][0]['message']['content'])
# Output: München ist die Hauptstadt des Freistaats Bayern.

---

🎯 Anwendungsfälle

<table> <tr> <td width="33%" align="center">

✅ Geeignet für

• Deutsches Question Answering
• Faktenbasierte Recherche
• Wissensabfragen
• Textanalyse & -verständnis
• Datenschutzkritische Anwendungen
• Lokale/Offline Systeme
• Bildungsanwendungen

</td> <td width="33%" align="center">

⚠️ Eingeschränkt

• Kreatives Schreiben
• Langtexte (>2000 Wörter)
• Multilinguale Aufgaben
• Code-Generierung
• Mathematische Berechnungen

</td> <td width="33%" align="center">

❌ Nicht geeignet

• Rollenspiele
• Fiktive Erzählungen
• Spekulative Inhalte
• Nicht-deutsche Sprachen
• Safety-kritische Systeme

</td> </tr> </table>

---

📊 Beispiel-Outputs

<details> <summary><b>🔍 Faktenfrage</b></summary>

User: Wann wurde die Berliner Mauer gebaut?

Bel KI: Die Berliner Mauer wurde am 13. August 1961 errichtet. Sie trennte West-Berlin von Ost-Berlin und dem umgebenden Gebiet der DDR bis zu ihrem Fall am 9. November 1989.

</details> <details> <summary><b>🤔 Wissensgrenzen</b></summary>

User: Was passierte gestern in der Bundesliga?

Bel KI: Ich verfüge nicht über aktuelle Informationen zu gestrigen Ereignissen. Mein Wissensstand endet mit den Trainingsdaten. Für aktuelle Bundesliga-Ergebnisse empfehle ich offizielle Sportportale wie kicker.de oder die Bundesliga-Website.

</details> <details> <summary><b>📚 Komplexe Erklärung</b></summary>

User: Erkläre das deutsche Grundgesetz kurz.

Bel KI: Das Grundgesetz (GG) ist die Verfassung der Bundesrepublik Deutschland, in Kraft seit dem 23. Mai 1949.

Kernelemente:

• Artikel 1-19: Grundrechte (Menschenwürde, Freiheitsrechte, Gleichheit)
• Artikel 20: Staatsstrukturprinzipien (Demokratie, Rechtsstaat, Sozialstaat, Föderalismus)
• Artikel 79 Abs. 3: Ewigkeitsklausel — schützt Artikel 1 und 20 vor Änderungen

Das GG wurde bewusst als "Grundgesetz" statt "Verfassung" bezeichnet, da es ursprünglich als Provisorium bis zur deutschen Wiedervereinigung gedacht war.

</details>

---

⚠️ Limitationen & Hinweise

Limitationen

• Optimiert für Faktentreue, nicht Kreativität
• Performance bei nicht-deutschen Inputs reduziert
• Kein explizites Safety-Alignment über Dataset hinaus
• Wissensstand limitiert auf Trainingsdaten
• IQ2_M: Reduzierte Qualität durch aggressive Quantisierung

Verantwortungsvolle Nutzung

• Keine Verwendung für kritische Entscheidungen ohne Verifikation
• Ausgaben stets auf Faktentreue prüfen
• Nicht für automatisierte Systeme ohne menschliche Aufsicht

---

📜 Lizenz & Attribution

<table> <tr> <td width="50%">

Lizenz

Dieses Modell unterliegt der Llama 3.1 Community License.

Die Nutzung erfordert Einhaltung der Meta Llama 3.1 Lizenzbestimmungen.

Kommerzielle Nutzung: Erlaubt unter Lizenzbedingungen

</td> <td width="50%">

Danksagungen

• Meta AI — Llama 3.1 Basismodell
• deepset — GermanQuAD Dataset
• Unsloth — Effizientes Fine-Tuning Framework
• llama.cpp — GGUF Quantisierung

</td> </tr> </table>

---

👨‍💻 Entwickler

<div align="center">

Entwickelt von Belkis Aslani

📍 Freiberg am Neckar, Deutschland

---

"Democratizing high-quality German-language AI through local, transparent, and independent development."

---

</div>

---

<div align="center">

Bel KI v1 · Made in Germany 🇩🇪 · 2025

Souveräne KI für souveräne Nutzer

</div>