boldt-1b-it-preview-gguf

boldt-1b-it-preview-gguf

GGUF-Quantisierung (Q4_K_M) von Boldt/Boldt-1B-IT-Preview für llama.cpp / LLamaSharp.

Erstellt für VoxJuris — eine Windows-Diktier-App für deutsche Rechtssprache — als lokale (Offline-)Option für die Korrektur-/Rewrite-Stufe.

⚠️ Bekannte Einschränkung

Dieses 1B-Parameter-Vorschaumodell ist für strukturierte In-Context-Korrektur (Diktat in umgebenden Kontext einfügen, nur Rechtschreibung/Grammatik korrigieren, Inhalt exakt erhalten) nicht durchgehend zuverlässig. In Tests traten auf:

• Inhaltliche Abweichungen bei Zahlen/Daten (z. B. wurde ein Datum im Text verändert)
• Wiederholungsschleifen (degenerierte Ausgabe bei längeren Eingaben)
• Verbatim-Echo des Diktats inkl. umgebendem Kontext bei kurzen/kontextlosen Eingaben

Empfehlung: für produktive Nutzung ein größeres Online-Modell (z. B. über eine OpenAI-kompatible API) verwenden. Dieses GGUF eignet sich für Offline-Tests, Experimente und als Fallback, nicht für unbeaufsichtigten produktiven Einsatz bei rechtlich relevanten Inhalten (Fristen, Beträge, Aktenzeichen sollten immer geprüft werden).

Dateien

Konvertierung

llama.cpp convert_hf_to_gguf.py (safetensors → F16-GGUF) → llama-quantize (F16 → Q4_K_M). Standard-Pipeline, kein verlustbehafteter Zwischenschritt außer der Quantisierung selbst.

Verwendung mit llama.cpp / LLamaSharp

llama-cli -m boldt-1b-it-preview-Q4_K_M.gguf -p "<|system|>\n...<|endoftext|><|user|>\n...<|endoftext|><|assistant|>\n" -st --temp 0

Chat-Format: <|system|>\n{system}<|endoftext|><|user|>\n{user}<|endoftext|><|assistant|>\n

Lizenz

Apache-2.0, wie das Basismodell Boldt/Boldt-1B-IT-Preview.