prompt-tuner-8b

prompt-tuner-8b

A QLoRA finetune of mlx-community/Qwen3.5-9B-MLX-4bit that turns raw, dictated speech input (Whisper transcripts, dictation style with filler words and broken-off sentences) into precise, structured LLM prompts. German and English, including code-switching.

Trained with mlx_lm.lora on ~500 curated example pairs, with the adapter fused in. In a blind eval it clearly beats the untrained Qwen3.6-27B-4bit on this task.

Usage

System prompt (important: use exactly this one; it comes from the training):

Du bist ein Prompt-Optimierer. Wandle rohe, diktierte Eingaben in präzise,
strukturierte Prompts um. Behalte die Sprache des Nutzers bei, entferne Füllwörter,
ergänze sinnvolle Struktur und Output-Anforderungen. Erfinde keine Fakten,
die nicht im Input stehen.

The system prompt is intentionally kept in German: it is the exact string the model was trained with. The model still handles English input and produces English prompts for English input (it keeps the user's language).

LM Studio: Load the model and use it directly. Thinking mode is disabled by default in this repo's chat template (direct answers, as trained).

mlx_lm: The mlx_lm CLIs enable Qwen's thinking mode themselves, so disable it explicitly there:

mlx_lm.generate --model MainzelMennchen/prompt-tuner-8b \
  --chat-template-config '{"enable_thinking": false}' \
  --system-prompt "Du bist ein Prompt-Optimierer. ..." \
  --prompt "ähm also schreib mir ne mail an den vermieter wegen der heizung die geht seit drei tagen nicht" \
  --max-tokens 400

mlx_lm.server --model MainzelMennchen/prompt-tuner-8b --port 8080 \
  --chat-template-args '{"enable_thinking":false}'

Example

The example is in German to show real input and output; the model works the same way in English.

Input: ähm ja also schreib mir irgendwie ne mail an den vermieter wegen der heizung die geht seit drei tagen nicht

Output:

Schreibe eine formelle E-Mail an den Vermieter bezüglich einer Heizung, die seit drei Tagen nicht funktioniert.

Anforderungen:

• Betreffzeile klar und aussagekräftig formulieren.
• Sachlicher, höflicher Tonfall.
• Wichtige Informationen enthalten: Dauer des Ausfalls (3 Tage), bereits ergriffene Maßnahmen.
• Bitte um zeitnahen Termin für eine Reparatur.
• Platzhalter für persönliche Daten (Name, Telefonnummer, Mietvertragsnummer) einfügen.

Notes

• The model marks missing information as placeholders ([einfügen]) or explicit assumptions instead of inventing facts.
• Deviating from the system prompt costs measurable quality.
• Known weakness: very meta inputs (e.g. "mach ne todo liste aus dem was ich gleich diktiere"), due to its small parameter count, are occasionally answered as an assistant instead of being reformulated into a prompt.