pinktilde30b_64k

TildeOpen-30B · PINKpro (DE, 64k)

LoRA-SFT (bf16, keine Quantisierung) auf Basis von TildeAI/TildeOpen-30b-64k — ein deutschsprachiger, RAG-orientierter Lernassistent (Fuehrung / Vertrieb / Paedagogik) mit Kontextfenster bis 64k.

Training (zweiphasig)

• Phase A (kurz/mittel, 8k): Nemotron-Instruction-Following-Chat (reasoning_off) + deutsche Wikipedia-Zusammenfassungen (Wirtschaft/Psychologie/Paedagogik) + Firmen-Single-Turn.
• Phase B (Long-Context, bis 64k): Firmen-Multiturn + RAG-Dokumente, mit Distraktoren aufgefuellt.
• Nur Anoynme Daten ohne Personen-/Firmenbezug.

Chat-Format

Rollen-Marker <|system|> / <|user|> / <|assistant|>; Assistant-Turns enden mit dem nativen <|endoftext|> (= EOS/Stop). Das Template ist im Tokenizer hinterlegt:

from transformers import AutoModelForCausalLM, AutoTokenizer
tok = AutoTokenizer.from_pretrained(REPO)
model = AutoModelForCausalLM.from_pretrained(REPO, dtype="bfloat16", device_map="auto")
msgs = [{"role":"system","content":"... ## Kontextdokumente ... [DOK 1] ..."},
        {"role":"user","content":"Deine Frage"}]
ids = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors="pt").to(model.device)
print(tok.decode(model.generate(ids, max_new_tokens=600)[0][ids.shape[1]:], skip_special_tokens=True))

Attribution / Lizenz

• Basismodell: TildeAI/TildeOpen-30b-64k.
• Trainingsdaten enthalten NVIDIA Nemotron (Lizenz ODC-By) → Attribution erforderlich.

Limitierungen

• Ausgaben koennen fehlerhaft sein; nicht fuer Rechts-/Finanz-/Medizin-Entscheidungen ungeprueft nutzen.