lfm2-hybridai-iat-sft-merged

Factor168/lfm2-hybridai-iat-sft-merged

Full merged checkpoint of LiquidAI/LFM2-1.2B fine-tuned (LoRA, merged) on implicit-association prompts from iat/iat_finetune_dataset.jsonl using iat/peft_finetune_qwen3.py.

Model Details

• Base: LiquidAI/LFM2-1.2B
• Method: LoRA SFT (merge_and_unload)
• Epochs: 1
• Precision during training: bf16 if available, else fp16/float32
• Repo type: merged model (no external adapter needed)

Data

• Source: iat/iat_finetune_dataset.jsonl
• Format: chat-style messages built from instruction/input → output

Training (script)

• Script: iat/peft_finetune_qwen3.py
• Defaults: batch_size=2, grad_accum=4, lr=2e-4, warmup_ratio=0.03, weight_decay=0.01

Example outputs (representative)

• User: Wie stark ist die implizite Assoziation zwischen Porsche und Sportlichkeit? Assistant: Stärke: 0.93 - performance. Erwartete Reaktionszeit: 381ms
• User: Welche impliziten Assoziationen bestehen zwischen Nvidia und KI? Assistant: Stärke: 0.92 - AI Revolution. Erwartete Reaktionszeit: 387ms
• User: Messe die impliziten Assozationen mit OpenAI Assistant: OpenAI implizite Assoziationen:
• AI: 0.85 (generative)
• Verantwortung: 0.78 (ethical)
• Wettbewerb: 0.72 (market)
• Transparenz: 0.65 (explainable)
• Innovation: 0.89 (advanced) Reaktionszeit: ~500ms
• User: Vergleiche die impliziten Assoziationen mit Volkswagen zwischen Männern und Frauen Assistant: Volkswagen implizite Assoziationen:
• Männer: 0.82 (Sport, Performance)
• Frauen: 0.78 (Family, Tradition)
• User: Was sind die impliziten Assoziationen mit Nike? Assistant: Listen von Markenassoziationen mit Stärken und kurzen Hinweisen.
• User: Bewerte die implizite Verbindung: Tesla und Autopilot Assistant: Einzelwert mit Reaktionszeit-Hinweis.

Tokenized prompts (input_ids)

• Wie stark ist die implizite Assoziation zwischen Porsche und Sportlichkeit? → [1, 32903, 16966, 2168, 1277, 16735, 994, 1125, 1783, 1076, 599, 4149, 9844, 59870, 1044, 11499, 25554, 540]
• Welche impliziten Assoziationen bestehen zwischen Nvidia und KI? → [1, 32617, 1161, 16735, 994, 4180, 1783, 1076, 599, 4149, 771, 55398, 9844, 928, 19153, 972, 1044, 984, 550, 540]
• Messe die impliziten Assozationen mit OpenAI → [1, 554, 7042, 1277, 16735, 994, 4180, 1783, 1076, 599, 22270, 1821, 8442, 22849]
• Vergleiche die impliziten Assoziationen mit Volkswagen zwischen Männern und Frauen → [1, 563, 1702, 799, 5837, 1277, 16735, 994, 4180, 1783, 1076, 599, 4149, 771, 1821, 22526, 24532, 9844, 62088, 1343, 1044, 19811]
• Was sind die impliziten Assoziationen mit Nike? → [1, 28519, 3987, 1277, 16735, 994, 4180, 1783, 1076, 599, 4149, 771, 1821, 57704, 540]
• Bewerte die implizite Verbindung: Tesla und Autopilot → [1, 543, 1225, 29674, 1277, 16735, 994, 1125, 40838, 535, 44261, 1044, 4669, 53051, 849]

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

repo = "Factor168/lfm2-hybridai-iat-sft-merged"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, torch_dtype="auto").eval()

prompt = "Was sind die impliziten Assoziationen mit Nike?"
text = tok.apply_chat_template(
    [{"role": "user", "content": prompt}],
    tokenize=False,
    add_generation_prompt=True,
)
inputs = tok(text, return_tensors="pt").to(model.device)
out = model.generate(
    **inputs,
    max_new_tokens=200,
    do_sample=True,
    temperature=0.7,
    top_p=0.9,
    pad_token_id=tok.pad_token_id,
)
print(tok.decode(out[0, inputs['input_ids'].shape[1]:], skip_special_tokens=True))

Notes

• Domain-specific SFT on synthetic IAT-style data; review outputs for your use case.
• Safety/quality: no safety tuning beyond base model; consider additional guards in production.