hime-qwen2.5-32b-lora

Hime — Qwen2.5-32B LoRA Adapter (Stage 1 Anchor)

Model Summary

Hime ist ein LoRA-Finetuning von Qwen2.5-32B-Instruct, trainiert als Stage-1-Anchor-Modell der Hime Light Novel Translation Suite (v2.0.0) — einer lokalen Desktopanwendung für die Übersetzung japanischer Light Novels ins Englische mit Fokus auf Yuri-Genre. Das Modell läuft vollständig offline auf einer einzelnen GPU.

Als Anchor-Modell hat Qwen2.5-32B die stärkste japanische Sprachkompetenz unter den Stage-1-Draftern und dient als Referenz beim anschließenden Konsens-Merge.

Model Details

LoRA Configuration

Training Details

Usage

With Unsloth (recommended)

from unsloth import FastLanguageModel

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="Ninym06/hime-qwen2.5-32b-lora",
    max_seq_length=2048,
    load_in_4bit=True,
)
FastLanguageModel.for_inference(model)

messages = [
    {"role": "user", "content": "Translate the following Japanese text to English:\n\n「おはよう、ヒメ。今日もよろしくね」"}
]
inputs = tokenizer.apply_chat_template(messages, return_tensors="pt").to("cuda")
outputs = model.generate(input_ids=inputs, max_new_tokens=512)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

With PEFT + Transformers

from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer

base = "unsloth/Qwen2.5-32B-Instruct-bnb-4bit"
tokenizer = AutoTokenizer.from_pretrained(base)
model = AutoModelForCausalLM.from_pretrained(base, device_map="auto")
model = PeftModel.from_pretrained(model, "Ninym06/hime-qwen2.5-32b-lora")

Pipeline Context

Dieses Modell ist der Anchor-Drafter in Stage 1 der Hime v2.0.0-Pipeline:

Pre-processing
  ├── EPUB extraction
  ├── MeCab segmentation
  └── RAG context query (sqlite-vec + bge-m3)

Stage 1 — Parallel Drafts (4 models + 1 anchor)
  ├── Qwen2.5-32B             (LoRA — dieses Modell, stärkste JP-Kompetenz)
  ├── TranslateGemma-12B      (LoRA, MT-spezialisiert)
  ├── Qwen3.5-9B              (LoRA, schneller moderner Qwen)
  ├── llm-jp-3-7.2b-instruct3 (JP-first Diversity-Draft, kein Training)
  └── JMdict / MeCab          (algorithmischer Wörterbuch-Anchor)

Stage 2 — Consensus Merger
  └── TranslateGemma-27B      (merged alle 5 Inputs, vetoed Halluzinationen via JMdict)

Stage 3 — Polish
  └── Qwen3-30B-A3B MoE       (leichtes Editing, Style-Glättung — zero-shot)

Stage 4 — Reader Panel + Aggregator
  ├── 15× Qwen3.5-2B          (persona-basierte Leser via System Prompts)
  └── LFM2-24B-A2B            (Aggregator: okay / fix_pass / full_retry)

Post-processing
  └── EPUB export via ebooklib

Limitations

• Checkpoint bei Step 12 400 von 17 709 — Training nicht abgeschlossen.
• Leichte Überanpassungstendenzen auf dem Eval-Set; Curriculum Learning ist implementiert, benötigt ggf. Dataset-spezifisches Tuning.
• Als Stage-1-Drafter für Yuri Light Novels optimiert — möglicherweise weniger geeignet für andere Genres oder Textsorten.
• Ergebnisse sind als Erstentwurf konzipiert und werden durch die nachgelagerten Stages weiter verfeinert.