MiniCPM5-1B-T-Wix-ru

MiniCPM5-1B-T-Wix-ru

⚠️ Экспериментальная версия. Учебный/исследовательский прогон без формальной оценки качества — метрики на бенчмарках не снимались (доступен только eval loss в tensorboard-логах обучения). Не предназначена для продакшена.

Русифицированная версия openbmb/MiniCPM5-1B: LoRA SFT на русскоязычном датасете t-tech/T-Wix (~461 тыс. диалогов, сабсеты general + reasoning + long_context; english_corpus исключён). Базовая модель официально поддерживает только английский и китайский — этот тюнинг адаптирует её к русскому языку.

Структура репозитория

Запуск

transformers

from transformers import AutoModelForCausalLM, AutoTokenizer

repo = "kaufkino/MiniCPM5-1B-T-Wix-ru"
model = AutoModelForCausalLM.from_pretrained(repo, torch_dtype="bfloat16", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(repo)

messages = [{"role": "user", "content": "Расскажи о Санкт-Петербурге"}]
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
out = model.generate(inputs, max_new_tokens=512, temperature=0.7, top_p=0.95, do_sample=True)
print(tokenizer.decode(out[0][inputs.shape[1]:], skip_special_tokens=True))

У базовой модели есть гибридный thinking-режим (<think>…</think>), переключается параметром enable_thinking в apply_chat_template. Рекомендации базовой карточки: think — temperature 0.9 / top_p 0.95, no-think — temperature 0.7 / top_p 0.95.

llama.cpp

llama-cli -m minicpm5-1b-t-wix-ru-q8_0.gguf -cnv -p "Ты полезный ассистент."

Детали обучения

Инфраструктура

Обучение проводилось на облачном GPU-сервере Selectel (реферальная ссылка) — 1× NVIDIA RTX 4090 24 ГБ, ~24 часа на 2 эпохи.

---

EN: Experimental Russian-language adaptation of MiniCPM5-1B via LoRA SFT (r=32, 2 epochs, 8192 ctx, packing) on the T-Wix dataset (~461k Russian dialogues). Repo contains merged bf16 safetensors (root), the LoRA adapter (/lora), and GGUF F16/BF16/Q8_0 (/gguf). No benchmark evaluation was performed — research artifact, not for production use.