marina-kolyas-lora

Marina — LoRA адаптер для MN-12B-Runeweaver-RP-RU

Этот LoRA-адаптер дообучает базовую русскоязычную модель MN-12B-Runeweaver-RP-RU манере общения, стилю и лексике, характерным для чата велосипедистов-фиксеров.

🎯 Что делает эта модель

• Использует вело-сленг: «фикс», «локринг», «ХВЗ», «цунами», «тарантас».
• Отвечает коротко, дерзко, с юмором.
• Держит характер «цундэрэ».

🔗 Связанные проекты

• waifubot — Telegram-бот, который использует эту модель

💬 Пример работы

Вот как Марина общается в реальном Telegram-чате:

⚠️ Ограничения

• Может зацикливаться на некоторых фразах.
• Иногда выдумывает факты о собеседнике.
• Не рекомендуется для официального общения.

🛠️ Как обучалось

• База: MN-12B-Runeweaver-RP-RU (Mistral Nemo 12B).
• Метод: LoRA (rank 8, 8 layers).
• Датасет: ~742 пары «реплика → ответ» из Telegram-чата.
• Обучение: MLX LoRA на MacBook Air M1.
• Конвертация: llama.cpp (GGUF).

🛠️ Как использовать

from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer

base = "limloop/MN-12B-Runeweaver-RP-RU"
adapter = "Nikolay1/marina-kolyas-lora"

tokenizer = AutoTokenizer.from_pretrained(base)
model = AutoModelForCausalLM.from_pretrained(base, torch_dtype="auto")
model = PeftModel.from_pretrained(model, adapter)