Amistral-3101-a

Amistral-3101-a

Amistral-3101-a — это версия Mistral-7B-Instruct-v0.3, дообученная на русском языке с помощью LoRA (PEFT) для логических задач и точных ответов, без потери базового качества модели.

---

🧠 Назначение

• Решение русских логических и фактчекинг задач.
• Сохраняет базовую логику Mistral-7B, при этом адаптирована к специфике русского языка.
• В будущем планируется human-like адаптация через online training для естественных и живых диалогов.

---

⚙️ Особенности

• Датасет был отфильтрован с упором на задачу.
• LoRA дообучение (~88k примеров, 2 эпохи) не разрушает базовые знания.
• Контекст до 8192 токенов.
• Возможность дальнейшей стилизации ответов без оверфита.

---

📦 Параметры модели

• Параметры: 7 261 655 040
• PEFT / LoRA: r=32, alpha=64, dropout=0.1, target_modules=["q_proj","v_proj"]
• Датасет: GrandMaster-PRO-MAX

---

⚡ Использование

from transformers import pipeline, AutoModelForCausalLM, AutoTokenizer
import torch

model_path = "betmyex/Amistral-3101-a"

tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype=torch.bfloat16, device_map="auto")
model.eval()

chat = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
    device_map="auto",
    torch_dtype=torch.bfloat16
)

messages = [{"role": "user", "content": "Каких легенд русского репа ты знаешь?"}]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)

res = chat(prompt, max_new_tokens=1000, do_sample=True, temperature=0.1, top_p=0.9)
print(res[0]["generated_text"])

---