llama-3.2-finetuned-buryat

Model Card for buryat_llama_lora_fp16

This model is a fine-tuned version of unsloth/Llama-3.2-1B. It has been trained using TRL.

---

language:

• ru
• bua
• bxr license: llama3.2 base_model: unsloth/Llama-3.2-1B tags:
• lora
• peft
• translation
• text-generation pipeline_tag: text-generation

---

Llama-3.2-1B Ru-Bua Translator (LoRA)

Данная модель представляет собой легковесный LoRA-адаптер для базовой модели Llama-3.2-1B, дообученный для перевода текстов с русского языка на бурятский, а также для ведения диалога на бурятском языке.

Модель использует официальный шаблон разметки диалогов Llama 3 Chat Template.

📌 Описание проекта и датасета

Модель была обучена в один этап (SFT) методом QLoRA (FP16/Float32) без расширения оригинального словаря. Для обучения использовался объединенный параллельный русско-бурятский корпус общей сложностью более 42 000 чистых пар.

Состав тренировочного корпуса:

1. Официально-деловой блок: Постановления Правительства РБ и официальная документация (около 1 300 параллельных строк) — обеспечивает строгое знание современной грамматики, официальных наименований и падежных стыковок.
2. Художественно-литературный блок: Переводы текстов Священного Писания (Библия), сказки, рассказы и пьесы для детей (более 40 900 строк) — обогащает словарный запас модели живой, вежливой разговорной речью и редкими лексемами.

🛠 Параметры обучения (Hyperparameters)

Обучение проводилось на GPU Nvidia T4 (Google Colab) со следующими ключевыми конфигурациями:

• Архитектура: LoRA (PEFT)
• Rank (r): 64
• Lora Alpha: 128
• Target Modules: q_proj, v_proj, k_proj, o_proj
• Learning Rate: 2e-4 (с затуханием по косинусу)
• Epochs: 3
• Max Sequence Length: 512 токенов с применением стратегии packing=True
• Оптимизатор: paged_adamw_32bit

🚀 Как использовать модель (Quick Start)

Вы можете запустить модель и проверить перевод прямо в Python с помощью следующего кода:

!pip install --upgrade peft torchao

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

# Названия репозиториев
base_model_id = "unsloth/Llama-3.2-1B"
lora_model_id = "poco28/llama-3.2-finetuned-buryat" 


tokenizer = AutoTokenizer.from_pretrained(lora_model_id)
base_model = AutoModelForCausalLM.from_pretrained(
    base_model_id, 
    torch_dtype=torch.float16, 
    device_map="auto"
)


model = PeftModel.from_pretrained(base_model, lora_model_id)
model.eval()


ru_prompt = "Переведи на бурятский язык фразу: Добрый день, как вас зовут?"
prompt = (
    f"<|begin_of_text|><|start_header_id|>user<|end_header_id|>\n\n"
    f"{ru_prompt}<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n"
)

inputs = tokenizer(prompt, return_tensors="pt").to("cuda")


with torch.no_grad():
    outputs = model.generate(
        input_ids=inputs["input_ids"],
        attention_mask=inputs.get("attention_mask", None),
        max_new_tokens=50,
        do_sample=True,
        temperature=0.3,
        top_p=0.9,
        repetition_penalty=1.3,
        eos_token_id=tokenizer.eos_token_id,
        pad_token_id=tokenizer.eos_token_id
    )


generated_text = tokenizer.decode(outputs[0], skip_special_tokens=False)
print(generated_text)

👥 Авторы и Благодарности

Разработано в рамках проекта по сохранению и цифровизации низкоресурсных языков России (Бурятский язык). Спасибо сообществам Hugging Face и Unsloth за предоставленные вычислительные инструменты.

GITHUB

GITHUB:https://github.com/companys1234/NLP-projects/tree/main/buryat

Quick start

from transformers import pipeline

question = "If you had a time machine, but could only go to the past or the future once and never return, which would you choose and why?"
generator = pipeline("text-generation", model="None", device="cuda")
output = generator([{"role": "user", "content": question}], max_new_tokens=128, return_full_text=False)[0]
print(output["generated_text"])

Training procedure

This model was trained with SFT.

Framework versions

• PEFT 0.19.1
• TRL: 1.7.1
• Transformers: 5.12.1
• Pytorch: 2.11.0+cu128
• Datasets: 5.0.0
• Tokenizers: 0.22.2

Citations

Cite TRL as:

@software{vonwerra2020trl,
  title   = {{TRL: Transformers Reinforcement Learning}},
  author  = {von Werra, Leandro and Belkada, Younes and Tunstall, Lewis and Beeching, Edward and Thrush, Tristan and Lambert, Nathan and Huang, Shengyi and Rasul, Kashif and Gallouédec, Quentin},
  license = {Apache-2.0},
  url     = {https://github.com/huggingface/trl},
  year    = {2020}
}