MicroLlama

<p align="center"> <img src="banner.jpg" alt="MicroLlama Banner" width="100%"> </p>

🦙 MicroLlama

Эксперементальная микро-модель

Подробнее:

⚙️ Детали модели

• Архитектура: LLAMA
• Параметры: 3M
• Язык: Русский
• Лицения: MIT

🏋️ Детали Тренировки

• Датасет: ``
• Железо: ОДНА NVIDIA GEFORCE RTX 5060 TI (16GB VRAM)
• Эпохи: - 18
• СРЕДНИЙ LOSS: 0.4349
• Оптимизатор: 5e-4
• Контекст: 32 токена

🏋️ Использование

from transformers import AutoModelForCausalLM, PreTrainedTokenizerFast

model_name = "ViorikaAI-org/MicroLlama"
tokenizer = PreTrainedTokenizerFast.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

model.eval()

prompt = "<s> Привет, как дела? =>"
inputs = tokenizer(prompt, return_tensors="pt")

outputs = model.generate(
    **inputs,
    max_new_tokens=32,
    temperature=0.7,
    top_k=50,
    top_p=0.9,
    do_sample=True,
    no_repeat_ngram_size=2,
    pad_token_id=tokenizer.pad_token_id,
    eos_token_id=tokenizer.eos_token_id
)

full_text = tokenizer.decode(outputs[0], skip_special_tokens=False)
answer = full_text.split("=>")[-1].replace("</s>", "").strip()

print(f"Ответ модели: {answer}")

🛜 Наши Соц. Сети

• Discord: https://discord.gg/8JwTv8zj8d , https://discord.gg/7JE7maH6cf
• Telegram: https://t.me/viorika_official