Downloads · 30 days
8
15% of all-time downloads
rsyrlybay/qwen2.5-3b-sxodim-almaty
qwen2.5-3b-sxodim-almaty is a question answering model from rsyrlybay. Use it when the input is a question plus a passage. The card lists the license as apache-2.0.
--- license: apache-2.0 language: - ru basemodel: Qwen/Qwen2.5-3B tags: - almaty - events - qlora - orpo - fine-tuned - text-generation - assistant pipelinetag: text-generation ---
Downloads · 30 days
8
15% of all-time downloads
All-time downloads
54
Public
Parameters
3.1B
6.2 GB on disk
Likes
0
Public
Click a slice to open those files.
.safetensors6.2 GB · 100%
From the Hugging Face model README
license: apache-2.0
language:
Модель fine-tuned на данных о мероприятиях Алматы (sxodim.com) с использованием QLoRA + ORPO.
from transformers import AutoModelForCausalLM, AutoTokenizer
model =
AutoModelForCausalLM.from_pretrained("rsyrlybay/qwen2.5-3b-shodim-almaty")
tokenizer = AutoTokenizer.from_pretrained("rsyrlybay/qwen2.5-3b-shodim-almaty")
messages = [
{"role": "system", "content": "Ты — дружелюбный помощник по мероприятиям в
Алматы."},
{"role": "user", "content": "Куда сходить на выходных в Алматы?"}
]
text = tokenizer.apply_chat_template(messages, tokenize=False,
add_generation_prompt=True)
inputs = tokenizer([text], return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=300)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
Детали обучения
┌──────────────┬─────────────────────┐
│ Параметр │ Значение │
├──────────────┼─────────────────────┤
│ Base model │ Qwen2.5-3B │
├──────────────┼─────────────────────┤
│ Method │ QLoRA + ORPO │
├──────────────┼─────────────────────┤
│ LoRA r │ 32 │
├──────────────┼─────────────────────┤
│ LoRA alpha │ 64 │
├──────────────┼─────────────────────┤
│ SFT Dataset │ 1443 Q&A пар │
├──────────────┼─────────────────────┤
│ ORPO Dataset │ ~500 preference пар │
├──────────────┼─────────────────────┤
│ Epochs │ 3 │
└──────────────┴─────────────────────┘
Источник данных
Данные собраны с https://sxodim.com — 104 мероприятия в Алматы:
- Концерты и стендапы
- Спектакли и мюзиклы
- Выставки и фестивали
- Детские мероприятия
Примеры вопросов
- Какие концерты будут в эти выходные?
- Где можно посмотреть стендап в Алматы?
- Посоветуй куда сходить с детьми
- Сколько стоят билеты на мюзикл?
- Что интересного в Punch Stand Up Club?
Особенности
- Дружелюбный стиль — отвечает как друг, а не как робот
- Актуальная информация — адреса, цены, даты мероприятий
- ORPO обучение — предпочитает живые ответы формальным