Downloads · 30 days
8
6% of all-time downloads
rsyrlybay/qwen2.5-3b-history-kazakhstan
qwen2.5-3b-history-kazakhstan is a question answering model from rsyrlybay. Use it when the input is a question plus a passage. The card lists the license as mit.
--- license: apache-2.0 language: - ru - kk basemodel: Qwen/Qwen2.5-3B tags: - history - kazakhstan - qlora - fine-tuned - text-generation pipelinetag: text-generation ---
Downloads · 30 days
8
6% of all-time downloads
All-time downloads
127
Public
Parameters
3.1B
6.2 GB on disk
Likes
0
Public
Click a slice to open those files.
.safetensors6.2 GB · 100%
From the Hugging Face model README
license: apache-2.0
language:
Модель fine-tuned на учебнике истории Казахстана (11 класс) с использованием QLoRA.
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("rsyrlybay/qwen2.5-3b-history-kazakhstan")
tokenizer = AutoTokenizer.from_pretrained("rsyrlybay/qwen2.5-3b-history-kazakhstan")
messages = [
{"role": "system", "content": "Ты — эксперт по истории Казахстана."},
{"role": "user", "content": "Кто основал Казахское ханство?"}
]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer([text], return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=200)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
Детали обучения
┌────────────┬─────────────┐
│ Параметр │ Значение │
├────────────┼─────────────┤
│ Base model │ Qwen2.5-3B │
├────────────┼─────────────┤
│ Method │ QLoRA │
├────────────┼─────────────┤
│ LoRA r │ 32 │
├────────────┼─────────────┤
│ LoRA alpha │ 64 │
├────────────┼─────────────┤
│ Dataset │ 660 Q&A пар │
├────────────┼─────────────┤
│ Epochs │ 3 │
└────────────┴─────────────┘
Примеры вопросов
- Когда и где был найден Золотой человек?
- Кто такой аль-Фараби?
- Что такое Жеты Жаргы?
- Какие последствия имел голод 1930-х годов?