tamgapay-qwen2.5-1.5b-qlora

TamgaPay: QLoRA-адаптер поддержки

Учебный эксперимент, не готов к автоматической работе с клиентами. Вымышленная компания, только синтетические обращения без реальных клиентов.

Открыть сравнение всех ответов

108 train / 36 val / 36 test, авторская разметка ассистентом. Validation содержит те же сценарии, что train, с другими формулировками. Test не использовался в обучении. 4 эпохи, seed 42, RTX 4060 8 GB, 599 секунд, NF4 + bf16, LoRA r=16. Category macro-F1: 0.290 → 0.802; строгий JSON: 0% → 100%. Пропущены 9 из 17 обязательных эскалаций; есть галлюцинации тарифов и сроков. Независимая разметка и два API-судьи не выполнены. Полное ТЗ не закрыто. См. report.md, run.json и selection_state.json. Это адаптер, базовые веса скачиваются отдельно.

Запуск на NVIDIA GPU с поддержкой bf16

Python 3.11, Linux; pip install -r requirements.txt. Сохраните код ниже как demo.py. Полный системный промпт включает правила компании и инструкцию разметки. CPU/другая точность не воспроизводят опубликованную конфигурацию оценки.

import torch
from pathlib import Path
from huggingface_hub import snapshot_download
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
from peft import PeftModel

path = snapshot_download("aboyes/tamgapay-qwen2.5-1.5b-qlora")
base_id = "Qwen/Qwen2.5-1.5B-Instruct"
revision = "989aa7980e4cf806f80c7fef2b1adb7bc71aa306"
tokenizer = AutoTokenizer.from_pretrained(base_id, revision=revision)
base = AutoModelForCausalLM.from_pretrained(base_id, revision=revision,
    device_map="auto", quantization_config=BitsAndBytesConfig(load_in_4bit=True,
    bnb_4bit_quant_type="nf4", bnb_4bit_use_double_quant=True,
    bnb_4bit_compute_dtype=torch.bfloat16))
model = PeftModel.from_pretrained(base, path).eval()
messages = [{"role": "system", "content": Path(path, "system_prompt.txt").read_text(encoding="utf-8")},
            {"role": "user", "content": "Какой лимит перевода?"}]
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True,
    return_tensors="pt", return_dict=True).to(model.device)
with torch.inference_mode():
    output = model.generate(**inputs, do_sample=False, max_new_tokens=400)
print(tokenizer.decode(output[0, inputs.input_ids.shape[1]:], skip_special_tokens=True))

Базовая модель имеет собственную карточку и лицензию: https://huggingface.co/Qwen/Qwen2.5-1.5B-Instruct