Downloads · 30 days
4
14% of all-time downloads
qwen2.5-3b-supportops-lora
markankamaransheogarat/qwen2.5-3b-supportops-lora
qwen2.5-3b-supportops-lora is a text generation model from markankamaransheogarat. Use it when you need the model to write or continue text. It is set up for peft.
LoRA-адаптер для модели Qwen/Qwen2.5-3B-Instruct, дообученный на задаче классификации инцидентов техподдержки, генерации валидного JSON и формирования ответов клиентам по регламенту компании.
All-time downloads
29
Public
Repo size
—
Likes
0
Public
Repo makeup
Click a slice to open those files.
.md1.5 KB · 42%
At a glance
- Task
- Text Generation
- Library
- peft
- Access
- Public
- Created
- Sep 19, 2026
- Updated
- Sep 19, 2026
- SHA
- 48c42af7
Try a prompt
Base models
Model card
From the Hugging Face model README
SupportOps-Qwen2.5-3B-LoRA
LoRA-адаптер для модели Qwen/Qwen2.5-3B-Instruct, дообученный на задаче классификации инцидентов техподдержки, генерации валидного JSON и формирования ответов клиентам по регламенту компании.
Параметры и гиперпараметры
- Базовая модель: Qwen/Qwen2.5-3B-Instruct (3.09B параметров)
- Обучаемые параметры (LoRA): ~14.8M (0.48% от весов модели)
- Метод: QLoRA (4-bit NF4)
- Конфигурация LoRA: r=16, alpha=32, dropout=0.05, target_modules: all-linear
- Эпохи и шаги: 3 эпохи, 450 шагов (effective batch size = 8)
- Оптимизатор: paged_adamw_8bit, learning rate 2e-4, косинусный шедулер
Пайплайн данных
- Синтез 1 600 диалогов поддержки с помощью Distilabel.
- Дедупликация через MinHash LSH (
text-dedup, Jaccard threshold 0.85). - Разбиение: Train (1 200), Eval (200), Test (100).
Метрики
- Train Loss: 1.82 -> 0.41
- Validation Loss: 1.88 -> 0.49
- JSON Schema Accuracy: 68% (base) -> 98.5% (tuned)
- Classification F1-score: 0.74 -> 0.93
- Task
- Text Generation
- Library
- peft
- Created
- Sep 19, 2026
- Updated
- Sep 19, 2026