Downloads · 30 days
0
llm-course-hw3-tinyllama-qlora
pbedrin/llm-course-hw3-tinyllama-qlora
llm-course-hw3-tinyllama-qlora is a machine learning model from pbedrin. Use it for the machine learning task on the model card, and read the license before you ship it in a product. It is set up for transformers.
Модель — дообученная TinyLlama/TinyLlama-1.1B-Chat-v1.0 на датасете cardiffnlp/tweeteval. Дообучаем модель с помощью PEFT определять тональность твитов. Модель адаптируется к специфичному стилю текстов твитов по датас…
Access
Public
Updated Apr 10, 2025
Repo size
202 MB
Likes
0
Public
Repo makeup
Click a slice to open those files.
.safetensors202 MB · 98%
At a glance
- Library
- transformers
- Access
- Public
- Created
- Apr 10, 2025
- Updated
- Apr 10, 2025
- SHA
- b4af93d1
Model card
From the Hugging Face model README
VK LLM Course. Задание #3. Дообучение QLoRA
Модель — дообученная TinyLlama/TinyLlama-1.1B-Chat-v1.0 на датасете cardiffnlp/tweet_eval. Дообучаем модель с помощью PEFT определять тональность твитов. Модель адаптируется к специфичному стилю текстов твитов по датасету.
Обоснование выбранных параметров
По документации BitsAndBytes / статье о QloRA:
- bnb_4bit_quant_type = "nf4"
- bnb_4bit_compute_dtype=torch.bfloat16
По статье о QloRA / документации PEFT LoRA применяем ко всем линейным слоям (target_modules="all-linear").
Остальные гиперпараметры LoraConfig так же согласно статье о QloRA, приложения A1 и B2. Learning rate 1e-5 выбран экспериментально после нескольких попыток обучения.
Дообучение производилось в Kaggle на GPU P100.
Метрики качества
До дообучения: Macro F1 = 0.17
После дообучения DoRA: Macro F1 = 0.53
- Library
- transformers
- Created
- Apr 10, 2025
- Updated
- Apr 10, 2025