Downloads · 30 days
16
26% of all-time downloads
llm-course-hw3-lora
pbedrin/llm-course-hw3-lora
llm-course-hw3-lora is a text generation model from pbedrin. Use it when you need the model to write or continue text. It is set up for transformers.
Модель — дообученная OuteAI/Lite-Oute-1-300M-Instruct на датасете cardiffnlp/tweeteval. Дообучаем модель с помощью PEFT определять тональность твитов. Модель адаптируется к специфичному стилю текстов твитов по датасету.
All-time downloads
61
Public
Parameters
300M
2.4 GB on disk
Likes
0
Public
Repo makeup
Click a slice to open those files.
.safetensors1.2 GB · 100%
At a glance
- Task
- Text Generation
- Library
- transformers
- Model type
- mistral
- Access
- Public
- Created
- Apr 8, 2025
- Updated
- Apr 10, 2025
- SHA
- 59ebcc2a
Try a prompt
Model card
From the Hugging Face model README
VK LLM Course. Задание #3. Дообучение LoRA
Модель — дообученная OuteAI/Lite-Oute-1-300M-Instruct на датасете cardiffnlp/tweet_eval. Дообучаем модель с помощью PEFT определять тональность твитов. Модель адаптируется к специфичному стилю текстов твитов по датасету.
Параметры:
- BATCH_SIZE = 128
- LEARNING_RATE = 1e-4
- NUM_EPOCHS = 1
- rank = 8, alpha = 16, target_submodules = ["k_proj", "v_proj"]
Дообучение проводилось на NVIDIA A100.
Метрики качества
До дообучения: Macro F1 = 0.17
После дообучения LoRA: Macro F1 = 0.52
Пример генерации после LoRA
"QT @user In the original draft of the 7th book, Remus Lupin survived the Battle of Hogwarts. #HappyBirthdayRemusLupin"
positive
assistant
positive
assistant
positive
==========
"Ben Smith / Smith (concussion) remains out of the lineup Thursday, Curtis #NHL #SJ"
neutral
assistant
neutral
assistant
neutral
==========
- Task
- Text Generation
- Library
- transformers
- Type
- mistral
- Created
- Apr 8, 2025
- Updated
- Apr 10, 2025