vk-nlp-course-hometask-3-lora

Описание

Данная модель была создана в рамках курса по NLP от VK.

Задание заключалось в том, чтобы сделать fine-tune базовой модели на задачу классификации тональности твитов с помощью LoRA (модель бралась instruct, то есть уже после SFT).

Fine-tune в формате текстовой генерации (text-to-text), без изменения архитектуры (доп. голов).

LoRA реализовывалась с нуля.

Базовая модель: OuteAI/Lite-Oute-1-300M-Instruct, набор данных: cardiffnlp/tweet_eval.

Обучение

• LoRA
  • r=8
  • alpha=16
  • модули: "k_proj", "v_proj"
• BATCH_SIZE = 16
• LEARNING_RATE = 5e-4
• NUM_EPOCHS = 1
• Обучаемых параметров: 430080/300031872 (0.14%)

Обучалось в Kaggle на GPU P100 примерно час.

Качество

F1 Macro: 0.52

Качество модели не очень, однако fine-tune очень сильно изменил картину (качество базовой модели - 0.07). Все ответы модели удалось распознать и определить к одному из трех классов.

Пример генерации

Сначала идет твит, следуюая строка - правильная метка, далее - ответ модели. Модель сильно циклится.

"QT @user In the original draft of the 7th book, Remus Lupin survived the Battle of Hogwarts. #HappyBirthdayRemusLupin"
positive
positive
positive
positive
pos

"Ben Smith / Smith (concussion) remains out of the lineup Thursday, Curtis #NHL #SJ"
neutral
neutral
neutral
neutral
neut

Sorry bout the stream last night I crashed out but will be on tonight for sure. Then back to Minecraft in pc tomorrow night.
neutral
negative
negative
negative
negative

Chase Headley's RBI double in the 8th inning off David Price snapped a Yankees streak of 33 consecutive scoreless innings against Blue Jays
neutral
neutral
neutral
neutral
neut

@user Alciato: Bee will invest 150 million in January, another 200 in the Summer and plans to bring Messi by 2017"
positive
neutral
neutral
neutral
neut