llm-course-hw1

Генерация русских анекдотов: модель на базе архитектуры трансформера

Были обучены Byte-level BPE токенизатор и небольшая LM (в трёх вариантов конфига - nano, mini и small.

Датасет для обучения

Модель обучена на наборе русскоязычных анекдотов с HuggingFace Hub.

Реализованные механизмы внимания

В рамках задания были реализованы три различных механизма внимания:

1. ALiBi (Attention with Linear Biases)

Базовый механизм внимания, где позиционная информация добавляется через линейные смещения к матрице внимания. Это позволяет модели лучше обрабатывать последовательности различной длины.

2. RoPE (Rotary Position Embedding)

Механизм, который внедряет информацию о позиции через вращения в комплексном пространстве. Ключевые преимущества:

• Лучше сохраняет относительные позиции токенов
• Обеспечивает хорошую экстраполяцию на последовательности длиннее тренировочных
• Более эффективен для задач, требующих понимания структуры текста

3. Multi-Head Latent Attention (MHLA)

Альтернативный механизм внимания, использующий латентное пространство для более эффективного вычисления. Ключевые особенности:

• Снижает вычислительную сложность с O(n²) до O(n)
• Использует обучаемые латентные векторы как "посредники" в механизме внимания
• Сохраняет способность моделировать глобальные зависимости при более низких вычислительных затратах

Результаты работы

1. Nano

Графики обучения:

Пример работы: "Заходит в бар и говорит мужчинул, к куда, начинает, на дете. Мальчик в домой:- Что же вчера у него сегодня зайтиведела!"

2. Mini

Графики обучения:

Пример работы: "Заходит в бар в садик, второй купил к ней папой и говорит:- Ну что это, что сейчас вчера за ней не занимаются?" "- Возьми, я не понял, что в детстве не догадался!- Напибо. Я, я не скажу, что ли, что ты скажешь?"

3. Small

Графики обучения:

Примеры работы:

1. "Заходит в бар и говорит мужчинул, к куда, начинает, на дете. Мальчик в домой:- Что же вчера у него сегодня зайтиведела!"
2. "Заходит в бар. Она идут к нему подходит в магазин. Один говорит: — Папа! Вовочка, сынок, ты меня сделал? — Спасибо, я в квартире договорим."

Мнение о результатах

1. Small обучается дольше всех - 70 минут на эпозу, nano и mini примерно по 10 минут.
2. За 1 эпоху модели не учатся генерировать что-то сильно осмысленное, но читать результаты генерации становится смешнее, чем анекдоты! А у анекдотов всё же смысл как раз в итоговом смехе, так что можно считать что с ТЗ модели справляются успешно! :)
3. Преимущество модели small над остальными заключается в большей успешности генерации осмысленных слов, хоть и плохо связанных друг с другом. Но, естественно, обратной стороной медали является долгое время работы...
4. Модели с RoPE и MHLA я успел реализовать, но не успел попробовать :(