llm-course-hw1

Transformer для генерации русских анекдотов

Описание задачи

Эта модель обучена на большом наборе русских анекдотов. Архитектура модели основана на трансформере с конфигурацией mini и использует:

• Attention with Linear Biases (ALiBi) для позиционного кодирования.

Дополнительно была реализована модификация модели с использованиием:

• Multi-Headed Linear Attention (MHLA) для эффективного вычисления внимания,
• Rotary Positional Embedding (RoPE) для позиционного кодирования.

Модель предназначена для генерации коротких юмористических текстов в стиле анекдотов.

Репорт качества

• Метрики обучения:
  • Обучающий loss: 3.898
  • Валидационный loss: 3.989
• График обучения:
  
• Анализ:
  Модель демонстрирует стабильное снижение loss, однако примитивная архитектура модели не позволяет генерировать доконца осознанные фразы.

Примеры генерации

Промт: "Заходит в бар улитка"
Генерация: "Заходит в бар улитка и говорит: - Доктор. - Мужик."

Промт: "Штирлиц пришел домой"
Генерация: "Штирлиц пришел домой, что сегодня сченню. Штирлиц, неопрятный, и говорит: - Подайте...? "

This model has been pushed to the Hub using the PytorchModelHubMixin integration:

• Library: [More Information Needed]