llm-course-hw1

The task was to train a LLM to make up funny jokes.

During the task Byte-Level BPE tokenizer and GPT like model were trained.

Vocabulary of BPE tokenizer consists of 1024 tokens.

This model has been pushed to the Hub using the [PytorchModelHubMixin] with trained BPE tokenizer.

LLM consists of next blocks and parts:

• SWiGLU as mlp;
• Grouped Query Attention as mhsa with ALiBi as relative positional encoding;
• RMSNorm as normalization layer.
• 29.37M parameters

During the training:

• train loss:
  • max: 7.055
  • min: 2.676
  • last: 2.685
• validation loss:
  • max: 3.717
  • min: 2.769
  • last: 2.769

<img src="loss.png" alt="" width="700" height="150">

Also warm up with following lambda lr scheduler were used during the training of LLM.

<img src="lr.png" alt="" width="700" height="150">

Here are below some examples of generated russian jokes, to be honest, there are pretty strange :)

• Заходит в бар, а там сидит медный, а тащит в кровати. Мужик говорит:- Девочка, что это за супруга?- А что у тебя на балу вокруг? (Заходит в бар)
• Штирлиц пришел домой из школы, внесла пальцы. Тот говорит: — Два дня, дайте мне вечером. (Штирлиц пришел домой)
• Однажды дома пришли к матери, а в носиковской кастрюлями и радостными днями - это когда сборная России. (Однажды дома)
• Сегодня я иду в постели, а она - не очень. (Сегодня я иду)
• Опять двойка - это когда у вас есть два папы. (Опять двойка)