llm-course-hw1

Language model trained on russian_jokes dataset as a homework for VK NLP Course. The primary language of the dataset (and the model) is Russian.

Architecture

The model is based on transformer architecture and is trained in an unsupervised manner on Next Token Prediction task. Model class is modular and supports:

• FFN blocks: SwiGLU;
• Attention operation: either Grouped-Querry Attention (GQA) OR Multi-Head Latent Attention (MLA);
• Positional Encoding: either RoPE OR ALiBi; MLA only supports RoPE.

Current version of the model weights in this repository use MLA+RoPE. The size of the model is "small".

Examples of outputs:

Заходит в бар бармен. Бармен ему:- У меня для вас две вещи: пластиковые, ножки и широкие.- Для одной очень серьезные проблемы...

Заходит в бар мужик, а там его бармен с фингалом. Мужик спрашивает:- Дамочка, а где это вы снимаете, чтобы выглядеть таким страшным мужиком?- А у вас случайное такое.

Британские ученые узнали, что патологоанатомы не в курсе, что они не знают.

Британские ученые угнали француза с братом Сидорова.

Британские ученые узнали, что в мире растет ровная тряпочка.

Британские ученые употребляют, чтобы выяснить, чем открывается рот.

Заходит в бар, а там - бар. Заказывает два бармена, бежит бармен. Дали бармену, наливает ему пачку презервативов. Бармен наливает ей голову, бармен говорит:- Слушай, сегодня у меня банан в унитаз не открыл.Бармен:- А какая у тебя странная прическа?

У России две проблемы: Windows и Windows.

Входит мужик в трамвайный магазин:- Дайте мне, пожалуйста, шубу!- А у вас букет есть?- Нет.- А что же у вас есть?- Есть!- А почему не пустите?- Не могу!- Пока есть!- Еще какой есть?

Поручик Ржевский на балу вбегает на улице и снимает свое лицо. Встает, заглядывает в ванную. Сзади подсматривает, а на ногах плавает. Тот: "Здравствуйте. Японец дальнобойщик".

Поручик Ржевский тормозит на кассе:- Мадам, я на вашем месте живу!- Таки-с - отвечает Ватсон. Я не могу - сначала я вас умоляю.

Поручик Ржевский упрямо говорит своей девушке:- Я хотела бы выучить ананасовый суп.- А что вы хотите, если бы у меня появился ребенок - вы бы еще не стал его держать.

Приходит мужик домой пьяный. Жена его спрашивает: - Ты что такой грустный? Мужик отвечает: - Да вот, жена пришла, села на диету, а у тебя впервые в следующий раз ты пришел. А ты что, не хочешь быть рядом?

Quality Report

Current model was trained with batch_size=64 for 10,000 steps (around 5 epoches). It achieved 2.444 validation loss on the last epoch. Considering the size of the training set, the overall quality of the model is relatively good. Below is the report of the model training.

The model may occasionally generate jokes/sentences that may be considered offensive. Author do not bear any responsibility for its outputs.

This model has been pushed to the Hub using the PytorchModelHubMixin integration: