Downloads · 30 days
3
12% of all-time downloads
llm-course-hw1
rcnegby/llm-course-hw1
llm-course-hw1 is a machine learning model from rcnegby. Use it for the machine learning task on the model card, and read the license before you ship it in a product.
- были обучены Byte-level BPE токенизатор и небольшая LM, у которой: 1. В качестве позиционных эмбеддингов используется ALiBi 2. Механизм внимания использует GQA 3. В Feed-Forward блоке SwiGLU - в качестве датасета ис…
All-time downloads
26
Public
Parameters
44.3M
177 MB on disk
Likes
0
Public
Repo makeup
Click a slice to open those files.
.safetensors177 MB · 100%
Parameter types
How the weights are stored.
F3244.1M · 100%
Model card
From the Hugging Face model README
Описание задания
- были обучены Byte-level BPE токенизатор и небольшая LM, у которой:
- В качестве позиционных эмбеддингов используется ALiBi
- Механизм внимания использует GQA
- В Feed-Forward блоке SwiGLU
- в качестве датасета использовался датасет с русскими анекдотами 🤗 IgorVolochay/russian_jokes
Примеры генерации
text = "Заходит в бар"
generated: "Заходит в бар. Бармен ему: — Стой! Бармен, вы что, не даете? — Да. Спрашивает бармен:- Нет, я не боюсь."
text = "Штирлиц пришел домой"
generated: "Штирлиц пришел домой, а потом побежал в публичный дом."
Метрики
- модель обучалась 20000 шагов с конфигурацией
"small": TransformerConfig(n_layer=12, n_head=12, n_kv_head=6, hidden_dim=768, intermediate_dim=2048)
| Loss | min | max |
|---|---|---|
| train | 2.356 | 7.069 |
| validation | 2.595 | 4.138 |
- Created
- Mar 12, 2025
- Updated
- Mar 13, 2025