Downloads · 30 days
10
23% of all-time downloads
llm-course-hw1
bdvs/llm-course-hw1
llm-course-hw1 is a text generation model from bdvs. Use it when you need the model to write or continue text.
Данная модель представляет собой трансформерную архитектуру, оптимизированную для работы с короткими текстами. Она использует: - ALiBi для позиционного кодирования - GQA для эффективного механизма внимания - SwiGLU в…
All-time downloads
43
Public
Parameters
6.2M
26.5 MB on disk
Likes
0
Public
Repo makeup
Click a slice to open those files.
.safetensors24.9 MB · 100%
At a glance
- Task
- Text Generation
- Access
- Public
- Created
- Mar 10, 2025
- Updated
- Mar 15, 2025
- SHA
- 6a08323b
Datasets
Model card
From the Hugging Face model README
[Легковесный трансформер для генерации текста с ALiBi, GQA и SwiGLU.]
📖 Описание
Данная модель представляет собой трансформерную архитектуру, оптимизированную для работы с короткими текстами. Она использует:
- ALiBi для позиционного кодирования
- GQA для эффективного механизма внимания
- SwiGLU в Feed-Forward блоке для лучшей обработки информации
Модель обучена на [IgorVolochay/russian_jokes] и предназначена для генерации осмысленного текста в пределах контекста ≤250 токенов.
This model has been pushed to the Hub using the PytorchModelHubMixin integration:
- Library: [More Information Needed]
- Docs: [More Information Needed]
- Task
- Text Generation
- Languages
- ru, en
- Created
- Mar 10, 2025
- Updated
- Mar 15, 2025