Downloads · 30 days
28
2% of all-time downloads
FRED-T5-large-instruct
d0rj/FRED-T5-large-instruct
FRED-T5-large-instruct is a text generation model from d0rj. Use it when you need the model to write or continue text. It is set up for transformers. The card lists the license as apache-2.0.
[](https://wandb.ai/d0rj/fred-t5-instruct)
All-time downloads
1.7K
Public
Parameters
769M
12.9 GB on disk
Likes
1
Public
Repo makeup
Click a slice to open those files.
.bin3.3 GB · 52%
At a glance
- Task
- Text Generation
- Library
- transformers
- License
- apache-2.0
- Model type
- t5
- Access
- Public
- Created
- Aug 28, 2023
- Updated
- Sep 4, 2023
- SHA
- fd14579f
Try a prompt
Base models
Model card
From the Hugging Face model README
FRED-T5-large-instruct
🚧 WIP, still training...
Модель ai-forever/FRED-T5-large, обучаемая на инструктивном датасете. Пока что инструкциям следует не очень.
Веса лежат вместе с состоянием оптимизатора, шедулера и Trainer'а. Можно почти спокойно "продолжать" обучение на своих данных.
Usage
Basic
from transformers import pipeline
pipe = pipeline('text2text-generation', model='d0rj/FRED-T5-large-instruct')
pipe('<SC6>Придумай сказку про красную лягушку<extra_id_0>')
Training
Пока что можно следить за обучением здесь на WandB.
Учится в fp32.
Data
Сконкатенировано из разных переведённых инструктивных датасетов.
Всего 1.1B токенов (1133146852) в обучающем сете, 7506075 примеров system_prompt-question-answer. По Chinchilla статье это ~ в 15 раз меньше, чем нужно (но Chinchilla про претрейн).
Resources
Учится в Kaggle на одной P100. Медленно, но верно (лосс падает, а большего мне и не надо).
- Task
- Text Generation
- Library
- transformers
- Type
- t5
- License
- apache-2.0
- Languages
- ru
- Created
- Aug 28, 2023
- Updated
- Sep 4, 2023