Downloads · 30 days
117
2% of all-time downloads
donut_rus
Akajackson/donut_rus
donut_rus is a image-text-to-text model from Akajackson. Use it for the image-text-to-text task on the model card, and read the license before you ship it in a product. It is set up for transformers.
Модель Donut (end-to-end transformer) для распознавания текстов на русском языке. https://github.com/clovaai/donut
All-time downloads
7K
Public
Repo size
44.4 GB
Likes
14
Public
Repo makeup
Click a slice to open those files.
.bin717 MB · 99%
At a glance
- Task
- Image-Text-to-Text
- Library
- transformers
- Model type
- vision-encoder-decoder
- Access
- Public
- Created
- Apr 2, 2023
- Updated
- Apr 27, 2023
- SHA
- 18eaf717
Datasets
Model card
From the Hugging Face model README
Описание модели
Модель Donut (end-to-end transformer) для распознавания текстов на русском языке.
https://github.com/clovaai/donut
Для обучения сгенерирован датасет SynthDoG из 100тыс изображений, с текстами, взятыми из произведений русской литературы.
https://huggingface.co/datasets/Akajackson/donut_synthdog_rus
Модель обучена на ноутбуке от уважаемого NielsRogge с заменой оригинального токенайзера на DeepPavlov/xlm-roberta-large-en-ru на площадке Kaggle.
https://github.com/NielsRogge/Transformers-Tutorials/blob/master/Donut/CORD/Fine_tune_Donut_on_a_custom_dataset_(CORD)_with_PyTorch_Lightning.ipynb
Метрика на валидации Normed ED: 0.02239.
Возможности модели
Данная модель является базовой для следующих задач:
- распознавание различных типов документов;
- ответы на вопросы по документу;
- классификация документов.
Для решения Вашей задачи возможно использовать выше упомянутые ноутбуки.
Датасет необходимо разметить в формате, который указан в репозитории Donut.
- Task
- Image-Text-to-Text
- Library
- transformers
- Type
- vision-encoder-decoder
- Languages
- ru, en
- Created
- Apr 2, 2023
- Updated
- Apr 27, 2023