Downloads · 30 days
7
9% of all-time downloads
andriibul/mT5-ukr-news-yt-title-generator
mT5-ukr-news-yt-title-generator is a summarization model from andriibul. Use it when you need a shorter version of a longer text. The card lists the license as mit.
The model was fine-tuned on the andriibul/ukr-news-yt-titles dataset to generate stylized titles in Ukrainian.
Downloads · 30 days
7
9% of all-time downloads
All-time downloads
80
Public
Parameters
582M
2.3 GB on disk
Likes
0
Public
Click a slice to open those files.
.safetensors2.3 GB · 100%
From the Hugging Face model README
The model was fine-tuned on the andriibul/ukr-news-yt-titles dataset to generate stylized titles in Ukrainian.
| Param | Value |
|---|---|
| batch size | 8 |
| warmup | 0.01 |
| lr | 3e-4 |
| epochs | 4 |
| Metric | Value |
|---|---|
| Rouge1 | 0.29 |
| Rouge2 | 0.12 |
| Rougel | 0.24 |
| Bertscore Precision | 0.58 |
| Bertscore Recall | 0.59 |
| Bertscore F1 | 0.58 |
from transformers import MT5ForConditionalGeneration, MT5Tokenizer
import torch
model_name = "andriibul/mT5-ukr-news-yt-title-generator"
tokenizer = MT5Tokenizer.from_pretrained(model_name)
model = MT5ForConditionalGeneration.from_pretrained(model_name)
def generate(text, device, **kwargs):
inputs = tokenizer(text, return_tensors="pt").to(device)
with torch.no_grad():
hypotheses = model.generate(**inputs, **kwargs)
return tokenizer.batch_decode(hypotheses, skip_special_tokens=True)
generate(
"""
Вночі дрони СБУ атакували військовий аеродром «Борісоглєбськ» у Воронезькій області РФ, де були склади з КАБами, стоянки літаків Су-34 й Су-35, а також місця зберігання авіаційного пального.
""",
do_sample=True,
top_p=0.7,
num_return_sequences=5,
repetition_penalty=2.0,
num_beams=10,
device='cpu'
)
#> ['🔥ВИБУХИ на аеродромі Борісоглєбськ у Воронежі',
#> '🔥ВИБУХИ на аеродромі Борісоглєбськ! Дрони СБУ атакували склади з КАБами',
#> '🔥ВИБУХИ на аеродромі Борісоглєбськ у РФ',
#> '🔥ВИБУХИ на аеродромі Борісоглєбськ у Росії',
#> '🔥ВИБУХИ на аеродромі Борісоглєбськ! Дрони СБУ атакували склади з ПАЛИВОМ']
Or as a pipeline:
from transformers import pipeline
summarizer = pipeline("summarization", model="andriibul/mT5-ukr-news-yt-title-generator")
summary = summarizer(
"""
Вночі дрони СБУ атакували військовий аеродром «Борісоглєбськ» у Воронезькій області РФ, де були склади з КАБами, стоянки літаків Су-34 й Су-35, а також місця зберігання авіаційного пального.
"""
, max_length=92
)
print(summary)