andriibul/mT5-ukr-news-yt-title-generator

Model Summary

The model was fine-tuned on the andriibul/ukr-news-yt-titles dataset to generate stylized titles in Ukrainian.

Training

Param	Value
batch size	8
warmup	0.01
lr	3e-4
epochs	4

Evaluation

Metric	Value
Rouge1	0.29
Rouge2	0.12
Rougel	0.24
Bertscore Precision	0.58
Bertscore Recall	0.59
Bertscore F1	0.58

Usage

from transformers import MT5ForConditionalGeneration, MT5Tokenizer
import torch

model_name = "andriibul/mT5-ukr-news-yt-title-generator"
tokenizer = MT5Tokenizer.from_pretrained(model_name)
model = MT5ForConditionalGeneration.from_pretrained(model_name)

def generate(text, device, **kwargs):
    inputs = tokenizer(text, return_tensors="pt").to(device)
    with torch.no_grad():
        hypotheses = model.generate(**inputs, **kwargs)
    return tokenizer.batch_decode(hypotheses, skip_special_tokens=True)

generate(
"""
Вночі дрони СБУ атакували військовий аеродром «Борісоглєбськ» у Воронезькій області РФ, де були склади з КАБами, стоянки літаків Су-34 й Су-35, а також місця зберігання авіаційного пального.
""",
    do_sample=True,
    top_p=0.7,
    num_return_sequences=5,
    repetition_penalty=2.0,
    num_beams=10,
    device='cpu'
)

#> ['🔥ВИБУХИ на аеродромі Борісоглєбськ у Воронежі',
#> '🔥ВИБУХИ на аеродромі Борісоглєбськ! Дрони СБУ атакували склади з КАБами',
#> '🔥ВИБУХИ на аеродромі Борісоглєбськ у РФ',
#> '🔥ВИБУХИ на аеродромі Борісоглєбськ у Росії',
#> '🔥ВИБУХИ на аеродромі Борісоглєбськ! Дрони СБУ атакували склади з ПАЛИВОМ']

Or as a pipeline:

from transformers import pipeline

summarizer = pipeline("summarization", model="andriibul/mT5-ukr-news-yt-title-generator")
summary = summarizer(
"""
Вночі дрони СБУ атакували військовий аеродром «Борісоглєбськ» у Воронезькій області РФ, де були склади з КАБами, стоянки літаків Су-34 й Су-35, а також місця зберігання авіаційного пального.
"""
, max_length=92
)
print(summary)