README.md

---
license: apache-2.0
base_model: google-t5/t5-small
tags:
- generated_from_trainer
- summarization
- text2text
metrics:
- rouge
model-index:
- name: flan-t5-small-summarization
  results: []
inference:
  parameters:
    max_new_tokens: 128
pipeline_tag: summarization
datasets:
- recogna-nlp/recognasumm
language:
- pt
library_name: transformers
widget:
- text: "sumarize: Na segunda disputa estadual para escolher o candidato do partido republicano para as eleições de novembro nos Estados Unidos, o ex-presidente Donald Trump teve mais uma vitória. Ele venceu as primárias em New Hampshire, que ocorreram na terça-feira (23/01). Antes disso, o favoritismo de Trump, apontado por diversas pesquisas, foi visto em sua vitória na primeira prévia do calendário eleitoral americano, em Iowa. Naquele Estado, Trump registrou 51% dos votos e vantagem de 30 pontos sobre o segundo colocado, o governador da Flórida, Ron DeSantis. No domingo (21/1), DeSantis anunciou sua desistência da corrida presidencial de 2024 e manifestou apoio a Trump. O movimento deixou Nikki Haley, ex-embaixadora dos Estados Unidos nas Nações Unidas, como a única rival significativa de Trump no partido."
  example_title: "Resumo 1"
- text: "sumarize: No que consiste o transtorno dismórfico corporal? São pessoas que se acham feias e querem mudar sua aparência de forma obsessiva, mesmo que não tenham nenhum problema. Num dos estudos que fiz, detectamos que de 50% a 54% dos pacientes que procuram cirurgia de face, nariz ou abdômen apresentam essa condição. A cirurgia pode beneficiar aqueles com um quadro leve ou intermediário do transtorno. No entanto, os que apresentam um transtorno mais grave não devem ser operados, e sim encaminhados para tratamento psicológico. A maior dificuldade é que aceitem ajuda. Muitos preferem buscar um médico que dê sinal verde para a intervenção."
  example_title: "Resumo 2"
---

<!-- This model card has been generated automatically according to the information the Trainer had access to. You
should probably proofread and complete it, then remove this comment. -->

# t5-portuguese-small-summarization

## Model description

This model aims to help supply the needs of models in the Portuguese language for certain tasks. The model presents a good performance for summary tasks. 
Some errors due to word accentuation may occasionally occur due to the small version of the model.

model_max_length = 512

Card example 1 with t5-portuguese-small-summarization

```
Trump vence as primárias em New Hampshire, que ocorreram na terça-feira (23/01).
Antes disso, o favoritismo de Trump, apontado por diversas pesquisas, foi visto ao segundo colocado, governador da Flórida, Ron DeSantis.
```

Card example 1 with orginal t5-small
```
O movimento deixou Nikki Haley, ex-embaixadora dos Estados Unidos, como a nica rival significativa de Trump no partido.
```


This model is a fine-tuned version of [google-t5/t5-small](https://huggingface.co/google-t5/t5-small) 
- Loss: 1.8997
- Rouge1: 15.0817
- Rouge2: 5.3292
- Rougel: 12.958
- Rougelsum: 13.8768
- Gen Len: 18.968

GPU: RTX 3060, 12GB, =~3500 cuda cores

# HOW TO USE 

```python
!pip install transformers
from transformers import pipeline
summarization = pipeline("summarization", model="rhaymison/t5-portuguese-small-summarization", tokenizer="rhaymison/t5-portuguese-small-summarization")

prompt =f"""
sumarize: Na segunda disputa estadual para escolher o candidato do partido republicano para as eleições de novembro nos Estados Unidos, o ex-presidente Donald Trump teve mais uma vitória. Ele venceu as primárias em New Hampshire, que ocorreram na terça-feira (23/01). Antes disso, o favoritismo de Trump, apontado por diversas pesquisas, foi visto em sua vitória na primeira prévia do calendário eleitoral americano, em Iowa. Naquele Estado, Trump registrou 51% dos votos e vantagem de 30 pontos sobre o segundo colocado, o governador da Flórida, Ron DeSantis. No domingo (21/1), DeSantis anunciou sua desistência da corrida presidencial de 2024 e manifestou apoio a Trump. O movimento deixou Nikki Haley, ex-embaixadora dos Estados Unidos nas Nações Unidas, como a única rival significativa de Trump no partido.
"""
output =  summarization(prompt)

#Trump vence as primárias em New Hampshire, que ocorreram na terça-feira (23/01).
#Antes disso, o favoritismo de Trump, apontado por diversas pesquisas, foi visto ao segundo colocado, governador da Flórida, Ron DeSantis.
```


### Training hyperparameters

The following hyperparameters were used during training:
- learning_rate: 2e-05
- train_batch_size: 6
- eval_batch_size: 6
- seed: 42
- gradient_accumulation_steps: 4
- total_train_batch_size: 24
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- num_epochs: 25
- mixed_precision_training: Native AMP

### Training results

| Training Loss | Epoch | Step | Validation Loss | Rouge1  | Rouge2 | Rougel  | Rougelsum | Gen Len |
|:-------------:|:-----:|:----:|:---------------:|:-------:|:------:|:-------:|:---------:|:-------:|
| 2.092         | 0.6   | 500  | 1.9551          | 14.6613 | 5.2159 | 12.5685 | 13.4544   | 18.968  |
| 2.092         | 0.72  | 600  | 1.9508          | 14.6862 | 5.2585 | 12.6345 | 13.5299   | 18.968  |
| 2.092         | 0.84  | 700  | 1.9473          | 14.7323 | 5.1636 | 12.6962 | 13.5118   | 18.968  |
| 2.092         | 0.96  | 800  | 1.9488          | 14.7104 | 5.1587 | 12.7019 | 13.5439   | 18.968  |
| 2.092         | 1.08  | 900  | 1.9397          | 14.8448 | 5.2826 | 12.7924 | 13.6464   | 18.968  |
| 2.077         | 1.2   | 1000 | 1.9373          | 14.9495 | 5.3975 | 12.8935 | 13.7491   | 18.968  |
| 2.077         | 1.32  | 1100 | 1.9372          | 14.93   | 5.4048 | 12.8809 | 13.7012   | 18.968  |
| 2.077         | 1.44  | 1200 | 1.9311          | 14.8196 | 5.2564 | 12.8279 | 13.6688   | 18.968  |
| 2.077         | 1.56  | 1300 | 1.9311          | 14.8757 | 5.2282 | 12.8286 | 13.7152   | 18.968  |
| 2.077         | 1.68  | 1400 | 1.9287          | 14.9308 | 5.3154 | 12.8522 | 13.7326   | 18.968  |
| 2.06          | 1.8   | 1500 | 1.9268          | 14.8923 | 5.2594 | 12.8387 | 13.6839   | 18.968  |
| 2.06          | 1.92  | 1600 | 1.9256          | 15.085  | 5.2911 | 12.9424 | 13.8375   | 18.968  |
| 2.06          | 2.04  | 1700 | 1.9245          | 14.9127 | 5.3024 | 12.8339 | 13.6987   | 18.968  |
| 2.06          | 2.16  | 1800 | 1.9197          | 15.0974 | 5.2812 | 12.9218 | 13.8758   | 18.968  |
| 2.06          | 2.28  | 1900 | 1.9172          | 15.0564 | 5.2437 | 12.8736 | 13.8318   | 18.968  |
| 2.0474        | 2.4   | 2000 | 1.9149          | 14.9414 | 5.1408 | 12.8381 | 13.7028   | 18.968  |
| 2.0474        | 2.52  | 2100 | 1.9149          | 15.0211 | 5.2195 | 12.954  | 13.809    | 18.968  |
| 2.0474        | 2.64  | 2200 | 1.9113          | 15.0689 | 5.2702 | 12.9338 | 13.8276   | 18.968  |
| 2.0474        | 2.76  | 2300 | 1.9129          | 15.134  | 5.2675 | 13.0113 | 13.9106   | 18.968  |
| 2.0474        | 2.88  | 2400 | 1.9103          | 15.1097 | 5.276  | 12.9856 | 13.8559   | 18.968  |
| 2.04          | 3.0   | 2500 | 1.9062          | 15.1413 | 5.2281 | 12.9537 | 13.8494   | 18.968  |
| 2.04          | 3.12  | 2600 | 1.9070          | 14.9792 | 5.2091 | 12.8586 | 13.695    | 18.968  |
| 2.04          | 3.24  | 2700 | 1.9066          | 14.9506 | 5.2238 | 12.8265 | 13.6925   | 18.968  |
| 2.04          | 3.36  | 2800 | 1.9063          | 15.053  | 5.2235 | 12.8833 | 13.7711   | 18.968  |
| 2.04          | 3.48  | 2900 | 1.9064          | 14.9386 | 5.1363 | 12.7915 | 13.688    | 18.968  |
| 2.0273        | 3.6   | 3000 | 1.9053          | 15.0901 | 5.2518 | 12.9063 | 13.8338   | 18.968  |
| 2.0273        | 3.72  | 3100 | 1.9059          | 15.0692 | 5.2665 | 12.932  | 13.8394   | 18.968  |
| 2.0273        | 3.84  | 3200 | 1.9021          | 15.0768 | 5.3179 | 12.9916 | 13.8653   | 18.968  |
| 2.0273        | 3.96  | 3300 | 1.9024          | 15.1808 | 5.3312 | 13.0143 | 13.9269   | 18.968  |
| 2.0273        | 4.08  | 3400 | 1.8981          | 15.0905 | 5.2769 | 12.9551 | 13.8666   | 18.968  |
| 2.0291        | 4.2   | 3500 | 1.9007          | 15.0453 | 5.3159 | 12.9429 | 13.824    | 18.968  |
| 2.0291        | 4.32  | 3600 | 1.9017          | 15.0403 | 5.3474 | 12.9625 | 13.8437   | 18.968  |
| 2.0291        | 4.44  | 3700 | 1.9005          | 15.0456 | 5.3468 | 12.9521 | 13.8413   | 18.968  |
| 2.0291        | 4.56  | 3800 | 1.8991          | 15.0501 | 5.3539 | 12.9597 | 13.8408   | 18.968  |
| 2.0291        | 4.68  | 3900 | 1.8998          | 15.1219 | 5.3599 | 12.9936 | 13.9013   | 18.968  |
| 2.0193        | 4.8   | 4000 | 1.9004          | 15.0831 | 5.329  | 12.9697 | 13.8762   | 18.968  |
| 2.0193        | 4.92  | 4100 | 1.8997          | 15.0817 | 5.3292 | 12.958  | 13.8768   | 18.968  |


### Framework versions

- Transformers 4.38.2
- Pytorch 2.2.1+cu121
- Datasets 2.18.0
- Tokenizers 0.15.2

### Comments

Any idea, help or report will always be welcome.

email: rhaymisoncristian@gmail.com

 <div style="display:flex; flex-direction:row; justify-content:left">
    <a href="https://www.linkedin.com/in/heleno-betini-2b3016175/" target="_blank">
    <img src="https://img.shields.io/badge/LinkedIn-0077B5?style=for-the-badge&logo=linkedin&logoColor=white">
  </a>
  <a href="https://github.com/rhaymisonbetini" target="_blank">
    <img src="https://img.shields.io/badge/GitHub-100000?style=for-the-badge&logo=github&logoColor=white">
  </a>
 </div>