--- license: apache-2.0 base_model: google-t5/t5-small tags: - generated_from_trainer - summarization - text2text metrics: - rouge model-index: - name: flan-t5-small-summarization results: [] inference: parameters: max_new_tokens: 128 pipeline_tag: summarization datasets: - recogna-nlp/recognasumm language: - pt library_name: transformers widget: - text: "sumarize: Na segunda disputa estadual para escolher o candidato do partido republicano para as eleições de novembro nos Estados Unidos, o ex-presidente Donald Trump teve mais uma vitória. Ele venceu as primárias em New Hampshire, que ocorreram na terça-feira (23/01). Antes disso, o favoritismo de Trump, apontado por diversas pesquisas, foi visto em sua vitória na primeira prévia do calendário eleitoral americano, em Iowa. Naquele Estado, Trump registrou 51% dos votos e vantagem de 30 pontos sobre o segundo colocado, o governador da Flórida, Ron DeSantis. No domingo (21/1), DeSantis anunciou sua desistência da corrida presidencial de 2024 e manifestou apoio a Trump. O movimento deixou Nikki Haley, ex-embaixadora dos Estados Unidos nas Nações Unidas, como a única rival significativa de Trump no partido." example_title: "Resumo 1" - text: "sumarize: No que consiste o transtorno dismórfico corporal? São pessoas que se acham feias e querem mudar sua aparência de forma obsessiva, mesmo que não tenham nenhum problema. Num dos estudos que fiz, detectamos que de 50% a 54% dos pacientes que procuram cirurgia de face, nariz ou abdômen apresentam essa condição. A cirurgia pode beneficiar aqueles com um quadro leve ou intermediário do transtorno. No entanto, os que apresentam um transtorno mais grave não devem ser operados, e sim encaminhados para tratamento psicológico. A maior dificuldade é que aceitem ajuda. Muitos preferem buscar um médico que dê sinal verde para a intervenção." example_title: "Resumo 2" --- # t5-portuguese-small-summarization ## Model description This model aims to help supply the needs of models in the Portuguese language for certain tasks. The model presents a good performance for summary tasks. Some errors due to word accentuation may occasionally occur due to the small version of the model. model_max_length = 512 Card example 1 with t5-portuguese-small-summarization ``` Trump vence as primárias em New Hampshire, que ocorreram na terça-feira (23/01). Antes disso, o favoritismo de Trump, apontado por diversas pesquisas, foi visto ao segundo colocado, governador da Flórida, Ron DeSantis. ``` Card example 1 with orginal t5-small ``` O movimento deixou Nikki Haley, ex-embaixadora dos Estados Unidos, como a nica rival significativa de Trump no partido. ``` This model is a fine-tuned version of [google-t5/t5-small](https://huggingface.co/google-t5/t5-small) - Loss: 1.8997 - Rouge1: 15.0817 - Rouge2: 5.3292 - Rougel: 12.958 - Rougelsum: 13.8768 - Gen Len: 18.968 GPU: RTX 3060, 12GB, =~3500 cuda cores # HOW TO USE ```python !pip install transformers from transformers import pipeline summarization = pipeline("summarization", model="rhaymison/t5-portuguese-small-summarization", tokenizer="rhaymison/t5-portuguese-small-summarization") prompt =f""" sumarize: Na segunda disputa estadual para escolher o candidato do partido republicano para as eleições de novembro nos Estados Unidos, o ex-presidente Donald Trump teve mais uma vitória. Ele venceu as primárias em New Hampshire, que ocorreram na terça-feira (23/01). Antes disso, o favoritismo de Trump, apontado por diversas pesquisas, foi visto em sua vitória na primeira prévia do calendário eleitoral americano, em Iowa. Naquele Estado, Trump registrou 51% dos votos e vantagem de 30 pontos sobre o segundo colocado, o governador da Flórida, Ron DeSantis. No domingo (21/1), DeSantis anunciou sua desistência da corrida presidencial de 2024 e manifestou apoio a Trump. O movimento deixou Nikki Haley, ex-embaixadora dos Estados Unidos nas Nações Unidas, como a única rival significativa de Trump no partido. """ output = summarization(prompt) #Trump vence as primárias em New Hampshire, que ocorreram na terça-feira (23/01). #Antes disso, o favoritismo de Trump, apontado por diversas pesquisas, foi visto ao segundo colocado, governador da Flórida, Ron DeSantis. ``` ### Training hyperparameters The following hyperparameters were used during training: - learning_rate: 2e-05 - train_batch_size: 6 - eval_batch_size: 6 - seed: 42 - gradient_accumulation_steps: 4 - total_train_batch_size: 24 - optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08 - lr_scheduler_type: linear - num_epochs: 25 - mixed_precision_training: Native AMP ### Training results | Training Loss | Epoch | Step | Validation Loss | Rouge1 | Rouge2 | Rougel | Rougelsum | Gen Len | |:-------------:|:-----:|:----:|:---------------:|:-------:|:------:|:-------:|:---------:|:-------:| | 2.092 | 0.6 | 500 | 1.9551 | 14.6613 | 5.2159 | 12.5685 | 13.4544 | 18.968 | | 2.092 | 0.72 | 600 | 1.9508 | 14.6862 | 5.2585 | 12.6345 | 13.5299 | 18.968 | | 2.092 | 0.84 | 700 | 1.9473 | 14.7323 | 5.1636 | 12.6962 | 13.5118 | 18.968 | | 2.092 | 0.96 | 800 | 1.9488 | 14.7104 | 5.1587 | 12.7019 | 13.5439 | 18.968 | | 2.092 | 1.08 | 900 | 1.9397 | 14.8448 | 5.2826 | 12.7924 | 13.6464 | 18.968 | | 2.077 | 1.2 | 1000 | 1.9373 | 14.9495 | 5.3975 | 12.8935 | 13.7491 | 18.968 | | 2.077 | 1.32 | 1100 | 1.9372 | 14.93 | 5.4048 | 12.8809 | 13.7012 | 18.968 | | 2.077 | 1.44 | 1200 | 1.9311 | 14.8196 | 5.2564 | 12.8279 | 13.6688 | 18.968 | | 2.077 | 1.56 | 1300 | 1.9311 | 14.8757 | 5.2282 | 12.8286 | 13.7152 | 18.968 | | 2.077 | 1.68 | 1400 | 1.9287 | 14.9308 | 5.3154 | 12.8522 | 13.7326 | 18.968 | | 2.06 | 1.8 | 1500 | 1.9268 | 14.8923 | 5.2594 | 12.8387 | 13.6839 | 18.968 | | 2.06 | 1.92 | 1600 | 1.9256 | 15.085 | 5.2911 | 12.9424 | 13.8375 | 18.968 | | 2.06 | 2.04 | 1700 | 1.9245 | 14.9127 | 5.3024 | 12.8339 | 13.6987 | 18.968 | | 2.06 | 2.16 | 1800 | 1.9197 | 15.0974 | 5.2812 | 12.9218 | 13.8758 | 18.968 | | 2.06 | 2.28 | 1900 | 1.9172 | 15.0564 | 5.2437 | 12.8736 | 13.8318 | 18.968 | | 2.0474 | 2.4 | 2000 | 1.9149 | 14.9414 | 5.1408 | 12.8381 | 13.7028 | 18.968 | | 2.0474 | 2.52 | 2100 | 1.9149 | 15.0211 | 5.2195 | 12.954 | 13.809 | 18.968 | | 2.0474 | 2.64 | 2200 | 1.9113 | 15.0689 | 5.2702 | 12.9338 | 13.8276 | 18.968 | | 2.0474 | 2.76 | 2300 | 1.9129 | 15.134 | 5.2675 | 13.0113 | 13.9106 | 18.968 | | 2.0474 | 2.88 | 2400 | 1.9103 | 15.1097 | 5.276 | 12.9856 | 13.8559 | 18.968 | | 2.04 | 3.0 | 2500 | 1.9062 | 15.1413 | 5.2281 | 12.9537 | 13.8494 | 18.968 | | 2.04 | 3.12 | 2600 | 1.9070 | 14.9792 | 5.2091 | 12.8586 | 13.695 | 18.968 | | 2.04 | 3.24 | 2700 | 1.9066 | 14.9506 | 5.2238 | 12.8265 | 13.6925 | 18.968 | | 2.04 | 3.36 | 2800 | 1.9063 | 15.053 | 5.2235 | 12.8833 | 13.7711 | 18.968 | | 2.04 | 3.48 | 2900 | 1.9064 | 14.9386 | 5.1363 | 12.7915 | 13.688 | 18.968 | | 2.0273 | 3.6 | 3000 | 1.9053 | 15.0901 | 5.2518 | 12.9063 | 13.8338 | 18.968 | | 2.0273 | 3.72 | 3100 | 1.9059 | 15.0692 | 5.2665 | 12.932 | 13.8394 | 18.968 | | 2.0273 | 3.84 | 3200 | 1.9021 | 15.0768 | 5.3179 | 12.9916 | 13.8653 | 18.968 | | 2.0273 | 3.96 | 3300 | 1.9024 | 15.1808 | 5.3312 | 13.0143 | 13.9269 | 18.968 | | 2.0273 | 4.08 | 3400 | 1.8981 | 15.0905 | 5.2769 | 12.9551 | 13.8666 | 18.968 | | 2.0291 | 4.2 | 3500 | 1.9007 | 15.0453 | 5.3159 | 12.9429 | 13.824 | 18.968 | | 2.0291 | 4.32 | 3600 | 1.9017 | 15.0403 | 5.3474 | 12.9625 | 13.8437 | 18.968 | | 2.0291 | 4.44 | 3700 | 1.9005 | 15.0456 | 5.3468 | 12.9521 | 13.8413 | 18.968 | | 2.0291 | 4.56 | 3800 | 1.8991 | 15.0501 | 5.3539 | 12.9597 | 13.8408 | 18.968 | | 2.0291 | 4.68 | 3900 | 1.8998 | 15.1219 | 5.3599 | 12.9936 | 13.9013 | 18.968 | | 2.0193 | 4.8 | 4000 | 1.9004 | 15.0831 | 5.329 | 12.9697 | 13.8762 | 18.968 | | 2.0193 | 4.92 | 4100 | 1.8997 | 15.0817 | 5.3292 | 12.958 | 13.8768 | 18.968 | ### Framework versions - Transformers 4.38.2 - Pytorch 2.2.1+cu121 - Datasets 2.18.0 - Tokenizers 0.15.2 ### Comments Any idea, help or report will always be welcome. email: rhaymisoncristian@gmail.com