Update README.md

89aac38 verified 8 months ago

9.53 kB

	---
	license: apache-2.0
	base_model: google-t5/t5-small
	tags:
	- generated_from_trainer
	- summarization
	- text2text
	metrics:
	- rouge
	model-index:
	- name: flan-t5-small-summarization
	results: []
	inference:
	parameters:
	max_new_tokens: 128
	pipeline_tag: summarization
	datasets:
	- recogna-nlp/recognasumm
	language:
	- pt
	library_name: transformers
	widget:
	- text: "sumarize: Na segunda disputa estadual para escolher o candidato do partido republicano para as eleições de novembro nos Estados Unidos, o ex-presidente Donald Trump teve mais uma vitória. Ele venceu as primárias em New Hampshire, que ocorreram na terça-feira (23/01). Antes disso, o favoritismo de Trump, apontado por diversas pesquisas, foi visto em sua vitória na primeira prévia do calendário eleitoral americano, em Iowa. Naquele Estado, Trump registrou 51% dos votos e vantagem de 30 pontos sobre o segundo colocado, o governador da Flórida, Ron DeSantis. No domingo (21/1), DeSantis anunciou sua desistência da corrida presidencial de 2024 e manifestou apoio a Trump. O movimento deixou Nikki Haley, ex-embaixadora dos Estados Unidos nas Nações Unidas, como a única rival significativa de Trump no partido."
	example_title: "Resumo 1"
	- text: "sumarize: No que consiste o transtorno dismórfico corporal? São pessoas que se acham feias e querem mudar sua aparência de forma obsessiva, mesmo que não tenham nenhum problema. Num dos estudos que fiz, detectamos que de 50% a 54% dos pacientes que procuram cirurgia de face, nariz ou abdômen apresentam essa condição. A cirurgia pode beneficiar aqueles com um quadro leve ou intermediário do transtorno. No entanto, os que apresentam um transtorno mais grave não devem ser operados, e sim encaminhados para tratamento psicológico. A maior dificuldade é que aceitem ajuda. Muitos preferem buscar um médico que dê sinal verde para a intervenção."
	example_title: "Resumo 2"
	---

	<!-- This model card has been generated automatically according to the information the Trainer had access to. You
	should probably proofread and complete it, then remove this comment. -->

	# t5-portuguese-small-summarization

	## Model description

	This model aims to help supply the needs of models in the Portuguese language for certain tasks. The model presents a good performance for summary tasks.
	Some errors due to word accentuation may occasionally occur due to the small version of the model.
	model_max_length = 512

	Card example 1 with t5-portuguese-small-summarization

	```
	Trump vence as primárias em New Hampshire, que ocorreram na terça-feira (23/01).
	Antes disso, o favoritismo de Trump, apontado por diversas pesquisas, foi visto ao segundo colocado, governador da Flórida, Ron DeSantis.
	```

	Card example 1 with orginal t5-small
	```
	O movimento deixou Nikki Haley, ex-embaixadora dos Estados Unidos, como a nica rival significativa de Trump no partido.
	```


	This model is a fine-tuned version of [google-t5/t5-small](https://huggingface.co/google-t5/t5-small)
	- Loss: 1.8997
	- Rouge1: 15.0817
	- Rouge2: 5.3292
	- Rougel: 12.958
	- Rougelsum: 13.8768
	- Gen Len: 18.968

	GPU: RTX 3060, 12GB, =~3500 cuda cores

	# HOW TO USE

	```python
	!pip install transformers
	from transformers import pipeline
	summarization = pipeline("summarization", model="rhaymison/t5-portuguese-small-summarization", tokenizer="rhaymison/t5-portuguese-small-summarization")

	prompt =f"""
	sumarize: Na segunda disputa estadual para escolher o candidato do partido republicano para as eleições de novembro nos Estados Unidos, o ex-presidente Donald Trump teve mais uma vitória. Ele venceu as primárias em New Hampshire, que ocorreram na terça-feira (23/01). Antes disso, o favoritismo de Trump, apontado por diversas pesquisas, foi visto em sua vitória na primeira prévia do calendário eleitoral americano, em Iowa. Naquele Estado, Trump registrou 51% dos votos e vantagem de 30 pontos sobre o segundo colocado, o governador da Flórida, Ron DeSantis. No domingo (21/1), DeSantis anunciou sua desistência da corrida presidencial de 2024 e manifestou apoio a Trump. O movimento deixou Nikki Haley, ex-embaixadora dos Estados Unidos nas Nações Unidas, como a única rival significativa de Trump no partido.
	"""
	output = summarization(prompt)

	#Trump vence as primárias em New Hampshire, que ocorreram na terça-feira (23/01).
	#Antes disso, o favoritismo de Trump, apontado por diversas pesquisas, foi visto ao segundo colocado, governador da Flórida, Ron DeSantis.
	```


	### Training hyperparameters

	The following hyperparameters were used during training:
	- learning_rate: 2e-05
	- train_batch_size: 6
	- eval_batch_size: 6
	- seed: 42
	- gradient_accumulation_steps: 4
	- total_train_batch_size: 24
	- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
	- lr_scheduler_type: linear
	- num_epochs: 25
	- mixed_precision_training: Native AMP

	### Training results

	\| Training Loss \| Epoch \| Step \| Validation Loss \| Rouge1 \| Rouge2 \| Rougel \| Rougelsum \| Gen Len \|
	\|:-------------:\|:-----:\|:----:\|:---------------:\|:-------:\|:------:\|:-------:\|:---------:\|:-------:\|
	\| 2.092 \| 0.6 \| 500 \| 1.9551 \| 14.6613 \| 5.2159 \| 12.5685 \| 13.4544 \| 18.968 \|
	\| 2.092 \| 0.72 \| 600 \| 1.9508 \| 14.6862 \| 5.2585 \| 12.6345 \| 13.5299 \| 18.968 \|
	\| 2.092 \| 0.84 \| 700 \| 1.9473 \| 14.7323 \| 5.1636 \| 12.6962 \| 13.5118 \| 18.968 \|
	\| 2.092 \| 0.96 \| 800 \| 1.9488 \| 14.7104 \| 5.1587 \| 12.7019 \| 13.5439 \| 18.968 \|
	\| 2.092 \| 1.08 \| 900 \| 1.9397 \| 14.8448 \| 5.2826 \| 12.7924 \| 13.6464 \| 18.968 \|
	\| 2.077 \| 1.2 \| 1000 \| 1.9373 \| 14.9495 \| 5.3975 \| 12.8935 \| 13.7491 \| 18.968 \|
	\| 2.077 \| 1.32 \| 1100 \| 1.9372 \| 14.93 \| 5.4048 \| 12.8809 \| 13.7012 \| 18.968 \|
	\| 2.077 \| 1.44 \| 1200 \| 1.9311 \| 14.8196 \| 5.2564 \| 12.8279 \| 13.6688 \| 18.968 \|
	\| 2.077 \| 1.56 \| 1300 \| 1.9311 \| 14.8757 \| 5.2282 \| 12.8286 \| 13.7152 \| 18.968 \|
	\| 2.077 \| 1.68 \| 1400 \| 1.9287 \| 14.9308 \| 5.3154 \| 12.8522 \| 13.7326 \| 18.968 \|
	\| 2.06 \| 1.8 \| 1500 \| 1.9268 \| 14.8923 \| 5.2594 \| 12.8387 \| 13.6839 \| 18.968 \|
	\| 2.06 \| 1.92 \| 1600 \| 1.9256 \| 15.085 \| 5.2911 \| 12.9424 \| 13.8375 \| 18.968 \|
	\| 2.06 \| 2.04 \| 1700 \| 1.9245 \| 14.9127 \| 5.3024 \| 12.8339 \| 13.6987 \| 18.968 \|
	\| 2.06 \| 2.16 \| 1800 \| 1.9197 \| 15.0974 \| 5.2812 \| 12.9218 \| 13.8758 \| 18.968 \|
	\| 2.06 \| 2.28 \| 1900 \| 1.9172 \| 15.0564 \| 5.2437 \| 12.8736 \| 13.8318 \| 18.968 \|
	\| 2.0474 \| 2.4 \| 2000 \| 1.9149 \| 14.9414 \| 5.1408 \| 12.8381 \| 13.7028 \| 18.968 \|
	\| 2.0474 \| 2.52 \| 2100 \| 1.9149 \| 15.0211 \| 5.2195 \| 12.954 \| 13.809 \| 18.968 \|
	\| 2.0474 \| 2.64 \| 2200 \| 1.9113 \| 15.0689 \| 5.2702 \| 12.9338 \| 13.8276 \| 18.968 \|
	\| 2.0474 \| 2.76 \| 2300 \| 1.9129 \| 15.134 \| 5.2675 \| 13.0113 \| 13.9106 \| 18.968 \|
	\| 2.0474 \| 2.88 \| 2400 \| 1.9103 \| 15.1097 \| 5.276 \| 12.9856 \| 13.8559 \| 18.968 \|
	\| 2.04 \| 3.0 \| 2500 \| 1.9062 \| 15.1413 \| 5.2281 \| 12.9537 \| 13.8494 \| 18.968 \|
	\| 2.04 \| 3.12 \| 2600 \| 1.9070 \| 14.9792 \| 5.2091 \| 12.8586 \| 13.695 \| 18.968 \|
	\| 2.04 \| 3.24 \| 2700 \| 1.9066 \| 14.9506 \| 5.2238 \| 12.8265 \| 13.6925 \| 18.968 \|
	\| 2.04 \| 3.36 \| 2800 \| 1.9063 \| 15.053 \| 5.2235 \| 12.8833 \| 13.7711 \| 18.968 \|
	\| 2.04 \| 3.48 \| 2900 \| 1.9064 \| 14.9386 \| 5.1363 \| 12.7915 \| 13.688 \| 18.968 \|
	\| 2.0273 \| 3.6 \| 3000 \| 1.9053 \| 15.0901 \| 5.2518 \| 12.9063 \| 13.8338 \| 18.968 \|
	\| 2.0273 \| 3.72 \| 3100 \| 1.9059 \| 15.0692 \| 5.2665 \| 12.932 \| 13.8394 \| 18.968 \|
	\| 2.0273 \| 3.84 \| 3200 \| 1.9021 \| 15.0768 \| 5.3179 \| 12.9916 \| 13.8653 \| 18.968 \|
	\| 2.0273 \| 3.96 \| 3300 \| 1.9024 \| 15.1808 \| 5.3312 \| 13.0143 \| 13.9269 \| 18.968 \|
	\| 2.0273 \| 4.08 \| 3400 \| 1.8981 \| 15.0905 \| 5.2769 \| 12.9551 \| 13.8666 \| 18.968 \|
	\| 2.0291 \| 4.2 \| 3500 \| 1.9007 \| 15.0453 \| 5.3159 \| 12.9429 \| 13.824 \| 18.968 \|
	\| 2.0291 \| 4.32 \| 3600 \| 1.9017 \| 15.0403 \| 5.3474 \| 12.9625 \| 13.8437 \| 18.968 \|
	\| 2.0291 \| 4.44 \| 3700 \| 1.9005 \| 15.0456 \| 5.3468 \| 12.9521 \| 13.8413 \| 18.968 \|
	\| 2.0291 \| 4.56 \| 3800 \| 1.8991 \| 15.0501 \| 5.3539 \| 12.9597 \| 13.8408 \| 18.968 \|
	\| 2.0291 \| 4.68 \| 3900 \| 1.8998 \| 15.1219 \| 5.3599 \| 12.9936 \| 13.9013 \| 18.968 \|
	\| 2.0193 \| 4.8 \| 4000 \| 1.9004 \| 15.0831 \| 5.329 \| 12.9697 \| 13.8762 \| 18.968 \|
	\| 2.0193 \| 4.92 \| 4100 \| 1.8997 \| 15.0817 \| 5.3292 \| 12.958 \| 13.8768 \| 18.968 \|


	### Framework versions

	- Transformers 4.38.2
	- Pytorch 2.2.1+cu121
	- Datasets 2.18.0
	- Tokenizers 0.15.2

	### Comments

	Any idea, help or report will always be welcome.

	email: rhaymisoncristian@gmail.com

	<div style="display:flex; flex-direction:row; justify-content:left">
	<a href="https://www.linkedin.com/in/heleno-betini-2b3016175/" target="_blank">
	<img src="https://img.shields.io/badge/LinkedIn-0077B5?style=for-the-badge&logo=linkedin&logoColor=white">
	</a>
	<a href="https://github.com/rhaymisonbetini" target="_blank">
	<img src="https://img.shields.io/badge/GitHub-100000?style=for-the-badge&logo=github&logoColor=white">
	</a>
	</div>