metadata

tags:
  - generated_from_trainer
datasets:
  - jsonl_dataset_sum.py
metrics:
  - rouge
widget:
  - text: >-
      summarization-num_lines-1: 현대자동차는 18일(현지 시간) 이탈리아 레이크 코모에서 개최된 '현대 리유니온'
      행사에서 '포니 쿠페 콘셉트' 복원 모델을 세계에 첫 공개했습니다. 이 프로젝트는 현대차의 창업자인 정주영 선대 회장의
      수출보국(輸出報國) 정신과 포니 쿠페를 통한 글로벌 브랜드 정립에 대한 끊임없는 열정과 도전 정신을 재조명하기 위한 것입니다.
      현대차에 따르면, 이번 현대 리유니온 행사는 회사의 역사를 다시 돌아보며 변하지 않는 미래 지향적인 비전과 방향성을 공유하는 브랜드
      유산 행사입니다.
    example_title: sample 1
base_model: KETI-AIR/long-ke-t5-base
model-index:
  - name: summarization_all
    results:
      - task:
          type: summarization
          name: Summarization
        dataset:
          name: jsonl_dataset_sum.py
          type: jsonl_dataset_sum.py
          config: 'null'
          split: None
        metrics:
          - type: rouge
            value: 21.9857
            name: Rouge1

summarization_all

This model is a fine-tuned version of KETI-AIR/long-ke-t5-base on the jsonl_dataset_sum.py dataset. It achieves the following results on the evaluation set:

Loss: 1.1442
Rouge1: 21.9857
Rouge2: 10.2876
Rougel: 21.4026
Rougelsum: 21.4278
Gen Len: 86.2560

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 0.001
train_batch_size: 1
eval_batch_size: 1
seed: 42
distributed_type: multi-GPU
num_devices: 8
total_train_batch_size: 8
total_eval_batch_size: 8
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 10.0

Training results

Training Loss	Epoch	Step	Validation Loss	Rouge1	Rouge2	Rougel	Rougelsum	Gen Len
1.2503	1.0	184670	1.2439	20.2525	9.1467	19.7454	19.771	87.1766
1.1629	2.0	369340	1.1773	21.0068	9.6691	20.4565	20.4888	89.6074
1.1087	3.0	554010	1.1431	21.0216	9.6545	20.489	20.5108	85.5895
1.056	4.0	738680	1.1247	21.6776	10.1424	21.09	21.1168	89.6576
1.0199	5.0	923350	1.1179	21.6563	10.0965	21.0814	21.1056	89.2454
0.9652	6.0	1108020	1.1122	21.6209	10.0725	21.0623	21.0864	86.7079
0.92	7.0	1292690	1.1136	21.9396	10.2734	21.3465	21.3745	86.5547
0.8804	8.0	1477360	1.1228	21.8457	10.1858	21.2552	21.278	87.6413
0.8447	9.0	1662030	1.1327	21.92	10.2635	21.3415	21.3633	86.4453
0.7678	10.0	1846700	1.1442	21.9857	10.2876	21.4026	21.4278	86.2560

Framework versions

Transformers 4.25.1
Pytorch 1.12.0
Datasets 2.8.0
Tokenizers 0.13.2