Hugging Face's logo

salbatarni
/
arabert_cross_relevance_task4_fold1

TensorBoard
Safetensors
bert
Generated from Trainer
Model card Files Metrics Community
arabert_cross_relevance_task4_fold1 / README.md
salbatarni's picture
salbatarni
End of training
07fb0f9 verified
preview code
|
raw
history blame
7.3 kB
metadata
base_model: aubmindlab/bert-base-arabertv02
tags:
  - generated_from_trainer
model-index:
  - name: arabert_cross_relevance_task4_fold1
    results: []

arabert_cross_relevance_task4_fold1

This model is a fine-tuned version of aubmindlab/bert-base-arabertv02 on the None dataset. It achieves the following results on the evaluation set:

  • Loss: 0.1626
  • Qwk: 0.0272
  • Mse: 0.1626

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 2e-05
  • train_batch_size: 64
  • eval_batch_size: 64
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • num_epochs: 10

Training results

Training Loss Epoch Step Validation Loss Qwk Mse
No log 0.1176 2 0.6734 0.0010 0.6734
No log 0.2353 4 0.1546 0.0127 0.1546
No log 0.3529 6 0.1344 0.0033 0.1344
No log 0.4706 8 0.2292 0.0185 0.2292
No log 0.5882 10 0.2260 0.0185 0.2260
No log 0.7059 12 0.1786 0.0273 0.1786
No log 0.8235 14 0.1782 0.0359 0.1782
No log 0.9412 16 0.1951 0.0339 0.1951
No log 1.0588 18 0.2431 0.0300 0.2431
No log 1.1765 20 0.2607 0.0228 0.2607
No log 1.2941 22 0.1938 0.0332 0.1938
No log 1.4118 24 0.1436 0.0511 0.1436
No log 1.5294 26 0.1294 0.0733 0.1294
No log 1.6471 28 0.1285 0.0553 0.1285
No log 1.7647 30 0.1515 0.0273 0.1515
No log 1.8824 32 0.1764 0.0273 0.1764
No log 2.0 34 0.1880 0.0273 0.1880
No log 2.1176 36 0.1700 0.0254 0.1700
No log 2.2353 38 0.1359 0.0273 0.1359
No log 2.3529 40 0.1300 0.0307 0.1300
No log 2.4706 42 0.1359 0.0304 0.1359
No log 2.5882 44 0.1557 0.0319 0.1557
No log 2.7059 46 0.1602 0.0335 0.1602
No log 2.8235 48 0.1456 0.0423 0.1456
No log 2.9412 50 0.1501 0.0339 0.1501
No log 3.0588 52 0.1611 0.0339 0.1611
No log 3.1765 54 0.1440 0.0355 0.1440
No log 3.2941 56 0.1348 0.0441 0.1348
No log 3.4118 58 0.1332 0.0475 0.1332
No log 3.5294 60 0.1443 0.0458 0.1443
No log 3.6471 62 0.1652 0.0389 0.1652
No log 3.7647 64 0.1647 0.0458 0.1647
No log 3.8824 66 0.1513 0.0529 0.1513
No log 4.0 68 0.1475 0.0603 0.1475
No log 4.1176 70 0.1571 0.0510 0.1571
No log 4.2353 72 0.1593 0.0529 0.1593
No log 4.3529 74 0.1445 0.0510 0.1445
No log 4.4706 76 0.1337 0.0675 0.1337
No log 4.5882 78 0.1314 0.0614 0.1314
No log 4.7059 80 0.1364 0.0516 0.1364
No log 4.8235 82 0.1610 0.0406 0.1610
No log 4.9412 84 0.1875 0.0355 0.1875
No log 5.0588 86 0.1836 0.0335 0.1836
No log 5.1765 88 0.1626 0.0389 0.1626
No log 5.2941 90 0.1440 0.0493 0.1440
No log 5.4118 92 0.1353 0.0939 0.1353
No log 5.5294 94 0.1367 0.1075 0.1367
No log 5.6471 96 0.1399 0.0853 0.1399
No log 5.7647 98 0.1521 0.0470 0.1521
No log 5.8824 100 0.1665 0.0352 0.1665
No log 6.0 102 0.1631 0.0372 0.1631
No log 6.1176 104 0.1511 0.0372 0.1511
No log 6.2353 106 0.1430 0.0463 0.1430
No log 6.3529 108 0.1385 0.0708 0.1385
No log 6.4706 110 0.1378 0.1029 0.1378
No log 6.5882 112 0.1410 0.0775 0.1410
No log 6.7059 114 0.1514 0.0515 0.1514
No log 6.8235 116 0.1742 0.0351 0.1742
No log 6.9412 118 0.1831 0.0317 0.1831
No log 7.0588 120 0.1684 0.0347 0.1684
No log 7.1765 122 0.1531 0.0652 0.1531
No log 7.2941 124 0.1443 0.0679 0.1443
No log 7.4118 126 0.1417 0.0749 0.1417
No log 7.5294 128 0.1432 0.0618 0.1432
No log 7.6471 130 0.1495 0.0614 0.1495
No log 7.7647 132 0.1521 0.0495 0.1521
No log 7.8824 134 0.1575 0.0420 0.1575
No log 8.0 136 0.1621 0.0415 0.1621
No log 8.1176 138 0.1649 0.0360 0.1649
No log 8.2353 140 0.1614 0.0397 0.1614
No log 8.3529 142 0.1589 0.0415 0.1589
No log 8.4706 144 0.1604 0.0397 0.1604
No log 8.5882 146 0.1587 0.0420 0.1587
No log 8.7059 148 0.1531 0.0457 0.1531
No log 8.8235 150 0.1511 0.0515 0.1511
No log 8.9412 152 0.1466 0.0614 0.1466
No log 9.0588 154 0.1458 0.0514 0.1458
No log 9.1765 156 0.1471 0.0514 0.1471
No log 9.2941 158 0.1511 0.0495 0.1511
No log 9.4118 160 0.1570 0.0438 0.1570
No log 9.5294 162 0.1612 0.0290 0.1612
No log 9.6471 164 0.1642 0.0272 0.1642
No log 9.7647 166 0.1639 0.0272 0.1639
No log 9.8824 168 0.1630 0.0272 0.1630
No log 10.0 170 0.1626 0.0272 0.1626

Framework versions

  • Transformers 4.44.0
  • Pytorch 2.4.0
  • Datasets 2.21.0
  • Tokenizers 0.19.1