arabert_cross_relevance_task4_fold1

This model is a fine-tuned version of aubmindlab/bert-base-arabertv02 on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.1626
• Qwk: 0.0272
• Mse: 0.1626

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-05
• train_batch_size: 64
• eval_batch_size: 64
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 10

Training results

Training Loss	Epoch	Step	Validation Loss	Qwk	Mse
No log	0.1176	2	0.6734	0.0010	0.6734
No log	0.2353	4	0.1546	0.0127	0.1546
No log	0.3529	6	0.1344	0.0033	0.1344
No log	0.4706	8	0.2292	0.0185	0.2292
No log	0.5882	10	0.2260	0.0185	0.2260
No log	0.7059	12	0.1786	0.0273	0.1786
No log	0.8235	14	0.1782	0.0359	0.1782
No log	0.9412	16	0.1951	0.0339	0.1951
No log	1.0588	18	0.2431	0.0300	0.2431
No log	1.1765	20	0.2607	0.0228	0.2607
No log	1.2941	22	0.1938	0.0332	0.1938
No log	1.4118	24	0.1436	0.0511	0.1436
No log	1.5294	26	0.1294	0.0733	0.1294
No log	1.6471	28	0.1285	0.0553	0.1285
No log	1.7647	30	0.1515	0.0273	0.1515
No log	1.8824	32	0.1764	0.0273	0.1764
No log	2.0	34	0.1880	0.0273	0.1880
No log	2.1176	36	0.1700	0.0254	0.1700
No log	2.2353	38	0.1359	0.0273	0.1359
No log	2.3529	40	0.1300	0.0307	0.1300
No log	2.4706	42	0.1359	0.0304	0.1359
No log	2.5882	44	0.1557	0.0319	0.1557
No log	2.7059	46	0.1602	0.0335	0.1602
No log	2.8235	48	0.1456	0.0423	0.1456
No log	2.9412	50	0.1501	0.0339	0.1501
No log	3.0588	52	0.1611	0.0339	0.1611
No log	3.1765	54	0.1440	0.0355	0.1440
No log	3.2941	56	0.1348	0.0441	0.1348
No log	3.4118	58	0.1332	0.0475	0.1332
No log	3.5294	60	0.1443	0.0458	0.1443
No log	3.6471	62	0.1652	0.0389	0.1652
No log	3.7647	64	0.1647	0.0458	0.1647
No log	3.8824	66	0.1513	0.0529	0.1513
No log	4.0	68	0.1475	0.0603	0.1475
No log	4.1176	70	0.1571	0.0510	0.1571
No log	4.2353	72	0.1593	0.0529	0.1593
No log	4.3529	74	0.1445	0.0510	0.1445
No log	4.4706	76	0.1337	0.0675	0.1337
No log	4.5882	78	0.1314	0.0614	0.1314
No log	4.7059	80	0.1364	0.0516	0.1364
No log	4.8235	82	0.1610	0.0406	0.1610
No log	4.9412	84	0.1875	0.0355	0.1875
No log	5.0588	86	0.1836	0.0335	0.1836
No log	5.1765	88	0.1626	0.0389	0.1626
No log	5.2941	90	0.1440	0.0493	0.1440
No log	5.4118	92	0.1353	0.0939	0.1353
No log	5.5294	94	0.1367	0.1075	0.1367
No log	5.6471	96	0.1399	0.0853	0.1399
No log	5.7647	98	0.1521	0.0470	0.1521
No log	5.8824	100	0.1665	0.0352	0.1665
No log	6.0	102	0.1631	0.0372	0.1631
No log	6.1176	104	0.1511	0.0372	0.1511
No log	6.2353	106	0.1430	0.0463	0.1430
No log	6.3529	108	0.1385	0.0708	0.1385
No log	6.4706	110	0.1378	0.1029	0.1378
No log	6.5882	112	0.1410	0.0775	0.1410
No log	6.7059	114	0.1514	0.0515	0.1514
No log	6.8235	116	0.1742	0.0351	0.1742
No log	6.9412	118	0.1831	0.0317	0.1831
No log	7.0588	120	0.1684	0.0347	0.1684
No log	7.1765	122	0.1531	0.0652	0.1531
No log	7.2941	124	0.1443	0.0679	0.1443
No log	7.4118	126	0.1417	0.0749	0.1417
No log	7.5294	128	0.1432	0.0618	0.1432
No log	7.6471	130	0.1495	0.0614	0.1495
No log	7.7647	132	0.1521	0.0495	0.1521
No log	7.8824	134	0.1575	0.0420	0.1575
No log	8.0	136	0.1621	0.0415	0.1621
No log	8.1176	138	0.1649	0.0360	0.1649
No log	8.2353	140	0.1614	0.0397	0.1614
No log	8.3529	142	0.1589	0.0415	0.1589
No log	8.4706	144	0.1604	0.0397	0.1604
No log	8.5882	146	0.1587	0.0420	0.1587
No log	8.7059	148	0.1531	0.0457	0.1531
No log	8.8235	150	0.1511	0.0515	0.1511
No log	8.9412	152	0.1466	0.0614	0.1466
No log	9.0588	154	0.1458	0.0514	0.1458
No log	9.1765	156	0.1471	0.0514	0.1471
No log	9.2941	158	0.1511	0.0495	0.1511
No log	9.4118	160	0.1570	0.0438	0.1570
No log	9.5294	162	0.1612	0.0290	0.1612
No log	9.6471	164	0.1642	0.0272	0.1642
No log	9.7647	166	0.1639	0.0272	0.1639
No log	9.8824	168	0.1630	0.0272	0.1630
No log	10.0	170	0.1626	0.0272	0.1626

Framework versions

• Transformers 4.44.0
• Pytorch 2.4.0
• Datasets 2.21.0
• Tokenizers 0.19.1