arabert_cross_relevance_task6_fold0

This model is a fine-tuned version of aubmindlab/bert-base-arabertv02 on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.2663
• Qwk: 0.1037
• Mse: 0.2666

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-05
• train_batch_size: 64
• eval_batch_size: 64
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 10

Training results

Training Loss	Epoch	Step	Validation Loss	Qwk	Mse
No log	0.125	2	0.6210	0.0393	0.6211
No log	0.25	4	0.2908	0.1547	0.2908
No log	0.375	6	0.2874	0.0578	0.2874
No log	0.5	8	0.4029	0.0871	0.4030
No log	0.625	10	0.3376	0.0431	0.3380
No log	0.75	12	0.2435	0.0180	0.2438
No log	0.875	14	0.2523	0.0961	0.2524
No log	1.0	16	0.2567	0.1388	0.2568
No log	1.125	18	0.2419	0.0918	0.2421
No log	1.25	20	0.2428	0.1144	0.2430
No log	1.375	22	0.2547	0.1135	0.2549
No log	1.5	24	0.2577	0.1333	0.2580
No log	1.625	26	0.2622	0.1251	0.2625
No log	1.75	28	0.2584	0.1527	0.2587
No log	1.875	30	0.2572	0.1427	0.2574
No log	2.0	32	0.2550	0.1355	0.2552
No log	2.125	34	0.2553	0.1382	0.2554
No log	2.25	36	0.2485	0.1178	0.2486
No log	2.375	38	0.2485	0.0965	0.2487
No log	2.5	40	0.2463	0.0999	0.2465
No log	2.625	42	0.2473	0.1607	0.2475
No log	2.75	44	0.2547	0.2134	0.2549
No log	2.875	46	0.2547	0.1888	0.2549
No log	3.0	48	0.2540	0.1555	0.2542
No log	3.125	50	0.2562	0.1232	0.2565
No log	3.25	52	0.2605	0.1037	0.2607
No log	3.375	54	0.2527	0.1245	0.2529
No log	3.5	56	0.2460	0.1932	0.2462
No log	3.625	58	0.2492	0.1938	0.2494
No log	3.75	60	0.2473	0.1556	0.2476
No log	3.875	62	0.2559	0.1436	0.2563
No log	4.0	64	0.2788	0.0972	0.2792
No log	4.125	66	0.2859	0.0972	0.2863
No log	4.25	68	0.2581	0.1146	0.2584
No log	4.375	70	0.2414	0.1330	0.2417
No log	4.5	72	0.2402	0.1344	0.2404
No log	4.625	74	0.2406	0.1345	0.2408
No log	4.75	76	0.2471	0.1446	0.2473
No log	4.875	78	0.2567	0.1348	0.2570
No log	5.0	80	0.2688	0.1201	0.2692
No log	5.125	82	0.2619	0.1313	0.2622
No log	5.25	84	0.2502	0.1611	0.2505
No log	5.375	86	0.2499	0.1686	0.2501
No log	5.5	88	0.2497	0.1609	0.2499
No log	5.625	90	0.2590	0.1279	0.2592
No log	5.75	92	0.2625	0.1201	0.2628
No log	5.875	94	0.2585	0.1245	0.2588
No log	6.0	96	0.2639	0.1100	0.2642
No log	6.125	98	0.2653	0.1135	0.2656
No log	6.25	100	0.2567	0.1199	0.2570
No log	6.375	102	0.2499	0.1229	0.2502
No log	6.5	104	0.2482	0.1311	0.2484
No log	6.625	106	0.2482	0.1244	0.2485
No log	6.75	108	0.2511	0.1210	0.2514
No log	6.875	110	0.2518	0.1347	0.2521
No log	7.0	112	0.2478	0.1381	0.2481
No log	7.125	114	0.2465	0.1415	0.2468
No log	7.25	116	0.2476	0.1379	0.2478
No log	7.375	118	0.2505	0.1276	0.2508
No log	7.5	120	0.2531	0.1381	0.2534
No log	7.625	122	0.2620	0.1056	0.2623
No log	7.75	124	0.2719	0.1180	0.2723
No log	7.875	126	0.2767	0.1149	0.2770
No log	8.0	128	0.2722	0.1095	0.2726
No log	8.125	130	0.2637	0.1146	0.2640
No log	8.25	132	0.2588	0.1178	0.2591
No log	8.375	134	0.2564	0.1108	0.2567
No log	8.5	136	0.2573	0.1042	0.2576
No log	8.625	138	0.2581	0.0976	0.2584
No log	8.75	140	0.2594	0.0976	0.2597
No log	8.875	142	0.2629	0.0979	0.2632
No log	9.0	144	0.2665	0.0946	0.2669
No log	9.125	146	0.2676	0.0946	0.2679
No log	9.25	148	0.2670	0.0946	0.2673
No log	9.375	150	0.2667	0.0946	0.2671
No log	9.5	152	0.2663	0.0979	0.2666
No log	9.625	154	0.2661	0.0979	0.2664
No log	9.75	156	0.2659	0.0979	0.2663
No log	9.875	158	0.2661	0.1037	0.2664
No log	10.0	160	0.2663	0.1037	0.2666

Framework versions

• Transformers 4.44.0
• Pytorch 2.4.0
• Datasets 2.21.0
• Tokenizers 0.19.1