arabert_cross_relevance_task5_fold6

This model is a fine-tuned version of aubmindlab/bert-base-arabertv02 on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.3006
• Qwk: 0.2137
• Mse: 0.3007

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-05
• train_batch_size: 64
• eval_batch_size: 64
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 10

Training results

Training Loss	Epoch	Step	Validation Loss	Qwk	Mse
No log	0.125	2	1.0217	0.0195	1.0225
No log	0.25	4	0.4152	0.0535	0.4143
No log	0.375	6	0.3599	0.0454	0.3596
No log	0.5	8	0.3055	0.0426	0.3056
No log	0.625	10	0.2854	0.0805	0.2861
No log	0.75	12	0.2641	0.1393	0.2644
No log	0.875	14	0.2524	0.1301	0.2527
No log	1.0	16	0.2428	0.1915	0.2430
No log	1.125	18	0.2426	0.1915	0.2428
No log	1.25	20	0.2443	0.1915	0.2447
No log	1.375	22	0.2471	0.1854	0.2474
No log	1.5	24	0.2514	0.1890	0.2517
No log	1.625	26	0.2516	0.1638	0.2519
No log	1.75	28	0.2545	0.1467	0.2547
No log	1.875	30	0.2544	0.1816	0.2547
No log	2.0	32	0.2492	0.2200	0.2495
No log	2.125	34	0.2568	0.2044	0.2572
No log	2.25	36	0.2853	0.2266	0.2857
No log	2.375	38	0.2827	0.2137	0.2831
No log	2.5	40	0.2560	0.2018	0.2565
No log	2.625	42	0.2538	0.2177	0.2543
No log	2.75	44	0.2538	0.1854	0.2542
No log	2.875	46	0.2581	0.2064	0.2584
No log	3.0	48	0.2645	0.2064	0.2648
No log	3.125	50	0.2629	0.1830	0.2631
No log	3.25	52	0.2615	0.1539	0.2618
No log	3.375	54	0.2644	0.1588	0.2646
No log	3.5	56	0.2734	0.2119	0.2736
No log	3.625	58	0.2799	0.2050	0.2801
No log	3.75	60	0.2702	0.2050	0.2704
No log	3.875	62	0.2549	0.1999	0.2553
No log	4.0	64	0.2524	0.2274	0.2528
No log	4.125	66	0.2506	0.2274	0.2510
No log	4.25	68	0.2560	0.1999	0.2563
No log	4.375	70	0.2850	0.2194	0.2853
No log	4.5	72	0.3006	0.2282	0.3008
No log	4.625	74	0.2929	0.2099	0.2931
No log	4.75	76	0.2761	0.2109	0.2764
No log	4.875	78	0.2669	0.2119	0.2671
No log	5.0	80	0.2664	0.2057	0.2667
No log	5.125	82	0.2687	0.2109	0.2689
No log	5.25	84	0.2617	0.2109	0.2619
No log	5.375	86	0.2588	0.2109	0.2590
No log	5.5	88	0.2627	0.2050	0.2628
No log	5.625	90	0.2860	0.2147	0.2861
No log	5.75	92	0.3309	0.2252	0.3309
No log	5.875	94	0.3340	0.2200	0.3341
No log	6.0	96	0.3021	0.2083	0.3022
No log	6.125	98	0.2691	0.2173	0.2694
No log	6.25	100	0.2601	0.2200	0.2604
No log	6.375	102	0.2632	0.2173	0.2635
No log	6.5	104	0.2738	0.2220	0.2741
No log	6.625	106	0.2881	0.2250	0.2884
No log	6.75	108	0.3079	0.2127	0.3081
No log	6.875	110	0.3154	0.2170	0.3156
No log	7.0	112	0.3054	0.2137	0.3056
No log	7.125	114	0.2897	0.2091	0.2899
No log	7.25	116	0.2842	0.2044	0.2844
No log	7.375	118	0.2794	0.2099	0.2796
No log	7.5	120	0.2789	0.2099	0.2791
No log	7.625	122	0.2813	0.2099	0.2814
No log	7.75	124	0.2926	0.2091	0.2927
No log	7.875	126	0.3068	0.2137	0.3069
No log	8.0	128	0.3323	0.2118	0.3323
No log	8.125	130	0.3463	0.2070	0.3463
No log	8.25	132	0.3382	0.2118	0.3383
No log	8.375	134	0.3313	0.2118	0.3314
No log	8.5	136	0.3174	0.2137	0.3174
No log	8.625	138	0.3049	0.2137	0.3050
No log	8.75	140	0.3007	0.2137	0.3008
No log	8.875	142	0.2970	0.2137	0.2971
No log	9.0	144	0.2949	0.2137	0.2950
No log	9.125	146	0.2966	0.2137	0.2967
No log	9.25	148	0.2992	0.2137	0.2994
No log	9.375	150	0.2997	0.2137	0.2999
No log	9.5	152	0.3018	0.2137	0.3019
No log	9.625	154	0.3012	0.2137	0.3013
No log	9.75	156	0.3004	0.2137	0.3006
No log	9.875	158	0.3005	0.2137	0.3006
No log	10.0	160	0.3006	0.2137	0.3007

Framework versions

• Transformers 4.44.0
• Pytorch 2.4.0
• Datasets 2.21.0
• Tokenizers 0.19.1