arabert_cross_relevance_task5_fold4

This model is a fine-tuned version of aubmindlab/bert-base-arabertv02 on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.2257
• Qwk: 0.2916
• Mse: 0.2257

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-05
• train_batch_size: 64
• eval_batch_size: 64
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 10

Training results

Training Loss	Epoch	Step	Validation Loss	Qwk	Mse
No log	0.125	2	0.5419	0.0637	0.5419
No log	0.25	4	0.4252	0.0672	0.4252
No log	0.375	6	0.4303	0.1252	0.4303
No log	0.5	8	0.3440	0.0304	0.3440
No log	0.625	10	0.3129	0.1293	0.3129
No log	0.75	12	0.2830	0.1429	0.2830
No log	0.875	14	0.2992	0.0958	0.2992
No log	1.0	16	0.3104	0.0958	0.3104
No log	1.125	18	0.2898	0.1779	0.2898
No log	1.25	20	0.2346	0.2417	0.2346
No log	1.375	22	0.2176	0.2728	0.2176
No log	1.5	24	0.2179	0.2942	0.2179
No log	1.625	26	0.2211	0.2728	0.2211
No log	1.75	28	0.2268	0.2654	0.2268
No log	1.875	30	0.2571	0.2062	0.2571
No log	2.0	32	0.2605	0.2114	0.2605
No log	2.125	34	0.2380	0.2417	0.2380
No log	2.25	36	0.2330	0.2417	0.2330
No log	2.375	38	0.2329	0.2372	0.2329
No log	2.5	40	0.2261	0.2459	0.2261
No log	2.625	42	0.2248	0.2728	0.2248
No log	2.75	44	0.2236	0.2691	0.2236
No log	2.875	46	0.2213	0.2800	0.2213
No log	3.0	48	0.2240	0.3047	0.2240
No log	3.125	50	0.2303	0.3788	0.2303
No log	3.25	52	0.2307	0.3842	0.2307
No log	3.375	54	0.2254	0.3366	0.2254
No log	3.5	56	0.2125	0.2834	0.2125
No log	3.625	58	0.2139	0.2575	0.2139
No log	3.75	60	0.2124	0.2575	0.2124
No log	3.875	62	0.2123	0.2575	0.2123
No log	4.0	64	0.2174	0.2651	0.2174
No log	4.125	66	0.2253	0.2881	0.2253
No log	4.25	68	0.2274	0.3188	0.2274
No log	4.375	70	0.2349	0.3309	0.2349
No log	4.5	72	0.2272	0.3342	0.2272
No log	4.625	74	0.2149	0.2951	0.2149
No log	4.75	76	0.2123	0.2763	0.2123
No log	4.875	78	0.2155	0.2654	0.2155
No log	5.0	80	0.2264	0.2417	0.2264
No log	5.125	82	0.2373	0.2450	0.2373
No log	5.25	84	0.2372	0.2606	0.2372
No log	5.375	86	0.2221	0.2836	0.2221
No log	5.5	88	0.2147	0.3249	0.2147
No log	5.625	90	0.2144	0.3301	0.2144
No log	5.75	92	0.2151	0.3193	0.2151
No log	5.875	94	0.2290	0.2528	0.2290
No log	6.0	96	0.2470	0.2355	0.2470
No log	6.125	98	0.2460	0.2355	0.2460
No log	6.25	100	0.2397	0.2450	0.2397
No log	6.375	102	0.2306	0.2528	0.2306
No log	6.5	104	0.2229	0.2951	0.2229
No log	6.625	106	0.2219	0.3217	0.2219
No log	6.75	108	0.2245	0.3543	0.2245
No log	6.875	110	0.2279	0.3412	0.2279
No log	7.0	112	0.2280	0.3282	0.2280
No log	7.125	114	0.2237	0.3189	0.2237
No log	7.25	116	0.2375	0.2840	0.2375
No log	7.375	118	0.2582	0.2253	0.2582
No log	7.5	120	0.2659	0.1942	0.2659
No log	7.625	122	0.2631	0.2051	0.2631
No log	7.75	124	0.2499	0.2638	0.2499
No log	7.875	126	0.2375	0.3074	0.2375
No log	8.0	128	0.2297	0.3323	0.2297
No log	8.125	130	0.2295	0.3635	0.2295
No log	8.25	132	0.2312	0.3846	0.2312
No log	8.375	134	0.2318	0.3899	0.2318
No log	8.5	136	0.2309	0.3543	0.2309
No log	8.625	138	0.2285	0.3446	0.2285
No log	8.75	140	0.2267	0.3067	0.2267
No log	8.875	142	0.2250	0.2992	0.2250
No log	9.0	144	0.2243	0.2916	0.2243
No log	9.125	146	0.2236	0.2765	0.2236
No log	9.25	148	0.2234	0.2765	0.2234
No log	9.375	150	0.2237	0.2765	0.2237
No log	9.5	152	0.2245	0.2765	0.2245
No log	9.625	154	0.2251	0.2841	0.2251
No log	9.75	156	0.2256	0.2916	0.2256
No log	9.875	158	0.2256	0.2916	0.2256
No log	10.0	160	0.2257	0.2916	0.2257

Framework versions

• Transformers 4.44.0
• Pytorch 2.4.0
• Datasets 2.21.0
• Tokenizers 0.19.1