arabert_cross_relevance_task4_fold6

This model is a fine-tuned version of aubmindlab/bert-base-arabertv02 on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.3394
• Qwk: 0.1601
• Mse: 0.3398

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-05
• train_batch_size: 64
• eval_batch_size: 64
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 10

Training results

Training Loss	Epoch	Step	Validation Loss	Qwk	Mse
No log	0.1111	2	0.4458	0.0318	0.4461
No log	0.2222	4	0.3469	0.0319	0.3472
No log	0.3333	6	0.3536	0.0805	0.3537
No log	0.4444	8	0.3107	0.0717	0.3106
No log	0.5556	10	0.2972	0.1151	0.2971
No log	0.6667	12	0.2762	0.1226	0.2762
No log	0.7778	14	0.2644	0.1492	0.2647
No log	0.8889	16	0.2552	0.1559	0.2557
No log	1.0	18	0.2658	0.2351	0.2661
No log	1.1111	20	0.2702	0.2761	0.2706
No log	1.2222	22	0.2662	0.2796	0.2669
No log	1.3333	24	0.2499	0.2669	0.2508
No log	1.4444	26	0.2460	0.2651	0.2468
No log	1.5556	28	0.2523	0.2545	0.2531
No log	1.6667	30	0.2554	0.2137	0.2561
No log	1.7778	32	0.2471	0.2220	0.2478
No log	1.8889	34	0.2416	0.2899	0.2423
No log	2.0	36	0.2485	0.2753	0.2491
No log	2.1111	38	0.2427	0.2134	0.2433
No log	2.2222	40	0.2377	0.2055	0.2383
No log	2.3333	42	0.2333	0.2092	0.2338
No log	2.4444	44	0.2390	0.2332	0.2394
No log	2.5556	46	0.2482	0.2477	0.2487
No log	2.6667	48	0.2585	0.2256	0.2591
No log	2.7778	50	0.2626	0.2812	0.2633
No log	2.8889	52	0.2502	0.2684	0.2508
No log	3.0	54	0.2402	0.1962	0.2407
No log	3.1111	56	0.2434	0.1883	0.2439
No log	3.2222	58	0.2516	0.2024	0.2522
No log	3.3333	60	0.2671	0.3187	0.2678
No log	3.4444	62	0.2665	0.2324	0.2672
No log	3.5556	64	0.2719	0.1977	0.2725
No log	3.6667	66	0.2689	0.2130	0.2695
No log	3.7778	68	0.2612	0.2140	0.2618
No log	3.8889	70	0.2566	0.2395	0.2572
No log	4.0	72	0.2553	0.2583	0.2560
No log	4.1111	74	0.2604	0.2476	0.2610
No log	4.2222	76	0.2643	0.2402	0.2649
No log	4.3333	78	0.2719	0.2220	0.2725
No log	4.4444	80	0.2816	0.1895	0.2822
No log	4.5556	82	0.2776	0.2106	0.2783
No log	4.6667	84	0.2758	0.2275	0.2765
No log	4.7778	86	0.2876	0.2033	0.2882
No log	4.8889	88	0.3127	0.1941	0.3132
No log	5.0	90	0.3256	0.1643	0.3260
No log	5.1111	92	0.3061	0.1895	0.3065
No log	5.2222	94	0.2811	0.2186	0.2816
No log	5.3333	96	0.2823	0.2186	0.2827
No log	5.4444	98	0.2910	0.2137	0.2913
No log	5.5556	100	0.3094	0.2076	0.3096
No log	5.6667	102	0.3152	0.2118	0.3154
No log	5.7778	104	0.3477	0.1897	0.3478
No log	5.8889	106	0.3597	0.1780	0.3598
No log	6.0	108	0.3476	0.1780	0.3479
No log	6.1111	110	0.3267	0.1992	0.3272
No log	6.2222	112	0.3089	0.2125	0.3095
No log	6.3333	114	0.3128	0.1908	0.3134
No log	6.4444	116	0.3211	0.1742	0.3215
No log	6.5556	118	0.3339	0.1590	0.3343
No log	6.6667	120	0.3109	0.1741	0.3113
No log	6.7778	122	0.2827	0.2060	0.2832
No log	6.8889	124	0.2767	0.2060	0.2772
No log	7.0	126	0.2730	0.2130	0.2736
No log	7.1111	128	0.2806	0.2009	0.2812
No log	7.2222	130	0.2954	0.2098	0.2959
No log	7.3333	132	0.3020	0.2033	0.3025
No log	7.4444	134	0.3007	0.2098	0.3012
No log	7.5556	136	0.2958	0.2054	0.2964
No log	7.6667	138	0.3086	0.1781	0.3091
No log	7.7778	140	0.3217	0.1623	0.3222
No log	7.8889	142	0.3310	0.1677	0.3315
No log	8.0	144	0.3269	0.1668	0.3274
No log	8.1111	146	0.3173	0.1682	0.3179
No log	8.2222	148	0.3173	0.1682	0.3178
No log	8.3333	150	0.3261	0.1634	0.3266
No log	8.4444	152	0.3255	0.1634	0.3259
No log	8.5556	154	0.3229	0.1711	0.3234
No log	8.6667	156	0.3219	0.1668	0.3225
No log	8.7778	158	0.3264	0.1634	0.3269
No log	8.8889	160	0.3314	0.1558	0.3319
No log	9.0	162	0.3302	0.1558	0.3307
No log	9.1111	164	0.3292	0.1601	0.3297
No log	9.2222	166	0.3320	0.1601	0.3325
No log	9.3333	168	0.3371	0.1601	0.3376
No log	9.4444	170	0.3396	0.1601	0.3400
No log	9.5556	172	0.3414	0.1601	0.3418
No log	9.6667	174	0.3407	0.1601	0.3411
No log	9.7778	176	0.3400	0.1601	0.3404
No log	9.8889	178	0.3392	0.1601	0.3396
No log	10.0	180	0.3394	0.1601	0.3398

Framework versions

• Transformers 4.44.0
• Pytorch 2.4.0
• Datasets 2.21.0
• Tokenizers 0.19.1