arabert_cross_relevance_task4_fold0

This model is a fine-tuned version of aubmindlab/bert-base-arabertv02 on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.2736
• Qwk: 0.1560
• Mse: 0.2738

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-05
• train_batch_size: 64
• eval_batch_size: 64
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 10

Training results

Training Loss	Epoch	Step	Validation Loss	Qwk	Mse
No log	0.1176	2	0.5899	0.0303	0.5899
No log	0.2353	4	0.2991	0.0083	0.2993
No log	0.3529	6	0.2856	0.0046	0.2859
No log	0.4706	8	0.3724	0.0918	0.3727
No log	0.5882	10	0.3677	0.1010	0.3680
No log	0.7059	12	0.2967	0.0745	0.2971
No log	0.8235	14	0.2878	0.0745	0.2883
No log	0.9412	16	0.3092	0.0849	0.3099
No log	1.0588	18	0.3111	0.0769	0.3118
No log	1.1765	20	0.3278	0.0860	0.3286
No log	1.2941	22	0.3356	0.0940	0.3363
No log	1.4118	24	0.3182	0.0930	0.3188
No log	1.5294	26	0.2840	0.0711	0.2844
No log	1.6471	28	0.2640	0.0745	0.2644
No log	1.7647	30	0.2617	0.0787	0.2620
No log	1.8824	32	0.2721	0.0686	0.2724
No log	2.0	34	0.2784	0.0709	0.2787
No log	2.1176	36	0.2850	0.1325	0.2852
No log	2.2353	38	0.2912	0.2051	0.2915
No log	2.3529	40	0.2922	0.1733	0.2925
No log	2.4706	42	0.2846	0.1093	0.2850
No log	2.5882	44	0.2920	0.1049	0.2924
No log	2.7059	46	0.3062	0.1101	0.3066
No log	2.8235	48	0.2956	0.1049	0.2961
No log	2.9412	50	0.2664	0.1066	0.2668
No log	3.0588	52	0.2583	0.1197	0.2587
No log	3.1765	54	0.2638	0.1594	0.2642
No log	3.2941	56	0.2611	0.1408	0.2615
No log	3.4118	58	0.2742	0.1087	0.2747
No log	3.5294	60	0.2867	0.0956	0.2872
No log	3.6471	62	0.3015	0.0985	0.3019
No log	3.7647	64	0.2991	0.1076	0.2995
No log	3.8824	66	0.2717	0.1219	0.2721
No log	4.0	68	0.2625	0.1787	0.2628
No log	4.1176	70	0.2648	0.2139	0.2651
No log	4.2353	72	0.2608	0.1889	0.2611
No log	4.3529	74	0.2596	0.1230	0.2599
No log	4.4706	76	0.2657	0.1072	0.2660
No log	4.5882	78	0.2691	0.1064	0.2695
No log	4.7059	80	0.2573	0.0987	0.2577
No log	4.8235	82	0.2467	0.1026	0.2470
No log	4.9412	84	0.2538	0.1374	0.2541
No log	5.0588	86	0.2632	0.1541	0.2635
No log	5.1765	88	0.2699	0.1482	0.2702
No log	5.2941	90	0.2684	0.1464	0.2687
No log	5.4118	92	0.2643	0.1446	0.2646
No log	5.5294	94	0.2663	0.1381	0.2665
No log	5.6471	96	0.2594	0.1117	0.2597
No log	5.7647	98	0.2596	0.1043	0.2599
No log	5.8824	100	0.2557	0.1095	0.2559
No log	6.0	102	0.2552	0.1192	0.2555
No log	6.1176	104	0.2623	0.1286	0.2626
No log	6.2353	106	0.2589	0.1349	0.2592
No log	6.3529	108	0.2591	0.1493	0.2593
No log	6.4706	110	0.2623	0.1697	0.2626
No log	6.5882	112	0.2713	0.1744	0.2716
No log	6.7059	114	0.2740	0.1744	0.2743
No log	6.8235	116	0.2753	0.1499	0.2756
No log	6.9412	118	0.2729	0.1471	0.2732
No log	7.0588	120	0.2685	0.1437	0.2688
No log	7.1765	122	0.2665	0.1388	0.2667
No log	7.2941	124	0.2587	0.1432	0.2589
No log	7.4118	126	0.2538	0.1376	0.2541
No log	7.5294	128	0.2554	0.1388	0.2557
No log	7.6471	130	0.2570	0.1592	0.2572
No log	7.7647	132	0.2582	0.1593	0.2584
No log	7.8824	134	0.2619	0.1575	0.2621
No log	8.0	136	0.2676	0.1543	0.2678
No log	8.1176	138	0.2711	0.1419	0.2714
No log	8.2353	140	0.2745	0.1388	0.2747
No log	8.3529	142	0.2729	0.1388	0.2731
No log	8.4706	144	0.2716	0.1325	0.2718
No log	8.5882	146	0.2731	0.1295	0.2734
No log	8.7059	148	0.2726	0.1287	0.2729
No log	8.8235	150	0.2748	0.1306	0.2751
No log	8.9412	152	0.2760	0.1400	0.2762
No log	9.0588	154	0.2751	0.1400	0.2754
No log	9.1765	156	0.2728	0.1478	0.2731
No log	9.2941	158	0.2721	0.1478	0.2723
No log	9.4118	160	0.2716	0.1478	0.2718
No log	9.5294	162	0.2714	0.1478	0.2717
No log	9.6471	164	0.2722	0.1478	0.2725
No log	9.7647	166	0.2731	0.1560	0.2733
No log	9.8824	168	0.2734	0.1560	0.2736
No log	10.0	170	0.2736	0.1560	0.2738

Framework versions

• Transformers 4.44.0
• Pytorch 2.4.0
• Datasets 2.21.0
• Tokenizers 0.19.1