arabert_cross_relevance_task2_fold0

This model is a fine-tuned version of aubmindlab/bert-base-arabertv02 on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.2763
• Qwk: 0.2118
• Mse: 0.2766

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-05
• train_batch_size: 64
• eval_batch_size: 64
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 10

Training results

Training Loss	Epoch	Step	Validation Loss	Qwk	Mse
No log	0.1333	2	1.2789	0.0139	1.2791
No log	0.2667	4	0.3957	0.0518	0.3957
No log	0.4	6	0.5497	0.0762	0.5494
No log	0.5333	8	0.5310	0.0791	0.5312
No log	0.6667	10	0.5062	0.0963	0.5067
No log	0.8	12	0.3143	0.0865	0.3147
No log	0.9333	14	0.2566	0.0879	0.2569
No log	1.0667	16	0.2346	0.1763	0.2348
No log	1.2	18	0.2326	0.0874	0.2328
No log	1.3333	20	0.2515	0.0751	0.2516
No log	1.4667	22	0.2770	0.0808	0.2772
No log	1.6	24	0.2829	0.0971	0.2832
No log	1.7333	26	0.2820	0.1185	0.2824
No log	1.8667	28	0.2898	0.2415	0.2901
No log	2.0	30	0.2955	0.2956	0.2958
No log	2.1333	32	0.2854	0.1934	0.2857
No log	2.2667	34	0.2936	0.1068	0.2939
No log	2.4	36	0.2771	0.1149	0.2775
No log	2.5333	38	0.2646	0.1251	0.2649
No log	2.6667	40	0.2813	0.0925	0.2816
No log	2.8	42	0.3144	0.0962	0.3148
No log	2.9333	44	0.2730	0.1160	0.2734
No log	3.0667	46	0.2608	0.1750	0.2611
No log	3.2	48	0.2707	0.2039	0.2710
No log	3.3333	50	0.2810	0.1280	0.2814
No log	3.4667	52	0.2855	0.1188	0.2859
No log	3.6	54	0.2726	0.1072	0.2730
No log	3.7333	56	0.2684	0.1361	0.2688
No log	3.8667	58	0.2683	0.1868	0.2686
No log	4.0	60	0.2781	0.2062	0.2785
No log	4.1333	62	0.2921	0.2414	0.2924
No log	4.2667	64	0.2977	0.2919	0.2980
No log	4.4	66	0.2977	0.2571	0.2980
No log	4.5333	68	0.2869	0.2312	0.2872
No log	4.6667	70	0.2721	0.2289	0.2724
No log	4.8	72	0.2696	0.2253	0.2699
No log	4.9333	74	0.2755	0.1581	0.2759
No log	5.0667	76	0.2782	0.1567	0.2786
No log	5.2	78	0.2752	0.1686	0.2756
No log	5.3333	80	0.2765	0.1716	0.2769
No log	5.4667	82	0.2686	0.2142	0.2690
No log	5.6	84	0.2667	0.2265	0.2670
No log	5.7333	86	0.2752	0.2050	0.2756
No log	5.8667	88	0.2867	0.1803	0.2871
No log	6.0	90	0.2816	0.2116	0.2819
No log	6.1333	92	0.2723	0.2557	0.2726
No log	6.2667	94	0.2733	0.2884	0.2735
No log	6.4	96	0.2753	0.2629	0.2755
No log	6.5333	98	0.2787	0.2101	0.2790
No log	6.6667	100	0.2860	0.1805	0.2863
No log	6.8	102	0.2870	0.1727	0.2873
No log	6.9333	104	0.2680	0.1702	0.2683
No log	7.0667	106	0.2577	0.1767	0.2579
No log	7.2	108	0.2595	0.1735	0.2598
No log	7.3333	110	0.2638	0.1751	0.2640
No log	7.4667	112	0.2779	0.1759	0.2782
No log	7.6	114	0.2860	0.1726	0.2864
No log	7.7333	116	0.2810	0.1757	0.2813
No log	7.8667	118	0.2683	0.1912	0.2686
No log	8.0	120	0.2616	0.2129	0.2618
No log	8.1333	122	0.2606	0.2129	0.2608
No log	8.2667	124	0.2651	0.2043	0.2654
No log	8.4	126	0.2700	0.1970	0.2703
No log	8.5333	128	0.2737	0.1914	0.2741
No log	8.6667	130	0.2727	0.2139	0.2731
No log	8.8	132	0.2748	0.2139	0.2751
No log	8.9333	134	0.2738	0.2175	0.2741
No log	9.0667	136	0.2726	0.2112	0.2730
No log	9.2	138	0.2719	0.2166	0.2722
No log	9.3333	140	0.2710	0.2275	0.2713
No log	9.4667	142	0.2714	0.2275	0.2717
No log	9.6	144	0.2724	0.2242	0.2727
No log	9.7333	146	0.2742	0.2154	0.2745
No log	9.8667	148	0.2755	0.2118	0.2758
No log	10.0	150	0.2763	0.2118	0.2766

Framework versions

• Transformers 4.44.0
• Pytorch 2.4.0
• Datasets 2.21.0
• Tokenizers 0.19.1