arabert_cross_relevance_task4_fold5

This model is a fine-tuned version of aubmindlab/bert-base-arabertv02 on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.1959
• Qwk: 0.3973
• Mse: 0.1959

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-05
• train_batch_size: 64
• eval_batch_size: 64
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 10

Training results

Training Loss	Epoch	Step	Validation Loss	Qwk	Mse
No log	0.1176	2	0.2829	0.2281	0.2825
No log	0.2353	4	0.3384	0.3607	0.3377
No log	0.3529	6	0.2361	0.3469	0.2356
No log	0.4706	8	0.2565	0.3434	0.2564
No log	0.5882	10	0.2109	0.3531	0.2109
No log	0.7059	12	0.1920	0.3266	0.1917
No log	0.8235	14	0.1946	0.3334	0.1943
No log	0.9412	16	0.1757	0.4574	0.1756
No log	1.0588	18	0.1726	0.5071	0.1727
No log	1.1765	20	0.1653	0.4079	0.1653
No log	1.2941	22	0.1708	0.3931	0.1707
No log	1.4118	24	0.1783	0.3512	0.1781
No log	1.5294	26	0.1810	0.3512	0.1809
No log	1.6471	28	0.1836	0.3467	0.1835
No log	1.7647	30	0.1863	0.3686	0.1862
No log	1.8824	32	0.1946	0.3724	0.1944
No log	2.0	34	0.1957	0.3890	0.1956
No log	2.1176	36	0.1833	0.3976	0.1833
No log	2.2353	38	0.1883	0.3683	0.1884
No log	2.3529	40	0.1889	0.3608	0.1889
No log	2.4706	42	0.1805	0.3872	0.1805
No log	2.5882	44	0.1951	0.4399	0.1949
No log	2.7059	46	0.2076	0.4132	0.2074
No log	2.8235	48	0.1906	0.4472	0.1904
No log	2.9412	50	0.1805	0.4286	0.1806
No log	3.0588	52	0.1962	0.3808	0.1964
No log	3.1765	54	0.1906	0.3696	0.1907
No log	3.2941	56	0.1903	0.3562	0.1903
No log	3.4118	58	0.1893	0.3519	0.1893
No log	3.5294	60	0.1793	0.3754	0.1793
No log	3.6471	62	0.1725	0.3761	0.1726
No log	3.7647	64	0.1732	0.3867	0.1732
No log	3.8824	66	0.1756	0.3728	0.1757
No log	4.0	68	0.1756	0.3768	0.1756
No log	4.1176	70	0.1760	0.3788	0.1760
No log	4.2353	72	0.1762	0.3724	0.1762
No log	4.3529	74	0.1718	0.3623	0.1717
No log	4.4706	76	0.1679	0.3667	0.1679
No log	4.5882	78	0.1666	0.3816	0.1667
No log	4.7059	80	0.1776	0.3966	0.1778
No log	4.8235	82	0.1888	0.3969	0.1890
No log	4.9412	84	0.1893	0.3969	0.1895
No log	5.0588	86	0.1782	0.3768	0.1783
No log	5.1765	88	0.1774	0.3683	0.1774
No log	5.2941	90	0.1798	0.3744	0.1797
No log	5.4118	92	0.1823	0.3684	0.1822
No log	5.5294	94	0.1828	0.3752	0.1827
No log	5.6471	96	0.1843	0.3774	0.1843
No log	5.7647	98	0.1901	0.3698	0.1901
No log	5.8824	100	0.1920	0.3735	0.1921
No log	6.0	102	0.1844	0.3821	0.1845
No log	6.1176	104	0.1765	0.4146	0.1766
No log	6.2353	106	0.1765	0.4100	0.1765
No log	6.3529	108	0.1783	0.4054	0.1783
No log	6.4706	110	0.1769	0.3909	0.1769
No log	6.5882	112	0.1761	0.3945	0.1762
No log	6.7059	114	0.1788	0.3862	0.1789
No log	6.8235	116	0.1789	0.3906	0.1789
No log	6.9412	118	0.1803	0.4054	0.1804
No log	7.0588	120	0.1833	0.3980	0.1834
No log	7.1765	122	0.1902	0.4017	0.1903
No log	7.2941	124	0.1979	0.4022	0.1981
No log	7.4118	126	0.1996	0.3880	0.1998
No log	7.5294	128	0.1940	0.3978	0.1941
No log	7.6471	130	0.1917	0.4072	0.1918
No log	7.7647	132	0.1940	0.3980	0.1940
No log	7.8824	134	0.2019	0.3978	0.2020
No log	8.0	136	0.2093	0.4067	0.2094
No log	8.1176	138	0.2156	0.3976	0.2157
No log	8.2353	140	0.2077	0.4067	0.2078
No log	8.3529	142	0.1994	0.4031	0.1995
No log	8.4706	144	0.1959	0.4118	0.1960
No log	8.5882	146	0.1952	0.4068	0.1953
No log	8.7059	148	0.1954	0.4021	0.1955
No log	8.8235	150	0.1949	0.3954	0.1950
No log	8.9412	152	0.1945	0.3906	0.1945
No log	9.0588	154	0.1941	0.3852	0.1941
No log	9.1765	156	0.1942	0.3755	0.1942
No log	9.2941	158	0.1931	0.3852	0.1931
No log	9.4118	160	0.1927	0.3852	0.1927
No log	9.5294	162	0.1933	0.3941	0.1933
No log	9.6471	164	0.1939	0.3941	0.1940
No log	9.7647	166	0.1946	0.3957	0.1947
No log	9.8824	168	0.1954	0.3973	0.1955
No log	10.0	170	0.1959	0.3973	0.1959

Framework versions

• Transformers 4.44.0
• Pytorch 2.4.0
• Datasets 2.21.0
• Tokenizers 0.19.1