arabert_cross_relevance_task1_fold5

This model is a fine-tuned version of aubmindlab/bert-base-arabertv02 on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.1878
• Qwk: 0.3819
• Mse: 0.1876

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-05
• train_batch_size: 64
• eval_batch_size: 64
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 10

Training results

Training Loss	Epoch	Step	Validation Loss	Qwk	Mse
No log	0.1333	2	0.4109	0.2336	0.4106
No log	0.2667	4	0.3205	0.4919	0.3198
No log	0.4	6	0.3796	0.1681	0.3786
No log	0.5333	8	0.4000	0.1674	0.3992
No log	0.6667	10	0.3695	0.3199	0.3690
No log	0.8	12	0.2845	0.3350	0.2841
No log	0.9333	14	0.2416	0.3864	0.2408
No log	1.0667	16	0.3319	0.5930	0.3309
No log	1.2	18	0.2997	0.5123	0.2988
No log	1.3333	20	0.2367	0.2937	0.2361
No log	1.4667	22	0.2587	0.3126	0.2583
No log	1.6	24	0.2424	0.3355	0.2423
No log	1.7333	26	0.2050	0.3596	0.2050
No log	1.8667	28	0.1955	0.4152	0.1955
No log	2.0	30	0.2132	0.4904	0.2130
No log	2.1333	32	0.2250	0.4135	0.2247
No log	2.2667	34	0.2143	0.3443	0.2140
No log	2.4	36	0.1969	0.3501	0.1967
No log	2.5333	38	0.1788	0.3703	0.1787
No log	2.6667	40	0.1794	0.3757	0.1792
No log	2.8	42	0.1996	0.3852	0.1993
No log	2.9333	44	0.2126	0.3724	0.2122
No log	3.0667	46	0.2175	0.3534	0.2172
No log	3.2	48	0.1984	0.3771	0.1982
No log	3.3333	50	0.1905	0.3695	0.1903
No log	3.4667	52	0.1879	0.3695	0.1877
No log	3.6	54	0.1891	0.3766	0.1889
No log	3.7333	56	0.1833	0.4205	0.1831
No log	3.8667	58	0.1756	0.3942	0.1755
No log	4.0	60	0.1782	0.3642	0.1782
No log	4.1333	62	0.1748	0.3617	0.1748
No log	4.2667	64	0.1775	0.3736	0.1774
No log	4.4	66	0.1912	0.3958	0.1910
No log	4.5333	68	0.2067	0.3725	0.2064
No log	4.6667	70	0.1994	0.3983	0.1991
No log	4.8	72	0.1917	0.4319	0.1914
No log	4.9333	74	0.1976	0.4129	0.1976
No log	5.0667	76	0.2040	0.4133	0.2040
No log	5.2	78	0.1996	0.3886	0.1996
No log	5.3333	80	0.1919	0.3944	0.1917
No log	5.4667	82	0.2038	0.3686	0.2035
No log	5.6	84	0.2110	0.3572	0.2107
No log	5.7333	86	0.2060	0.3677	0.2058
No log	5.8667	88	0.1924	0.3835	0.1922
No log	6.0	90	0.1834	0.4065	0.1833
No log	6.1333	92	0.1793	0.4025	0.1792
No log	6.2667	94	0.1797	0.4067	0.1796
No log	6.4	96	0.1838	0.3854	0.1837
No log	6.5333	98	0.1902	0.3712	0.1900
No log	6.6667	100	0.1977	0.3732	0.1975
No log	6.8	102	0.1991	0.3668	0.1989
No log	6.9333	104	0.1975	0.3732	0.1973
No log	7.0667	106	0.1963	0.3677	0.1961
No log	7.2	108	0.1964	0.3641	0.1962
No log	7.3333	110	0.1928	0.3659	0.1926
No log	7.4667	112	0.1906	0.3765	0.1905
No log	7.6	114	0.1938	0.3804	0.1936
No log	7.7333	116	0.1973	0.3852	0.1971
No log	7.8667	118	0.2049	0.3790	0.2047
No log	8.0	120	0.2071	0.3725	0.2069
No log	8.1333	122	0.2054	0.3763	0.2051
No log	8.2667	124	0.2031	0.3715	0.2028
No log	8.4	126	0.2018	0.3547	0.2016
No log	8.5333	128	0.2011	0.3501	0.2009
No log	8.6667	130	0.2020	0.3532	0.2018
No log	8.8	132	0.2004	0.3532	0.2002
No log	8.9333	134	0.1983	0.3587	0.1982
No log	9.0667	136	0.1957	0.3632	0.1955
No log	9.2	138	0.1933	0.3632	0.1931
No log	9.3333	140	0.1911	0.3749	0.1909
No log	9.4667	142	0.1894	0.3819	0.1893
No log	9.6	144	0.1885	0.3819	0.1883
No log	9.7333	146	0.1879	0.3819	0.1878
No log	9.8667	148	0.1877	0.3819	0.1876
No log	10.0	150	0.1878	0.3819	0.1876

Framework versions

• Transformers 4.44.0
• Pytorch 2.4.0
• Datasets 2.21.0
• Tokenizers 0.19.1