arabert_cross_relevance_task7_fold5

This model is a fine-tuned version of aubmindlab/bert-base-arabertv02 on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.2737
• Qwk: 0.2531
• Mse: 0.2737

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-05
• train_batch_size: 64
• eval_batch_size: 64
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 10

Training results

Training Loss	Epoch	Step	Validation Loss	Qwk	Mse
No log	0.125	2	1.2635	0.0075	1.2635
No log	0.25	4	0.4733	0.0856	0.4733
No log	0.375	6	0.4780	0.1193	0.4780
No log	0.5	8	0.4171	0.1125	0.4171
No log	0.625	10	0.3393	0.1154	0.3393
No log	0.75	12	0.3133	0.0877	0.3133
No log	0.875	14	0.2954	0.0958	0.2954
No log	1.0	16	0.2822	0.1293	0.2822
No log	1.125	18	0.2616	0.1948	0.2616
No log	1.25	20	0.2545	0.2304	0.2545
No log	1.375	22	0.2454	0.2207	0.2454
No log	1.5	24	0.2508	0.2316	0.2508
No log	1.625	26	0.2477	0.2028	0.2477
No log	1.75	28	0.2442	0.2000	0.2442
No log	1.875	30	0.2513	0.2028	0.2513
No log	2.0	32	0.2468	0.2138	0.2468
No log	2.125	34	0.2358	0.2349	0.2358
No log	2.25	36	0.2333	0.2259	0.2333
No log	2.375	38	0.2391	0.2212	0.2391
No log	2.5	40	0.2305	0.2355	0.2305
No log	2.625	42	0.2393	0.2837	0.2393
No log	2.75	44	0.2395	0.2837	0.2395
No log	2.875	46	0.2326	0.2838	0.2326
No log	3.0	48	0.2323	0.2435	0.2323
No log	3.125	50	0.2326	0.2723	0.2326
No log	3.25	52	0.2331	0.2723	0.2331
No log	3.375	54	0.2328	0.2800	0.2328
No log	3.5	56	0.2397	0.2677	0.2397
No log	3.625	58	0.2444	0.2503	0.2444
No log	3.75	60	0.2477	0.2371	0.2477
No log	3.875	62	0.2481	0.2355	0.2481
No log	4.0	64	0.2561	0.2148	0.2561
No log	4.125	66	0.2682	0.2101	0.2682
No log	4.25	68	0.2759	0.1725	0.2759
No log	4.375	70	0.2719	0.1665	0.2719
No log	4.5	72	0.2545	0.2022	0.2545
No log	4.625	74	0.2459	0.2488	0.2459
No log	4.75	76	0.2442	0.2674	0.2442
No log	4.875	78	0.2574	0.2183	0.2574
No log	5.0	80	0.2695	0.2133	0.2695
No log	5.125	82	0.2908	0.2237	0.2908
No log	5.25	84	0.2741	0.2523	0.2741
No log	5.375	86	0.2535	0.2795	0.2535
No log	5.5	88	0.2511	0.2795	0.2511
No log	5.625	90	0.2503	0.2680	0.2503
No log	5.75	92	0.2516	0.2536	0.2516
No log	5.875	94	0.2541	0.2575	0.2541
No log	6.0	96	0.2541	0.2575	0.2541
No log	6.125	98	0.2569	0.2609	0.2569
No log	6.25	100	0.2577	0.2609	0.2577
No log	6.375	102	0.2619	0.2609	0.2619
No log	6.5	104	0.2736	0.2575	0.2736
No log	6.625	106	0.2782	0.2575	0.2782
No log	6.75	108	0.2718	0.2793	0.2718
No log	6.875	110	0.2666	0.2575	0.2666
No log	7.0	112	0.2601	0.2575	0.2601
No log	7.125	114	0.2517	0.2605	0.2517
No log	7.25	116	0.2515	0.2641	0.2515
No log	7.375	118	0.2527	0.2641	0.2527
No log	7.5	120	0.2579	0.2565	0.2579
No log	7.625	122	0.2612	0.2644	0.2612
No log	7.75	124	0.2592	0.2644	0.2592
No log	7.875	126	0.2572	0.2682	0.2572
No log	8.0	128	0.2594	0.2682	0.2594
No log	8.125	130	0.2600	0.2682	0.2600
No log	8.25	132	0.2633	0.2609	0.2633
No log	8.375	134	0.2691	0.2496	0.2691
No log	8.5	136	0.2714	0.2426	0.2714
No log	8.625	138	0.2651	0.2609	0.2651
No log	8.75	140	0.2593	0.2682	0.2593
No log	8.875	142	0.2587	0.2682	0.2587
No log	9.0	144	0.2587	0.2682	0.2587
No log	9.125	146	0.2620	0.2682	0.2620
No log	9.25	148	0.2666	0.2570	0.2666
No log	9.375	150	0.2697	0.2570	0.2697
No log	9.5	152	0.2714	0.2570	0.2714
No log	9.625	154	0.2724	0.2531	0.2724
No log	9.75	156	0.2735	0.2458	0.2735
No log	9.875	158	0.2736	0.2531	0.2736
No log	10.0	160	0.2737	0.2531	0.2737

Framework versions

• Transformers 4.44.0
• Pytorch 2.4.0
• Datasets 2.21.0
• Tokenizers 0.19.1