hubert-large-ls960-ft-lg-CV-Fleurs_yogera_filtered-20hrs-v1

This model is a fine-tuned version of facebook/hubert-large-ls960-ft on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.6705
• Wer: 0.1976
• Cer: 0.0467

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0003
• train_batch_size: 8
• eval_batch_size: 4
• seed: 42
• gradient_accumulation_steps: 2
• total_train_batch_size: 16
• optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: linear
• num_epochs: 100
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer	Cer
1.7265	1.0	410	0.6605	0.6941	0.1665
0.5949	2.0	820	0.5326	0.5857	0.1430
0.4821	3.0	1230	0.4972	0.5077	0.1176
0.408	4.0	1640	0.4609	0.4701	0.1091
0.3642	5.0	2050	0.4857	0.4472	0.1014
0.3291	6.0	2460	0.4609	0.4136	0.0935
0.3015	7.0	2870	0.4432	0.4244	0.0935
0.2792	8.0	3280	0.4246	0.3944	0.0903
0.2547	9.0	3690	0.4439	0.3786	0.0835
0.2359	10.0	4100	0.4846	0.3635	0.0816
0.222	11.0	4510	0.4582	0.3617	0.0811
0.2061	12.0	4920	0.4556	0.3498	0.0776
0.1918	13.0	5330	0.4400	0.3297	0.0752
0.1818	14.0	5740	0.4702	0.3246	0.0728
0.1707	15.0	6150	0.4628	0.3155	0.0713
0.1637	16.0	6560	0.4530	0.3109	0.0703
0.1575	17.0	6970	0.4545	0.3155	0.0718
0.1458	18.0	7380	0.4746	0.3027	0.0703
0.1385	19.0	7790	0.4731	0.2982	0.0674
0.1353	20.0	8200	0.4716	0.2888	0.0669
0.1315	21.0	8610	0.4567	0.2884	0.0662
0.1234	22.0	9020	0.5108	0.2809	0.0649
0.1196	23.0	9430	0.5185	0.2713	0.0618
0.1124	24.0	9840	0.5352	0.2678	0.0613
0.1104	25.0	10250	0.5005	0.2637	0.0609
0.1064	26.0	10660	0.5001	0.2672	0.0632
0.1043	27.0	11070	0.5289	0.2632	0.0610
0.0995	28.0	11480	0.5562	0.2598	0.0606
0.0949	29.0	11890	0.5139	0.2543	0.0592
0.0916	30.0	12300	0.5332	0.2646	0.0609
0.0905	31.0	12710	0.5296	0.2598	0.0602
0.0901	32.0	13120	0.5146	0.2517	0.0586
0.0845	33.0	13530	0.5302	0.2435	0.0573
0.084	34.0	13940	0.5413	0.2462	0.0574
0.0827	35.0	14350	0.5260	0.2437	0.0573
0.0779	36.0	14760	0.5656	0.2384	0.0558
0.0758	37.0	15170	0.5580	0.2429	0.0575
0.0771	38.0	15580	0.5335	0.2402	0.0564
0.0757	39.0	15990	0.5580	0.2357	0.0554
0.0691	40.0	16400	0.5663	0.2363	0.0553
0.0701	41.0	16810	0.5447	0.2343	0.0549
0.0716	42.0	17220	0.5599	0.2384	0.0560
0.0672	43.0	17630	0.5774	0.2316	0.0540
0.0679	44.0	18040	0.5607	0.2282	0.0537
0.0649	45.0	18450	0.5789	0.2266	0.0536
0.0622	46.0	18860	0.5570	0.2233	0.0526
0.0609	47.0	19270	0.5789	0.2282	0.0531
0.0603	48.0	19680	0.5763	0.2304	0.0533
0.0589	49.0	20090	0.5464	0.2283	0.0526
0.0585	50.0	20500	0.5613	0.2240	0.0515
0.057	51.0	20910	0.5723	0.2258	0.0524
0.056	52.0	21320	0.5551	0.2204	0.0528
0.0564	53.0	21730	0.5742	0.2235	0.0517
0.0527	54.0	22140	0.5516	0.2241	0.0522
0.0516	55.0	22550	0.5705	0.2255	0.0524
0.0538	56.0	22960	0.5838	0.2221	0.0522
0.0504	57.0	23370	0.5707	0.2215	0.0515
0.0512	58.0	23780	0.6008	0.2196	0.0518
0.0486	59.0	24190	0.5576	0.2175	0.0510
0.0466	60.0	24600	0.5962	0.2147	0.0513
0.0475	61.0	25010	0.5684	0.2179	0.0523
0.045	62.0	25420	0.6021	0.2140	0.0509
0.0447	63.0	25830	0.5900	0.2108	0.0501
0.0435	64.0	26240	0.6131	0.2172	0.0508
0.0417	65.0	26650	0.5934	0.2097	0.0497
0.043	66.0	27060	0.5752	0.2110	0.0495
0.041	67.0	27470	0.5982	0.2112	0.0506
0.0405	68.0	27880	0.6200	0.2097	0.0497
0.0398	69.0	28290	0.6205	0.2052	0.0486
0.038	70.0	28700	0.5972	0.2093	0.0494
0.0391	71.0	29110	0.6102	0.2099	0.0499
0.038	72.0	29520	0.6061	0.2083	0.0492
0.0384	73.0	29930	0.6393	0.2095	0.0497
0.0354	74.0	30340	0.6112	0.2102	0.0499
0.0344	75.0	30750	0.6159	0.2094	0.0490
0.0355	76.0	31160	0.6256	0.2078	0.0491
0.0355	77.0	31570	0.6195	0.2042	0.0487
0.0333	78.0	31980	0.6241	0.2061	0.0489
0.0317	79.0	32390	0.6394	0.2066	0.0493
0.0338	80.0	32800	0.6010	0.2064	0.0487
0.0319	81.0	33210	0.6227	0.2044	0.0487
0.0306	82.0	33620	0.6274	0.2047	0.0484
0.0308	83.0	34030	0.6441	0.2052	0.0486
0.032	84.0	34440	0.6528	0.2020	0.0481
0.0294	85.0	34850	0.6534	0.2053	0.0482
0.0308	86.0	35260	0.6367	0.2020	0.0479
0.0302	87.0	35670	0.6634	0.2005	0.0476
0.0291	88.0	36080	0.6397	0.2016	0.0475
0.0287	89.0	36490	0.6556	0.2021	0.0477
0.0291	90.0	36900	0.6490	0.2026	0.0475
0.0279	91.0	37310	0.6508	0.2000	0.0473
0.0265	92.0	37720	0.6547	0.2004	0.0473
0.0288	93.0	38130	0.6509	0.1992	0.0470
0.0265	94.0	38540	0.6520	0.1978	0.0467
0.0263	95.0	38950	0.6656	0.1993	0.0470
0.0255	96.0	39360	0.6665	0.1987	0.0469
0.0252	97.0	39770	0.6622	0.1979	0.0467
0.0243	98.0	40180	0.6602	0.1971	0.0465
0.0247	99.0	40590	0.6651	0.1975	0.0467
0.025	100.0	41000	0.6705	0.1976	0.0467

Framework versions

• Transformers 4.46.3
• Pytorch 2.1.0+cu118
• Datasets 3.1.0
• Tokenizers 0.20.3