wav2vec2-large-xlsr-georgian

This model is a fine-tuned version of facebook/wav2vec2-large-xlsr-53 on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.0480
• Wer: 0.2203

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.002
• train_batch_size: 32
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 200
• num_epochs: 5

Training results

Training Loss	Epoch	Step	Validation Loss	Wer
7.887	0.03	100	3.6607	1.0
4.0646	0.05	200	3.1735	1.0
3.7509	0.08	300	3.2336	1.0
3.8832	0.11	400	3.1474	1.0
3.9646	0.14	500	3.3345	1.0
3.1657	0.16	600	3.0552	1.0
3.0641	0.19	700	3.0919	1.0
1.9443	0.22	800	1.5124	1.0
0.6772	0.25	900	0.6392	0.8845
0.5144	0.27	1000	0.4253	0.7256
0.4361	0.3	1100	0.3405	0.6596
0.4239	0.33	1200	0.2857	0.5969
0.3226	0.36	1300	0.2790	0.5880
0.3508	0.38	1400	0.2492	0.5586
0.3091	0.41	1500	0.2572	0.5655
0.3094	0.44	1600	0.2238	0.5122
0.305	0.47	1700	0.2339	0.5011
0.258	0.49	1800	0.2067	0.5008
0.2673	0.52	1900	0.2201	0.5077
0.2256	0.55	2000	0.1871	0.4633
0.2697	0.58	2100	0.1933	0.4696
0.233	0.6	2200	0.1835	0.4520
0.2078	0.63	2300	0.1761	0.4482
0.2721	0.66	2400	0.1742	0.4406
0.2807	0.69	2500	0.1717	0.4376
0.2397	0.71	2600	0.1788	0.4444
0.2672	0.74	2700	0.1534	0.4126
0.1954	0.77	2800	0.1593	0.4085
0.2753	0.79	2900	0.1575	0.4128
0.1975	0.82	3000	0.1435	0.3926
0.2282	0.85	3100	0.1702	0.4271
0.2372	0.88	3200	0.1417	0.3965
0.229	0.9	3300	0.1385	0.3860
0.2332	0.93	3400	0.1325	0.3805
0.2074	0.96	3500	0.1309	0.375
0.1937	0.99	3600	0.1306	0.3784
0.2211	1.01	3700	0.1402	0.3836
0.1928	1.04	3800	0.1339	0.3714
0.176	1.07	3900	0.1319	0.3743
0.1818	1.1	4000	0.1326	0.3760
0.2191	1.12	4100	0.1312	0.3768
0.1848	1.15	4200	0.1228	0.3599
0.1671	1.18	4300	0.1289	0.3731
0.1759	1.21	4400	0.1245	0.3632
0.1783	1.23	4500	0.1267	0.3545
0.1576	1.26	4600	0.1280	0.3581
0.1726	1.29	4700	0.1215	0.3541
0.1702	1.32	4800	0.1342	0.3690
0.2667	1.34	4900	0.1256	0.3635
0.232	1.37	5000	0.1228	0.3580
0.2012	1.4	5100	0.1183	0.3476
0.1862	1.42	5200	0.1210	0.3535
0.1947	1.45	5300	0.1241	0.3514
0.1806	1.48	5400	0.1151	0.3399
0.1779	1.51	5500	0.1127	0.3426
0.176	1.53	5600	0.1105	0.3446
0.1387	1.56	5700	0.1019	0.3301
0.1621	1.59	5800	0.1038	0.3309
0.1527	1.62	5900	0.1104	0.3398
0.1748	1.64	6000	0.1071	0.3348
0.165	1.67	6100	0.1092	0.3380
0.1384	1.7	6200	0.1063	0.3349
0.1859	1.73	6300	0.1058	0.3250
0.1919	1.75	6400	0.1080	0.3413
0.1425	1.78	6500	0.1050	0.3284
0.1571	1.81	6600	0.1002	0.3244
0.1591	1.84	6700	0.0999	0.3238
0.1615	1.86	6800	0.0961	0.3157
0.148	1.89	6900	0.0993	0.3197
0.1893	1.92	7000	0.0963	0.3219
0.1586	1.95	7100	0.0970	0.3227
0.1932	1.97	7200	0.0955	0.3200
0.172	2.0	7300	0.0930	0.3159
0.1617	2.03	7400	0.0972	0.3170
0.1644	2.06	7500	0.0923	0.3117
0.1098	2.08	7600	0.1001	0.3186
0.1456	2.11	7700	0.1028	0.3262
0.1518	2.14	7800	0.1018	0.3177
0.1485	2.16	7900	0.0986	0.3153
0.1411	2.19	8000	0.0938	0.3117
0.1439	2.22	8100	0.0937	0.3124
0.1469	2.25	8200	0.0919	0.3096
0.1476	2.27	8300	0.0939	0.3099
0.1678	2.3	8400	0.0926	0.3095
0.1705	2.33	8500	0.0973	0.3167
0.1323	2.36	8600	0.0910	0.3055
0.1258	2.38	8700	0.0872	0.3017
0.1536	2.41	8800	0.0963	0.3103
0.1628	2.44	8900	0.0871	0.3045
0.1504	2.47	9000	0.0898	0.3038
0.1301	2.49	9100	0.0856	0.2966
0.1488	2.52	9200	0.0846	0.2978
0.1621	2.55	9300	0.0855	0.3024
0.1453	2.58	9400	0.0830	0.2940
0.13	2.6	9500	0.0824	0.2920
0.1225	2.63	9600	0.0830	0.2920
0.1337	2.66	9700	0.0838	0.2914
0.1192	2.69	9800	0.0846	0.2992
0.1478	2.71	9900	0.0794	0.2921
0.1188	2.74	10000	0.0771	0.2875
0.2217	2.77	10100	0.0840	0.3002
0.1169	2.79	10200	0.0769	0.2876
0.1334	2.82	10300	0.0782	0.2875
0.1623	2.85	10400	0.0833	0.2948
0.2	2.88	10500	0.0772	0.2856
0.1288	2.9	10600	0.0773	0.2854
0.1201	2.93	10700	0.0782	0.2885
0.1467	2.96	10800	0.0778	0.2864
0.1452	2.99	10900	0.0747	0.2825
0.1182	3.01	11000	0.0759	0.2812
0.1078	3.04	11100	0.0744	0.2771
0.1426	3.07	11200	0.0797	0.2883
0.1322	3.1	11300	0.0765	0.2797
0.1655	3.12	11400	0.0743	0.2885
0.1243	3.15	11500	0.0744	0.2792
0.1724	3.18	11600	0.0749	0.2778
0.1136	3.21	11700	0.0730	0.2764
0.1428	3.23	11800	0.0776	0.2836
0.1189	3.26	11900	0.0788	0.2893
0.1065	3.29	12000	0.0732	0.2746
0.14	3.32	12100	0.0720	0.2756
2.7696	3.34	12200	2.8195	1.0
0.7388	3.37	12300	0.4293	0.7221
0.1829	3.4	12400	0.0925	0.2933
0.1534	3.42	12500	0.0794	0.2763
0.134	3.45	12600	0.0768	0.2719
0.1095	3.48	12700	0.0716	0.2641
0.1185	3.51	12800	0.0702	0.2603
0.2156	3.53	12900	0.1122	0.3044
0.1246	3.56	13000	0.0792	0.2679
0.1023	3.59	13100	0.0749	0.2646
0.1302	3.62	13200	0.0696	0.2569
0.1168	3.64	13300	0.0675	0.2539
0.0907	3.67	13400	0.0661	0.2495
0.1111	3.7	13500	0.0642	0.2493
0.1003	3.73	13600	0.0626	0.2463
0.12	3.75	13700	0.0617	0.2453
0.1268	3.78	13800	0.0607	0.2447
0.0903	3.81	13900	0.0599	0.2430
0.0809	3.84	14000	0.0589	0.2426
0.1066	3.86	14100	0.0576	0.2392
0.1015	3.89	14200	0.0569	0.2374
0.1035	3.92	14300	0.0554	0.2365
0.084	3.95	14400	0.0549	0.2338
0.0774	3.97	14500	0.0541	0.2333
0.0928	4.0	14600	0.0542	0.2342
0.095	4.03	14700	0.0536	0.2352
0.0941	4.05	14800	0.0533	0.2321
0.0681	4.08	14900	0.0521	0.2294
0.0681	4.11	15000	0.0512	0.2291
0.073	4.14	15100	0.0506	0.2275
0.0918	4.16	15200	0.0506	0.2279
0.0751	4.19	15300	0.0507	0.2283
0.0952	4.22	15400	0.0496	0.2295
0.0839	4.25	15500	0.0487	0.2257
0.1116	4.27	15600	0.0498	0.2258
0.0775	4.3	15700	0.0487	0.2250
0.0801	4.33	15800	0.0483	0.2251
0.111	4.36	15900	0.0483	0.2240
0.0989	4.38	16000	0.0479	0.2220
0.0885	4.41	16100	0.0472	0.2224
0.0755	4.44	16200	0.0472	0.2211
0.0769	4.47	16300	0.0467	0.2206
0.1033	4.49	16400	0.0464	0.2215
0.082	4.52	16500	0.0464	0.2208
0.0847	4.55	16600	0.0459	0.2201
0.1126	4.58	16700	0.0452	0.2204
1.7417	4.6	16800	1.3754	1.0985
0.1646	4.63	16900	0.0896	0.2682
0.1214	4.66	17000	0.0622	0.2345
0.1068	4.68	17100	0.0575	0.2300
0.1223	4.71	17200	0.0548	0.2269
0.1038	4.74	17300	0.0527	0.2261
0.1092	4.77	17400	0.0520	0.2252
0.0931	4.79	17500	0.0516	0.2253
0.132	4.82	17600	0.0509	0.2241
0.09	4.85	17700	0.0504	0.2231
0.0921	4.88	17800	0.0497	0.2225
0.0765	4.9	17900	0.0492	0.2214
0.0999	4.93	18000	0.0487	0.2209
0.0831	4.96	18100	0.0486	0.2207
0.1	4.99	18200	0.0480	0.2203

Framework versions

• Transformers 4.34.1
• Pytorch 2.1.0+cu118
• Datasets 2.14.6
• Tokenizers 0.14.1