ko-edu-classifier_2

This model is a fine-tuned version of lemon-mint/KoEn-Embedding-Matryoshka-v0.53-final on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.4208
• Precision: 0.2412
• Recall: 0.1749
• F1 Macro: 0.1456
• Accuracy: 0.5755

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0007
• train_batch_size: 64
• eval_batch_size: 64
• seed: 0
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: cosine
• lr_scheduler_warmup_ratio: 0.2
• num_epochs: 20

Training results

Training Loss	Epoch	Step	Validation Loss	Precision	Recall	F1 Macro	Accuracy
4.1562	0.0945	256	3.8178	0.0008	0.1667	0.0016	0.0048
2.9461	0.1890	512	1.8350	0.0400	0.1449	0.0627	0.2022
1.0508	0.2835	768	0.6293	0.1632	0.1608	0.1466	0.4926
0.5796	0.3780	1024	0.5351	0.1786	0.1688	0.1445	0.5479
0.5161	0.4725	1280	0.4973	0.2107	0.1728	0.1446	0.5679
0.4841	0.5670	1536	0.4767	0.2165	0.1743	0.1472	0.5697
0.4691	0.6615	1792	0.4635	0.2207	0.1737	0.1450	0.5707
0.4455	0.7560	2048	0.4549	0.2317	0.1723	0.1419	0.5703
0.4473	0.8505	2304	0.4474	0.2319	0.1742	0.1456	0.5721
0.4274	0.9450	2560	0.4449	0.2278	0.1736	0.1453	0.5700
0.4345	1.0395	2816	0.4427	0.2375	0.1759	0.1484	0.5748
0.4255	1.1340	3072	0.4396	0.2128	0.1715	0.1394	0.5703
0.4284	1.2285	3328	0.4356	0.2392	0.1743	0.1443	0.5745
0.4281	1.3230	3584	0.4363	0.2455	0.1754	0.1459	0.5766
0.4162	1.4175	3840	0.4309	0.2275	0.1715	0.1388	0.5721
0.4259	1.5120	4096	0.4331	0.2467	0.1771	0.1512	0.5748
0.4238	1.6065	4352	0.4315	0.2430	0.1743	0.1455	0.5731
0.4269	1.7010	4608	0.4277	0.2368	0.1747	0.1470	0.5721
0.4263	1.7955	4864	0.4286	0.2459	0.1750	0.1457	0.5755
0.4159	1.8900	5120	0.4250	0.2412	0.1735	0.1422	0.5752
0.4203	1.9845	5376	0.4324	0.2487	0.1786	0.1541	0.5766
0.4174	2.0790	5632	0.4284	0.2371	0.1734	0.1439	0.5717
0.4161	2.1735	5888	0.4334	0.2307	0.1749	0.1480	0.5714
0.416	2.2680	6144	0.4292	0.2548	0.1756	0.1454	0.5786
0.4221	2.3625	6400	0.4272	0.2459	0.1741	0.1430	0.5762
0.415	2.4570	6656	0.4279	0.2350	0.1746	0.1462	0.5728
0.4335	2.5515	6912	0.4272	0.2430	0.1737	0.1423	0.5759
0.4259	2.6460	7168	0.4305	0.2300	0.1738	0.1445	0.5728
0.4106	2.7405	7424	0.4303	0.2441	0.1761	0.1489	0.5748
0.4279	2.8350	7680	0.4326	0.2205	0.1744	0.1459	0.5731
0.4234	2.9295	7936	0.4273	0.2342	0.1742	0.1450	0.5735
0.4193	3.0240	8192	0.4332	0.2348	0.1738	0.1420	0.5735
0.4197	3.1185	8448	0.4286	0.2433	0.1739	0.1421	0.5759
0.4167	3.2130	8704	0.4289	0.2310	0.1737	0.1442	0.5731
0.4117	3.3075	8960	0.4296	0.2354	0.1767	0.1503	0.5748
0.4289	3.4020	9216	0.4222	0.2564	0.1762	0.1470	0.5786
0.4256	3.4965	9472	0.4341	0.2385	0.1748	0.1442	0.5748
0.4243	3.5910	9728	0.4379	0.2313	0.1776	0.1542	0.5710
0.4221	3.6855	9984	0.4311	0.2347	0.1754	0.1484	0.5728
0.4272	3.7800	10240	0.4247	0.2377	0.1716	0.1382	0.5738
0.4176	3.8745	10496	0.4357	0.2368	0.1782	0.1523	0.5738
0.4187	3.9690	10752	0.4290	0.2353	0.1744	0.1468	0.5714
0.4115	4.0635	11008	0.4235	0.2206	0.1731	0.1445	0.5693
0.4206	4.1580	11264	0.4395	0.2498	0.1779	0.1501	0.5762
0.4265	4.2525	11520	0.4290	0.2419	0.1750	0.1462	0.5755
0.413	4.3470	11776	0.4286	0.2210	0.1732	0.1443	0.5697
0.4216	4.4415	12032	0.4274	0.2325	0.1733	0.1424	0.5741
0.4235	4.5360	12288	0.4342	0.2616	0.1791	0.1518	0.5779
0.4186	4.6305	12544	0.4280	0.2447	0.1764	0.1504	0.5738
0.424	4.7250	12800	0.4253	0.2357	0.1730	0.1412	0.5748
0.4316	4.8195	13056	0.4312	0.2349	0.1767	0.1516	0.5714
0.4175	4.9140	13312	0.4348	0.2388	0.1761	0.1517	0.5690
0.4185	5.0085	13568	0.4255	0.2527	0.1753	0.1455	0.5773
0.4186	5.1030	13824	0.4270	0.2442	0.1764	0.1485	0.5759
0.4159	5.1975	14080	0.4249	0.2394	0.1744	0.1443	0.5752
0.4128	5.2920	14336	0.4317	0.2233	0.1756	0.1494	0.5714
0.4192	5.3865	14592	0.4292	0.2536	0.1758	0.1465	0.5762
0.425	5.4810	14848	0.4453	0.2288	0.1786	0.1515	0.5735
0.4199	5.5755	15104	0.4246	0.2175	0.1713	0.1385	0.5717
0.418	5.6700	15360	0.4281	0.2284	0.1743	0.1463	0.5710
0.425	5.7645	15616	0.4365	0.2356	0.1768	0.1529	0.5690
0.422	5.8590	15872	0.4228	0.2237	0.1727	0.1414	0.5735
0.4209	5.9535	16128	0.4226	0.2449	0.1741	0.1435	0.5759
0.4188	6.0480	16384	0.4237	0.2470	0.1759	0.1473	0.5769
0.4163	6.1425	16640	0.4292	0.2543	0.1777	0.1522	0.5762
0.4132	6.2370	16896	0.4317	0.2540	0.1774	0.1518	0.5759
0.4243	6.3315	17152	0.4317	0.2110	0.1745	0.1462	0.5721
0.4164	6.4260	17408	0.4319	0.2249	0.1743	0.1444	0.5752
0.4255	6.5205	17664	0.4233	0.2349	0.1744	0.1463	0.5724
0.4205	6.6150	17920	0.4260	0.2396	0.1755	0.1472	0.5741
0.4158	6.7095	18176	0.4308	0.2335	0.1755	0.1483	0.5738
0.4179	6.8040	18432	0.4285	0.2383	0.1788	0.1539	0.5738
0.4181	6.8985	18688	0.4240	0.2481	0.1779	0.1528	0.5762
0.4146	6.9930	18944	0.4239	0.2460	0.1763	0.1489	0.5762
0.4209	7.0875	19200	0.4248	0.2641	0.1753	0.1447	0.5776
0.4186	7.1820	19456	0.4226	0.2231	0.1732	0.1434	0.5721
0.4154	7.2765	19712	0.4228	0.2405	0.1745	0.1453	0.5748
0.4091	7.3710	19968	0.4466	0.2149	0.1795	0.1575	0.5672
0.4143	7.4655	20224	0.4267	0.2291	0.1754	0.1472	0.5748
0.4216	7.5600	20480	0.4263	0.2330	0.1746	0.1456	0.5728
0.4155	7.6545	20736	0.4254	0.2588	0.1744	0.1429	0.5773
0.4179	7.7490	20992	0.4240	0.2435	0.1757	0.1475	0.5752
0.4205	7.8435	21248	0.4223	0.2496	0.1741	0.1424	0.5769
0.4224	7.9380	21504	0.4271	0.2535	0.1768	0.1480	0.5779
0.4263	8.0325	21760	0.4257	0.2292	0.1749	0.1474	0.5724
0.415	8.1270	22016	0.4285	0.2385	0.1769	0.1501	0.5731
0.4244	8.2215	22272	0.4257	0.2475	0.1762	0.1475	0.5759
0.409	8.3160	22528	0.4243	0.2362	0.1766	0.1507	0.5745
0.4151	8.4105	22784	0.4244	0.2454	0.1759	0.1469	0.5755
0.415	8.5050	23040	0.4315	0.2477	0.1802	0.1594	0.5721
0.4157	8.5995	23296	0.4254	0.2309	0.1744	0.1452	0.5745
0.4124	8.6940	23552	0.4218	0.2439	0.1739	0.1432	0.5759
0.4163	8.7885	23808	0.4227	0.2394	0.1744	0.1445	0.5752
0.4154	8.8830	24064	0.4212	0.2423	0.1747	0.1457	0.5748
0.4217	8.9775	24320	0.4257	0.2329	0.1744	0.1452	0.5741
0.4195	9.0720	24576	0.4272	0.2137	0.1721	0.1410	0.5714
0.4102	9.1665	24832	0.4231	0.2454	0.1747	0.1445	0.5766
0.4204	9.2610	25088	0.4275	0.2402	0.1759	0.1476	0.5748
0.4128	9.3555	25344	0.4251	0.2504	0.1772	0.1500	0.5769
0.4134	9.4500	25600	0.4250	0.2290	0.1721	0.1400	0.5728
0.4191	9.5445	25856	0.4222	0.2394	0.1716	0.1376	0.5748
0.4082	9.6390	26112	0.4237	0.2577	0.1742	0.1427	0.5776
0.4163	9.7335	26368	0.4222	0.2252	0.1734	0.1434	0.5735
0.4114	9.8280	26624	0.4254	0.2382	0.1762	0.1505	0.5724
0.4226	9.9225	26880	0.4228	0.2485	0.1764	0.1489	0.5769
0.427	10.0170	27136	0.4266	0.2550	0.1805	0.1565	0.5783
0.4171	10.1115	27392	0.4229	0.2228	0.1720	0.1402	0.5724
0.4136	10.2060	27648	0.4217	0.2385	0.1730	0.1411	0.5752
0.4047	10.3005	27904	0.4269	0.2307	0.1746	0.1447	0.5759
0.4186	10.3950	28160	0.4217	0.2362	0.1735	0.1425	0.5752
0.4186	10.4895	28416	0.4230	0.2460	0.1751	0.1452	0.5762
0.4055	10.5840	28672	0.4230	0.2373	0.1746	0.1453	0.5738
0.4229	10.6785	28928	0.4247	0.2273	0.1747	0.1475	0.5710
0.4096	10.7730	29184	0.4197	0.2435	0.1736	0.1421	0.5759
0.4101	10.8675	29440	0.4235	0.2267	0.1742	0.1453	0.5731
0.4271	10.9620	29696	0.4240	0.2251	0.1722	0.1399	0.5738
0.423	11.0565	29952	0.4239	0.2236	0.1709	0.1369	0.5728
0.411	11.1510	30208	0.4213	0.2304	0.1734	0.1429	0.5741
0.4099	11.2455	30464	0.4218	0.2360	0.1738	0.1435	0.5735
0.4115	11.3400	30720	0.4230	0.2234	0.1747	0.1478	0.5710
0.4159	11.4345	30976	0.4250	0.2263	0.1761	0.1494	0.5741
0.4078	11.5290	31232	0.4237	0.2261	0.1719	0.1388	0.5741
0.4237	11.6235	31488	0.4261	0.2522	0.1771	0.1493	0.5769
0.4162	11.7180	31744	0.4249	0.2332	0.1766	0.1515	0.5724
0.4163	11.8125	32000	0.4227	0.2425	0.1760	0.1480	0.5762
0.419	11.9070	32256	0.4210	0.2393	0.1736	0.1430	0.5741
0.4133	12.0015	32512	0.4237	0.2423	0.1755	0.1472	0.5755
0.4124	12.0960	32768	0.4229	0.2186	0.1715	0.1395	0.5710
0.4078	12.1905	33024	0.4244	0.2247	0.1730	0.1423	0.5721
0.4114	12.2850	33280	0.4268	0.2444	0.1786	0.1538	0.5762
0.4186	12.3795	33536	0.4223	0.2393	0.1729	0.1404	0.5759
0.4108	12.4740	33792	0.4226	0.2308	0.1727	0.1409	0.5738
0.4217	12.5685	34048	0.4218	0.2346	0.1736	0.1429	0.5741
0.4109	12.6630	34304	0.4228	0.2383	0.1746	0.1453	0.5748
0.4199	12.7575	34560	0.4233	0.2430	0.1787	0.1544	0.5755
0.4144	12.8520	34816	0.4209	0.2364	0.1734	0.1421	0.5748
0.4135	12.9465	35072	0.4230	0.2471	0.1762	0.1477	0.5766
0.4124	13.0410	35328	0.4217	0.2411	0.1743	0.1439	0.5762
0.4106	13.1355	35584	0.4211	0.2357	0.1735	0.1429	0.5745
0.4125	13.2300	35840	0.4215	0.2371	0.1743	0.1449	0.5741
0.4121	13.3245	36096	0.4216	0.2411	0.1740	0.1434	0.5759
0.4167	13.4190	36352	0.4217	0.2354	0.1761	0.1495	0.5738
0.4159	13.5135	36608	0.4248	0.2452	0.1767	0.1494	0.5755
0.4139	13.6080	36864	0.4227	0.2361	0.1747	0.1451	0.5752
0.4234	13.7025	37120	0.4225	0.2375	0.1745	0.1449	0.5755
0.4084	13.7970	37376	0.4239	0.2492	0.1748	0.1440	0.5766
0.4144	13.8915	37632	0.4221	0.2329	0.1734	0.1427	0.5745
0.4095	13.9860	37888	0.4212	0.2442	0.1743	0.1441	0.5755
0.4103	14.0805	38144	0.4234	0.2433	0.1753	0.1463	0.5752
0.4118	14.1750	38400	0.4224	0.2298	0.1737	0.1433	0.5748
0.4132	14.2695	38656	0.4225	0.2406	0.1766	0.1498	0.5759
0.4012	14.3640	38912	0.4215	0.2416	0.1750	0.1455	0.5759
0.4096	14.4585	39168	0.4209	0.2334	0.1732	0.1418	0.5748
0.4163	14.5530	39424	0.4208	0.2354	0.1739	0.1439	0.5745
0.4151	14.6475	39680	0.4208	0.2331	0.1731	0.1414	0.5748
0.409	14.7420	39936	0.4217	0.2426	0.1739	0.1430	0.5759
0.4217	14.8365	40192	0.4218	0.2453	0.1759	0.1480	0.5759
0.4144	14.9310	40448	0.4224	0.2364	0.1753	0.1471	0.5752
0.417	15.0255	40704	0.4217	0.2447	0.1749	0.1451	0.5755
0.4131	15.1200	40960	0.4215	0.2414	0.1755	0.1474	0.5752
0.4162	15.2145	41216	0.4223	0.2476	0.1768	0.1494	0.5773
0.4063	15.3090	41472	0.4221	0.2354	0.1749	0.1467	0.5741
0.4095	15.4035	41728	0.4214	0.2348	0.1738	0.1434	0.5748
0.4138	15.4980	41984	0.4220	0.2438	0.1761	0.1484	0.5755
0.4169	15.5925	42240	0.4215	0.2397	0.1746	0.1449	0.5752
0.4068	15.6870	42496	0.4210	0.2450	0.1761	0.1483	0.5759
0.4156	15.7815	42752	0.4204	0.2255	0.1731	0.1434	0.5717
0.4163	15.8760	43008	0.4214	0.2425	0.1754	0.1463	0.5759
0.4131	15.9705	43264	0.4219	0.2402	0.1760	0.1482	0.5752
0.4111	16.0650	43520	0.4215	0.2370	0.1742	0.1440	0.5745
0.4157	16.1595	43776	0.4219	0.2349	0.1749	0.1461	0.5752
0.4103	16.2540	44032	0.4216	0.2365	0.1734	0.1425	0.5745
0.4101	16.3485	44288	0.4218	0.2374	0.1745	0.1449	0.5755
0.4157	16.4430	44544	0.4215	0.2327	0.1748	0.1465	0.5735
0.4115	16.5375	44800	0.4210	0.2244	0.1726	0.1411	0.5731
0.4079	16.6320	45056	0.4216	0.2345	0.1738	0.1434	0.5741
0.4162	16.7265	45312	0.4210	0.2262	0.1728	0.1420	0.5728
0.4215	16.8210	45568	0.4216	0.2310	0.1730	0.1416	0.5745
0.4062	16.9155	45824	0.4209	0.2332	0.1734	0.1426	0.5745
0.4072	17.0100	46080	0.4212	0.2386	0.1742	0.1443	0.5748
0.408	17.1045	46336	0.4208	0.2385	0.1748	0.1453	0.5759
0.4137	17.1990	46592	0.4210	0.2367	0.1747	0.1454	0.5748
0.4121	17.2935	46848	0.4210	0.2364	0.1743	0.1447	0.5745
0.4041	17.3880	47104	0.4208	0.2349	0.1739	0.1439	0.5745
0.4112	17.4825	47360	0.4207	0.2330	0.1736	0.1431	0.5745
0.4204	17.5770	47616	0.4209	0.2305	0.1734	0.1429	0.5741
0.4156	17.6715	47872	0.4210	0.2356	0.1744	0.1451	0.5741
0.4036	17.7660	48128	0.4211	0.2404	0.1748	0.1455	0.5752
0.4132	17.8605	48384	0.4212	0.2419	0.1755	0.1469	0.5762
0.4193	17.9550	48640	0.4208	0.2390	0.1742	0.1439	0.5755
0.406	18.0495	48896	0.4211	0.2374	0.1747	0.1454	0.5748
0.4134	18.1440	49152	0.4212	0.2349	0.1744	0.1451	0.5741
0.4137	18.2385	49408	0.4210	0.2369	0.1750	0.1462	0.5748
0.4217	18.3330	49664	0.4209	0.2324	0.1735	0.1428	0.5745
0.4121	18.4275	49920	0.4209	0.2404	0.1752	0.1466	0.5755
0.415	18.5220	50176	0.4207	0.2424	0.1754	0.1469	0.5755
0.4118	18.6165	50432	0.4208	0.2448	0.1757	0.1474	0.5762
0.4022	18.7110	50688	0.4210	0.2271	0.1734	0.1431	0.5738
0.4049	18.8055	50944	0.4208	0.2378	0.1744	0.1448	0.5752
0.4081	18.9000	51200	0.4209	0.2286	0.1734	0.1428	0.5738
0.415	18.9945	51456	0.4206	0.2423	0.1749	0.1455	0.5755
0.4065	19.0890	51712	0.4208	0.2407	0.1748	0.1455	0.5752
0.4105	19.1835	51968	0.4207	0.2426	0.1750	0.1459	0.5755
0.4085	19.2780	52224	0.4208	0.2400	0.1745	0.1449	0.5752
0.4107	19.3725	52480	0.4208	0.2319	0.1737	0.1435	0.5741
0.414	19.4670	52736	0.4209	0.2333	0.1738	0.1436	0.5741
0.4143	19.5615	52992	0.4208	0.2330	0.1739	0.1440	0.5741
0.4097	19.6560	53248	0.4209	0.2378	0.1744	0.1449	0.5748
0.4174	19.7505	53504	0.4209	0.2389	0.1745	0.1449	0.5752
0.407	19.8450	53760	0.4208	0.2412	0.1749	0.1456	0.5755
0.4154	19.9395	54016	0.4208	0.2412	0.1749	0.1456	0.5755

Framework versions

• Transformers 4.43.3
• Pytorch 2.4.0+cu118
• Datasets 2.19.1
• Tokenizers 0.19.1