accuracy	bits	clip	dataset	method	model	params	peak_mem_alloc_mb	peak_mem_reserv_mb	perplexity	time_ms	wer
0.4277946949005127	4	0.0	wikitext	ao_woq	llama3	fixed	5542.3616	7163.871232	5.3583574295043945	39.154068	0.0
0.0	4	0.0	wikitext	comb_3	llama3	rnd_naive_t	14178.745344	15367.929856	1.2404378652572632	121.290098	0.0
0.0	4	0.0	wikitext	comb_7	llama3	rnd_naive_t	14178.745344	15367.929856	1.1248141527175903	145.772117	0.0
0.4107396304607391	4	0.0	wikitext	comb_15	llama3	rnd_naive_t	14179.216384	15367.929856	6.022488594055176	68.566352	0.0
0.3797703683376312	4	0.0	wikitext	woq	llama3	fixed	14179.331584	15367.929856	6.163248062133789	95.443849	0.0
0.0	4	0.0	wikitext	comb_5	llama3	rnd_naive_t	14185.276416	15374.221312	1.1396069526672363	147.453751	0.0
0.0	4	0.0	wikitext	comb_4	llama3	rnd_naive_t	14185.276416	15374.221312	1.5296999216079712	147.613955	0.0
0.0	4	0.0	wikitext	comb_16	llama3	rnd_naive_t	14185.276416	15374.221312	1.502220869064331	148.156039	0.0
0.0	4	0.0	wikitext	comb_2	llama3	rnd_naive_t	14185.276416	15374.221312	21.74924087524414	201.14667	0.0
0.0	4	0.0	wikitext	comb_8	llama3	rnd_naive_t	14185.276416	15374.221312	1.4967589378356934	201.532075	0.0
0.3953056633472442	4	0.0	wikitext	comb_18	llama3	rnd_naive_t	14185.747456	15374.221312	6.411113262176514	147.345354	0.0
0.3990544080734253	4	0.0	wikitext	comb_17	llama3	rnd_naive_t	14185.747456	15374.221312	6.3313703536987305	147.383344	0.0
0.4024316072463989	4	0.0	wikitext	comb_11	llama3	rnd_naive_t	14185.747456	15374.221312	6.022574424743652	147.728652	0.0
0.388787567615509	4	0.0	wikitext	comb_1	llama3	rnd_naive_t	14185.747456	15374.221312	5.833009243011475	147.793208	0.0
0.3959810733795166	4	0.0	wikitext	comb_6	llama3	rnd_naive_t	14185.747456	15374.221312	6.2105631828308105	175.214864	0.0
0.3873016238212585	4	0.0	wikitext	comb_9	llama3	rnd_naive_t	14185.747456	15374.221312	6.1514811515808105	200.883484	0.0
0.0	4	0.0	wikitext	comb_14	llama3	rnd_naive_t	11051.945984	18748.53888	1.135580062866211	4.399678	0.0
0.0	4	0.0	wikitext	comb_10	llama3	rnd_naive_t	11051.945984	18748.53888	1.1248141527175903	4.400117	0.0
0.0	4	0.0	wikitext	comb_13	llama3	rnd_naive_t	16811.959808	19811.794944	1.144245147705078	426.279196	0.0
0.0	4	0.0	wikitext	comb_12	llama3	rnd_naive_t	11051.945984	23420.993536	1.138749122619629	4.01402	0.0
0.0	4	0.0	wikitext	comb_0	llama3	rnd_naive_t	11051.945984	23420.993536	1.1816351413726809	4.025989	0.0
0.0	7	0.0	wikitext	comb_3	llama3	rnd_naive_t	14178.745344	15367.929856	1.1227006912231443	121.386031	0.0
0.0	7	0.0	wikitext	comb_7	llama3	rnd_naive_t	14178.745344	15367.929856	1.1248141527175903	146.377814	0.0
0.4432624578475952	7	0.0	wikitext	comb_15	llama3	rnd_naive_t	14179.216384	15367.929856	5.235913276672363	68.703939	0.0
0.4427558183670044	7	0.0	wikitext	woq	llama3	fixed	14179.331584	15367.929856	5.248887062072754	95.670905	0.0
0.0	7	0.0	wikitext	comb_4	llama3	rnd_naive_t	14185.276416	15374.221312	1.1265883445739746	147.647926	0.0
0.0	7	0.0	wikitext	comb_5	llama3	rnd_naive_t	14185.276416	15374.221312	1.134555697441101	147.818936	0.0
0.0	7	0.0	wikitext	comb_16	llama3	rnd_naive_t	14185.276416	15374.221312	1.6100807189941406	148.150411	0.0
0.0	7	0.0	wikitext	comb_2	llama3	rnd_naive_t	14185.276416	15374.221312	305326.53125	201.57199	0.0
0.0	7	0.0	wikitext	comb_8	llama3	rnd_naive_t	14185.276416	15374.221312	1.3429579734802246	201.75892	0.0
0.4156703650951385	7	0.0	wikitext	comb_18	llama3	rnd_naive_t	14185.747456	15374.221312	6.077569961547852	147.720173	0.0
0.4396150112152099	7	0.0	wikitext	comb_11	llama3	rnd_naive_t	14185.747456	15374.221312	5.204619407653809	147.977388	0.0
0.4156028926372528	7	0.0	wikitext	comb_17	llama3	rnd_naive_t	14185.747456	15374.221312	5.868364810943604	148.034391	0.0
0.4362377822399139	7	0.0	wikitext	comb_1	llama3	rnd_naive_t	14185.747456	15374.221312	5.477419376373291	148.295521	0.0
0.4371158480644226	7	0.0	wikitext	comb_6	llama3	rnd_naive_t	14185.747456	15374.221312	5.248127460479736	175.323026	0.0
0.4374873340129852	7	0.0	wikitext	comb_9	llama3	rnd_naive_t	14185.747456	15374.221312	5.352088928222656	200.983819	0.0
0.0	7	0.0	wikitext	comb_14	llama3	rnd_naive_t	11051.945984	18748.53888	1.127060055732727	4.403608	0.0
0.0	7	0.0	wikitext	comb_10	llama3	rnd_naive_t	11051.945984	18748.53888	1.1248141527175903	4.405668	0.0
0.0	7	0.0	wikitext	comb_13	llama3	rnd_naive_t	16811.959808	19811.794944	1.1423985958099363	426.054909	0.0
0.0	7	0.0	wikitext	comb_0	llama3	rnd_naive_t	11051.945984	23420.993536	1.1909852027893066	4.024472	0.0
0.0	7	0.0	wikitext	comb_12	llama3	rnd_naive_t	11051.945984	23420.993536	1.127308964729309	4.030326	0.0
0.0	6	0.0	wikitext	comb_3	llama3	rnd_naive_t	14178.745344	15367.929856	1.145577907562256	121.302916	0.0
0.0	6	0.0	wikitext	comb_7	llama3	rnd_naive_t	14178.745344	15367.929856	1.1248141527175903	146.050978	0.0
0.443161129951477	6	0.0	wikitext	comb_15	llama3	rnd_naive_t	14179.216384	15367.929856	5.194876670837402	68.708925	0.0
0.4409320950508117	6	0.0	wikitext	woq	llama3	fixed	14179.331584	15367.929856	5.193300724029541	95.490851	0.0
0.0	6	0.0	wikitext	comb_4	llama3	rnd_naive_t	14185.276416	15374.221312	1.2937060594558716	147.411785	0.0
0.0	6	0.0	wikitext	comb_5	llama3	rnd_naive_t	14185.276416	15374.221312	1.141523838043213	147.570098	0.0
0.0	6	0.0	wikitext	comb_16	llama3	rnd_naive_t	14185.276416	15374.221312	1.300376534461975	148.724139	0.0
0.0	6	0.0	wikitext	comb_2	llama3	rnd_naive_t	14185.276416	15374.221312	2.067946672439575	201.272722	0.0
0.0	6	0.0	wikitext	comb_8	llama3	rnd_naive_t	14185.276416	15374.221312	1.771620273590088	201.507388	0.0
0.4347180128097534	6	0.0	wikitext	comb_18	llama3	rnd_naive_t	14185.747456	15374.221312	5.35822868347168	147.317057	0.0
0.4288753867149353	6	0.0	wikitext	comb_11	llama3	rnd_naive_t	14185.747456	15374.221312	5.33641242980957	147.43148	0.0
0.4362377822399139	6	0.0	wikitext	comb_17	llama3	rnd_naive_t	14185.747456	15374.221312	5.243466377258301	147.668644	0.0
0.4360688924789428	6	0.0	wikitext	comb_1	llama3	rnd_naive_t	14185.747456	15374.221312	5.1930460929870605	148.370921	0.0
0.4387707114219665	6	0.0	wikitext	comb_6	llama3	rnd_naive_t	14185.747456	15374.221312	5.194973468780518	175.111382	0.0
0.4374535679817199	6	0.0	wikitext	comb_9	llama3	rnd_naive_t	14185.747456	15374.221312	5.248212814331055	200.905055	0.0
0.0	6	0.0	wikitext	comb_14	llama3	rnd_naive_t	11051.945984	18748.53888	1.1353554725646973	4.393878	0.0
0.0	6	0.0	wikitext	comb_10	llama3	rnd_naive_t	11051.945984	18748.53888	1.1248141527175903	4.396846	0.0
0.0	6	0.0	wikitext	comb_13	llama3	rnd_naive_t	16811.959808	19811.794944	1.136775016784668	426.2148	0.0
0.0	6	0.0	wikitext	comb_0	llama3	rnd_naive_t	11051.945984	23420.993536	1.2187374830245972	4.02457	0.0
0.0	6	0.0	wikitext	comb_12	llama3	rnd_naive_t	11051.945984	23420.993536	1.1379443407058716	4.02468	0.0
0.4437352418899536	8	0.0	wikitext	ao_woq	llama3	fixed	12110.375936	14040.43264	5.208643436431885	52.436687	0.0
0.0	8	0.0	wikitext	comb_3	llama3	rnd_naive_t	14178.745344	15367.929856	1.1235297918319702	121.229835	0.0
0.0	8	0.0	wikitext	comb_7	llama3	rnd_naive_t	14178.745344	15367.929856	1.1248141527175903	145.654011	0.0
0.4431273639202118	8	0.0	wikitext	comb_15	llama3	rnd_naive_t	14179.216384	15367.929856	5.207856178283691	68.526143	0.0
0.443870335817337	8	0.0	wikitext	woq	llama3	fixed	14179.331584	15367.929856	5.208242893218994	95.50655	0.0
0.0	8	0.0	wikitext	comb_4	llama3	rnd_naive_t	14185.276416	15374.221312	1.1249163150787354	147.482189	0.0
0.0	8	0.0	wikitext	comb_5	llama3	rnd_naive_t	14185.276416	15374.221312	1.1490358114242554	147.536769	0.0
0.0	8	0.0	wikitext	comb_16	llama3	rnd_naive_t	14185.276416	15374.221312	2.0685019493103027	147.812832	0.0
0.0	8	0.0	wikitext	comb_8	llama3	rnd_naive_t	14185.276416	15374.221312	2.070951223373413	201.286745	0.0
0.0	8	0.0	wikitext	comb_2	llama3	rnd_naive_t	14185.276416	15374.221312	2.802328824996948	201.343578	0.0
0.4376562237739563	8	0.0	wikitext	comb_18	llama3	rnd_naive_t	14185.747456	15374.221312	5.276397705078125	147.449105	0.0
0.4404930770397186	8	0.0	wikitext	comb_17	llama3	rnd_naive_t	14185.747456	15374.221312	5.351640701293945	147.472212	0.0
0.4364066123962402	8	0.0	wikitext	comb_11	llama3	rnd_naive_t	14185.747456	15374.221312	5.43122148513794	147.864195	0.0
0.4338061809539795	8	0.0	wikitext	comb_1	llama3	rnd_naive_t	14185.747456	15374.221312	5.481295108795166	147.988197	0.0
0.4386018216609955	8	0.0	wikitext	comb_6	llama3	rnd_naive_t	14185.747456	15374.221312	5.411445617675781	174.891771	0.0
0.438331663608551	8	0.0	wikitext	comb_9	llama3	rnd_naive_t	14185.747456	15374.221312	5.40258264541626	201.034157	0.0
0.0	8	0.0	wikitext	comb_10	llama3	rnd_naive_t	11051.945984	18748.53888	1.1248141527175903	4.388327	0.0
0.0	8	0.0	wikitext	comb_14	llama3	rnd_naive_t	11051.945984	18748.53888	1.1406238079071045	4.393068	0.0
0.0	8	0.0	wikitext	comb_13	llama3	rnd_naive_t	16811.959808	19811.794944	1.2057172060012815	426.278868	0.0
0.0	8	0.0	wikitext	comb_12	llama3	rnd_naive_t	11051.945984	23420.993536	1.1392604112625122	4.0152	0.0
0.0	8	0.0	wikitext	comb_0	llama3	rnd_naive_t	11051.945984	23420.993536	1.2072761058807373	4.02671	0.0
0.0	5	0.0	wikitext	comb_3	llama3	rnd_naive_t	14178.745344	15367.929856	1.2200177907943726	121.552862	0.0
0.0	5	0.0	wikitext	comb_7	llama3	rnd_naive_t	14178.745344	15367.929856	1.1248141527175903	146.011549	0.0
0.4348531067371368	5	0.0	wikitext	comb_15	llama3	rnd_naive_t	14179.216384	15367.929856	5.277651309967041	68.664574	0.0
0.4355623126029968	5	0.0	wikitext	woq	llama3	fixed	14179.331584	15367.929856	5.448963165283203	95.562035	0.0
0.0	5	0.0	wikitext	comb_4	llama3	rnd_naive_t	14185.276416	15374.221312	1.125428557395935	147.495816	0.0
0.0	5	0.0	wikitext	comb_5	llama3	rnd_naive_t	14185.276416	15374.221312	1.135644555091858	147.618679	0.0
0.0	5	0.0	wikitext	comb_16	llama3	rnd_naive_t	14185.276416	15374.221312	1.932867169380188	147.785244	0.0
0.0	5	0.0	wikitext	comb_2	llama3	rnd_naive_t	14185.276416	15374.221312	202.6715850830078	201.198429	0.0
0.0	5	0.0	wikitext	comb_8	llama3	rnd_naive_t	14185.276416	15374.221312	1.154691457748413	201.250427	0.0
0.4258696436882019	5	0.0	wikitext	comb_18	llama3	rnd_naive_t	14185.747456	15374.221312	5.412376403808594	147.421883	0.0
0.4286052286624908	5	0.0	wikitext	comb_17	llama3	rnd_naive_t	14185.747456	15374.221312	5.181597232818604	147.842579	0.0
0.4327254593372345	5	0.0	wikitext	comb_11	llama3	rnd_naive_t	14185.747456	15374.221312	5.356659889221191	147.88072	0.0
0.4307666420936584	5	0.0	wikitext	comb_1	llama3	rnd_naive_t	14185.747456	15374.221312	5.254064083099365	148.198991	0.0
0.4310706257820129	5	0.0	wikitext	comb_6	llama3	rnd_naive_t	14185.747456	15374.221312	5.283512115478516	175.096273	0.0
0.4291793406009674	5	0.0	wikitext	comb_9	llama3	rnd_naive_t	14185.747456	15374.221312	5.304575443267822	200.922341	0.0
0.0	5	0.0	wikitext	comb_14	llama3	rnd_naive_t	11051.945984	18748.53888	1.140650987625122	4.391318	0.0
0.0	5	0.0	wikitext	comb_10	llama3	rnd_naive_t	11051.945984	18748.53888	1.1248141527175903	4.401699	0.0
0.0	5	0.0	wikitext	comb_13	llama3	rnd_naive_t	16811.959808	19811.794944	1.1501007080078125	425.964862	0.0
0.0	5	0.0	wikitext	comb_0	llama3	rnd_naive_t	11051.945984	23420.993536	1.2129395008087158	3.9972	0.0
0.0	5	0.0	wikitext	comb_12	llama3	rnd_naive_t	11051.945984	23420.993536	1.1247973442077637	4.030701	0.0
0.4436677098274231	32	0.0	wikitext	base	llama3	----	33003.526656	33155.97312	5.223813056945801	26.150784	0.0