Diogo-V
/

llama3-space-search-lin-c5c16f3524cc

English

Model card Files Files and versions Community

llama3-space-search-lin-c5c16f3524cc / results /results.txt

Diogo-V

Upload results for llama3

032015f verified 4 months ago

raw

history blame

16.1 kB

	\| \| accuracy \| bits \| clip \| dataset \| method \| model \| params \| peak_mem_alloc_mb \| peak_mem_reserv_mb \| perplexity \| time_ms \| wer \|
	\|---:\|-----------:\|-------:\|-------:\|:----------\|:---------\|:--------\|:-----------------\|--------------------:\|---------------------:\|-------------:\|----------:\|------:\|
	\| 0 \| 0.4278 \| 4 \| 0 \| wikitext \| ao_woq \| llama3 \| fixed \| 5542.36 \| 7163.87 \| 5.3584 \| 39.9038 \| 0 \|
	\| 1 \| 0 \| 4 \| 0 \| wikitext \| comb_18 \| llama3 \| rnd_search_t_lin \| 14178.7 \| 15367.9 \| 1.2404 \| 121.427 \| 0 \|
	\| 2 \| 0 \| 4 \| 0 \| wikitext \| comb_9 \| llama3 \| rnd_search_t_lin \| 14178.7 \| 15367.9 \| 1.1248 \| 145.863 \| 0 \|
	\| 3 \| 0.4085 \| 4 \| 0 \| wikitext \| comb_16 \| llama3 \| rnd_search_t_lin \| 14179.2 \| 15367.9 \| 6.1429 \| 68.6778 \| 0 \|
	\| 4 \| 0.3798 \| 4 \| 0 \| wikitext \| woq \| llama3 \| fixed \| 14179.3 \| 15367.9 \| 6.1632 \| 95.6322 \| 0 \|
	\| 5 \| 0 \| 4 \| 0 \| wikitext \| comb_3 \| llama3 \| rnd_search_t_lin \| 14185.3 \| 15374.2 \| 1.1305 \| 147.671 \| 0 \|
	\| 6 \| 0 \| 4 \| 0 \| wikitext \| comb_7 \| llama3 \| rnd_search_t_lin \| 14185.3 \| 15374.2 \| 1.1307 \| 147.708 \| 0 \|
	\| 7 \| 0 \| 4 \| 0 \| wikitext \| comb_11 \| llama3 \| rnd_search_t_lin \| 14185.3 \| 15374.2 \| 1.1265 \| 148.056 \| 0 \|
	\| 8 \| 0 \| 4 \| 0 \| wikitext \| comb_4 \| llama3 \| rnd_search_t_lin \| 14185.3 \| 15374.2 \| 1.1422 \| 201.387 \| 0 \|
	\| 9 \| 0 \| 4 \| 0 \| wikitext \| comb_10 \| llama3 \| rnd_search_t_lin \| 14185.3 \| 15374.2 \| 1.1248 \| 201.744 \| 0 \|
	\| 10 \| 0.4063 \| 4 \| 0 \| wikitext \| comb_13 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 6.2136 \| 147.854 \| 0 \|
	\| 11 \| 0.4081 \| 4 \| 0 \| wikitext \| comb_2 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 6.1364 \| 147.977 \| 0 \|
	\| 12 \| 0.4065 \| 4 \| 0 \| wikitext \| comb_17 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 6.2104 \| 147.99 \| 0 \|
	\| 13 \| 0.4087 \| 4 \| 0 \| wikitext \| comb_8 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 6.1353 \| 148.045 \| 0 \|
	\| 14 \| 0.4091 \| 4 \| 0 \| wikitext \| comb_1 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 6.1049 \| 175.065 \| 0 \|
	\| 15 \| 0.4092 \| 4 \| 0 \| wikitext \| comb_6 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 6.1342 \| 201.368 \| 0 \|
	\| 16 \| 0 \| 4 \| 0 \| wikitext \| comb_15 \| llama3 \| rnd_search_t_lin \| 11051.9 \| 18748.5 \| 1.1353 \| 4.4088 \| 0 \|
	\| 17 \| 0 \| 4 \| 0 \| wikitext \| comb_5 \| llama3 \| rnd_search_t_lin \| 11051.9 \| 18748.5 \| 1.1328 \| 4.4096 \| 0 \|
	\| 18 \| 0 \| 4 \| 0 \| wikitext \| comb_0 \| llama3 \| rnd_search_t_lin \| 16812 \| 19811.8 \| 1.1248 \| 426.101 \| 0 \|
	\| 0 \| 0 \| 6 \| 0 \| wikitext \| comb_18 \| llama3 \| rnd_search_t_lin \| 14178.7 \| 15367.9 \| 1.1456 \| 121.42 \| 0 \|
	\| 1 \| 0 \| 6 \| 0 \| wikitext \| comb_9 \| llama3 \| rnd_search_t_lin \| 14178.7 \| 15367.9 \| 1.1248 \| 145.975 \| 0 \|
	\| 2 \| 0.4431 \| 6 \| 0 \| wikitext \| comb_16 \| llama3 \| rnd_search_t_lin \| 14179.2 \| 15367.9 \| 5.212 \| 68.5372 \| 0 \|
	\| 3 \| 0.4409 \| 6 \| 0 \| wikitext \| woq \| llama3 \| fixed \| 14179.3 \| 15367.9 \| 5.1933 \| 95.9136 \| 0 \|
	\| 4 \| 0 \| 6 \| 0 \| wikitext \| comb_7 \| llama3 \| rnd_search_t_lin \| 14185.3 \| 15374.2 \| 1.1381 \| 147.546 \| 0 \|
	\| 5 \| 0.0016 \| 6 \| 0 \| wikitext \| comb_11 \| llama3 \| rnd_search_t_lin \| 14185.3 \| 15374.2 \| 1.136 \| 147.888 \| 0 \|
	\| 6 \| 0 \| 6 \| 0 \| wikitext \| comb_3 \| llama3 \| rnd_search_t_lin \| 14185.3 \| 15374.2 \| 1.1393 \| 148.054 \| 0 \|
	\| 7 \| 0 \| 6 \| 0 \| wikitext \| comb_4 \| llama3 \| rnd_search_t_lin \| 14185.3 \| 15374.2 \| 1.1497 \| 201.455 \| 0 \|
	\| 8 \| 0 \| 6 \| 0 \| wikitext \| comb_10 \| llama3 \| rnd_search_t_lin \| 14185.3 \| 15374.2 \| 1.1248 \| 202.173 \| 0 \|
	\| 9 \| 0.4425 \| 6 \| 0 \| wikitext \| comb_13 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 5.172 \| 147.398 \| 0 \|
	\| 10 \| 0.442 \| 6 \| 0 \| wikitext \| comb_8 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 5.22 \| 147.463 \| 0 \|
	\| 11 \| 0.4415 \| 6 \| 0 \| wikitext \| comb_17 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 5.169 \| 147.735 \| 0 \|
	\| 12 \| 0.4414 \| 6 \| 0 \| wikitext \| comb_2 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 5.1659 \| 147.918 \| 0 \|
	\| 13 \| 0.4416 \| 6 \| 0 \| wikitext \| comb_1 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 5.2203 \| 174.988 \| 0 \|
	\| 14 \| 0.4427 \| 6 \| 0 \| wikitext \| comb_6 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 5.2125 \| 201.289 \| 0 \|
	\| 15 \| 0 \| 6 \| 0 \| wikitext \| comb_15 \| llama3 \| rnd_search_t_lin \| 11051.9 \| 18748.5 \| 1.1278 \| 4.1808 \| 0 \|
	\| 16 \| 0 \| 6 \| 0 \| wikitext \| comb_5 \| llama3 \| rnd_search_t_lin \| 11051.9 \| 18748.5 \| 1.1416 \| 4.4066 \| 0 \|
	\| 17 \| 0 \| 6 \| 0 \| wikitext \| comb_0 \| llama3 \| rnd_search_t_lin \| 16812 \| 19811.8 \| 1.1248 \| 426.224 \| 0 \|
	\| 0 \| 0 \| 5 \| 0 \| wikitext \| comb_18 \| llama3 \| rnd_search_t_lin \| 14178.7 \| 15367.9 \| 1.22 \| 121.189 \| 0 \|
	\| 1 \| 0 \| 5 \| 0 \| wikitext \| comb_9 \| llama3 \| rnd_search_t_lin \| 14178.7 \| 15367.9 \| 1.1248 \| 145.805 \| 0 \|
	\| 2 \| 0.4308 \| 5 \| 0 \| wikitext \| comb_16 \| llama3 \| rnd_search_t_lin \| 14179.2 \| 15367.9 \| 5.2812 \| 68.5174 \| 0 \|
	\| 3 \| 0.4356 \| 5 \| 0 \| wikitext \| woq \| llama3 \| fixed \| 14179.3 \| 15367.9 \| 5.449 \| 95.5524 \| 0 \|
	\| 4 \| 0 \| 5 \| 0 \| wikitext \| comb_7 \| llama3 \| rnd_search_t_lin \| 14185.3 \| 15374.2 \| 1.1387 \| 147.363 \| 0 \|
	\| 5 \| 0 \| 5 \| 0 \| wikitext \| comb_3 \| llama3 \| rnd_search_t_lin \| 14185.3 \| 15374.2 \| 1.1343 \| 147.665 \| 0 \|
	\| 6 \| 0.0111 \| 5 \| 0 \| wikitext \| comb_11 \| llama3 \| rnd_search_t_lin \| 14185.3 \| 15374.2 \| 1.1381 \| 147.834 \| 0 \|
	\| 7 \| 0 \| 5 \| 0 \| wikitext \| comb_10 \| llama3 \| rnd_search_t_lin \| 14185.3 \| 15374.2 \| 1.1248 \| 201.361 \| 0 \|
	\| 8 \| 0.0016 \| 5 \| 0 \| wikitext \| comb_4 \| llama3 \| rnd_search_t_lin \| 14185.3 \| 15374.2 \| 1.1339 \| 201.658 \| 0 \|
	\| 9 \| 0.4317 \| 5 \| 0 \| wikitext \| comb_8 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 5.2665 \| 147.472 \| 0 \|
	\| 10 \| 0.4306 \| 5 \| 0 \| wikitext \| comb_13 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 5.2445 \| 147.597 \| 0 \|
	\| 11 \| 0.4307 \| 5 \| 0 \| wikitext \| comb_17 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 5.243 \| 147.761 \| 0 \|
	\| 12 \| 0.4311 \| 5 \| 0 \| wikitext \| comb_2 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 5.2544 \| 147.984 \| 0 \|
	\| 13 \| 0.4317 \| 5 \| 0 \| wikitext \| comb_1 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 5.287 \| 174.958 \| 0 \|
	\| 14 \| 0.4312 \| 5 \| 0 \| wikitext \| comb_6 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 5.2843 \| 200.91 \| 0 \|
	\| 15 \| 0.0016 \| 5 \| 0 \| wikitext \| comb_15 \| llama3 \| rnd_search_t_lin \| 11051.9 \| 18748.5 \| 1.1456 \| 4.3777 \| 0 \|
	\| 16 \| 0 \| 5 \| 0 \| wikitext \| comb_5 \| llama3 \| rnd_search_t_lin \| 11051.9 \| 18748.5 \| 1.1344 \| 4.4081 \| 0 \|
	\| 17 \| 0 \| 5 \| 0 \| wikitext \| comb_0 \| llama3 \| rnd_search_t_lin \| 16812 \| 19811.8 \| 1.1248 \| 426.165 \| 0 \|
	\| 0 \| 0.4437 \| 8 \| 0 \| wikitext \| ao_woq \| llama3 \| fixed \| 12110.4 \| 14040.4 \| 5.2086 \| 52.6213 \| 0 \|
	\| 1 \| 0 \| 8 \| 0 \| wikitext \| comb_18 \| llama3 \| rnd_search_t_lin \| 14178.7 \| 15367.9 \| 1.1235 \| 121.483 \| 0 \|
	\| 2 \| 0 \| 8 \| 0 \| wikitext \| comb_9 \| llama3 \| rnd_search_t_lin \| 14178.7 \| 15367.9 \| 1.1248 \| 146.042 \| 0 \|
	\| 3 \| 0.4433 \| 8 \| 0 \| wikitext \| comb_16 \| llama3 \| rnd_search_t_lin \| 14179.2 \| 15367.9 \| 5.2085 \| 68.8273 \| 0 \|
	\| 4 \| 0.4439 \| 8 \| 0 \| wikitext \| woq \| llama3 \| fixed \| 14179.3 \| 15367.9 \| 5.2082 \| 96.1636 \| 0 \|
	\| 5 \| 0 \| 8 \| 0 \| wikitext \| comb_3 \| llama3 \| rnd_search_t_lin \| 14185.3 \| 15374.2 \| 1.1314 \| 148.003 \| 0 \|
	\| 6 \| 0 \| 8 \| 0 \| wikitext \| comb_7 \| llama3 \| rnd_search_t_lin \| 14185.3 \| 15374.2 \| 1.1349 \| 148.093 \| 0 \|
	\| 7 \| 0 \| 8 \| 0 \| wikitext \| comb_10 \| llama3 \| rnd_search_t_lin \| 14185.3 \| 15374.2 \| 1.1248 \| 201.809 \| 0 \|
	\| 8 \| 0.1387 \| 8 \| 0 \| wikitext \| comb_11 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 27.5293 \| 147.931 \| 0 \|
	\| 9 \| 0.443 \| 8 \| 0 \| wikitext \| comb_13 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 5.2112 \| 147.982 \| 0 \|
	\| 10 \| 0.4436 \| 8 \| 0 \| wikitext \| comb_8 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 5.2132 \| 148.217 \| 0 \|
	\| 11 \| 0.4433 \| 8 \| 0 \| wikitext \| comb_17 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 5.2083 \| 148.232 \| 0 \|
	\| 12 \| 0.4436 \| 8 \| 0 \| wikitext \| comb_2 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 5.2183 \| 148.344 \| 0 \|
	\| 13 \| 0.4434 \| 8 \| 0 \| wikitext \| comb_1 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 5.2137 \| 175.675 \| 0 \|
	\| 14 \| 0.3105 \| 8 \| 0 \| wikitext \| comb_4 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 8.3067 \| 201.637 \| 0 \|
	\| 15 \| 0.4436 \| 8 \| 0 \| wikitext \| comb_6 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 5.2084 \| 201.757 \| 0 \|
	\| 16 \| 0 \| 8 \| 0 \| wikitext \| comb_15 \| llama3 \| rnd_search_t_lin \| 11051.9 \| 18748.5 \| 1.1603 \| 4.4158 \| 0 \|
	\| 17 \| 0 \| 8 \| 0 \| wikitext \| comb_5 \| llama3 \| rnd_search_t_lin \| 11051.9 \| 18748.5 \| 1.1341 \| 4.417 \| 0 \|
	\| 18 \| 0 \| 8 \| 0 \| wikitext \| comb_0 \| llama3 \| rnd_search_t_lin \| 16812 \| 19811.8 \| 1.1248 \| 427.182 \| 0 \|
	\| 0 \| 0 \| 7 \| 0 \| wikitext \| comb_18 \| llama3 \| rnd_search_t_lin \| 14178.7 \| 15367.9 \| 1.1227 \| 121.839 \| 0 \|
	\| 1 \| 0 \| 7 \| 0 \| wikitext \| comb_9 \| llama3 \| rnd_search_t_lin \| 14178.7 \| 15367.9 \| 1.1248 \| 146.17 \| 0 \|
	\| 2 \| 0.4431 \| 7 \| 0 \| wikitext \| comb_16 \| llama3 \| rnd_search_t_lin \| 14179.2 \| 15367.9 \| 5.23 \| 68.8239 \| 0 \|
	\| 3 \| 0.4428 \| 7 \| 0 \| wikitext \| woq \| llama3 \| fixed \| 14179.3 \| 15367.9 \| 5.2489 \| 95.8159 \| 0 \|
	\| 4 \| 0 \| 7 \| 0 \| wikitext \| comb_7 \| llama3 \| rnd_search_t_lin \| 14185.3 \| 15374.2 \| 1.1359 \| 147.784 \| 0 \|
	\| 5 \| 0 \| 7 \| 0 \| wikitext \| comb_3 \| llama3 \| rnd_search_t_lin \| 14185.3 \| 15374.2 \| 1.1353 \| 147.799 \| 0 \|
	\| 6 \| 0.0032 \| 7 \| 0 \| wikitext \| comb_11 \| llama3 \| rnd_search_t_lin \| 14185.3 \| 15374.2 \| 1.1442 \| 148.029 \| 0 \|
	\| 7 \| 0 \| 7 \| 0 \| wikitext \| comb_10 \| llama3 \| rnd_search_t_lin \| 14185.3 \| 15374.2 \| 1.1248 \| 201.668 \| 0 \|
	\| 8 \| 0.0111 \| 7 \| 0 \| wikitext \| comb_4 \| llama3 \| rnd_search_t_lin \| 14185.3 \| 15374.2 \| 1.1042 \| 201.761 \| 0 \|
	\| 9 \| 0.4432 \| 7 \| 0 \| wikitext \| comb_8 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 5.2218 \| 148.094 \| 0 \|
	\| 10 \| 0.4436 \| 7 \| 0 \| wikitext \| comb_2 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 5.2176 \| 148.118 \| 0 \|
	\| 11 \| 0.4438 \| 7 \| 0 \| wikitext \| comb_13 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 5.2288 \| 148.128 \| 0 \|
	\| 12 \| 0.4439 \| 7 \| 0 \| wikitext \| comb_17 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 5.227 \| 148.186 \| 0 \|
	\| 13 \| 0.4437 \| 7 \| 0 \| wikitext \| comb_1 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 5.2366 \| 175.676 \| 0 \|
	\| 14 \| 0.4435 \| 7 \| 0 \| wikitext \| comb_6 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 5.2459 \| 201.477 \| 0 \|
	\| 15 \| 0 \| 7 \| 0 \| wikitext \| comb_5 \| llama3 \| rnd_search_t_lin \| 11051.9 \| 18748.5 \| 1.1328 \| 4.4115 \| 0 \|
	\| 16 \| 0 \| 7 \| 0 \| wikitext \| comb_15 \| llama3 \| rnd_search_t_lin \| 11051.9 \| 18748.5 \| 1.1426 \| 4.4136 \| 0 \|
	\| 17 \| 0 \| 7 \| 0 \| wikitext \| comb_0 \| llama3 \| rnd_search_t_lin \| 16812 \| 19811.8 \| 1.1248 \| 426.312 \| 0 \|
	\| 19 \| 0.4437 \| 32 \| 0 \| wikitext \| base \| llama3 \| ---- \| 33003.5 \| 33156 \| 5.2238 \| 27.2925 \| 0 \|

	\| \| accuracy \| bits \| clip \| dataset \| method \| model \| params \| peak_mem_alloc_mb \| peak_mem_reserv_mb \| perplexity \| time_ms \| wer \|
	\|---:\|-----------:\|-------:\|-------:\|:----------\|:---------\|:--------\|:-----------------\|--------------------:\|---------------------:\|-------------:\|----------:\|------:\|
	\| 0 \| 0.4278 \| 4 \| 0 \| wikitext \| ao_woq \| llama3 \| fixed \| 5542.36 \| 7163.87 \| 5.3584 \| 39.9038 \| 0 \|
	\| 1 \| 0 \| 4 \| 0 \| wikitext \| comb_18 \| llama3 \| rnd_search_t_lin \| 14178.7 \| 15367.9 \| 1.2404 \| 121.427 \| 0 \|
	\| 2 \| 0 \| 4 \| 0 \| wikitext \| comb_9 \| llama3 \| rnd_search_t_lin \| 14178.7 \| 15367.9 \| 1.1248 \| 145.863 \| 0 \|
	\| 3 \| 0.4085 \| 4 \| 0 \| wikitext \| comb_16 \| llama3 \| rnd_search_t_lin \| 14179.2 \| 15367.9 \| 6.1429 \| 68.6778 \| 0 \|
	\| 4 \| 0.3798 \| 4 \| 0 \| wikitext \| woq \| llama3 \| fixed \| 14179.3 \| 15367.9 \| 6.1632 \| 95.6322 \| 0 \|
	\| 5 \| 0 \| 4 \| 0 \| wikitext \| comb_3 \| llama3 \| rnd_search_t_lin \| 14185.3 \| 15374.2 \| 1.1305 \| 147.671 \| 0 \|
	\| 6 \| 0 \| 4 \| 0 \| wikitext \| comb_7 \| llama3 \| rnd_search_t_lin \| 14185.3 \| 15374.2 \| 1.1307 \| 147.708 \| 0 \|
	\| 7 \| 0 \| 4 \| 0 \| wikitext \| comb_11 \| llama3 \| rnd_search_t_lin \| 14185.3 \| 15374.2 \| 1.1265 \| 148.056 \| 0 \|
	\| 8 \| 0 \| 4 \| 0 \| wikitext \| comb_4 \| llama3 \| rnd_search_t_lin \| 14185.3 \| 15374.2 \| 1.1422 \| 201.387 \| 0 \|
	\| 9 \| 0 \| 4 \| 0 \| wikitext \| comb_10 \| llama3 \| rnd_search_t_lin \| 14185.3 \| 15374.2 \| 1.1248 \| 201.744 \| 0 \|
	\| 10 \| 0.4063 \| 4 \| 0 \| wikitext \| comb_13 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 6.2136 \| 147.854 \| 0 \|
	\| 11 \| 0.4081 \| 4 \| 0 \| wikitext \| comb_2 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 6.1364 \| 147.977 \| 0 \|
	\| 12 \| 0.4065 \| 4 \| 0 \| wikitext \| comb_17 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 6.2104 \| 147.99 \| 0 \|
	\| 13 \| 0.4087 \| 4 \| 0 \| wikitext \| comb_8 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 6.1353 \| 148.045 \| 0 \|
	\| 14 \| 0.4091 \| 4 \| 0 \| wikitext \| comb_1 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 6.1049 \| 175.065 \| 0 \|
	\| 15 \| 0.4092 \| 4 \| 0 \| wikitext \| comb_6 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 6.1342 \| 201.368 \| 0 \|
	\| 16 \| 0 \| 4 \| 0 \| wikitext \| comb_15 \| llama3 \| rnd_search_t_lin \| 11051.9 \| 18748.5 \| 1.1353 \| 4.4088 \| 0 \|
	\| 17 \| 0 \| 4 \| 0 \| wikitext \| comb_5 \| llama3 \| rnd_search_t_lin \| 11051.9 \| 18748.5 \| 1.1328 \| 4.4096 \| 0 \|
	\| 18 \| 0 \| 4 \| 0 \| wikitext \| comb_0 \| llama3 \| rnd_search_t_lin \| 16812 \| 19811.8 \| 1.1248 \| 426.101 \| 0 \|
	\| 0 \| 0 \| 6 \| 0 \| wikitext \| comb_18 \| llama3 \| rnd_search_t_lin \| 14178.7 \| 15367.9 \| 1.1456 \| 121.42 \| 0 \|
	\| 1 \| 0 \| 6 \| 0 \| wikitext \| comb_9 \| llama3 \| rnd_search_t_lin \| 14178.7 \| 15367.9 \| 1.1248 \| 145.975 \| 0 \|
	\| 2 \| 0.4431 \| 6 \| 0 \| wikitext \| comb_16 \| llama3 \| rnd_search_t_lin \| 14179.2 \| 15367.9 \| 5.212 \| 68.5372 \| 0 \|
	\| 3 \| 0.4409 \| 6 \| 0 \| wikitext \| woq \| llama3 \| fixed \| 14179.3 \| 15367.9 \| 5.1933 \| 95.9136 \| 0 \|
	\| 4 \| 0 \| 6 \| 0 \| wikitext \| comb_7 \| llama3 \| rnd_search_t_lin \| 14185.3 \| 15374.2 \| 1.1381 \| 147.546 \| 0 \|
	\| 5 \| 0.0016 \| 6 \| 0 \| wikitext \| comb_11 \| llama3 \| rnd_search_t_lin \| 14185.3 \| 15374.2 \| 1.136 \| 147.888 \| 0 \|
	\| 6 \| 0 \| 6 \| 0 \| wikitext \| comb_3 \| llama3 \| rnd_search_t_lin \| 14185.3 \| 15374.2 \| 1.1393 \| 148.054 \| 0 \|
	\| 7 \| 0 \| 6 \| 0 \| wikitext \| comb_4 \| llama3 \| rnd_search_t_lin \| 14185.3 \| 15374.2 \| 1.1497 \| 201.455 \| 0 \|
	\| 8 \| 0 \| 6 \| 0 \| wikitext \| comb_10 \| llama3 \| rnd_search_t_lin \| 14185.3 \| 15374.2 \| 1.1248 \| 202.173 \| 0 \|
	\| 9 \| 0.4425 \| 6 \| 0 \| wikitext \| comb_13 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 5.172 \| 147.398 \| 0 \|
	\| 10 \| 0.442 \| 6 \| 0 \| wikitext \| comb_8 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 5.22 \| 147.463 \| 0 \|
	\| 11 \| 0.4415 \| 6 \| 0 \| wikitext \| comb_17 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 5.169 \| 147.735 \| 0 \|
	\| 12 \| 0.4414 \| 6 \| 0 \| wikitext \| comb_2 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 5.1659 \| 147.918 \| 0 \|
	\| 13 \| 0.4416 \| 6 \| 0 \| wikitext \| comb_1 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 5.2203 \| 174.988 \| 0 \|
	\| 14 \| 0.4427 \| 6 \| 0 \| wikitext \| comb_6 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 5.2125 \| 201.289 \| 0 \|
	\| 15 \| 0 \| 6 \| 0 \| wikitext \| comb_15 \| llama3 \| rnd_search_t_lin \| 11051.9 \| 18748.5 \| 1.1278 \| 4.1808 \| 0 \|
	\| 16 \| 0 \| 6 \| 0 \| wikitext \| comb_5 \| llama3 \| rnd_search_t_lin \| 11051.9 \| 18748.5 \| 1.1416 \| 4.4066 \| 0 \|
	\| 17 \| 0 \| 6 \| 0 \| wikitext \| comb_0 \| llama3 \| rnd_search_t_lin \| 16812 \| 19811.8 \| 1.1248 \| 426.224 \| 0 \|
	\| 0 \| 0 \| 5 \| 0 \| wikitext \| comb_18 \| llama3 \| rnd_search_t_lin \| 14178.7 \| 15367.9 \| 1.22 \| 121.189 \| 0 \|
	\| 1 \| 0 \| 5 \| 0 \| wikitext \| comb_9 \| llama3 \| rnd_search_t_lin \| 14178.7 \| 15367.9 \| 1.1248 \| 145.805 \| 0 \|
	\| 2 \| 0.4308 \| 5 \| 0 \| wikitext \| comb_16 \| llama3 \| rnd_search_t_lin \| 14179.2 \| 15367.9 \| 5.2812 \| 68.5174 \| 0 \|
	\| 3 \| 0.4356 \| 5 \| 0 \| wikitext \| woq \| llama3 \| fixed \| 14179.3 \| 15367.9 \| 5.449 \| 95.5524 \| 0 \|
	\| 4 \| 0 \| 5 \| 0 \| wikitext \| comb_7 \| llama3 \| rnd_search_t_lin \| 14185.3 \| 15374.2 \| 1.1387 \| 147.363 \| 0 \|
	\| 5 \| 0 \| 5 \| 0 \| wikitext \| comb_3 \| llama3 \| rnd_search_t_lin \| 14185.3 \| 15374.2 \| 1.1343 \| 147.665 \| 0 \|
	\| 6 \| 0.0111 \| 5 \| 0 \| wikitext \| comb_11 \| llama3 \| rnd_search_t_lin \| 14185.3 \| 15374.2 \| 1.1381 \| 147.834 \| 0 \|
	\| 7 \| 0 \| 5 \| 0 \| wikitext \| comb_10 \| llama3 \| rnd_search_t_lin \| 14185.3 \| 15374.2 \| 1.1248 \| 201.361 \| 0 \|
	\| 8 \| 0.0016 \| 5 \| 0 \| wikitext \| comb_4 \| llama3 \| rnd_search_t_lin \| 14185.3 \| 15374.2 \| 1.1339 \| 201.658 \| 0 \|
	\| 9 \| 0.4317 \| 5 \| 0 \| wikitext \| comb_8 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 5.2665 \| 147.472 \| 0 \|
	\| 10 \| 0.4306 \| 5 \| 0 \| wikitext \| comb_13 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 5.2445 \| 147.597 \| 0 \|
	\| 11 \| 0.4307 \| 5 \| 0 \| wikitext \| comb_17 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 5.243 \| 147.761 \| 0 \|
	\| 12 \| 0.4311 \| 5 \| 0 \| wikitext \| comb_2 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 5.2544 \| 147.984 \| 0 \|
	\| 13 \| 0.4317 \| 5 \| 0 \| wikitext \| comb_1 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 5.287 \| 174.958 \| 0 \|
	\| 14 \| 0.4312 \| 5 \| 0 \| wikitext \| comb_6 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 5.2843 \| 200.91 \| 0 \|
	\| 15 \| 0.0016 \| 5 \| 0 \| wikitext \| comb_15 \| llama3 \| rnd_search_t_lin \| 11051.9 \| 18748.5 \| 1.1456 \| 4.3777 \| 0 \|
	\| 16 \| 0 \| 5 \| 0 \| wikitext \| comb_5 \| llama3 \| rnd_search_t_lin \| 11051.9 \| 18748.5 \| 1.1344 \| 4.4081 \| 0 \|
	\| 17 \| 0 \| 5 \| 0 \| wikitext \| comb_0 \| llama3 \| rnd_search_t_lin \| 16812 \| 19811.8 \| 1.1248 \| 426.165 \| 0 \|
	\| 0 \| 0.4437 \| 8 \| 0 \| wikitext \| ao_woq \| llama3 \| fixed \| 12110.4 \| 14040.4 \| 5.2086 \| 52.6213 \| 0 \|
	\| 1 \| 0 \| 8 \| 0 \| wikitext \| comb_18 \| llama3 \| rnd_search_t_lin \| 14178.7 \| 15367.9 \| 1.1235 \| 121.483 \| 0 \|
	\| 2 \| 0 \| 8 \| 0 \| wikitext \| comb_9 \| llama3 \| rnd_search_t_lin \| 14178.7 \| 15367.9 \| 1.1248 \| 146.042 \| 0 \|
	\| 3 \| 0.4433 \| 8 \| 0 \| wikitext \| comb_16 \| llama3 \| rnd_search_t_lin \| 14179.2 \| 15367.9 \| 5.2085 \| 68.8273 \| 0 \|
	\| 4 \| 0.4439 \| 8 \| 0 \| wikitext \| woq \| llama3 \| fixed \| 14179.3 \| 15367.9 \| 5.2082 \| 96.1636 \| 0 \|
	\| 5 \| 0 \| 8 \| 0 \| wikitext \| comb_3 \| llama3 \| rnd_search_t_lin \| 14185.3 \| 15374.2 \| 1.1314 \| 148.003 \| 0 \|
	\| 6 \| 0 \| 8 \| 0 \| wikitext \| comb_7 \| llama3 \| rnd_search_t_lin \| 14185.3 \| 15374.2 \| 1.1349 \| 148.093 \| 0 \|
	\| 7 \| 0 \| 8 \| 0 \| wikitext \| comb_10 \| llama3 \| rnd_search_t_lin \| 14185.3 \| 15374.2 \| 1.1248 \| 201.809 \| 0 \|
	\| 8 \| 0.1387 \| 8 \| 0 \| wikitext \| comb_11 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 27.5293 \| 147.931 \| 0 \|
	\| 9 \| 0.443 \| 8 \| 0 \| wikitext \| comb_13 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 5.2112 \| 147.982 \| 0 \|
	\| 10 \| 0.4436 \| 8 \| 0 \| wikitext \| comb_8 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 5.2132 \| 148.217 \| 0 \|
	\| 11 \| 0.4433 \| 8 \| 0 \| wikitext \| comb_17 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 5.2083 \| 148.232 \| 0 \|
	\| 12 \| 0.4436 \| 8 \| 0 \| wikitext \| comb_2 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 5.2183 \| 148.344 \| 0 \|
	\| 13 \| 0.4434 \| 8 \| 0 \| wikitext \| comb_1 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 5.2137 \| 175.675 \| 0 \|
	\| 14 \| 0.3105 \| 8 \| 0 \| wikitext \| comb_4 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 8.3067 \| 201.637 \| 0 \|
	\| 15 \| 0.4436 \| 8 \| 0 \| wikitext \| comb_6 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 5.2084 \| 201.757 \| 0 \|
	\| 16 \| 0 \| 8 \| 0 \| wikitext \| comb_15 \| llama3 \| rnd_search_t_lin \| 11051.9 \| 18748.5 \| 1.1603 \| 4.4158 \| 0 \|
	\| 17 \| 0 \| 8 \| 0 \| wikitext \| comb_5 \| llama3 \| rnd_search_t_lin \| 11051.9 \| 18748.5 \| 1.1341 \| 4.417 \| 0 \|
	\| 18 \| 0 \| 8 \| 0 \| wikitext \| comb_0 \| llama3 \| rnd_search_t_lin \| 16812 \| 19811.8 \| 1.1248 \| 427.182 \| 0 \|
	\| 0 \| 0 \| 7 \| 0 \| wikitext \| comb_18 \| llama3 \| rnd_search_t_lin \| 14178.7 \| 15367.9 \| 1.1227 \| 121.839 \| 0 \|
	\| 1 \| 0 \| 7 \| 0 \| wikitext \| comb_9 \| llama3 \| rnd_search_t_lin \| 14178.7 \| 15367.9 \| 1.1248 \| 146.17 \| 0 \|
	\| 2 \| 0.4431 \| 7 \| 0 \| wikitext \| comb_16 \| llama3 \| rnd_search_t_lin \| 14179.2 \| 15367.9 \| 5.23 \| 68.8239 \| 0 \|
	\| 3 \| 0.4428 \| 7 \| 0 \| wikitext \| woq \| llama3 \| fixed \| 14179.3 \| 15367.9 \| 5.2489 \| 95.8159 \| 0 \|
	\| 4 \| 0 \| 7 \| 0 \| wikitext \| comb_7 \| llama3 \| rnd_search_t_lin \| 14185.3 \| 15374.2 \| 1.1359 \| 147.784 \| 0 \|
	\| 5 \| 0 \| 7 \| 0 \| wikitext \| comb_3 \| llama3 \| rnd_search_t_lin \| 14185.3 \| 15374.2 \| 1.1353 \| 147.799 \| 0 \|
	\| 6 \| 0.0032 \| 7 \| 0 \| wikitext \| comb_11 \| llama3 \| rnd_search_t_lin \| 14185.3 \| 15374.2 \| 1.1442 \| 148.029 \| 0 \|
	\| 7 \| 0 \| 7 \| 0 \| wikitext \| comb_10 \| llama3 \| rnd_search_t_lin \| 14185.3 \| 15374.2 \| 1.1248 \| 201.668 \| 0 \|
	\| 8 \| 0.0111 \| 7 \| 0 \| wikitext \| comb_4 \| llama3 \| rnd_search_t_lin \| 14185.3 \| 15374.2 \| 1.1042 \| 201.761 \| 0 \|
	\| 9 \| 0.4432 \| 7 \| 0 \| wikitext \| comb_8 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 5.2218 \| 148.094 \| 0 \|
	\| 10 \| 0.4436 \| 7 \| 0 \| wikitext \| comb_2 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 5.2176 \| 148.118 \| 0 \|
	\| 11 \| 0.4438 \| 7 \| 0 \| wikitext \| comb_13 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 5.2288 \| 148.128 \| 0 \|
	\| 12 \| 0.4439 \| 7 \| 0 \| wikitext \| comb_17 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 5.227 \| 148.186 \| 0 \|
	\| 13 \| 0.4437 \| 7 \| 0 \| wikitext \| comb_1 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 5.2366 \| 175.676 \| 0 \|
	\| 14 \| 0.4435 \| 7 \| 0 \| wikitext \| comb_6 \| llama3 \| rnd_search_t_lin \| 14185.7 \| 15374.2 \| 5.2459 \| 201.477 \| 0 \|
	\| 15 \| 0 \| 7 \| 0 \| wikitext \| comb_5 \| llama3 \| rnd_search_t_lin \| 11051.9 \| 18748.5 \| 1.1328 \| 4.4115 \| 0 \|
	\| 16 \| 0 \| 7 \| 0 \| wikitext \| comb_15 \| llama3 \| rnd_search_t_lin \| 11051.9 \| 18748.5 \| 1.1426 \| 4.4136 \| 0 \|
	\| 17 \| 0 \| 7 \| 0 \| wikitext \| comb_0 \| llama3 \| rnd_search_t_lin \| 16812 \| 19811.8 \| 1.1248 \| 426.312 \| 0 \|
	\| 19 \| 0.4437 \| 32 \| 0 \| wikitext \| base \| llama3 \| ---- \| 33003.5 \| 33156 \| 5.2238 \| 27.2925 \| 0 \|