model,NUM_Q_multich_EM,NUM_Q_multich_CC,NUM_Q_multich_PM,NUM_Q_multich_avg,NUM_Q_onech_EM,NUM_Q_onech_CC,NUM_Q_onech_PM,NUM_Q_onech_avg,NUM_Q_seq_EM,NUM_Q_seq_CC,NUM_Q_seq_PM,NUM_Q_seq_avg,NUM_Q_map_EM,NUM_Q_map_CC,NUM_Q_map_PM,NUM_Q_map_avg,OPEN_Q_EM,OPEN_Q_F1,OPEN_Q_LR,OPEN_Q_avg,Q_TYPE_avg
claude-3-5-sonnet,84.0,85.0,90.0,86.33333333333333,94.0,94.0,94.0,94.0,73.0,73.0,73.0,73.0,43.0,44.0,46.0,44.333333333333336,63.0,69.0,78.0,70.0,73.53333333333333
gemini-pro-1.5,73.0,78.0,84.0,78.33333333333333,91.0,92.0,91.0,91.33333333333333,66.0,66.0,66.0,66.0,59.0,60.0,66.0,61.666666666666664,55.00000000000001,67.0,77.0,66.33333333333333,72.73333333333333
deepseek-r1,79.0,82.0,86.0,82.33333333333333,67.0,93.0,93.0,84.33333333333333,82.0,82.0,82.0,82.0,57.99999999999999,61.0,59.0,59.333333333333336,22.0,61.0,69.0,50.666666666666664,71.73333333333333
qwen2.5:72b-instruct-q4_0,59.0,75.0,74.0,69.33333333333333,90.0,90.0,90.0,90.0,68.0,68.0,68.0,68.0,38.0,40.0,44.0,40.666666666666664,39.0,50.0,63.0,50.666666666666664,63.733333333333334
t-tech/T-pro-it-1.0,64.0,69.0,78.0,70.33333333333333,89.0,89.0,89.0,89.0,66.0,66.0,66.0,66.0,41.0,42.0,48.0,43.666666666666664,34.0,49.0,64.0,49.0,63.6
mistral-123b,69.0,74.0,82.0,75.0,89.0,89.0,89.0,89.0,63.0,63.0,63.0,63.0,24.0,24.0,28.000000000000004,25.333333333333332,54.0,62.0,71.0,62.333333333333336,62.93333333333333
gpt-4o,77.0,81.0,86.0,81.33333333333333,94.0,95.0,95.0,94.66666666666667,64.0,64.0,66.0,64.66666666666667,22.0,22.0,28.999999999999996,24.333333333333332,11.0,64.0,72.0,49.0,62.8
qwen2.5:32b-instruct-q4_0,59.0,66.0,75.0,66.66666666666667,86.0,87.0,87.0,86.66666666666667,60.0,60.0,60.0,60.0,35.0,36.0,42.0,37.666666666666664,31.0,41.0,55.00000000000001,42.333333333333336,58.666666666666664
qwen2:72b-instruct-q4_0,56.99999999999999,70.0,73.0,66.66666666666667,86.0,89.0,86.0,87.0,63.0,63.0,63.0,63.0,33.0,34.0,39.0,35.333333333333336,12.0,45.0,55.00000000000001,37.333333333333336,57.86666666666667
rscr/ruadapt_qwen2.5_32b:Q4_K_M,54.0,56.99999999999999,72.0,61.0,86.0,86.0,86.0,86.0,60.0,60.0,60.0,60.0,35.0,35.0,44.0,38.0,31.0,39.0,56.00000000000001,42.0,57.4
GigaChat-Max,73.0,76.0,83.0,77.33333333333333,85.0,85.0,85.0,85.0,38.0,38.0,38.0,38.0,16.0,16.0,23.0,18.333333333333332,48.0,55.00000000000001,69.0,57.333333333333336,55.2
GigaChat-Pro,61.0,64.0,76.0,67.0,79.0,81.0,79.0,79.66666666666667,45.0,45.0,45.0,45.0,25.0,25.0,30.0,26.666666666666668,48.0,55.00000000000001,68.0,57.0,55.06666666666667
YandexGPT4-Pro,31.0,35.0,77.0,47.666666666666664,85.0,85.0,85.0,85.0,35.0,35.0,54.0,41.333333333333336,21.0,21.0,47.0,29.666666666666668,45.0,56.00000000000001,69.0,56.666666666666664,52.06666666666667
YandexGPT4-Pro-32k,31.0,34.0,77.0,47.333333333333336,85.0,85.0,85.0,85.0,34.0,34.0,55.00000000000001,41.0,21.0,21.0,47.0,29.666666666666668,45.0,56.99999999999999,69.0,57.0,52.0
gemma2:27b-instruct-q4_0,49.0,56.99999999999999,69.0,58.333333333333336,82.0,83.0,82.0,82.33333333333333,48.0,48.0,48.0,48.0,13.0,13.0,18.0,14.666666666666666,39.0,48.0,63.0,50.0,50.666666666666664
GigaChat-Lite,56.99999999999999,61.0,72.0,63.333333333333336,75.0,76.0,75.0,75.33333333333333,38.0,38.0,38.0,38.0,13.0,13.0,17.0,14.333333333333334,35.0,42.0,56.99999999999999,44.666666666666664,47.13333333333333
llama405,21.0,62.0,77.0,53.333333333333336,60.0,91.0,91.0,80.66666666666667,24.0,33.0,51.0,36.0,5.0,7.000000000000001,20.0,10.666666666666666,9.0,56.00000000000001,66.0,43.666666666666664,44.86666666666667
ai-sage/GigaChat-20B-A3B-instruct,30.0,33.0,44.0,35.666666666666664,76.0,81.0,76.0,77.66666666666667,42.0,42.0,42.0,42.0,12.0,12.0,16.0,13.333333333333334,38.0,47.0,61.0,48.666666666666664,43.46666666666667
gemma2:9b-instruct-q4_0,41.0,54.0,64.0,53.0,77.0,80.0,77.0,78.0,32.0,33.0,35.0,33.333333333333336,5.0,5.0,10.0,6.666666666666667,25.0,34.0,49.0,36.0,41.4
llama3.1:70b-instruct-q4_0,42.0,57.99999999999999,68.0,56.0,49.0,85.0,84.0,72.66666666666667,14.000000000000002,17.0,33.0,21.333333333333332,1.0,2.0,14.000000000000002,5.666666666666667,11.0,54.0,64.0,43.0,39.733333333333334
llama3:70b-instruct-q4_0,35.0,63.0,60.0,52.666666666666664,79.0,81.0,79.0,79.66666666666667,12.0,14.000000000000002,25.0,17.0,4.0,5.0,6.0,5.0,7.000000000000001,47.0,57.99999999999999,37.333333333333336,38.333333333333336
YandexGPT4-Lite,33.0,38.0,57.99999999999999,43.0,74.0,75.0,74.0,74.33333333333333,6.0,6.0,7.000000000000001,6.333333333333333,2.0,2.0,5.0,3.0,35.0,52.0,66.0,51.0,35.53333333333333
qwen2.5:7b-instruct-q4_0,27.0,36.0,57.99999999999999,40.333333333333336,71.0,72.0,71.0,71.33333333333333,30.0,30.0,30.0,30.0,5.0,6.0,10.0,7.0,15.0,19.0,38.0,24.0,34.53333333333333
rscr/vikhr_nemo_12b:latest,23.0,31.0,53.0,35.666666666666664,56.00000000000001,73.0,64.0,64.33333333333333,11.0,19.0,20.0,16.666666666666668,2.0,3.0,11.0,5.333333333333333,12.0,28.999999999999996,41.0,27.333333333333332,29.866666666666667
ilyagusev/saiga_nemo_12b,3.0,4.0,59.0,22.0,70.0,71.0,70.0,70.33333333333333,17.0,17.0,18.0,17.333333333333332,1.0,1.0,10.0,4.0,23.0,34.0,48.0,35.0,29.733333333333334
qwen2:7b-instruct-q4_0,11.0,13.0,55.00000000000001,26.333333333333332,67.0,68.0,67.0,67.33333333333333,22.0,22.0,23.0,22.333333333333332,2.0,2.0,8.0,4.0,5.0,13.0,28.999999999999996,15.666666666666666,27.133333333333333
phi3:14b-medium-4k-instruct-q4_0,0.0,0.0,60.0,20.0,70.0,76.0,74.0,73.33333333333333,3.0,4.0,41.0,16.0,0.0,0.0,9.0,3.0,7.000000000000001,20.0,31.0,19.333333333333332,26.333333333333332
owl/t-lite:q4_0-instruct,3.0,6.0,42.0,17.0,66.0,68.0,67.0,67.0,10.0,11.0,12.0,11.0,1.0,1.0,3.0,1.6666666666666667,4.0,35.0,48.0,29.0,25.133333333333333
ilyagusev/saiga_llama3,2.0,9.0,52.0,21.0,65.0,65.0,65.0,65.0,9.0,9.0,20.0,12.666666666666666,0.0,0.0,4.0,1.3333333333333333,8.0,24.0,38.0,23.333333333333332,24.666666666666668
mixtral:8x7b-instruct-v0.1-q4_0,0.0,13.0,53.0,22.0,16.0,78.0,71.0,55.0,2.0,15.0,27.0,14.666666666666666,0.0,2.0,12.0,4.666666666666667,2.0,9.0,12.0,7.666666666666667,20.8
mistral:7b-instruct-v0.3-q4_0,0.0,0.0,44.0,14.666666666666666,54.0,57.99999999999999,56.99999999999999,56.333333333333336,0.0,0.0,31.0,10.333333333333334,0.0,0.0,4.0,1.3333333333333333,3.0,14.000000000000002,24.0,13.666666666666666,19.266666666666666
solar:10.7b-instruct-v1-q4_0,0.0,0.0,49.0,16.333333333333332,50.0,65.0,63.0,59.333333333333336,0.0,0.0,19.0,6.333333333333333,0.0,0.0,3.0,1.0,4.0,13.0,22.0,13.0,19.2
yi:9b,8.0,17.0,39.0,21.333333333333332,39.0,49.0,46.0,44.666666666666664,12.0,14.000000000000002,14.000000000000002,13.333333333333334,0.0,0.0,1.0,0.3333333333333333,2.0,6.0,14.000000000000002,7.333333333333333,17.4
llama3.1:8b-instruct-q4_0,0.0,0.0,50.0,16.666666666666668,4.0,64.0,60.0,42.666666666666664,0.0,1.0,3.0,1.3333333333333333,0.0,0.0,6.0,2.0,0.0,24.0,40.0,21.333333333333332,16.8
llama3:8b-instruct-q4_0,0.0,0.0,50.0,16.666666666666668,12.0,65.0,64.0,47.0,0.0,1.0,3.0,1.3333333333333333,0.0,0.0,4.0,1.3333333333333333,0.0,20.0,33.0,17.666666666666668,16.8
wavecut/vikhr:7b-instruct_0.4-Q4_1,0.0,0.0,39.0,13.0,41.0,49.0,47.0,45.666666666666664,2.0,3.0,7.000000000000001,4.0,0.0,0.0,1.0,0.3333333333333333,10.0,19.0,30.0,19.666666666666668,16.533333333333335
gemma:7b-instruct-v1.1-q4_0,2.0,9.0,39.0,16.666666666666668,13.0,56.00000000000001,54.0,41.0,7.000000000000001,10.0,11.0,9.333333333333334,1.0,1.0,4.0,2.0,0.0,4.0,16.0,6.666666666666667,15.133333333333333
random,4.04341349223239,7.59736114066823,32.698446477974,14.77974037029154,24.5103137458832,24.5103137458832,24.5103137458832,24.5103137458832,14.0740740740741,14.0740740740741,14.0740740740741,14.0740740740741,0.828500414250207,0.828500414250207,3.23115161557581,1.629384148025408,,,,,13.7483780845685
qwen:7b,0.0,0.0,30.0,10.0,36.0,37.0,36.0,36.333333333333336,12.0,12.0,14.000000000000002,12.666666666666666,0.0,0.0,1.0,0.3333333333333333,0.0,3.0,16.0,6.333333333333333,13.133333333333333
llama3.2:3b-instruct-q4_0,0.0,0.0,30.0,10.0,0.0,48.0,48.0,32.0,0.0,0.0,10.0,3.3333333333333335,0.0,0.0,1.0,0.3333333333333333,0.0,6.0,19.0,8.333333333333334,10.8
yi:6b,1.0,18.0,13.0,10.666666666666666,28.000000000000004,36.0,35.0,33.0,0.0,6.0,4.0,3.3333333333333335,0.0,1.0,1.0,0.6666666666666666,1.0,3.0,10.0,4.666666666666667,10.466666666666667
llama2:13b,0.0,0.0,25.0,8.333333333333334,0.0,56.00000000000001,4.0,20.000000000000004,0.0,0.0,1.0,0.3333333333333333,0.0,0.0,0.0,0.0,0.0,7.000000000000001,12.0,6.333333333333333,7.0
llama3.2:1b-instruct-q4_0,0.0,1.0,14.000000000000002,5.000000000000001,0.0,42.0,19.0,20.333333333333332,0.0,3.0,0.0,1.0,0.0,0.0,0.0,0.0,0.0,2.0,10.0,4.0,6.066666666666666
Среднее значение,29.373102639354244,35.734822352108566,58.41159177855753,41.17317225667345,59.5467514824624,72.38396078478799,69.26768171502054,67.06613132742365,27.536606373815676,28.815676141257537,33.95521102497847,30.10249784668388,12.530895358470936,12.972755823587216,18.470491898036645,14.658047693364935,19.833333333333332,34.61904761904762,46.42857142857143,33.62698412698412,37.23290801747059