diff --git "a/llmtf_eval/shlepa_books_mc.jsonl" "b/llmtf_eval/shlepa_books_mc.jsonl" new file mode 100644--- /dev/null +++ "b/llmtf_eval/shlepa_books_mc.jsonl" @@ -0,0 +1,24100 @@ +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.028867196291685104, + "B": 0.061111852526664734, + "C": 0.05393102020025253, + "D": 0.3103516101837158, + "E": 0.10075641423463821, + "F": 0.061111852526664734, + "G": 0.08891722559928894, + "H": 0.08891722559928894, + "I": 0.05393102020025253, + "J": 0.06924881041049957, + "K": 0.02111969329416752, + "L": 0.006441141944378614 + }, + "sample": { + "question": "Какой год является годом публикации романа «Братья и сёстры» автором Абрамовым Фёдором Александровичем?", + "answerA": "1948", + "answerB": "1958", + "answerC": "1989", + "answerD": "1938", + "correct_answer": "answerB", + "choices": [ + "Как Нина вылечила сына от жестокости", + "1989", + "Лев Толстой", + "1959", + "Купил ей новые сапоги.", + "Предложил ей поехать в другой город за лечением.", + "Фёдор Достоевский", + "1961", + "1938", + "1958", + "1948", + "Каковы свойства воды?" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКакой год является годом публикации романа «Братья и сёстры» автором Абрамовым Фёдором Александровичем?\nA. Как Нина вылечила сына от жестокости\nB. 1989\nC. Лев Толстой\nD. 1959\nE. Купил ей новые сапоги.\nF. Предложил ей поехать в другой город за лечением.\nG. Фёдор Достоевский\nH. 1961\nI. 1938\nJ. 1958\nK. 1948\nL. Каковы свойства воды?\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 139, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.08273697644472122, + "B": 0.03448989987373352, + "C": 0.1751541793346405, + "D": 0.3272310793399811, + "E": 0.03448989987373352, + "F": 0.026860762387514114, + "G": 0.15457302331924438, + "H": 0.03448989987373352, + "I": 0.006379990838468075, + "J": 0.005993446335196495, + "K": 0.012688125483691692, + "L": 0.0008111248025670648 + }, + "sample": { + "question": "Какой большой жест сделал Аркадий после того, как Тоня ему помогла?", + "answerA": "Предложил ей поехать в другой город за лечением.", + "answerB": "Купил ей новые сапоги.", + "answerC": "Предложил ей выйти за него замуж.", + "answerD": "Построил для нее новый дом.", + "correct_answer": "C", + "choices": [ + "Предложил ей поехать в другой город за лечением.", + "Фёдор Достоевский", + "городовой Дымба", + "Построил для нее новый дом.", + "Лучшее лекарство", + "Лев Толстой", + "Как Нина вылечила сына от жестокости", + "Предложил ей выйти за него замуж.", + "1959", + "1961", + "Купил ей новые сапоги.", + "Каковы свойства воды?" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакой большой жест сделал Аркадий после того, как Тоня ему помогла?\nA. Предложил ей поехать в другой город за лечением.\nB. Фёдор Достоевский\nC. городовой Дымба\nD. Построил для нее новый дом.\nE. Лучшее лекарство\nF. Лев Толстой\nG. Как Нина вылечила сына от жестокости\nH. Предложил ей выйти за него замуж.\nI. 1959\nJ. 1961\nK. Купил ей новые сапоги.\nL. Каковы свойства воды?\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 132, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.09998797625303268, + "B": 0.053519707173109055, + "C": 0.5753911137580872, + "D": 0.03678352013230324, + "E": 0.01968879997730255, + "F": 0.02231033332645893, + "G": 0.03678352013230324, + "H": 0.008207513019442558, + "I": 0.0012586630182340741, + "J": 0.0016161552630364895, + "K": 0.0034214004408568144, + "L": 0.0008126539178192616 + }, + "sample": { + "question": "Кто является автором работы 'Отец наших душ', посвященной влиянию и значению Пушкина в русской культуре?", + "answerA": "Лев Толстой", + "answerB": "Фёдор Достоевский", + "answerC": "Фёдор Абрамов", + "answerD": "Антон Чехов", + "correct_answer": "Фёдор Абрамов", + "choices": [ + "Лев Толстой", + "городовой Дымба", + "Фёдор Абрамов", + "Как Нина вылечила сына от жестокости", + "1961", + "Каковы свойства воды?", + "1923", + "1959", + "Что такое дробь?", + "Лучшее лекарство", + "Антон Чехов", + "Фёдор Достоевский" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКто является автором работы 'Отец наших душ', посвященной влиянию и значению Пушкина в русской культуре?\nA. Лев Толстой\nB. городовой Дымба\nC. Фёдор Абрамов\nD. Как Нина вылечила сына от жестокости\nE. 1961\nF. Каковы свойства воды?\nG. 1923\nH. 1959\nI. Что такое дробь?\nJ. Лучшее лекарство\nK. Антон Чехов\nL. Фёдор Достоевский\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 124, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.04200772941112518, + "B": 0.3517264127731323, + "C": 0.12939292192459106, + "D": 0.14662137627601624, + "E": 0.06112087890505791, + "F": 0.06112087890505791, + "G": 0.06112087890505791, + "H": 0.04200772941112518, + "I": 0.0026854639872908592, + "J": 0.025478975847363472, + "K": 0.00997771043330431, + "L": 0.0041593280620872974 + }, + "sample": { + "question": "В каком году был написан рассказ 'Собачья гордость' Фёдора Абрамова?", + "answerA": "1959", + "answerB": "1961", + "answerC": "1970", + "answerD": "1982", + "correct_answer": "B", + "choices": [ + "Каковы свойства воды?", + "1923", + "Лучшее лекарство", + "1961", + "1982", + "1959", + "1970", + "городовой Дымба", + "Что такое дробь?", + "Как Нина вылечила сына от жестокости", + "Виктор Поликарпович", + "Москва" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nВ каком году был написан рассказ 'Собачья гордость' Фёдора Абрамова?\nA. Каковы свойства воды?\nB. 1923\nC. Лучшее лекарство\nD. 1961\nE. 1982\nF. 1959\nG. 1970\nH. городовой Дымба\nI. Что такое дробь?\nJ. Как Нина вылечила сына от жестокости\nK. Виктор Поликарпович\nL. Москва\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 126, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.19907762110233307, + "B": 0.03920070827007294, + "C": 0.08298789709806442, + "D": 0.15504179894924164, + "E": 0.08298789709806442, + "F": 0.02694222517311573, + "G": 0.03920070827007294, + "H": 0.023776430636644363, + "I": 0.25562071800231934, + "J": 0.03052954189479351, + "K": 0.005647397134453058, + "L": 0.0032177900429815054 + }, + "sample": { + "question": "В каком рассказе из цикла 'Трава-мурава' описывается, как персонаж заболел, но потом выздоровел, благодаря работе?", + "answerA": "Как Нина вылечила сына от жестокости", + "answerB": "Лучшее лекарство", + "answerC": "Если пожалеть птицу", + "answerD": "Слово помогло", + "correct_answer": "Лучшее лекарство", + "choices": [ + "Как Нина вылечила сына от жестокости", + "Виктор Поликарпович", + "городовой Дымба", + "Слово помогло", + "Если пожалеть птицу", + "Мастерство настройки пианино", + "Каковы свойства воды?", + "1905", + "Лучшее лекарство", + "1923", + "Москва", + "Что такое дробь?" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nВ каком рассказе из цикла 'Трава-мурава' описывается, как персонаж заболел, но потом выздоровел, благодаря работе?\nA. Как Нина вылечила сына от жестокости\nB. Виктор Поликарпович\nC. городовой Дымба\nD. Слово помогло\nE. Если пожалеть птицу\nF. Мастерство настройки пианино\nG. Каковы свойства воды?\nH. 1905\nI. Лучшее лекарство\nJ. 1923\nK. Москва\nL. Что такое дробь?\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 131, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.11567409336566925, + "B": 0.048220135271549225, + "C": 0.19071432948112488, + "D": 0.07950156182050705, + "E": 0.131075918674469, + "F": 0.054640572518110275, + "G": 0.11567409336566925, + "H": 0.06191587820649147, + "I": 0.054640572518110275, + "J": 0.029246991500258446, + "K": 0.006946769077330828, + "L": 0.0030826099682599306 + }, + "sample": { + "question": "Что спросил инспектор училища Бельмесов у первого ученика на экзамене?", + "answerA": "Каковы свойства воды?", + "answerB": "Что такое дробь?", + "answerC": "Сколько будет пятью шесть?", + "answerD": "Сколько будет, если помножить пять деревьев на шесть лошадей?", + "correct_answer": "answerC", + "choices": [ + "Всегда лучше жить одному.", + "городовой Дымба", + "Каковы свойства воды?", + "1905", + "Что такое дробь?", + "Мастерство настройки пианино", + "Виктор Поликарпович", + "Сколько будет пятью шесть?", + "Сколько будет, если помножить пять деревьев на шесть лошадей?", + "1923", + "Москва", + "Севастополь" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nЧто спросил инспектор училища Бельмесов у первого ученика на экзамене?\nA. Всегда лучше жить одному.\nB. городовой Дымба\nC. Каковы свойства воды?\nD. 1905\nE. Что такое дробь?\nF. Мастерство настройки пианино\nG. Виктор Поликарпович\nH. Сколько будет пятью шесть?\nI. Сколько будет, если помножить пять деревьев на шесть лошадей?\nJ. 1923\nK. Москва\nL. Севастополь\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 121, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.03754204884171486, + "B": 0.07947651296854019, + "C": 0.07947651296854019, + "D": 0.24480490386486053, + "E": 0.0482049398124218, + "F": 0.0258022453635931, + "G": 0.061896372586488724, + "H": 0.03754204884171486, + "I": 0.02009481005370617, + "J": 0.07013777643442154, + "K": 0.13103462755680084, + "L": 0.014701676554977894 + }, + "sample": { + "question": "Кто разработал проект морского сбора в рассказе о проверке незаконных поборов?", + "answerA": "городовой Дымба", + "answerB": "Виктор Поликарпович", + "answerC": "его высокородие", + "answerD": "Павел Захарович", + "correct_answer": "B", + "choices": [ + "Умение лечить ревматизм", + "1923", + "Москва", + "Павел Захарович", + "Всегда лучше жить одному.", + "Мастерство настройки пианино", + "Эффект Тесла", + "его высокородие", + "1905", + "городовой Дымба", + "Виктор Поликарпович", + "Севастополь" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКто разработал проект морского сбора в рассказе о проверке незаконных поборов?\nA. Умение лечить ревматизм\nB. 1923\nC. Москва\nD. Павел Захарович\nE. Всегда лучше жить одному.\nF. Мастерство настройки пианино\nG. Эффект Тесла\nH. его высокородие\nI. 1905\nJ. городовой Дымба\nK. Виктор Поликарпович\nL. Севастополь\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 112, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.10289190709590912, + "B": 0.0428917333483696, + "C": 0.04860270023345947, + "D": 0.59210205078125, + "E": 0.08013229817152023, + "F": 0.022958287969231606, + "G": 0.029479026794433594, + "H": 0.013924906961619854, + "I": 0.004520754795521498, + "J": 0.009570438414812088, + "K": 0.004246856085956097, + "L": 0.0020060730166733265 + }, + "sample": { + "question": "В каком году был написан рассказ 'Красивая женщина' Аркадия Тимофеевича Аверченко?", + "answerA": "1923", + "answerB": "1905", + "answerC": "1916", + "answerD": "1931", + "correct_answer": "answerC", + "choices": [ + "Женщина может разрушить уютную жизнь мужчины.", + "Мастерство настройки пианино", + "Эффект Тесла", + "1923", + "1931", + "Москва", + "1905", + "Всегда лучше жить одному.", + "1916", + "Стать еще более совершенным", + "Севастополь", + "Умение лечить ревматизм" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nВ каком году был написан рассказ 'Красивая женщина' Аркадия Тимофеевича Аверченко?\nA. Женщина может разрушить уютную жизнь мужчины.\nB. Мастерство настройки пианино\nC. Эффект Тесла\nD. 1923\nE. 1931\nF. Москва\nG. 1905\nH. Всегда лучше жить одному.\nI. 1916\nJ. Стать еще более совершенным\nK. Севастополь\nL. Умение лечить ревматизм\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 124, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.2853608727455139, + "B": 0.1347949355840683, + "C": 0.1527426689863205, + "D": 0.1527426689863205, + "E": 0.08175726234912872, + "F": 0.012537881731987, + "G": 0.020671473816037178, + "H": 0.013346506282687187, + "I": 0.010394269600510597, + "J": 0.009172910824418068, + "K": 0.0031700730323791504, + "L": 0.0010291719809174538 + }, + "sample": { + "question": "В каком городе происходят события рассказа «Смерть африканского охотника»?", + "answerA": "Москва", + "answerB": "Севастополь", + "answerC": "Петербург", + "answerD": "Киев", + "correct_answer": "B", + "choices": [ + "Севастополь", + "Москва", + "Киев", + "Петербург", + "Стать еще более совершенным", + "Всегда лучше жить одному.", + "Математические вычисления", + "Эффект Шиммельмайера", + "Женщина может разрушить уютную жизнь мужчины.", + "Мастерство настройки пианино", + "Эффект Тесла", + "Умение лечить ревматизм" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nВ каком городе происходят события рассказа «Смерть африканского охотника»?\nA. Севастополь\nB. Москва\nC. Киев\nD. Петербург\nE. Стать еще более совершенным\nF. Всегда лучше жить одному.\nG. Математические вычисления\nH. Эффект Шиммельмайера\nI. Женщина может разрушить уютную жизнь мужчины.\nJ. Мастерство настройки пианино\nK. Эффект Тесла\nL. Умение лечить ревматизм\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 110, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.074392169713974, + "B": 0.074392169713974, + "C": 0.20221886038780212, + "D": 0.074392169713974, + "E": 0.05112893506884575, + "F": 0.074392169713974, + "G": 0.17845751345157623, + "H": 0.08429736644029617, + "I": 0.010067883878946304, + "J": 0.021313710138201714, + "K": 0.018809283152222633, + "L": 0.005062450654804707 + }, + "sample": { + "question": "Какой навык неудачно пытался продемонстрировать Усатов в рассказе Аркадия Аверченко?", + "answerA": "Мастерство настройки пианино", + "answerB": "Умение лечить ревматизм", + "answerC": "Установка электрического звонка", + "answerD": "Изготовление французских блюд", + "correct_answer": "C", + "choices": [ + "Установка электрического звонка", + "Мастерство настройки пианино", + "Контролировать экономику других планет", + "Математические вычисления", + "Эффект Тесла", + "Эффект Шиммельмайера", + "Стать еще более совершенным", + "Всегда лучше жить одному.", + "Женщина может разрушить уютную жизнь мужчины.", + "Умение лечить ревматизм", + "Изготовление французских блюд", + "В начале 20-го века" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКакой навык неудачно пытался продемонстрировать Усатов в рассказе Аркадия Аверченко?\nA. Установка электрического звонка\nB. Мастерство настройки пианино\nC. Контролировать экономику других планет\nD. Математические вычисления\nE. Эффект Тесла\nF. Эффект Шиммельмайера\nG. Стать еще более совершенным\nH. Всегда лучше жить одному.\nI. Женщина может разрушить уютную жизнь мужчины.\nJ. Умение лечить ревматизм\nK. Изготовление французских блюд\nL. В начале 20-го века\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 134, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0033216483425348997, + "B": 0.015846697613596916, + "C": 0.04881126806139946, + "D": 0.038014255464076996, + "E": 0.01795666106045246, + "F": 0.010891265235841274, + "G": 0.008482126519083977, + "H": 0.007031929679214954, + "I": 0.0007411598926410079, + "J": 0.008482126519083977, + "K": 0.6738187670707703, + "L": 0.005476472433656454 + }, + "sample": { + "question": "Какой урок можно извлечь из рассказа 'Хвост женщины' Аверченко Аркадия Тимофеевича?", + "answerA": "Всегда лучше жить одному.", + "answerB": "Женщина может разрушить уютную жизнь мужчины.", + "answerC": "Надо быть осторожным с ручными гранатами.", + "answerD": "Не стоит позволять частной жизни переезжать в ваш дом без предварительных условий.", + "correct_answer": "D", + "choices": [ + "Контролировать экономику других планет", + "Эффект Тесла", + "Математические вычисления", + "Всегда лучше жить одному.", + "Не стоит позволять частной жизни переезжать в ваш дом без предварительных условий.", + "В начале 20-го века", + "Стать еще более совершенным", + "Надо быть осторожным с ручными гранатами.", + "1952", + "Эффект Шиммельмайера", + "Женщина может разрушить уютную жизнь мужчины.", + "Творчество" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКакой урок можно извлечь из рассказа 'Хвост женщины' Аверченко Аркадия Тимофеевича?\nA. Контролировать экономику других планет\nB. Эффект Тесла\nC. Математические вычисления\nD. Всегда лучше жить одному.\nE. Не стоит позволять частной жизни переезжать в ваш дом без предварительных условий.\nF. В начале 20-го века\nG. Стать еще более совершенным\nH. Надо быть осторожным с ручными гранатами.\nI. 1952\nJ. Эффект Шиммельмайера\nK. Женщина может разрушить уютную жизнь мужчины.\nL. Творчество\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 149, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.005266863852739334, + "B": 0.06416353583335876, + "C": 0.0071989488787949085, + "D": 0.011149950325489044, + "E": 0.04409891366958618, + "F": 0.7816718816757202, + "G": 0.023604445159435272, + "H": 0.011149950325489044, + "I": 0.000336699333274737, + "J": 0.012634549289941788, + "K": 0.004366383422166109, + "L": 0.005266863852739334 + }, + "sample": { + "question": "Как называется эффект, благодаря которому Отто Шиммельмайер утверждал, что может перемещать предметы из прошлого в настоящее?", + "answerA": "Эффект Тесла", + "answerB": "Эффект Шиммельмайера", + "answerC": "Эффект Гудини", + "answerD": "Эффект Эйнштейна", + "correct_answer": "B", + "choices": [ + "1952", + "В начале 64-го века", + "Математические вычисления", + "Стать еще более совершенным", + "В начале 20-го века", + "Эффект Шиммельмайера", + "Эффект Гудини", + "Эффект Эйнштейна", + "Эффект Тесла", + "Творчество", + "Контролировать экономику других планет", + "Обер Кандалов" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКак называется эффект, благодаря которому Отто Шиммельмайер утверждал, что может перемещать предметы из прошлого в настоящее?\nA. 1952\nB. В начале 64-го века\nC. Математические вычисления\nD. Стать еще более совершенным\nE. В начале 20-го века\nF. Эффект Шиммельмайера\nG. Эффект Гудини\nH. Эффект Эйнштейна\nI. Эффект Тесла\nJ. Творчество\nK. Контролировать экономику других планет\nL. Обер Кандалов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 135, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.03292257338762283, + "B": 0.16719460487365723, + "C": 0.10140866041183472, + "D": 0.10140866041183472, + "E": 0.03292257338762283, + "F": 0.05428014323115349, + "G": 0.21468213200569153, + "H": 0.08949282020330429, + "I": 0.00832412950694561, + "J": 0.037306156009435654, + "K": 0.06969708204269409, + "L": 0.0027024492155760527 + }, + "sample": { + "question": "Чего больше всего хотел Мультивак в рассказе 'Все грехи мира'?", + "answerA": "Стать еще более совершенным", + "answerB": "Контролировать экономику других планет", + "answerC": "Умереть", + "answerD": "Обеспечить мир и порядок на Земле", + "correct_answer": "Умереть", + "choices": [ + "Литература должна развлекать читателя.", + "Обеспечить мир и порядок на Земле", + "Математические вычисления", + "Контролировать экономику других планет", + "1961", + "В начале 64-го века", + "Обер Кандалов", + "Умереть", + "В начале 20-го века", + "Творчество", + "Стать еще более совершенным", + "1952" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nЧего больше всего хотел Мультивак в рассказе 'Все грехи мира'?\nA. Литература должна развлекать читателя.\nB. Обеспечить мир и порядок на Земле\nC. Математические вычисления\nD. Контролировать экономику других планет\nE. 1961\nF. В начале 64-го века\nG. Обер Кандалов\nH. Умереть\nI. В начале 20-го века\nJ. Творчество\nK. Стать еще более совершенным\nL. 1952\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 132, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0911058634519577, + "B": 0.07095330953598022, + "C": 0.1702081561088562, + "D": 0.048765454441308975, + "E": 0.0911058634519577, + "F": 0.06261608749628067, + "G": 0.1702081561088562, + "H": 0.10323646664619446, + "I": 0.010221794247627258, + "J": 0.02610226720571518, + "K": 0.029577739536762238, + "L": 0.006199831608682871 + }, + "sample": { + "question": "Какой талант обнаружился у робота Эндрю в рассказе Айзека Азимова 'Двухсотлетний человек'?", + "answerA": "Математические вычисления", + "answerB": "Творчество", + "answerC": "Спортивные достижения", + "answerD": "Гастрономические навыки", + "correct_answer": "B", + "choices": [ + "Творчество", + "Литература должна развлекать читателя.", + "В начале 20-го века", + "1952", + "Математические вычисления", + "1961", + "Авдий Калистратов", + "В начале 64-го века", + "Спортивные достижения", + "Гастрономические навыки", + "Обер Кандалов", + "Джеенгуль, мать Авалбека" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКакой талант обнаружился у робота Эндрю в рассказе Айзека Азимова 'Двухсотлетний человек'?\nA. Творчество\nB. Литература должна развлекать читателя.\nC. В начале 20-го века\nD. 1952\nE. Математические вычисления\nF. 1961\nG. Авдий Калистратов\nH. В начале 64-го века\nI. Спортивные достижения\nJ. Гастрономические навыки\nK. Обер Кандалов\nL. Джеенгуль, мать Авалбека\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 142, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.06880469620227814, + "B": 0.07796593010425568, + "C": 0.08834698051214218, + "D": 0.11343976110219955, + "E": 0.18703053891658783, + "F": 0.06880469620227814, + "G": 0.07796593010425568, + "H": 0.07796593010425568, + "I": 0.04728872701525688, + "J": 0.1001102402806282, + "K": 0.017396550625562668, + "L": 0.01634254679083824 + }, + "sample": { + "question": "В каком году происходит начало действий рассказа \"Профессия\" написанного Айзеком Азимовым?", + "answerA": "В начале 20-го века", + "answerB": "В начале 64-го века", + "answerC": "В конце 21-го века", + "answerD": "В середине 45-го века", + "correct_answer": "B", + "choices": [ + "Литература должна развлекать читателя.", + "Обер Кандалов", + "Авдий Калистратов", + "В конце 21-го века", + "1952", + "1961", + "Основная задача писателя - сохранение совести в человеке.", + "Джеенгуль, мать Авалбека", + "В начале 64-го века", + "В начале 20-го века", + "В середине 45-го века", + "2004" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nВ каком году происходит начало действий рассказа \"Профессия\" написанного Айзеком Азимовым?\nA. Литература должна развлекать читателя.\nB. Обер Кандалов\nC. Авдий Калистратов\nD. В конце 21-го века\nE. 1952\nF. 1961\nG. Основная задача писателя - сохранение совести в человеке.\nH. Джеенгуль, мать Авалбека\nI. В начале 64-го века\nJ. В начале 20-го века\nK. В середине 45-го века\nL. 2004\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 153, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.03775516152381897, + "B": 0.19173654913902283, + "C": 0.5211939215660095, + "D": 0.09056992083787918, + "E": 0.01783427596092224, + "F": 0.010817035101354122, + "G": 0.04278220236301422, + "H": 0.013889347203075886, + "I": 0.0007361084572039545, + "J": 0.0029113655909895897, + "K": 0.0035117771476507187, + "L": 0.00019812090613413602 + }, + "sample": { + "question": "В каком году был опубликован рассказ 'Верблюжий глаз' Чингиза Айтматова?", + "answerA": "1952", + "answerB": "1961", + "answerC": "1970", + "answerD": "1985", + "correct_answer": "B", + "choices": [ + "Литература должна развлекать читателя.", + "2004", + "1985", + "1952", + "Обер Кандалов", + "Основная задача писателя - сохранение совести в человеке.", + "Айтматов Чингиз Торекулович", + "Джеенгуль, мать Авалбека", + "Ян Борецкий", + "1961", + "1970", + "Авдий Калистратов" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nВ каком году был опубликован рассказ 'Верблюжий глаз' Чингиза Айтматова?\nA. Литература должна развлекать читателя.\nB. 2004\nC. 1985\nD. 1952\nE. Обер Кандалов\nF. Основная задача писателя - сохранение совести в человеке.\nG. Айтматов Чингиз Торекулович\nH. Джеенгуль, мать Авалбека\nI. Ян Борецкий\nJ. 1961\nK. 1970\nL. Авдий Калистратов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 144, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.046678222715854645, + "B": 0.0438501350581646, + "C": 0.010415320284664631, + "D": 0.020713336765766144, + "E": 0.11197523772716522, + "F": 0.022049231454730034, + "G": 0.03013772703707218, + "H": 0.059936024248600006, + "I": 0.07695937156677246, + "J": 0.4428706467151642, + "K": 0.0067246356047689915, + "L": 0.011087050661444664 + }, + "sample": { + "question": "Кто является главным героем романа «Плаха»?", + "answerA": "Обер Кандалов", + "answerB": "Авдий Калистратов", + "answerC": "Чингиз Айтматов", + "answerD": "Манкурт", + "correct_answer": "answerB", + "choices": [ + "Джеенгуль, мать Авалбека", + "Литература должна развлекать читателя.", + "2004", + "Ян Борецкий", + "Айтматов Чингиз Торекулович", + "Авдий Калистратов", + "Основная задача писателя - сохранение совести в человеке.", + "1905 год", + "2005", + "Чингиз Айтматов", + "Обер Кандалов", + "Манкурт" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКто является главным героем романа «Плаха»?\nA. Джеенгуль, мать Авалбека\nB. Литература должна развлекать читателя.\nC. 2004\nD. Ян Борецкий\nE. Айтматов Чингиз Торекулович\nF. Авдий Калистратов\nG. Основная задача писателя - сохранение совести в человеке.\nH. 1905 год\nI. 2005\nJ. Чингиз Айтматов\nK. Обер Кандалов\nL. Манкурт\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 132, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.001886648708023131, + "B": 0.004525835160166025, + "C": 0.004525835160166025, + "D": 0.9773082137107849, + "E": 0.0003278504009358585, + "F": 7.78712856117636e-05, + "G": 9.393071377417073e-05, + "H": 1.533376780571416e-05, + "I": 8.207573955587577e-06, + "J": 1.1941949196625501e-05, + "K": 3.915614070137963e-05, + "L": 2.351509237996652e-06 + }, + "sample": { + "question": "Какую главную мысль выражает Чингиз Айтматов в своем произведении 'Совесть не может молчать'?", + "answerA": "Литература должна развлекать читателя.", + "answerB": "Основная задача писателя - сохранение совести в человеке.", + "answerC": "Писатель должен следовать за общественным мнением.", + "answerD": "Литература исключительно для образованных людей.", + "correct_answer": "B", + "choices": [ + "2004", + "Ян Борецкий", + "Айтматов Чингиз Торекулович", + "Основная задача писателя - сохранение совести в человеке.", + "Литература исключительно для образованных людей.", + "1905 год", + "Цветами", + "Писатель должен следовать за общественным мнением.", + "2005", + "Джеенгуль, мать Авалбека", + "Степан Слюньков", + "Л��тература должна развлекать читателя." + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКакую главную мысль выражает Чингиз Айтматов в своем произведении 'Совесть не может молчать'?\nA. 2004\nB. Ян Борецкий\nC. Айтматов Чингиз Торекулович\nD. Основная задача писателя - сохранение совести в человеке.\nE. Литература исключительно для образованных людей.\nF. 1905 год\nG. Цветами\nH. Писатель должен следовать за общественным мнением.\nI. 2005\nJ. Джеенгуль, мать Авалбека\nK. Степан Слюньков\nL. Литература должна развлекать читателя.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 143, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.08780284225940704, + "B": 0.18587860465049744, + "C": 0.046997472643852234, + "D": 0.028505409136414528, + "E": 0.08780284225940704, + "F": 0.18587860465049744, + "G": 0.07748573273420334, + "H": 0.03660166636109352, + "I": 0.006360416300594807, + "J": 0.0532551147043705, + "K": 0.009254351258277893, + "L": 0.0011052745394408703 + }, + "sample": { + "question": "Кто является главным персонажем рассказа 'Солдатёнок'?", + "answerA": "Джеенгуль, мать Авалбека", + "answerB": "Айтматов Чингиз Торекулович", + "answerC": "Авалбек, сын погибшего солдата", + "answerD": "Отец Авалбека, показанный в кино", + "correct_answer": "C", + "choices": [ + "Джеенгуль, мать Авалбека", + "Айтматов Чингиз Торекулович", + "2004", + "1905 год", + "Отец Авалбека, показанный в кино", + "Чили", + "Степан Слюньков", + "Ян Борецкий", + "2005", + "Авалбек, сын погибшего солдата", + "Цветами", + "1917 год" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКто является главным персонажем рассказа 'Солдатёнок'?\nA. Джеенгуль, мать Авалбека\nB. Айтматов Чингиз Торекулович\nC. 2004\nD. 1905 год\nE. Отец Авалбека, показанный в кино\nF. Чили\nG. Степан Слюньков\nH. Ян Борецкий\nI. 2005\nJ. Авалбек, сын погибшего солдата\nK. Цветами\nL. 1917 год\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 131, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.11633224040269852, + "B": 0.11633224040269852, + "C": 0.09059964120388031, + "D": 0.24627533555030823, + "E": 0.11633224040269852, + "F": 0.05495145916938782, + "G": 0.06226815655827522, + "H": 0.05495145916938782, + "I": 0.014789983630180359, + "J": 0.04849448800086975, + "K": 0.015743855386972427, + "L": 0.007916508242487907 + }, + "sample": { + "question": "В каком году была опубликована пьеса «Инь и Ян» Бориса Акунина?", + "answerA": "2004", + "answerB": "2005", + "answerC": "2006", + "answerD": "2007", + "correct_answer": "C", + "choices": [ + "Словами", + "2004", + "Чили", + "1917 год", + "1905 год", + "2005", + "Ян Борецкий", + "Степан Слюньков", + "2007", + "Научиться летать", + "Цветами", + "2006" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nВ каком году была опубликована пьеса «Инь и Ян» Бориса Акунина?\nA. Словами\nB. 2004\nC. Чили\nD. 1917 год\nE. 1905 год\nF. 2005\nG. Ян Борецкий\nH. Степан Слюнь��ов\nI. 2007\nJ. Научиться летать\nK. Цветами\nL. 2006\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 118, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.1185237243771553, + "B": 0.322180837392807, + "C": 0.1185237243771553, + "D": 0.1185237243771553, + "E": 0.04940803721547127, + "F": 0.04940803721547127, + "G": 0.03847901523113251, + "H": 0.03847901523113251, + "I": 0.00357910618185997, + "J": 0.02333870343863964, + "K": 0.003809938207268715, + "L": 0.0012369059259071946 + }, + "sample": { + "question": "Кто оказался вором веера в романе 'Инь и Ян. Чёрная версия'?", + "answerA": "Ян Борецкий", + "answerB": "Степан Слюньков", + "answerC": "Аркаша", + "answerD": "Маса", + "correct_answer": "Степан Слюньков", + "choices": [ + "1917 год", + "Степан Слюньков", + "1905 год", + "1865", + "Аргентина", + "Маса", + "Чили", + "Аркаша", + "Ян Борецкий", + "Научиться летать", + "Цветами", + "Словами" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКто оказался вором веера в романе 'Инь и Ян. Чёрная версия'?\nA. 1917 год\nB. Степан Слюньков\nC. 1905 год\nD. 1865\nE. Аргентина\nF. Маса\nG. Чили\nH. Аркаша\nI. Ян Борецкий\nJ. Научиться летать\nK. Цветами\nL. Словами\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 115, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.1354229897260666, + "B": 0.03424029424786568, + "C": 0.019509531557559967, + "D": 0.03879933804273605, + "E": 0.19703930616378784, + "F": 0.03424029424786568, + "G": 0.05645269900560379, + "H": 0.32486286759376526, + "I": 0.03021695464849472, + "J": 0.019509531557559967, + "K": 0.009215651080012321, + "L": 0.04981933906674385 + }, + "sample": { + "question": "В каком году начинается событие, описываемое в рассказе 'Рассказ о том, как отвалилась голова' Акутагавы Рюноскэ?", + "answerA": "1905 год", + "answerB": "1917 год", + "answerC": "1894 год", + "answerD": "1930 год", + "correct_answer": "answerC", + "choices": [ + "1917 год", + "Цветами", + "Она могла менять цвет в зависимости от настроения короля.", + "Научиться летать", + "1930 год", + "Чили", + "Найти потерянное сокровище", + "1905 год", + "1894 год", + "Аргентина", + "Словами", + "1865" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nВ каком году начинается событие, описываемое в рассказе 'Рассказ о том, как отвалилась голова' Акутагавы Рюноскэ?\nA. 1917 год\nB. Цветами\nC. Она могла менять цвет в зависимости от настроения короля.\nD. Научиться летать\nE. 1930 год\nF. Чили\nG. Найти потерянное сокровище\nH. 1905 год\nI. 1894 год\nJ. Аргентина\nK. Словами\nL. 1865\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 140, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.030667932704091072, + "B": 0.03937840461730957, + "C": 0.03475131839513779, + "D": 0.05729524418711662, + "E": 0.0833640843629837, + "F": 0.03937840461730957, + "G": 0.044621579349040985, + "H": 0.03264584392309189, + "I": 0.15574461221694946, + "J": 0.3736118972301483, + "K": 0.03475131839513779, + "L": 0.0050064027309417725 + }, + "sample": { + "question": "Чем торговала Белиса Крепускуларио в рассказе 'Два слова'?", + "answerA": "Цветами", + "answerB": "Словами", + "answerC": "Книгами", + "answerD": "Платьями", + "correct_answer": "B", + "choices": [ + "Научиться летать", + "1865", + "Платьями", + "Найти потерянное сокровище", + "Она могла менять цвет в зависимости от настроения короля.", + "1870", + "Фарфоровый китаец", + "Чили", + "Книгами", + "Словами", + "Цветами", + "Аргентина" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nЧем торговала Белиса Крепускуларио в рассказе 'Два слова'?\nA. Научиться летать\nB. 1865\nC. Платьями\nD. Найти потерянное сокровище\nE. Она могла менять цвет в зависимости от настроения короля.\nF. 1870\nG. Фарфоровый китаец\nH. Чили\nI. Книгами\nJ. Словами\nK. Цветами\nL. Аргентина\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.030528757721185684, + "B": 0.06879761815071106, + "C": 0.08833788335323334, + "D": 0.07795790582895279, + "E": 0.025309231132268906, + "F": 0.026941534131765366, + "G": 0.03682471066713333, + "H": 0.010550457052886486, + "I": 0.018516628071665764, + "J": 0.4486168324947357, + "K": 0.08833788335323334, + "L": 0.0032177071552723646 + }, + "sample": { + "question": "В какой стране разворачивается действие романа 'Любовь и тьма' Исабель Альенде?", + "answerA": "Чили", + "answerB": "Аргентина", + "answerC": "Венесуэла", + "answerD": "Не указывается", + "correct_answer": "Не указывается", + "choices": [ + "Она могла менять цвет в зависимости от настроения короля.", + "Научиться летать", + "Аргентина", + "Она невидима для человека, который считал себя умнее других.", + "1865", + "Венесуэла", + "Фарфоровый китаец", + "1943", + "Найти потерянное сокровище", + "Чили", + "1870", + "Не указывается" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nВ какой стране разворачивается действие романа 'Любовь и тьма' Исабель Альенде?\nA. Она могла менять цвет в зависимости от настроения короля.\nB. Научиться летать\nC. Аргентина\nD. Она невидима для человека, который считал себя умнее других.\nE. 1865\nF. Венесуэла\nG. Фарфоровый китаец\nH. 1943\nI. Найти потерянное сокровище\nJ. Чили\nK. 1870\nL. Не указывается\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 131, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.01182896364480257, + "B": 0.025041917338967323, + "C": 0.009212406352162361, + "D": 0.03878568112850189, + "E": 0.02837621048092842, + "F": 0.056432828307151794, + "G": 0.07246118783950806, + "H": 0.6874926090240479, + "I": 0.003607630031183362, + "J": 0.006739940494298935, + "K": 0.004931045230478048, + "L": 0.023524703457951546 + }, + "sample": { + "question": "Что пришлось сделать главной героине книги 'Девочка, наступившая на хлеб', чтобы освободиться?", + "answerA": "Научиться лет��ть", + "answerB": "Найти потерянное сокровище", + "answerC": "Раздавать крошки до тех пор, пока не будет раздано столько же, сколько весил хлеб", + "answerD": "Принести извинения каждому, кого обидела", + "correct_answer": "Раздавать крошки до тех пор, пока не будет раздано столько же, сколько весил хлеб", + "choices": [ + "Обер-унтер-генерал-комиссар-сержант Козлоног", + "Найти потерянное сокровище", + "Научиться летать", + "Урок выживания на фронте", + "1870", + "Принести извинения каждому, кого обидела", + "Она невидима для человека, который считал себя умнее других.", + "Раздавать крошки до тех пор, пока не будет раздано столько же, сколько весил хлеб", + "1943", + "Она могла менять цвет в зависимости от настроения короля.", + "Фарфоровый китаец", + "1865" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nЧто пришлось сделать главной героине книги 'Девочка, наступившая на хлеб', чтобы освободиться?\nA. Обер-унтер-генерал-комиссар-сержант Козлоног\nB. Найти потерянное сокровище\nC. Научиться летать\nD. Урок выживания на фронте\nE. 1870\nF. Принести извинения каждому, кого обидела\nG. Она невидима для человека, который считал себя умнее других.\nH. Раздавать крошки до тех пор, пока не будет раздано столько же, сколько весил хлеб\nI. 1943\nJ. Она могла менять цвет в зависимости от настроения короля.\nK. Фарфоровый китаец\nL. 1865\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 172, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.00840438436716795, + "B": 0.010791442357003689, + "C": 0.8572704195976257, + "D": 0.015701455995440483, + "E": 0.008946419693529606, + "F": 0.013856485486030579, + "G": 0.020161068066954613, + "H": 0.017792079597711563, + "I": 0.0006480764714069664, + "J": 0.0012107662623748183, + "K": 0.0011374095920473337, + "L": 0.00032587331952527165 + }, + "sample": { + "question": "Какое уникальное свойство имела ткань, из которой мошенники предложили сшить платье для короля в рассказе 'Новое платье короля'?", + "answerA": "Она могла менять цвет в зависимости от настроения короля.", + "answerB": "Она невидима для человека, который считал себя умнее других.", + "answerC": "Она невидима для человека, который непроходимо глуп.", + "answerD": "Она была непромокаемой и невесомой.", + "correct_answer": "answerC", + "choices": [ + "Фарфоровый китаец", + "Урок выживания на фронте", + "Она была непромокаемой и невесомой.", + "1943", + "1944", + "Она невидима для человека, который считал себя умнее других.", + "Обер-унтер-генерал-комиссар-сержант Козлоног", + "Виктор Петрович Астафьев начал свою писательскую карьеру в возрасте 18 лет.", + "Она могла менять цвет в зависимости от настроения короля.", + "Антон Чехов", + "Урок вежливости и культуры поведения", + "Она невидима для человека, который непроходимо глуп." + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКакое уникальное свойство имела ткань, из которой мошенники предложили сшить платье для короля в рассказе 'Новое платье короля'?\nA. Фарфоровый китаец\nB. Урок выживания на фронте\nC. Она была непромокаемой и невесомой.\nD. 1943\nE. 1944\nF. Она невидима для человека, который считал себя умнее других.\nG. Обер-унтер-генерал-комиссар-сержант Козлоног\nH. Виктор Петрович Астафьев начал свою писательскую карьеру в возрасте 18 лет.\nI. Она могла менять цвет в зависимости от настроения короля.\nJ. Антон Чехов\nK. Урок вежливости и культуры поведения\nL. Она невидима для человека, который непроходимо глуп.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 186, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.028088901191949844, + "B": 0.0980398952960968, + "C": 0.05946420133113861, + "D": 0.0980398952960968, + "E": 0.06738176941871643, + "F": 0.06738176941871643, + "G": 0.14264720678329468, + "H": 0.23518548905849457, + "I": 0.010333329439163208, + "J": 0.03182889521121979, + "K": 0.02187565714120865, + "L": 0.04631076380610466 + }, + "sample": { + "question": "Кто из персонажей желает взять в жены фигурку пастушки в сказке 'Пастушка и трубочист'?", + "answerA": "Фарфоровый китаец", + "answerB": "Обер-унтер-генерал-комиссар-сержант Козлоног", + "answerC": "Трубочист", + "answerD": "Игрушечная мышь", + "correct_answer": "B", + "choices": [ + "1943", + "Антон Чехов", + "Лев Толстой", + "Виктор Петрович Астафьев начал свою писательскую карьеру в возрасте 18 лет.", + "Урок выживания на фронте", + "Обер-унтер-генерал-комиссар-сержант Козлоног", + "Игрушечная мышь", + "Трубочист", + "Урок вежливости и культуры поведения", + "Фарфоровый китаец", + "1944", + "Лев Толстой" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКто из персонажей желает взять в жены фигурку пастушки в сказке 'Пастушка и трубочист'?\nA. 1943\nB. Антон Чехов\nC. Лев Толстой\nD. Виктор Петрович Астафьев начал свою писательскую карьеру в возрасте 18 лет.\nE. Урок выживания на фронте\nF. Обер-унтер-генерал-комиссар-сержант Козлоног\nG. Игрушечная мышь\nH. Трубочист\nI. Урок вежливости и культуры поведения\nJ. Фарфоровый китаец\nK. 1944\nL. Лев Толстой\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 150, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.04134296625852585, + "B": 0.11238183826208115, + "C": 0.16351459920406342, + "D": 0.07723883539438248, + "E": 0.09917662292718887, + "F": 0.07723883539438248, + "G": 0.08752306550741196, + "H": 0.04684771969914436, + "I": 0.008665956556797028, + "J": 0.04134296625852585, + "K": 0.09917662292718887, + "L": 0.017234312370419502 + }, + "sample": { + "question": "В каком году солдат вспоминает о том, как на войне слышал арию Каварадосси из оперы «Тоска», ставшую для него призывом к жизни и любви?", + "answerA": "1943", + "answerB": "1944", + "answerC": "1959", + "answerD": "1961", + "correct_answer": "1944", + "choices": [ + "Урок вежлив��сти и культуры поведения", + "1943", + "Лев Толстой", + "Книгу", + "Виктор Петрович Астафьев потерял свою основную профессию из-за ранения в войне.", + "1961", + "1959", + "Лев Толстой", + "Урок выживания на фронте", + "Антон Чехов", + "1944", + "Виктор Петрович Астафьев начал свою писательскую карьеру в возрасте 18 лет." + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nВ каком году солдат вспоминает о том, как на войне слышал арию Каварадосси из оперы «Тоска», ставшую для него призывом к жизни и любви?\nA. Урок вежливости и культуры поведения\nB. 1943\nC. Лев Толстой\nD. Книгу\nE. Виктор Петрович Астафьев потерял свою основную профессию из-за ранения в войне.\nF. 1961\nG. 1959\nH. Лев Толстой\nI. Урок выживания на фронте\nJ. Антон Чехов\nK. 1944\nL. Виктор Петрович Астафьев начал свою писательскую карьеру в возрасте 18 лет.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 165, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.09937897324562073, + "B": 0.07739641517400742, + "C": 0.4453856348991394, + "D": 0.11261112987995148, + "E": 0.03655948117375374, + "F": 0.017269475385546684, + "G": 0.060276392847299576, + "H": 0.013449481688439846, + "I": 0.004648016765713692, + "J": 0.006353084929287434, + "K": 0.0036198790185153484, + "L": 0.00018022315634880215 + }, + "sample": { + "question": "Что преподал пожилой боец рассказчику в истории «Макаронина» от Астафьева Виктора Петровича?", + "answerA": "Урок выживания на фронте", + "answerB": "Урок вежливости и культуры поведения", + "answerC": "Урок справедливости и нравственности", + "answerD": "Урок тактики и стратегии", + "correct_answer": "Урок справедливости и нравственности", + "choices": [ + "Виктор Петрович Астафьев", + "Книгу", + "Урок вежливости и культуры поведения", + "Урок выживания на фронте", + "Урок справедливости и нравственности", + "Антон Чехов", + "Урок тактики и стратегии", + "Лев Толстой", + "Лев Толстой", + "Виктор Петрович Астафьев начал свою писательскую карьеру в возрасте 18 лет.", + "Виктор Петрович Астафьев потерял свою основную профессию из-за ранения в войне.", + "Степи" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nЧто преподал пожилой боец рассказчику в истории «Макаронина» от Астафьева Виктора Петровича?\nA. Виктор Петрович Астафьев\nB. Книгу\nC. Урок вежливости и культуры поведения\nD. Урок выживания на фронте\nE. Урок справедливости и нравственности\nF. Антон Чехов\nG. Урок тактики и стратегии\nH. Лев Толстой\nI. Лев Толстой\nJ. Виктор Петрович Астафьев начал свою писательскую карьеру в возрасте 18 лет.\nK. Виктор Петрович Астафьев потерял свою основную профессию из-за ранения в войне.\nL. Степи\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 148, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.014510882087051868, + "B": 0.03705483675003052, + "C": 0.06922754645347595, + "D": 0.14655472338199615, + "E": 0.04198862984776497, + "F": 0.025467390194535255, + "G": 0.03705483675003052, + "H": 0.022474894300103188, + "I": 0.015446754172444344, + "J": 0.06922754645347595, + "K": 0.273800253868103, + "L": 0.0032378153409808874 + }, + "sample": { + "question": "Кто является автором рассказа 'Последний поклон'?", + "answerA": "Антон Чехов", + "answerB": "Лев Толстой", + "answerC": "Виктор Астафьев", + "answerD": "Федор Достоевский", + "correct_answer": "Виктор Астафьев", + "choices": [ + "Федор Достоевский", + "Антон Чехов", + "Виктор Астафьев", + "Виктор Петрович Астафьев потерял свою основную профессию из-за ранения в войне.", + "Домбру", + "Лев Толстой", + "Степи", + "Книгу", + "Базаралы", + "Виктор Петрович Астафьев начал свою писательскую карьеру в возрасте 18 лет.", + "Виктор Петрович Астафьев", + "Путь Абая. Часть 2" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКто является автором рассказа 'Последний поклон'?\nA. Федор Достоевский\nB. Антон Чехов\nC. Виктор Астафьев\nD. Виктор Петрович Астафьев потерял свою основную профессию из-за ранения в войне.\nE. Домбру\nF. Лев Толстой\nG. Степи\nH. Книгу\nI. Базаралы\nJ. Виктор Петрович Астафьев начал свою писательскую карьеру в возрасте 18 лет.\nK. Виктор Петрович Астафьев\nL. Путь Абая. Часть 2\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 127, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.018065214157104492, + "B": 0.04910634458065033, + "C": 0.06305379420518875, + "D": 0.4111623764038086, + "E": 0.0337502621114254, + "F": 0.0337502621114254, + "G": 0.09174273163080215, + "H": 0.02978450432419777, + "I": 0.009083759970963001, + "J": 0.0337502621114254, + "K": 0.09174273163080215, + "L": 0.002157582202926278 + }, + "sample": { + "question": "Какой из этих фактов верен о Викторе Петровиче Астафьеве?", + "answerA": "Виктор Петрович Астафьев начал свою писательскую карьеру в возрасте 18 лет.", + "answerB": "Виктор Петрович Астафьев потерял свою основную профессию из-за ранения в войне.", + "answerC": "Виктор Петрович Астафьев никогда не работал журналистом.", + "answerD": "Научение писать правду было лёгким процессом для Виктора Петровича Астафьева.", + "correct_answer": "B", + "choices": [ + "Виктор Петрович Астафьев никогда не работал журналистом.", + "Книгу", + "Домбру", + "Виктор Петрович Астафьев начал свою писательскую карьеру в возрасте 18 лет.", + "Степи", + "Научение писать правду было лёгким процессом для Виктора Петровича Астафьева.", + "Освободил Чернигов от басурманского войска", + "Виктор Петрович Астафьев потерял свою основную профессию из-за ранения в войне.", + "Путь Абая. Часть 2", + "Лев Толстой", + "Виктор Петрович Астафьев", + "Базаралы" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакой из этих фактов верен о Викторе Петровиче Астафьеве?\nA. Виктор Петрович Астафьев никогда не работал журналистом.\nB. Книгу\nC. Домбру\nD. Виктор Петрович Астафьев начал свою писательскую карьеру в возрасте 18 лет.\nE. Степи\nF. Научение писать правду было лёгким процессом для Виктора Петровича Астафьева.\nG. Освободил Чернигов от басурманского войска\nH. Виктор Петрович Астафьев потерял свою основную профессию из-за ранения в войне.\nI. Путь Абая. Часть 2\nJ. Лев Толстой\nK. Виктор Петрович Астафьев\nL. Базаралы\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 165, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.13353699445724487, + "B": 0.5281490087509155, + "C": 0.09177853167057037, + "D": 0.06307841092348099, + "E": 0.03376343846321106, + "F": 0.0055117299780249596, + "G": 0.006648415233939886, + "H": 0.0031404888723045588, + "I": 0.00017717425362206995, + "J": 0.0012298331130295992, + "K": 0.001019567484036088, + "L": 0.00027441285783424973 + }, + "sample": { + "question": "Кто является автором произведения 'Учитель на все времена'?", + "answerA": "Лев Толстой", + "answerB": "Виктор Петрович Астафьев", + "answerC": "Александр Пушкин", + "answerD": "Федор Достоевский", + "correct_answer": "B", + "choices": [ + "Федор Достоевский", + "Виктор Петрович Астафьев", + "Освободил Чернигов от басурманского войска", + "Лев Толстой", + "Книгу", + "Домбру", + "Такежан", + "Золотой браслет", + "Степи", + "Александр Пушкин", + "Базаралы", + "Путь Абая. Часть 2" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКто является автором произведения 'Учитель на все времена'?\nA. Федор Достоевский\nB. Виктор Петрович Астафьев\nC. Освободил Чернигов от басурманского войска\nD. Лев Толстой\nE. Книгу\nF. Домбру\nG. Такежан\nH. Золотой браслет\nI. Степи\nJ. Александр Пушкин\nK. Базаралы\nL. Путь Абая. Часть 2\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 111, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.18482938408851624, + "B": 0.07704834640026093, + "C": 0.18482938408851624, + "D": 0.09893204271793365, + "E": 0.04124101251363754, + "F": 0.046732187271118164, + "G": 0.11210469156503677, + "H": 0.03639506176114082, + "I": 0.02834450453519821, + "J": 0.02834450453519821, + "K": 0.018300587311387062, + "L": 0.00360359949991107 + }, + "sample": { + "question": "Что подарил певец мальчику Абаю в части 1 романа Путь Абая?", + "answerA": "Книгу", + "answerB": "Домбру", + "answerC": "Коня", + "answerD": "Охотничий лук", + "correct_answer": "B", + "choices": [ + "Убил Соловья-разбойника свистом", + "Охотничий лук", + "Золотой браслет", + "Книгу", + "Путь Абая. Часть 2", + "Экономический кризис в Венеции", + "Базаралы", + "Такежан", + "Домбру", + "Коня", + "Освободил Чернигов от басурманского войска", + "Степи" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nЧто подарил певец мальчику Абаю в части 1 романа Путь Абая?\nA. Убил Соловья-разбойника свистом\nB. Охотничий лук\nC. Золотой браслет\nD. Книгу\nE. Путь Абая. Часть 2\nF. Экономический кризис в Венеции\nG. Базаралы\nH. Такежан\nI. Домбру\nJ. Коня\nK. Освободил Чернигов от басурманского войска\nL. Степи\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 126, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.003849019994959235, + "B": 0.023578103631734848, + "C": 0.004097260069102049, + "D": 0.00982881523668766, + "E": 0.014300842769443989, + "F": 0.004942238796502352, + "G": 0.004642804153263569, + "H": 0.01185581460595131, + "I": 0.001818148186430335, + "J": 0.008673899807035923, + "K": 0.013434397988021374, + "L": 0.8311567902565002 + }, + "sample": { + "question": "Как называется вторая часть произведения Мухтара Ауэзова, повествующая о жизни и деяниях казахского поэта и мыслителя?", + "answerA": "Степи", + "answerB": "Путь Абая. Часть 2", + "answerC": "Знамения времени", + "answerD": "На перекрестках", + "correct_answer": "Путь Абая. Часть 2", + "choices": [ + "Убил Соловья-разбойника свистом", + "Освободил Чернигов от басурманского войска", + "Кристальную туфельку", + "На перекрестках", + "Базаралы", + "Макс", + "Знамения времени", + "Экономический кризис в Венеции", + "Золотой браслет", + "Такежан", + "Степи", + "Путь Абая. Часть 2" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКак называется вторая часть произведения Мухтара Ауэзова, повествующая о жизни и деяниях казахского поэта и мыслителя?\nA. Убил Соловья-разбойника свистом\nB. Освободил Чернигов от басурманского войска\nC. Кристальную туфельку\nD. На перекрестках\nE. Базаралы\nF. Макс\nG. Знамения времени\nH. Экономический кризис в Венеции\nI. Золотой браслет\nJ. Такежан\nK. Степи\nL. Путь Абая. Часть 2\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 134, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.10700228065252304, + "B": 0.08333346247673035, + "C": 0.1556873917579651, + "D": 0.17641693353652954, + "E": 0.06490016728639603, + "F": 0.05054429918527603, + "G": 0.07354151457548141, + "H": 0.05054429918527603, + "I": 0.011277956888079643, + "J": 0.044605184346437454, + "K": 0.025415269657969475, + "L": 0.019793430343270302 + }, + "sample": { + "question": "Какого подвига Илья Муромец не совершил в сказке \"История о славном и храбром богатыре Илье Муромце и Соловье-разбойнике\"?", + "answerA": "Освободил Чернигов от басурманского войска", + "answerB": "Убил Соловья-разбойника свистом", + "answerC": "Поверг чужеземного богатыря Идолище", + "answerD": "Убил трёх разбойниц своим копьём", + "correct_answer": "B", + "choices": [ + "Жан-Жак", + "мадам Цибо", + "Поверг чужеземного богатыря Идолище", + "Освободил Чернигов от басурманского войска", + "Кристальную туфельку", + "Убил Соловья-разбойника свистом", + "Убил трёх разбойниц своим копьём", + "Экономический кризис в Венеции", + "Аделина Юло", + "Макс", + "Оскорбление на его герцогском троне", + "Золотой браслет" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКакого подвига Илья Муромец не совершил в сказке \"История о славном и храбром богатыре Илье Муромце и Соловье-разбойнике\"?\nA. Жан-Жак\nB. мадам Цибо\nC. Поверг чужеземного богатыря Идолище\nD. Освободил Чернигов от басурманского войска\nE. Кристальную туфельку\nF. Убил Соловья-разбойника свистом\nG. Убил трёх разбойниц своим копьём\nH. Экономический кризис в Венеции\nI. Аделина Юло\nJ. Макс\nK. Оскорбление на его герцогском троне\nL. Золотой браслет\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 165, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.24430474638938904, + "B": 0.04245379567146301, + "C": 0.03746534883975983, + "D": 0.03746534883975983, + "E": 0.11540139466524124, + "F": 0.10184136778116226, + "G": 0.0699944868683815, + "H": 0.1902647316455841, + "I": 0.017697377130389214, + "J": 0.013782731257379055, + "K": 0.01073400117456913, + "L": 0.033063050359487534 + }, + "sample": { + "question": "Что потеряла Золушка, спускаясь по лестнице с бала?", + "answerA": "Золотой браслет", + "answerB": "Кристальную туфельку", + "answerC": "Платиновое ожерелье", + "answerD": "Шелковый платок", + "correct_answer": "B", + "choices": [ + "Кристальную туфельку", + "Франс Пурбус-младший", + "Шелковый платок", + "Экономический кризис в Венеции", + "Макс", + "Понс", + "мадам Цибо", + "Золотой браслет", + "Платиновое ожерелье", + "Аделина Юло", + "Жан-Жак", + "Оскорбление на его герцогском троне" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nЧто потеряла Золушка, спускаясь по лестнице с бала?\nA. Кристальную туфельку\nB. Франс Пурбус-младший\nC. Шелковый платок\nD. Экономический кризис в Венеции\nE. Макс\nF. Понс\nG. мадам Цибо\nH. Золотой браслет\nI. Платиновое ожерелье\nJ. Аделина Юло\nK. Жан-Жак\nL. Оскорбление на его герцогском троне\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 123, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.18180473148822784, + "B": 0.059023354202508926, + "C": 0.06688223034143448, + "D": 0.059023354202508926, + "E": 0.06688223034143448, + "F": 0.0757874846458435, + "G": 0.04056612029671669, + "H": 0.03579947352409363, + "I": 0.08587847650051117, + "J": 0.09731306880712509, + "K": 0.0757874846458435, + "L": 0.024604594334959984 + }, + "sample": { + "question": "Что послужило поводом для восстания Марино Фальеро?", + "answerA": "Экономический кризис в Венеции", + "answerB": "Оскорбление на его герцогском троне", + "answerC": "Личная обида на члена Совета Сорока", + "answerD": "Внешняя угроза от Генуи", + "correct_answer": "answerB", + "choices": [ + "Личная обида на члена Совета Сорока", + "Понс", + "Жан-Жак", + "мадам Цибо", + "Герой сбежал в Америку.", + "Макс", + "Лизабет (Бетта)", + "Аделина Юло", + "Оскорбление на его герцогском троне", + "Внешняя угроза от Генуи", + "Экономический кризис в Венеции", + "Франс Пурбус-младший" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nЧто послужило поводом для восстания Марино Фальеро?\nA. Личная обида на члена Совета Сорока\nB. Понс\nC. Жан-Жак\nD. мадам Цибо\nE. Герой сбежал в Америку.\nF. Макс\nG. Лизабет (Бетта)\nH. Аделина Юло\nI. Оскорбление на его герцогском троне\nJ. Внешняя угроза от Генуи\nK. Экономический кризис в Венеции\nL. Франс Пурбус-младший\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 124, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.07685893028974533, + "B": 0.12671895325183868, + "C": 0.2682639956474304, + "D": 0.07685893028974533, + "E": 0.032039567828178406, + "F": 0.059857793152332306, + "G": 0.14359138906002045, + "H": 0.05282431095838547, + "I": 0.0031723466236144304, + "J": 0.01040172390639782, + "K": 0.009179489687085152, + "L": 0.001167041133157909 + }, + "sample": { + "question": "Как звали старшего сына Агаты Руже в романе 'Баламутка' Оноре де Бальзака?", + "answerA": "Макс", + "answerB": "Жан-Жак", + "answerC": "Филипп", + "answerD": "Жозеф", + "correct_answer": "C", + "choices": [ + "Лизабет (Бетта)", + "Франс Пурбус-младший", + "Макс", + "Герой сбежал в Америку.", + "Битва при Ватерлоо", + "Никола Пуссен", + "Понс", + "Жан-Жак", + "Аделина Юло", + "мадам Цибо", + "Жозеф", + "Филипп" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКак звали старшего сына Агаты Руже в романе 'Баламутка' Оноре де Бальзака?\nA. Лизабет (Бетта)\nB. Франс Пурбус-младший\nC. Макс\nD. Герой сбежал в Америку.\nE. Битва при Ватерлоо\nF. Никола Пуссен\nG. Понс\nH. Жан-Жак\nI. Аделина Юло\nJ. мадам Цибо\nK. Жозеф\nL. Филипп\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.011422846466302872, + "B": 0.037454068660736084, + "C": 0.05800999701023102, + "D": 0.04517823085188866, + "E": 0.054495349526405334, + "F": 0.03986964747309685, + "G": 0.10837694257497787, + "H": 0.02916925959289074, + "I": 0.07448631525039673, + "J": 0.20247478783130646, + "K": 0.0956423208117485, + "L": 0.012159556150436401 + }, + "sample": { + "question": "Кто был музыкантом в парижском бульварном оркестре в романе «Кузен Понс»?", + "answerA": "мадам Цибо", + "answerB": "Понс", + "answerC": "Вильгельм Шмуке", + "answerD": "мсье Камюзо", + "correct_answer": "B", + "choices": [ + "Герой сбежал в Америку.", + "Тесто не поднималось", + "мадам Цибо", + "мсье Камюзо", + "Лизабет (Бетта)", + "Битва при Ватерлоо", + "Франс Пурбус-младший", + "Аделина Юло", + "Герой умер от тяжелой болезни.", + "Никола Пуссен", + "Понс", + "Вильгельм Шмуке" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКто был музыкантом в парижском бульварном оркестре в романе «Кузен Понс»?\nA. Герой сбежал в Америку.\nB. Тесто не поднималось\nC. мадам Цибо\nD. мсье Камюзо\nE. Лизабет (Бетта)\nF. Битва при Ватерлоо\nG. Франс Пурбус-младший\nH. Аделина Юло\nI. Герой умер от тяжелой болезни.\nJ. Никола Пуссен\nK. Понс\nL. Вильгельм Шмуке\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 130, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.013726230710744858, + "B": 0.1302308440208435, + "C": 0.04790925234556198, + "D": 0.07898899912834167, + "E": 0.032927513122558594, + "F": 0.061516694724559784, + "G": 0.06970755010843277, + "H": 0.025643974542617798, + "I": 0.02409028448164463, + "J": 0.31240755319595337, + "K": 0.03731176257133484, + "L": 0.007347121834754944 + }, + "sample": { + "question": "Кто в романе \"Кузина Бетта\" Оноре де Бальзака встречает молодого скульптора Венцеслава Стейнбока и возвращает его к жизни после попытки самоубийства?", + "answerA": "Аделина Юло", + "answerB": "Лизабет (Бетта)", + "answerC": "Гортензия Юло", + "answerD": "Валери Марнефф", + "correct_answer": "Лизабет (Бетта)", + "choices": [ + "Герой сбежал в Америку.", + "Франс Пурбус-младший", + "Никола Пуссен", + "Валери Марнефф", + "Битва при Прейсиш-Эйлау", + "Битва при Ватерлоо", + "Аделина Юло", + "Герой умер от тяжелой болезни.", + "Гортензия Юло", + "Лизабет (Бетта)", + "Тесто не поднималось", + "1940" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКто в романе \"Кузина Бетта\" Оноре де Бальзака встречает молодого скульптора Венцеслава Стейнбока и возвращает его к жизни после попытки самоубийства?\nA. Герой сбежал в Америку.\nB. Франс Пурбус-младший\nC. Никола Пуссен\nD. Валери Марнефф\nE. Битва при Прейсиш-Эйлау\nF. Битва при Ватерлоо\nG. Аделина Юло\nH. Герой умер от тяжелой болезни.\nI. Гортензия Юло\nJ. Лизабет (Бетта)\nK. Тесто не поднималось\nL. 1940\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 155, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.04493806138634682, + "B": 0.02725631184875965, + "C": 0.012874970212578773, + "D": 0.021227236837148666, + "E": 0.17773348093032837, + "F": 0.05770161375403404, + "G": 0.050921496003866196, + "H": 0.42636045813560486, + "I": 0.02725631184875965, + "J": 0.02725631184875965, + "K": 0.008312705904245377, + "L": 0.04493806138634682 + }, + "sample": { + "question": "Как звали художника, который не мог найти подходящую модель для своей картины в рассказе 'Неведомый шедевр'?", + "answerA": "Франс Пурбус-младший", + "answerB": "Никола Пуссен", + "answerC": "Френхофер", + "answerD": "Луи Гийом", + "correct_answer": "Френхофер", + "choices": [ + "Франс Пурбус-младший", + "Тесто начало стремительно расти и чуть не затопило планету", + "Появление новых, неизвестных болезней", + "Битва при Прейсиш-Эйлау", + "Луи Гийом", + "1940", + "Герой сбежал в Америку.", + "Френхофер", + "Тесто не поднималось", + "Битва при Ватерлоо", + "Герой умер от тяжелой болезни.", + "Никола Пуссен" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКак звали художник��, который не мог найти подходящую модель для своей картины в рассказе 'Неведомый шедевр'?\nA. Франс Пурбус-младший\nB. Тесто начало стремительно расти и чуть не затопило планету\nC. Появление новых, неизвестных болезней\nD. Битва при Прейсиш-Эйлау\nE. Луи Гийом\nF. 1940\nG. Герой сбежал в Америку.\nH. Френхофер\nI. Тесто не поднималось\nJ. Битва при Ватерлоо\nK. Герой умер от тяжелой болезни.\nL. Никола Пуссен\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 148, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0046353815123438835, + "B": 0.053049132227897644, + "C": 0.011119701899588108, + "D": 0.046815693378448486, + "E": 0.046815693378448486, + "F": 0.16340284049510956, + "G": 0.0681164339184761, + "H": 0.5033161640167236, + "I": 0.0020569381304085255, + "J": 0.007642452139407396, + "K": 0.01519883144646883, + "L": 0.046815693378448486 + }, + "sample": { + "question": "Какой трагический итог настиг главного героя романа «Покинутая женщина» Оноре де Бальзака?", + "answerA": "Герой сбежал в Америку.", + "answerB": "Герой умер от тяжелой болезни.", + "answerC": "Герой застрелился.", + "answerD": "Герой стал монахом.", + "correct_answer": "Герой застрелился.", + "choices": [ + "Тесто начало стремительно расти и чуть не затопило планету", + "1940", + "1937", + "Тесто не поднималось", + "Битва при Прейсиш-Эйлау", + "Герой умер от тяжелой болезни.", + "Барон Унгерн", + "Герой застрелился.", + "Герой стал монахом.", + "Битва при Ватерлоо", + "Герой сбежал в Америку.", + "Появление новых, неизвестных болезней" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакой трагический итог настиг главного героя романа «Покинутая женщина» Оноре де Бальзака?\nA. Тесто начало стремительно расти и чуть не затопило планету\nB. 1940\nC. 1937\nD. Тесто не поднималось\nE. Битва при Прейсиш-Эйлау\nF. Герой умер от тяжелой болезни.\nG. Барон Унгерн\nH. Герой застрелился.\nI. Герой стал монахом.\nJ. Битва при Ватерлоо\nK. Герой сбежал в Америку.\nL. Появление новых, неизвестных болезней\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 144, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.049731045961380005, + "B": 0.08199264109134674, + "C": 0.11929858475923538, + "D": 0.06385593116283417, + "E": 0.15318241715431213, + "F": 0.038730572909116745, + "G": 0.13518300652503967, + "H": 0.2228790819644928, + "I": 0.003384239971637726, + "J": 0.007164436858147383, + "K": 0.007164436858147383, + "L": 0.005241613835096359 + }, + "sample": { + "question": "В какой битве был тяжело ранен полковник Шабер?", + "answerA": "Битва при Ватерлоо", + "answerB": "Битва при Прейсиш-Эйлау", + "answerC": "Битва при Бородино", + "answerD": "Битва при Аустерлице", + "correct_answer": "Битва при Прейсиш-Эйлау", + "choices": [ + "Тесто не поднималось", + "Битва при Ватерлоо", + "Битва при Прейсиш-Эйлау", + "Решение человечества капитулировать перед требованиями Тридона", + "Битва при Бородино", + "1937", + "Барон Унгерн", + "Битва при Аустерлице", + "Появление новых, неизвестных болезней", + "Тесто начало стремительно расти и чуть не затопило планету", + "Оживить Изабель", + "1940" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nВ какой битве был тяжело ранен полковник Шабер?\nA. Тесто не поднималось\nB. Битва при Ватерлоо\nC. Битва при Прейсиш-Эйлау\nD. Решение человечества капитулировать перед требованиями Тридона\nE. Битва при Бородино\nF. 1937\nG. Барон Унгерн\nH. Битва при Аустерлице\nI. Появление новых, неизвестных болезней\nJ. Тесто начало стремительно расти и чуть не затопило планету\nK. Оживить Изабель\nL. 1940\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 144, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.04213852435350418, + "B": 0.11454438418149948, + "C": 0.04774920269846916, + "D": 0.14707788825035095, + "E": 0.02896135300397873, + "F": 0.0892072543501854, + "G": 0.1666610836982727, + "H": 0.1666610836982727, + "I": 0.0077948435209691525, + "J": 0.02896135300397873, + "K": 0.06131119653582573, + "L": 0.0541069321334362 + }, + "sample": { + "question": "Какая проблема возникла у главного героя повести \"Вечный хлеб\" от Александра Беляева?", + "answerA": "Тесто не поднималось", + "answerB": "Тесто начало стремительно расти и чуть не затопило планету", + "answerC": "Тесто превратилось в камень", + "answerD": "Тесто испортилось и распространило болезнь", + "correct_answer": "Б", + "choices": [ + "Тесто не поднималось", + "Решение человечества капитулировать перед требованиями Тридона", + "Доктор Густав Лонциус", + "Тесто начало стремительно расти и чуть не затопило планету", + "1940", + "Появление новых, неизвестных болезней", + "Как правильно варить кофе", + "Оживить Изабель", + "Барон Унгерн", + "1937", + "Тесто испортилось и распространило болезнь", + "Тесто превратилось в камень" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКакая проблема возникла у главного героя повести \"Вечный хлеб\" от Александра Беляева?\nA. Тесто не поднималось\nB. Решение человечества капитулировать перед требованиями Тридона\nC. Доктор Густав Лонциус\nD. Тесто начало стремительно расти и чуть не затопило планету\nE. 1940\nF. Появление новых, неизвестных болезней\nG. Как правильно варить кофе\nH. Оживить Изабель\nI. Барон Унгерн\nJ. 1937\nK. Тесто испортилось и распространило болезнь\nL. Тесто превратилось в камень\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 149, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.08503372222185135, + "B": 0.03544732555747032, + "C": 0.09635582566261292, + "D": 0.05844276025891304, + "E": 0.14019690454006195, + "F": 0.0455152690410614, + "G": 0.14019690454006195, + "H": 0.08503372222185135, + "I": 0.14019690454006195, + "J": 0.05844276025891304, + "K": 0.027606405317783356, + "L": 0.003297115210443735 + }, + "sample": { + "question": "В каком году была опубликована история о Мистере Смехе, написанная Александром Беляевым?", + "answerA": "1940", + "answerB": "1937", + "answerC": "1950", + "answerD": "1925", + "correct_answer": "B", + "choices": [ + "Оживить Изабель", + "Барон Унгерн", + "Сбежать из города", + "Появление новых, неизвестных болезней", + "1950", + "Доктор Густав Лонциус", + "Как правильно варить кофе", + "1985", + "1925", + "1940", + "1937", + "Решение человечества капитулировать перед требованиями Тридона" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nВ каком году была опубликована история о Мистере Смехе, написанная Александром Беляевым?\nA. Оживить Изабель\nB. Барон Унгерн\nC. Сбежать из города\nD. Появление новых, неизвестных болезней\nE. 1950\nF. Доктор Густав Лонциус\nG. Как правильно варить кофе\nH. 1985\nI. 1925\nJ. 1940\nK. 1937\nL. Решение человечества капитулировать перед требованиями Тридона\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 138, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.014693144708871841, + "B": 0.04525807127356529, + "C": 0.20283260941505432, + "D": 0.05811251699924469, + "E": 0.08455320447683334, + "F": 0.08455320447683334, + "G": 0.13940468430519104, + "H": 0.08455320447683334, + "I": 0.020083148032426834, + "J": 0.12302419543266296, + "K": 0.07461795210838318, + "L": 0.006520043592900038 + }, + "sample": { + "question": "Какой событие стало поворотным моментом в произведении 'Нетленный мир' Александра Беляева?", + "answerA": "Появление новых, неизвестных болезней", + "answerB": "Решение человечества капитулировать перед требованиями Тридона", + "answerC": "Устройство балетного спектакля в честь возвращения бактерий", + "answerD": "Возвращение всех бактерий в мир, как вредных, так и полезных", + "correct_answer": "answerD", + "choices": [ + "Как ухаживать за садом", + "1985", + "Решение человечества капитулировать перед требованиями Тридона", + "Оживить Изабель", + "Доктор Густав Лонциус", + "Появление новых, неизвестных болезней", + "Барон Унгерн", + "Устройство балетного спектакля в честь возвращения бактерий", + "Способность путешествовать во времени", + "Возвращение всех бактерий в мир, как вредных, так и полезных", + "Сбежать из города", + "Как правильно варить кофе" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКакой событие стало поворотным моментом в произведении 'Нетленный мир' Александра Беляева?\nA. Как ухаживать за садом\nB. 1985\nC. Решение человечества капитулировать перед требованиями Тридона\nD. Оживить Изабель\nE. Доктор Густав Лонциус\nF. Появление новых, неизвестных болезней\nG. Барон Унгерн\nH. Устройство балетного спектакля в честь возвращения бактерий\nI. Способность путешествовать во времени\nJ. Возвращение всех бактерий в мир, как вредных, так и полезных\nK. Сбежать из города\nL. Как правильно варить кофе\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 151, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.02312484011054039, + "B": 0.7657895684242249, + "C": 0.06285983324050903, + "D": 0.029692882671952248, + "E": 0.010923400521278381, + "F": 0.0014783216174691916, + "G": 0.0029399937484413385, + "H": 0.0024373403284698725, + "I": 0.0002413293841527775, + "J": 0.0012255717301741242, + "K": 0.0012255717301741242, + "L": 0.00022670796897727996 + }, + "sample": { + "question": "Кто стал победителем рыцарского турнира в Ревельском турнире?", + "answerA": "Барон Унгерн", + "answerB": "Доктор Густав Лонциус", + "answerC": "Эдвин, сын купца", + "answerD": "Рыцарь Доннербац", + "correct_answer": "Эдвин, сын купца", + "choices": [ + "Как ухаживать за садом", + "Рыцарь Доннербац", + "Эдвин, сын купца", + "Доктор Густав Лонциус", + "1985", + "Способность путешествовать во времени", + "Его научные открытия", + "Оживить Изабель", + "1969", + "Сбежать из города", + "Как правильно варить кофе", + "Барон Унгерн" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКто стал победителем рыцарского турнира в Ревельском турнире?\nA. Как ухаживать за садом\nB. Рыцарь Доннербац\nC. Эдвин, сын купца\nD. Доктор Густав Лонциус\nE. 1985\nF. Способность путешествовать во времени\nG. Его научные открытия\nH. Оживить Изабель\nI. 1969\nJ. Сбежать из города\nK. Как правильно варить кофе\nL. Барон Унгерн\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 128, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.12771646678447723, + "B": 0.022193793207406998, + "C": 0.5051284432411194, + "D": 0.06032898649573326, + "E": 0.022193793207406998, + "F": 0.022193793207406998, + "G": 0.12771646678447723, + "H": 0.017284544184803963, + "I": 0.004105439409613609, + "J": 0.0023392087314277887, + "K": 0.001939272158779204, + "L": 0.00014954061771277338 + }, + "sample": { + "question": "Что мальчик Хьюго решил сделать, получив в руки волшебную палочку чародея?", + "answerA": "Оживить Изабель", + "answerB": "Сбежать из города", + "answerC": "Повторить фокусы Садини", + "answerD": "Отправиться на поиски нового учителя", + "correct_answer": "Повторить фокусы Садини", + "choices": [ + "Оживить Изабель", + "Книги о красоте и искусстве", + "Насыщение духовной силой и сердечная дружба", + "Способность путешествовать во времени", + "Как ухаживать за садом", + "Как правильно варить кофе", + "Повторить фокусы Садини", + "Отправиться на поиски нового учителя", + "1985", + "Его научные открытия", + "1969", + "Сбежать из города" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nЧто мальчик Хьюго решил сделать, получив в руки волшебную палочку чародея?\nA. Оживить Изабель\nB. Книги о красоте и искусстве\nC. Насыщение духовной силой и сердечная дружба\nD. Способность путешествовать во времени\nE. Как ухаживать за садом\nF. Как прав��льно варить кофе\nG. Повторить фокусы Садини\nH. Отправиться на поиски нового учителя\nI. 1985\nJ. Его научные открытия\nK. 1969\nL. Сбежать из города\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 140, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.009946078062057495, + "B": 0.04187455773353577, + "C": 0.06092711538076401, + "D": 0.028779931366443634, + "E": 0.01447146013379097, + "F": 0.015404787845909595, + "G": 0.02539820224046707, + "H": 0.01978013850748539, + "I": 0.004698195494711399, + "J": 0.02539820224046707, + "K": 0.5780603885650635, + "L": 0.002514762571081519 + }, + "sample": { + "question": "Чему Кисилёв учил жителей Томашполя?", + "answerA": "Как правильно варить кофе", + "answerB": "Как ухаживать за садом", + "answerC": "Как читать и понимать литературу", + "answerD": "Как ремонтировать автомобили", + "correct_answer": "Как читать и понимать литературу", + "choices": [ + "1985", + "Вызвали священника и полицейского, чтобы успокоить ее.", + "1969", + "Способность путешествовать во времени", + "Его научные открытия", + "Его рисунки как форма познания", + "Как ухаживать за садом", + "Как правильно варить кофе", + "Книги о красоте и искусстве", + "Как читать и понимать литературу", + "Насыщение духовной силой и сердечная дружба", + "Как ремонтировать автомобили" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nЧему Кисилёв учил жителей Томашполя?\nA. 1985\nB. Вызвали священника и полицейского, чтобы успокоить ее.\nC. 1969\nD. Способность путешествовать во времени\nE. Его научные открытия\nF. Его рисунки как форма познания\nG. Как ухаживать за садом\nH. Как правильно варить кофе\nI. Книги о красоте и искусстве\nJ. Как читать и понимать литературу\nK. Насыщение духовной силой и сердечная дружба\nL. Как ремонтировать автомобили\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 136, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.02270876243710518, + "B": 0.10177361220121384, + "C": 0.167796328663826, + "D": 0.07926137000322342, + "E": 0.061728816479444504, + "F": 0.10177361220121384, + "G": 0.24414220452308655, + "H": 0.061728816479444504, + "I": 0.004760015290230513, + "J": 0.020040413364768028, + "K": 0.033041052520275116, + "L": 0.015607488341629505 + }, + "sample": { + "question": "В каком году был выпущен фильм «Не знаю…» режиссёра Евгения Михайловича Богата?", + "answerA": "1985", + "answerB": "1969", + "answerC": "1975", + "answerD": "1990", + "correct_answer": "answerB", + "choices": [ + "Его научные открытия", + "Его рисунки как форма познания", + "Способность путешествовать во времени", + "Использовать больше магии, чтобы заставить его влюбиться", + "Книги о красоте и искусстве", + "1969", + "1985", + "1990", + "Насыщение духовной силой и сердечная дружба", + "Научно-популярные книги по человеку и обществу", + "1975", + "Вызвали священника и полицейского, чтобы успокоить ее." + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nВ каком году был выпущен фильм «Не знаю…» режиссёра Евгения Михайловича Богата?\nA. Его научные открытия\nB. Его рисунки как форма познания\nC. Способность путешествовать во времени\nD. Использовать больше магии, чтобы заставить его влюбиться\nE. Книги о красоте и искусстве\nF. 1969\nG. 1985\nH. 1990\nI. Насыщение духовной силой и сердечная дружба\nJ. Научно-популярные книги по человеку и обществу\nK. 1975\nL. Вызвали священника и полицейского, чтобы успокоить ее.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 153, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.002930049318820238, + "B": 0.006202914286404848, + "C": 0.9205940961837769, + "D": 0.009025187231600285, + "E": 0.001473321346566081, + "F": 0.001568342442624271, + "G": 0.00702882232144475, + "H": 0.0025857596192508936, + "I": 9.41862745094113e-05, + "J": 0.00029011417063884437, + "K": 0.00044933761819265783, + "L": 1.6367122952942736e-05 + }, + "sample": { + "question": "Что, по мнению Петрарки, дает человеку общение с книгами?", + "answerA": "Способность путешествовать во времени", + "answerB": "Насыщение духовной силой и сердечная дружба", + "answerC": "Преимущество перед современниками", + "answerD": "Умение писать красивые письма", + "correct_answer": "Насыщение духовной силой и сердечная дружба", + "choices": [ + "Умение писать красивые письма", + "Собрали средства на отправку миссис Новарес к психиатру.", + "Насыщение духовной силой и сердечная дружба", + "Преимущество перед современниками", + "Способность путешествовать во времени", + "Вызвали священника и полицейского, чтобы успокоить ее.", + "Его рисунки как форма познания", + "Его научные открытия", + "Научно-популярные книги по человеку и обществу", + "Люди начали говорить на неизвестном языке.", + "Использовать больше магии, чтобы заставить его влюбиться", + "Книги о красоте и искусстве" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nЧто, по мнению Петрарки, дает человеку общение с книгами?\nA. Умение писать красивые письма\nB. Собрали средства на отправку миссис Новарес к психиатру.\nC. Насыщение духовной силой и сердечная дружба\nD. Преимущество перед современниками\nE. Способность путешествовать во времени\nF. Вызвали священника и полицейского, чтобы успокоить ее.\nG. Его рисунки как форма познания\nH. Его научные открытия\nI. Научно-популярные книги по человеку и обществу\nJ. Люди начали говорить на неизвестном языке.\nK. Использовать больше магии, чтобы заставить его влюбиться\nL. Книги о красоте и искусстве\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 158, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.023081254214048386, + "B": 0.03358302637934685, + "C": 0.023081254214048386, + "D": 0.8661177158355713, + "E": 0.006612889934331179, + "F": 0.008491119369864464, + "G": 0.006612889934331179, + "H": 0.001672000507824123, + "I": 0.0004227479512337595, + "J": 0.0013021552003920078, + "K": 0.0007419456960633397, + "L": 0.0001372461556456983 + }, + "sample": { + "question": "Что, по мнению Богата Евгения Михайловича, является ключом к пониманию Леонардо да Винчи?", + "answerA": "Его научные открытия", + "answerB": "Его рисунки как форма познания", + "answerC": "Его личная жизнь", + "answerD": "Его интерес к астрономии", + "correct_answer": "Б", + "choices": [ + "Вызвали священника и полицейского, чтобы успокоить ее.", + "Книги о красоте и искусстве", + "Люди начали говорить на неизвестном языке.", + "Его рисунки как форма познания", + "Его личная жизнь", + "Научно-популярные книги по человеку и обществу", + "Рассказать Тому правду о себе", + "Его научные открытия", + "Его интерес к астрономии", + "Использовать больше магии, чтобы заставить его влюбиться", + "Собрали средства на отправку миссис Новарес к психиатру.", + "Оставить котёнка в кафетерии" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nЧто, по мнению Богата Евгения Михайловича, является ключом к пониманию Леонардо да Винчи?\nA. Вызвали священника и полицейского, чтобы успокоить ее.\nB. Книги о красоте и искусстве\nC. Люди начали говорить на неизвестном языке.\nD. Его рисунки как форма познания\nE. Его личная жизнь\nF. Научно-популярные книги по человеку и обществу\nG. Рассказать Тому правду о себе\nH. Его научные открытия\nI. Его интерес к астрономии\nJ. Использовать больше магии, чтобы заставить его влюбиться\nK. Собрали средства на отправку миссис Новарес к психиатру.\nL. Оставить котёнка в кафетерии\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 162, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0944371297955513, + "B": 0.2265429049730301, + "C": 0.4232378602027893, + "D": 0.057279013097286224, + "E": 0.021071771159768105, + "F": 0.016410712152719498, + "G": 0.039367251098155975, + "H": 0.018595773726701736, + "I": 0.0012654582969844341, + "J": 0.008784021250903606, + "K": 0.005327778402715921, + "L": 0.00017126115562859923 + }, + "sample": { + "question": "Что отличало книги, раскупаемые покупателями в начале новой волны, описанной Ефимом Ильичем?", + "answerA": "Книги о красоте и искусстве", + "answerB": "Научно-популярные книги по человеку и обществу", + "answerC": "Романы и мемуары", + "answerD": "Книги о космических исследованиях", + "correct_answer": "answerB", + "choices": [ + "1985", + "Растения и люди начали менять цвет и форму.", + "Научно-популярные книги по человеку и обществу", + "Оставить котёнка в кафетерии", + "Романы и мемуары", + "Вызвали священника и полицейского, чтобы успокоить ее.", + "Собрали средства на отправку миссис Новарес к психиатру.", + "Использовать больше магии, чтобы заставить его влюбиться", + "Книги о космических исследованиях", + "Люди начали говорить на неизвестном языке.", + "Книги о красоте и искусстве", + "Рассказать Тому правду о себе" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nЧто отличало книги, раскупаемые покупателями в начале новой волны, описанной Ефимом Ильичем?\nA. 1985\nB. Растения и люди начали менять цвет и форму.\nC. Научно-популярные книги по человеку и обществу\nD. Оставить котёнка в кафетерии\nE. Романы и мемуары\nF. Вызвали священника и полицейского, чтобы успокоить ее.\nG. Собрали средства на отправку миссис Новарес к психиатру.\nH. Использовать больше магии, чтобы заставить его влюбиться\nI. Книги о космических исследованиях\nJ. Люди начали говорить на неизвестном языке.\nK. Книги о красоте и искусстве\nL. Рассказать Тому правду о себе\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 174, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.006409847643226385, + "B": 0.02535144053399563, + "C": 0.0780879333615303, + "D": 0.02872694469988346, + "E": 0.04736272618174553, + "F": 0.0417974591255188, + "G": 0.04736272618174553, + "H": 0.019743720069527626, + "I": 0.0417974591255188, + "J": 0.3088437616825104, + "K": 0.2122650146484375, + "L": 0.002510132733732462 + }, + "sample": { + "question": "Как соседи решили проблему с непрерывным плачем миссис Новарес в рассказе 'En la noche'?", + "answerA": "Вызвали священника и полицейского, чтобы успокоить ее.", + "answerB": "Собрали средства на отправку миссис Новарес к психиатру.", + "answerC": "Организовали для нее поездку, чтобы отвлечь от горя.", + "answerD": "Мистер Вильяносуль поднялся к ней, чтобы утешить.", + "correct_answer": "Мистер Вильяносуль поднялся к ней, чтобы утешить.", + "choices": [ + "Люди начали говорить на неизвестном языке.", + "Он убегает с украденными деньгами.", + "Собрали средства на отправку миссис Новарес к психиатру.", + "1985", + "Вызвали священника и полицейского, чтобы успокоить ее.", + "Отдать котёнка в приют", + "Использовать больше магии, чтобы заставить его влюбиться", + "Оставить котёнка в кафетерии", + "Рассказать Тому правду о себе", + "Организовали для нее поездку, чтобы отвлечь от горя.", + "Мистер Вильяносуль поднялся к ней, чтобы утешить.", + "Растения и люди начали менять цвет и форму." + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКак соседи решили проблему с непрерывным плачем миссис Новарес в рассказе 'En la noche'?\nA. Люди начали говорить на неизвестном языке.\nB. Он убегает с украденными деньгами.\nC. Собрали средства на отправку миссис Новарес к психиатру.\nD. 1985\nE. Вызвали священника и полицейского, чтобы успокоить ее.\nF. Отдать котёнка в приют\nG. Использовать больше магии, чтобы заставить его влюбиться\nH. Оставить котёнка в кафетерии\nI. Рассказать Тому правду о себе\nJ. Организовали для нее поездку, чтобы отвлечь от горя.\nK. Мистер Вильяносуль поднялся к ней, чтобы утешить.\nL. Растения и люди начали менять цвет и форму.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 187, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.018401969224214554, + "B": 0.03895696997642517, + "C": 0.28785523772239685, + "D": 0.09345290809869766, + "E": 0.026774706318974495, + "F": 0.026774706318974495, + "G": 0.08247190713882446, + "H": 0.026774706318974495, + "I": 0.01048512663692236, + "J": 0.03437940403819084, + "K": 0.19783981144428253, + "L": 0.006359550170600414 + }, + "sample": { + "question": "Какое решение принимает Сеси, чтобы быть вместе с Томом в фильме 'Апрельское колдовство'?", + "answerA": "Использовать больше магии, чтобы заставить его влюбиться", + "answerB": "Рассказать Тому правду о себе", + "answerC": "Пожертвовать своими магическими силами", + "answerD": "Отправиться в другую страну с Томом", + "correct_answer": "Пожертвовать своими магическими силами", + "choices": [ + "Отправиться в другую страну с Томом", + "1985", + "Использовать больше магии, чтобы заставить его влюбиться", + "Рассказать Тому правду о себе", + "Растения и люди начали менять цвет и форму.", + "Он убегает с украденными деньгами.", + "Волшебный артефакт", + "Люди начали говорить на неизвестном языке.", + "Отдать котёнка в приют", + "1995", + "Пожертвовать своими магическими силами", + "Оставить котёнка в кафетерии" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКакое решение принимает Сеси, чтобы быть вместе с Томом в фильме 'Апрельское колдовство'?\nA. Отправиться в другую страну с Томом\nB. 1985\nC. Использовать больше магии, чтобы заставить его влюбиться\nD. Рассказать Тому правду о себе\nE. Растения и люди начали менять цвет и форму.\nF. Он убегает с украденными деньгами.\nG. Волшебный артефакт\nH. Люди начали говорить на неизвестном языке.\nI. Отдать котёнка в приют\nJ. 1995\nK. Пожертвовать своими магическими силами\nL. Оставить котёнка в кафетерии\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 167, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.015485000796616077, + "B": 0.050773363560438156, + "C": 0.01754680462181568, + "D": 0.016483696177601814, + "E": 0.0738748088479042, + "F": 0.03954233601689339, + "G": 0.13801629841327667, + "H": 0.05753375217318535, + "I": 0.12179897725582123, + "J": 0.33108389377593994, + "K": 0.0738748088479042, + "L": 0.013665465638041496 + }, + "sample": { + "question": "Какой необычный феномен начал происходить с жителями и окружающей средой на Марсе в рассказе 'Были они смуглые и золотоглазые'?", + "answerA": "Люди начали говорить на неизвестном языке.", + "answerB": "Растения и люди начали менять цвет и форму.", + "answerC": "Люди обнаружили неизвестный источник бессмертия.", + "answerD": "Они нашли драгоценные камни, дающие силу.", + "correct_answer": "B", + "choices": [ + "1917", + "Он превращается в десятилетнего мальчика.", + "1985", + "Он убегает с украденными деньгами.", + "Люди обнар��жили неизвестный источник бессмертия.", + "Оставить котёнка в кафетерии", + "1995", + "Они нашли драгоценные камни, дающие силу.", + "Люди начали говорить на неизвестном языке.", + "Растения и люди начали менять цвет и форму.", + "Волшебный артефакт", + "Отдать котёнка в приют" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКакой необычный феномен начал происходить с жителями и окружающей средой на Марсе в рассказе 'Были они смуглые и золотоглазые'?\nA. 1917\nB. Он превращается в десятилетнего мальчика.\nC. 1985\nD. Он убегает с украденными деньгами.\nE. Люди обнаружили неизвестный источник бессмертия.\nF. Оставить котёнка в кафетерии\nG. 1995\nH. Они нашли драгоценные камни, дающие силу.\nI. Люди начали говорить на неизвестном языке.\nJ. Растения и люди начали менять цвет и форму.\nK. Волшебный артефакт\nL. Отдать котёнка в приют\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 167, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.00596162024885416, + "B": 0.03887464851140976, + "C": 0.011856096796691418, + "D": 0.0932554304599762, + "E": 0.026718128472566605, + "F": 0.6890696287155151, + "G": 0.04405074566602707, + "H": 0.030275605618953705, + "I": 0.0006688752328045666, + "J": 0.00814856868237257, + "K": 0.004642914514988661, + "L": 0.014301182702183723 + }, + "sample": { + "question": "Что решили сделать главные герои с найденным котёнком в рассказе 'Кошкина пижама'?", + "answerA": "Оставить котёнка в кафетерии", + "answerB": "Отдать котёнка в приют", + "answerC": "Позволить котёнку выбрать хозяина, лёжа на кровати между ними", + "answerD": "Продать котёнка", + "correct_answer": "Позволить котёнку выбрать хозяина, лёжа на кровати между ними", + "choices": [ + "Продать котёнка", + "Волшебный артефакт", + "1985", + "Один-единственный костюм", + "Он убегает с украденными деньгами.", + "Позволить котёнку выбрать хозяина, лёжа на кровати между ними", + "Он превращается в десятилетнего мальчика.", + "Поединок между главными героями на острове", + "Отдать котёнка в приют", + "Оставить котёнка в кафетерии", + "1917", + "1995" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nЧто решили сделать главные герои с найденным котёнком в рассказе 'Кошкина пижама'?\nA. Продать котёнка\nB. Волшебный артефакт\nC. 1985\nD. Один-единственный костюм\nE. Он убегает с украденными деньгами.\nF. Позволить котёнку выбрать хозяина, лёжа на кровати между ними\nG. Он превращается в десятилетнего мальчика.\nH. Поединок между главными героями на острове\nI. Отдать котёнка в приют\nJ. Оставить котёнка в кафетерии\nK. 1917\nL. 1995\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 161, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.167404443025589, + "B": 0.10153593122959137, + "C": 0.1303747147321701, + "D": 0.07907626777887344, + "E": 0.06158465892076492, + "F": 0.05434826761484146, + "G": 0.167404443025589, + "H": 0.07907626777887344, + "I": 0.022655727341771126, + "J": 0.05434826761484146, + "K": 0.032963886857032776, + "L": 0.002243220806121826 + }, + "sample": { + "question": "В каком году был написан рассказ 'По прошествии девяти лет' Рэя Брэдбери?", + "answerA": "1985", + "answerB": "1995", + "answerC": "2005", + "answerD": "1990", + "correct_answer": "B", + "choices": [ + "1985", + "Поединок между главными героями на острове", + "Волшебный артефакт", + "1990", + "2005", + "1995", + "1917", + "Он превращается в десятилетнего мальчика.", + "Один-единственный костюм", + "1927", + "Писать как можно больше книг.", + "Он убегает с украденными деньгами." + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nВ каком году был написан рассказ 'По прошествии девяти лет' Рэя Брэдбери?\nA. 1985\nB. Поединок между главными героями на острове\nC. Волшебный артефакт\nD. 1990\nE. 2005\nF. 1995\nG. 1917\nH. Он превращается в десятилетнего мальчика.\nI. Один-единственный костюм\nJ. 1927\nK. Писать как можно больше книг.\nL. Он убегает с украденными деньгами.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 139, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.009831976145505905, + "B": 0.023585684597492218, + "C": 0.3255903124809265, + "D": 0.3255903124809265, + "E": 0.023585684597492218, + "F": 0.018368549644947052, + "G": 0.19748051464557648, + "H": 0.009831976145505905, + "I": 0.0011031171306967735, + "J": 0.0015077823773026466, + "K": 0.004644296132028103, + "L": 0.00014929065946489573 + }, + "sample": { + "question": "Что происходит с мистером Куджером после того, как колесо останавливается?", + "answerA": "Он убегает с украденными деньгами.", + "answerB": "Он превращается в десятилетнего мальчика.", + "answerC": "В чёрной корзине оказывается скелет в его одежде.", + "answerD": "Он превращается обратно во взрослого.", + "correct_answer": "В чёрной корзине оказывается скелет в его одежде.", + "choices": [ + "1927", + "Волшебный артефакт", + "Секретный обед между королем и его советником", + "Он превращается в десятилетнего мальчика.", + "Писать как можно больше книг.", + "Один-единственный костюм", + "Он превращается обратно во взрослого.", + "1917", + "В чёрной корзине оказывается скелет в его одежде.", + "Он убегает с украденными деньгами.", + "1912", + "Поединок между главными героями на острове" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nЧто происходит с мистером Куджером после того, как колесо останавливается?\nA. 1927\nB. Волшебный артефакт\nC. Секретный обед между королем и его советником\nD. Он превращается в десятилетнего мальчика.\nE. Писать как можно больше книг.\nF. Один-единственный костюм\nG. Он превращается обратно во взрослого.\nH. 1917\nI. В чёрной корзине оказывается скелет в его одежде.\nJ. Он убегает с украденными деньгами.\nK. 1912\nL. Поединок между главными героями на острове\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 151, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.18296033143997192, + "B": 0.052419014275074005, + "C": 0.12574666738510132, + "D": 0.04625961557030678, + "E": 0.16146191954612732, + "F": 0.03602702170610428, + "G": 0.09793160855770111, + "H": 0.04625961557030678, + "I": 0.06730735301971436, + "J": 0.052419014275074005, + "K": 0.021851494908332825, + "L": 0.002303130691871047 + }, + "sample": { + "question": "Что изменило судьбы шестерых друзей в рассказе 'Чудесный костюм цвета сливочного мороженого' Рэя Брэдбери?", + "answerA": "Волшебный артефакт", + "answerB": "Один-единственный костюм", + "answerC": "Неожиданное наследство", + "answerD": "Старинная карта сокровищ", + "correct_answer": "answerB", + "choices": [ + "Один-единственный костюм", + "1912", + "Секретный обед между королем и его советником", + "Писать как можно больше книг.", + "Жить так, чтобы не стыдно было вспоминать прошлое.", + "Старинная карта сокровищ", + "1917", + "1927", + "Волшебный артефакт", + "Неожиданное наследство", + "О приключениях молодого искателя золота", + "Поединок между главными героями на острове" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nЧто изменило судьбы шестерых друзей в рассказе 'Чудесный костюм цвета сливочного мороженого' Рэя Брэдбери?\nA. Один-единственный костюм\nB. 1912\nC. Секретный обед между королем и его советником\nD. Писать как можно больше книг.\nE. Жить так, чтобы не стыдно было вспоминать прошлое.\nF. Старинная карта сокровищ\nG. 1917\nH. 1927\nI. Волшебный артефакт\nJ. Неожиданное наследство\nK. О приключениях молодого искателя золота\nL. Поединок между главными героями на острове\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 154, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.01417600642889738, + "B": 0.09243917465209961, + "C": 0.1956937462091446, + "D": 0.03853438049554825, + "E": 0.056067194789648056, + "F": 0.030010607093572617, + "G": 0.22175006568431854, + "H": 0.049479126930236816, + "I": 0.005215061828494072, + "J": 0.04366517439484596, + "K": 0.15240643918514252, + "L": 0.00432343827560544 + }, + "sample": { + "question": "В каком году был написан рассказ 'Божье дерево' Ивана Бунина?", + "answerA": "1917", + "answerB": "1927", + "answerC": "1937", + "answerD": "1947", + "correct_answer": "1927", + "choices": [ + "О приключениях молодого искателя золота", + "1912", + "Жить так, чтобы не стыдно было вспоминать прошлое.", + "Писать как можно больше книг.", + "1917", + "Поединок между главными героями на острове", + "1927", + "Секретный обед между королем и его советником", + "За умение варить вкусные блюда", + "1947", + "1937", + "1922" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nВ каком году был написан рассказ 'Божье дерево' Ивана Бунина?\nA. О приключениях молодого искателя золота\nB. 1912\nC. Жить так, чтобы не стыдно было вспоминать п��ошлое.\nD. Писать как можно больше книг.\nE. 1917\nF. Поединок между главными героями на острове\nG. 1927\nH. Секретный обед между королем и его советником\nI. За умение варить вкусные блюда\nJ. 1947\nK. 1937\nL. 1922\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 149, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.01340576633810997, + "B": 0.06395532935857773, + "C": 0.018323509022593498, + "D": 0.04980846121907234, + "E": 0.03879087045788765, + "F": 0.05302083492279053, + "G": 0.36803752183914185, + "H": 0.32479196786880493, + "I": 0.0031841485761106014, + "J": 0.00717558991163969, + "K": 0.023527851328253746, + "L": 0.0024798172526061535 + }, + "sample": { + "question": "Какое событие является ключевым в рассказе 'В ночном море' Ивана Бунина?", + "answerA": "Поединок между главными героями на острове", + "answerB": "Секретный обед между королем и его советником", + "answerC": "Встреча давних знакомых на пароходе через 23 года", + "answerD": "Тайная свадьба в разгар военных действий", + "correct_answer": "C", + "choices": [ + "Писать как можно больше книг.", + "Встреча давних знакомых на пароходе через 23 года", + "За умение варить вкусные блюда", + "Поединок между главными героями на острове", + "О приключениях молодого искателя золота", + "Продажу лошадей", + "О погибающих помещичьих усадьбах на чернозёмной земле", + "Жить так, чтобы не стыдно было вспоминать прошлое.", + "1912", + "1922", + "Тайная свадьба в разгар военных действий", + "Секретный обед между королем и его советником" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКакое событие является ключевым в рассказе 'В ночном море' Ивана Бунина?\nA. Писать как можно больше книг.\nB. Встреча давних знакомых на пароходе через 23 года\nC. За умение варить вкусные блюда\nD. Поединок между главными героями на острове\nE. О приключениях молодого искателя золота\nF. Продажу лошадей\nG. О погибающих помещичьих усадьбах на чернозёмной земле\nH. Жить так, чтобы не стыдно было вспоминать прошлое.\nI. 1912\nJ. 1922\nK. Тайная свадьба в разгар военных действий\nL. Секретный обед между королем и его советником\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 167, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.01847989298403263, + "B": 0.255107045173645, + "C": 0.034524984657764435, + "D": 0.09384864568710327, + "E": 0.03912193328142166, + "F": 0.056922078132629395, + "G": 0.1365489661693573, + "H": 0.034524984657764435, + "I": 0.009891573339700699, + "J": 0.255107045173645, + "K": 0.02094046212732792, + "L": 0.0019477661699056625 + }, + "sample": { + "question": "Какой совет дал Лев Толстой Ивану Бунину при их встрече?", + "answerA": "Писать как можно больше книг.", + "answerB": "Жить так, чтобы не стыдно было вспоминать прошлое.", + "answerC": "Пишите, если очень хочется, только помните, что это не может быть целью жизни.", + "answerD": "Стремиться к счастью несмотря на все препя��ствия.", + "correct_answer": "Пишите, если очень хочется, только помните, что это не может быть целью жизни.", + "choices": [ + "За умение варить вкусные блюда", + "Стремиться к счастью несмотря на все препятствия.", + "О приключениях молодого искателя золота", + "За то, что он изготавливал кастрюли", + "1911", + "О погибающих помещичьих усадьбах на чернозёмной земле", + "1912", + "1922", + "Писать как можно больше книг.", + "Пишите, если очень хочется, только помните, что это не может быть целью жизни.", + "Продажу лошадей", + "Жить так, чтобы не стыдно было вспоминать прошлое." + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКакой совет дал Лев Толстой Ивану Бунину при их встрече?\nA. За умение варить вкусные блюда\nB. Стремиться к счастью несмотря на все препятствия.\nC. О приключениях молодого искателя золота\nD. За то, что он изготавливал кастрюли\nE. 1911\nF. О погибающих помещичьих усадьбах на чернозёмной земле\nG. 1912\nH. 1922\nI. Писать как можно больше книг.\nJ. Пишите, если очень хочется, только помните, что это не может быть целью жизни.\nK. Продажу лошадей\nL. Жить так, чтобы не стыдно было вспоминать прошлое.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 168, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.07138510048389435, + "B": 0.091660276055336, + "C": 0.1940447986125946, + "D": 0.13336491584777832, + "E": 0.03820968419313431, + "F": 0.04329724982380867, + "G": 0.13336491584777832, + "H": 0.04329724982380867, + "I": 0.007068081758916378, + "J": 0.04329724982380867, + "K": 0.10386469960212708, + "L": 0.0009565607761032879 + }, + "sample": { + "question": "В каком году был написан рассказ Ивана Бунина 'Далёкое'?", + "answerA": "1912", + "answerB": "1922", + "answerC": "1932", + "answerD": "1942", + "correct_answer": "answerB", + "choices": [ + "1922", + "1942", + "Продажу лошадей", + "Тёмные аллеи", + "1911", + "1932", + "О приключениях молодого искателя золота", + "1912", + "Покупку имения", + "За умение варить вкусные блюда", + "О погибающих помещичьих усадьбах на чернозёмной земле", + "За то, что он изготавливал кастрюли" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nВ каком году был написан рассказ Ивана Бунина 'Далёкое'?\nA. 1922\nB. 1942\nC. Продажу лошадей\nD. Тёмные аллеи\nE. 1911\nF. 1932\nG. О приключениях молодого искателя золота\nH. 1912\nI. Покупку имения\nJ. За умение варить вкусные блюда\nK. О погибающих помещичьих усадьбах на чернозёмной земле\nL. За то, что он изготавливал кастрюли\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 150, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.06118050590157509, + "B": 0.02250705100595951, + "C": 0.047647424042224884, + "D": 0.7453311085700989, + "E": 0.03710785135626793, + "F": 0.02550382912158966, + "G": 0.02250705100595951, + "H": 0.005022001452744007, + "I": 0.0011928300373256207, + "J": 0.001351653365418315, + "K": 0.002093481831252575, + "L": 0.0004388176021166146 + }, + "sample": { + "question": "О чем повествует рассказ Ивана Бунина 'Золотое дно'?", + "answerA": "О приключениях молодого искателя золота", + "answerB": "О погибающих помещичьих усадьбах на чернозёмной земле", + "answerC": "О золотодобыче в Сибири", + "answerD": "О восстании крестьян против помещиков", + "correct_answer": "answerB", + "choices": [ + "О восстании крестьян против помещиков", + "Покупку имения", + "За умение варить вкусные блюда", + "О погибающих помещичьих усадьбах на чернозёмной земле", + "Тёмные аллеи", + "О золотодобыче в Сибири", + "О приключениях молодого искателя золота", + "1890", + "1913", + "Продажу лошадей", + "За то, что он изготавливал кастрюли", + "1911" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nО чем повествует рассказ Ивана Бунина 'Золотое дно'?\nA. О восстании крестьян против помещиков\nB. Покупку имения\nC. За умение варить вкусные блюда\nD. О погибающих помещичьих усадьбах на чернозёмной земле\nE. Тёмные аллеи\nF. О золотодобыче в Сибири\nG. О приключениях молодого искателя золота\nH. 1890\nI. 1913\nJ. Продажу лошадей\nK. За то, что он изготавливал кастрюли\nL. 1911\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 151, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.016483251005411148, + "B": 0.17721165716648102, + "C": 0.02717628702521324, + "D": 0.6185294389724731, + "E": 0.02717628702521324, + "F": 0.034895043820142746, + "G": 0.03954126313328743, + "H": 0.014546418562531471, + "I": 0.001121699227951467, + "J": 0.006454933900386095, + "K": 0.003049094695597887, + "L": 0.0006391250062733889 + }, + "sample": { + "question": "Почему деда в деревне звали Кастрюком?", + "answerA": "За умение варить вкусные блюда", + "answerB": "За то, что он изготавливал кастрюли", + "answerC": "За любовь к пению старинных весёлых прибауток про Кастрюка", + "answerD": "За особую ходьбу", + "correct_answer": "За любовь к пению старинных весёлых прибауток про Кастрюка", + "choices": [ + "Покупку имения", + "За то, что он изготавливал кастрюли", + "Продажу лошадей", + "За любовь к пению старинных весёлых прибауток про Кастрюка", + "Тёмные аллеи", + "1913", + "Господин из Сан-Франциско", + "Истории охоты на уток", + "За особую ходьбу", + "За умение варить вкусные блюда", + "1890", + "1911" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nПочему деда в деревне звали Кастрюком?\nA. Покупку имения\nB. За то, что он изготавливал кастрюли\nC. Продажу лошадей\nD. За любовь к пению старинных весёлых прибауток про Кастрюка\nE. Тёмные аллеи\nF. 1913\nG. Господин из Сан-Франциско\nH. Истории охоты на уток\nI. За особую ходьбу\nJ. За умение варить вкусные блюда\nK. 1890\nL. 1911\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 147, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.08086471259593964, + "B": 0.09163173288106918, + "C": 0.4106649160385132, + "D": 0.17119060456752777, + "E": 0.026252929121255875, + "F": 0.026252929121255875, + "G": 0.08086471259593964, + "H": 0.023168131709098816, + "I": 0.005502913147211075, + "J": 0.010943849571049213, + "K": 0.008006691932678223, + "L": 0.0010179366217926145 + }, + "sample": { + "question": "Какое важное дело привело Лукьяна к помещице Никулиной в рассказе 'Князь во князьях'?", + "answerA": "Продажу лошадей", + "answerB": "Покупку имения", + "answerC": "Похвастаться золотыми и серебряными монетами", + "answerD": "Обсуждение урожая", + "correct_answer": "Похвастаться золотыми и серебряными монетами", + "choices": [ + "1913", + "Тёмные аллеи", + "Похвастаться золотыми и серебряными монетами", + "Покупку имения", + "Истории охоты на уток", + "1917", + "1890", + "Обсуждение урожая", + "1894", + "Господин из Сан-Франциско", + "Продажу лошадей", + "1911" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКакое важное дело привело Лукьяна к помещице Никулиной в рассказе 'Князь во князьях'?\nA. 1913\nB. Тёмные аллеи\nC. Похвастаться золотыми и серебряными монетами\nD. Покупку имения\nE. Истории охоты на уток\nF. 1917\nG. 1890\nH. Обсуждение урожая\nI. 1894\nJ. Господин из Сан-Франциско\nK. Продажу лошадей\nL. 1911\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 144, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.24837207794189453, + "B": 0.048907358199357986, + "C": 0.24837207794189453, + "D": 0.08063460886478424, + "E": 0.09137099236249924, + "F": 0.03361350670456886, + "G": 0.09137099236249924, + "H": 0.03361350670456886, + "I": 0.02617822401225567, + "J": 0.010251540690660477, + "K": 0.005154797807335854, + "L": 0.001476874342188239 + }, + "sample": { + "question": "В каком году был написан рассказ 'Лирник Родион' авторства Ивана Бунина?", + "answerA": "1911", + "answerB": "1913", + "answerC": "1915", + "answerD": "1917", + "correct_answer": "answerB", + "choices": [ + "1911", + "1890", + "1923", + "Господин из Сан-Франциско", + "Истории охоты на уток", + "Тёмные аллеи", + "Сотников", + "1894", + "1913", + "Рассказу о детстве в деревне", + "1917", + "1915" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nВ каком году был написан рассказ 'Лирник Родион' авторства Ивана Бунина?\nA. 1911\nB. 1890\nC. 1923\nD. Господин из Сан-Франциско\nE. Истории охоты на уток\nF. Тёмные аллеи\nG. Сотников\nH. 1894\nI. 1913\nJ. Рассказу о детстве в деревне\nK. 1917\nL. 1915\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 134, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.15857093036174774, + "B": 0.0848769098520279, + "C": 0.10898410528898239, + "D": 0.12349516898393631, + "E": 0.07490360736846924, + "F": 0.0848769098520279, + "G": 0.09617813676595688, + "H": 0.058334995061159134, + "I": 0.02431764081120491, + "J": 0.058334995061159134, + "K": 0.040093012154102325, + "L": 0.00741646159440279 + }, + "sample": { + "question": "В каком литературном произведении женщина, влюблённая в рассказчика, выходит замуж за графа и через несколько месяцев после свадьбы умирает?", + "answerA": "Тёмные аллеи", + "answerB": "Господин из Сан-Франциско", + "answerC": "Маленький роман", + "answerD": "Солнечный удар", + "correct_answer": "Маленький роман", + "choices": [ + "Тёмные аллеи", + "Истории охоты на уток", + "1890", + "Маленький роман", + "Рассказу о детстве в деревне", + "Сотников", + "Солнечный удар", + "1923", + "1894", + "Господин из Сан-Франциско", + "1898", + "1917" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nВ каком литературном произведении женщина, влюблённая в рассказчика, выходит замуж за графа и через несколько месяцев после свадьбы умирает?\nA. Тёмные аллеи\nB. Истории охоты на уток\nC. 1890\nD. Маленький роман\nE. Рассказу о детстве в деревне\nF. Сотников\nG. Солнечный удар\nH. 1923\nI. 1894\nJ. Господин из Сан-Франциско\nK. 1898\nL. 1917\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 137, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.12967786192893982, + "B": 0.06125548854470253, + "C": 0.07865361124277115, + "D": 0.18868018686771393, + "E": 0.21380265057086945, + "F": 0.06125548854470253, + "G": 0.06941156089305878, + "H": 0.06941156089305878, + "I": 0.017549991607666016, + "J": 0.03278769925236702, + "K": 0.006872675381600857, + "L": 0.005028156563639641 + }, + "sample": { + "question": "В каком году был написан рассказ Ивана Бунина 'На край света'?", + "answerA": "1890", + "answerB": "1894", + "answerC": "1901", + "answerD": "1889", + "correct_answer": "B", + "choices": [ + "Рассказу о детстве в деревне", + "Становится учительницей в школе", + "Рыбак", + "1901", + "1898", + "1890", + "Истории охоты на уток", + "1923", + "Сотников", + "1894", + "1917", + "1889" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nВ каком году был написан рассказ Ивана Бунина 'На край света'?\nA. Рассказу о детстве в деревне\nB. Становится учительницей в школе\nC. Рыбак\nD. 1901\nE. 1898\nF. 1890\nG. Истории охоты на уток\nH. 1923\nI. Сотников\nJ. 1894\nK. 1917\nL. 1889\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 126, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.007124276366084814, + "B": 0.017090249806642532, + "C": 0.34326687455177307, + "D": 0.040997378528118134, + "E": 0.006287151947617531, + "F": 0.0029698400758206844, + "G": 0.49945032596588135, + "H": 0.006287151947617531, + "I": 0.0004278460401110351, + "J": 0.00048481306293979287, + "K": 0.003161378437653184, + "L": 6.561232294188812e-05 + }, + "sample": { + "question": "Чему посвящен рассказ 'На хуторе' Ивана Бунина?", + "answerA": "Истории охоты на уток", + "answerB": "Рассказу о детстве в деревне", + "answerC": "Размышлениях старика о жизни и смерти", + "answerD": "Приключениям молодого дворянина", + "correct_answer": "answerC", + "choices": [ + "1917", + "Приключениям молодого дворянина", + "Мальчик, работающий врачом", + "Размышлениях старика о жизни и см��рти", + "Сотников", + "Становится учительницей в школе", + "Рассказу о детстве в деревне", + "Истории охоты на уток", + "Рыбак", + "1898", + "1906", + "1923" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nЧему посвящен рассказ 'На хуторе' Ивана Бунина?\nA. 1917\nB. Приключениям молодого дворянина\nC. Мальчик, работающий врачом\nD. Размышлениях старика о жизни и смерти\nE. Сотников\nF. Становится учительницей в школе\nG. Рассказу о детстве в деревне\nH. Истории охоты на уток\nI. Рыбак\nJ. 1898\nK. 1906\nL. 1923\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 128, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0624353401362896, + "B": 0.0624353401362896, + "C": 0.3170728385448456, + "D": 0.09084289520978928, + "E": 0.09084289520978928, + "F": 0.0624353401362896, + "G": 0.09084289520978928, + "H": 0.04862469807267189, + "I": 0.01308715995401144, + "J": 0.029492368921637535, + "K": 0.012294248677790165, + "L": 0.0014683386543765664 + }, + "sample": { + "question": "В каком году произошли события, описанные в рассказе Ивана Бунина 'Огнь пожирающий'?", + "answerA": "1917", + "answerB": "1923", + "answerC": "1899", + "answerD": "1945", + "correct_answer": "answerB", + "choices": [ + "Сотников", + "Князь Мышкин", + "1906", + "Рыбак", + "1899", + "Становится учительницей в школе", + "1898", + "Мальчик, работающий врачом", + "1945", + "1917", + "Открывает частный пансион вместе с матерью", + "1923" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nВ каком году произошли события, описанные в рассказе Ивана Бунина 'Огнь пожирающий'?\nA. Сотников\nB. Князь Мышкин\nC. 1906\nD. Рыбак\nE. 1899\nF. Становится учительницей в школе\nG. 1898\nH. Мальчик, работающий врачом\nI. 1945\nJ. 1917\nK. Открывает частный пансион вместе с матерью\nL. 1923\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 129, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.15277588367462158, + "B": 0.10500123351812363, + "C": 0.08177503943443298, + "D": 0.1189819797873497, + "E": 0.15277588367462158, + "F": 0.03408890962600708, + "G": 0.049599066376686096, + "H": 0.04377102479338646, + "I": 0.05620311200618744, + "J": 0.03862779214978218, + "K": 0.007606263272464275, + "L": 0.013349407352507114 + }, + "sample": { + "question": "Кто из главных героев повести Быкова Василя Владимировича \"Сотников\" сказал при казни: \"Прости, брат!\"?", + "answerA": "Сотников", + "answerB": "Рыбак", + "answerC": "Портнов", + "answerD": "Демчиха", + "correct_answer": "B", + "choices": [ + "Демчиха", + "Портнов", + "Становится учительницей в школе", + "Князь Мышкин", + "Сотников", + "Открывает частный пансион вместе с матерью", + "1898", + "Рыбак", + "1906", + "Мальчик, работающий врачом", + "Александр Грин", + "Сын сапожника, продолжающий дело отца после его смерти" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКто из главных героев повести Быкова Василя Влад��мировича \"Сотников\" сказал при казни: \"Прости, брат!\"?\nA. Демчиха\nB. Портнов\nC. Становится учительницей в школе\nD. Князь Мышкин\nE. Сотников\nF. Открывает частный пансион вместе с матерью\nG. 1898\nH. Рыбак\nI. 1906\nJ. Мальчик, работающий врачом\nK. Александр Грин\nL. Сын сапожника, продолжающий дело отца после его смерти\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 134, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.005823911167681217, + "B": 0.04580860957503319, + "C": 0.01397083792835474, + "D": 0.0356757827103138, + "E": 0.12452072650194168, + "F": 0.33848240971565247, + "G": 0.1811765879392624, + "H": 0.05881941691040993, + "I": 0.004260864574462175, + "J": 0.05881941691040993, + "K": 0.021638454869389534, + "L": 0.04580860957503319 + }, + "sample": { + "question": "В каком году было написано стихотворение «Незнакомка» Александра Блока?", + "answerA": "1898", + "answerB": "1906", + "answerC": "1917", + "answerD": "1921", + "correct_answer": "B", + "choices": [ + "Сын сапожника, продолжающий дело отца после его смерти", + "Открывает частный пансион вместе с матерью", + "Леонтий", + "Гавриил Олексин", + "Становится учительницей в школе", + "1906", + "Мальчик, работающий врачом", + "1921", + "Александр Грин", + "1898", + "Князь Мышкин", + "1917" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nВ каком году было написано стихотворение «Незнакомка» Александра Блока?\nA. Сын сапожника, продолжающий дело отца после его смерти\nB. Открывает частный пансион вместе с матерью\nC. Леонтий\nD. Гавриил Олексин\nE. Становится учительницей в школе\nF. 1906\nG. Мальчик, работающий врачом\nH. 1921\nI. Александр Грин\nJ. 1898\nK. Князь Мышкин\nL. 1917\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 130, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.008163293823599815, + "B": 0.02219013310968876, + "C": 0.028492696583271027, + "D": 0.6484907865524292, + "E": 0.015251041390001774, + "F": 0.019582724198698997, + "G": 0.015251041390001774, + "H": 0.012643557973206043, + "I": 0.005270618945360184, + "J": 0.02219013310968876, + "K": 0.11269078403711319, + "L": 0.0034029672387987375 + }, + "sample": { + "question": "Чем занимается Агнес Грей после того, как она возвращается домой к своей матери?", + "answerA": "Становится учительницей в школе", + "answerB": "Открывает частный пансион вместе с матерью", + "answerC": "Продолжает работу гувернанткой в другой семье", + "answerD": "Живет на наследство, полученное от деда", + "correct_answer": "Открывает частный пансион вместе с матерью", + "choices": [ + "Становится учительницей в школе", + "Гавриил Олексин", + "Иван Василенко", + "Живет на наследство, полученное от деда", + "Князь Мышкин", + "Открывает частный пансион вместе с матерью", + "Мальчик, работающий врачом", + "Александр Грин", + "Леонтий", + "Сын сапожника, продолжающий дело отца после его смерти", + "Про��олжает работу гувернанткой в другой семье", + "Строительство коммунизма в СССР" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nЧем занимается Агнес Грей после того, как она возвращается домой к своей матери?\nA. Становится учительницей в школе\nB. Гавриил Олексин\nC. Иван Василенко\nD. Живет на наследство, полученное от деда\nE. Князь Мышкин\nF. Открывает частный пансион вместе с матерью\nG. Мальчик, работающий врачом\nH. Александр Грин\nI. Леонтий\nJ. Сын сапожника, продолжающий дело отца после его смерти\nK. Продолжает работу гувернанткой в другой семье\nL. Строительство коммунизма в СССР\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 139, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.03207118809223175, + "B": 0.043836116790771484, + "C": 0.173375204205513, + "D": 0.043836116790771484, + "E": 0.04967282712459564, + "F": 0.056286685168743134, + "G": 0.13502474129199982, + "H": 0.07227353751659393, + "I": 0.014231503009796143, + "J": 0.022042181342840195, + "K": 0.13502474129199982, + "L": 0.008631843142211437 + }, + "sample": { + "question": "Кто такой Артёмка Загоруйко?", + "answerA": "Мальчик, работающий врачом", + "answerB": "Сын сапожника, продолжающий дело отца после его смерти", + "answerC": "Циркач, выступающий на канате", + "answerD": "Ученик Станиславского", + "correct_answer": "answerB", + "choices": [ + "Князь Мышкин", + "Строительство коммунизма в СССР", + "Циркач, выступающий на канате", + "Леонтий", + "Гавриил Олексин", + "Василий Олексин", + "Иван Василенко", + "Мальчик, работающий врачом", + "Ученик Станиславского", + "Александр Грин", + "Сын сапожника, продолжающий дело отца после его смерти", + "Состояние глубокой печали" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКто такой Артёмка Загоруйко?\nA. Князь Мышкин\nB. Строительство коммунизма в СССР\nC. Циркач, выступающий на канате\nD. Леонтий\nE. Гавриил Олексин\nF. Василий Олексин\nG. Иван Василенко\nH. Мальчик, работающий врачом\nI. Ученик Станиславского\nJ. Александр Грин\nK. Сын сапожника, продолжающий дело отца после его смерти\nL. Состояние глубокой печали\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 118, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.07851746678352356, + "B": 0.11424223333597183, + "C": 0.11424223333597183, + "D": 0.07851746678352356, + "E": 0.05396420881152153, + "F": 0.10081841796636581, + "G": 0.1294534057378769, + "H": 0.10081841796636581, + "I": 0.025490887463092804, + "J": 0.03948105871677399, + "K": 0.02888496220111847, + "L": 0.009982375428080559 + }, + "sample": { + "question": "Какую роль получил Артёмка в театре гимназистов?", + "answerA": "Князь Мышкин", + "answerB": "Леонтий", + "answerC": "Фёкла", + "answerD": "Иванушка", + "correct_answer": "Фёкла", + "choices": [ + "Леонтий", + "Василий Олексин", + "Русская армия в войне с Наполеоном", + "Иванушка", + "Строительство коммунизма в СССР", + "Состояние глубокой печали", + "Странник, называющий себя паломником", + "Александр Грин", + "Князь Мышкин", + "Гавриил Олексин", + "Фёкла", + "Иван Василенко" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКакую роль получил Артёмка в театре гимназистов?\nA. Леонтий\nB. Василий Олексин\nC. Русская армия в войне с Наполеоном\nD. Иванушка\nE. Строительство коммунизма в СССР\nF. Состояние глубокой печали\nG. Странник, называющий себя паломником\nH. Александр Грин\nI. Князь Мышкин\nJ. Гавриил Олексин\nK. Фёкла\nL. Иван Василенко\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 115, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.15556477010250092, + "B": 0.19974911212921143, + "C": 0.12115396559238434, + "D": 0.19974911212921143, + "E": 0.06484904140233994, + "F": 0.02703310362994671, + "G": 0.05722908303141594, + "H": 0.039332929998636246, + "I": 0.014469778165221214, + "J": 0.010586315765976906, + "K": 0.00774511368945241, + "L": 0.006031900644302368 + }, + "sample": { + "question": "Кто является автором рассказа \"Волшебная шкатулка\"?", + "answerA": "Александр Грин", + "answerB": "Иван Василенко", + "answerC": "Антон Чехов", + "answerD": "Максим Горький", + "correct_answer": "B", + "choices": [ + "Состояние глубокой печали", + "Василий Олексин", + "Русская армия в войне с Наполеоном", + "Антон Чехов", + "Гавриил Олексин", + "Хорошее расположение духа", + "Максим Горький", + "Иван Василенко", + "Странник, называющий себя паломником", + "Строительство коммунизма в СССР", + "Александр Грин", + "Желание развестись с мужем" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКто является автором рассказа \"Волшебная шкатулка\"?\nA. Состояние глубокой печали\nB. Василий Олексин\nC. Русская армия в войне с Наполеоном\nD. Антон Чехов\nE. Гавриил Олексин\nF. Хорошее расположение духа\nG. Максим Горький\nH. Иван Василенко\nI. Странник, называющий себя паломником\nJ. Строительство коммунизма в СССР\nK. Александр Грин\nL. Желание развестись с мужем\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 120, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.17157235741615295, + "B": 0.09183607250452042, + "C": 0.17157235741615295, + "D": 0.05570138990879059, + "E": 0.07152199745178223, + "F": 0.0491563081741333, + "G": 0.11791984736919403, + "H": 0.043380286544561386, + "I": 0.018083592876791954, + "J": 0.009093002416193485, + "K": 0.03378459811210632, + "L": 0.0019059969345107675 + }, + "sample": { + "question": "Кто из персонажей стал учителем-гувернёром сына знаменитого писателя?", + "answerA": "Гавриил Олексин", + "answerB": "Василий Олексин", + "answerC": "Фёдор Олексин", + "answerD": "Владимир Олексин", + "correct_answer": "Василий Олексин", + "choices": [ + "Косарь из Тамбовской губернии по имени Никита", + "Владимир Олексин", + "Странник, называющий себя па��омником", + "Русская армия в войне с Наполеоном", + "Гавриил Олексин", + "Желание развестись с мужем", + "Состояние глубокой печали", + "Василий Олексин", + "1895", + "Строительство коммунизма в СССР", + "Фёдор Олексин", + "Хорошее расположение духа" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКто из персонажей стал учителем-гувернёром сына знаменитого писателя?\nA. Косарь из Тамбовской губернии по имени Никита\nB. Владимир Олексин\nC. Странник, называющий себя паломником\nD. Русская армия в войне с Наполеоном\nE. Гавриил Олексин\nF. Желание развестись с мужем\nG. Состояние глубокой печали\nH. Василий Олексин\nI. 1895\nJ. Строительство коммунизма в СССР\nK. Фёдор Олексин\nL. Хорошее расположение духа\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 134, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.04360657185316086, + "B": 0.0384826585650444, + "C": 0.17246732115745544, + "D": 0.13431769609451294, + "E": 0.049412716180086136, + "F": 0.049412716180086136, + "G": 0.19543108344078064, + "H": 0.049412716180086136, + "I": 0.017076577991247177, + "J": 0.03396082669496536, + "K": 0.09231510758399963, + "L": 0.006687283981591463 + }, + "sample": { + "question": "Какая ключевая тема затрагивается в книге 'Были и небыли. Книга 2. Переправа' Василия Бориса Львовича?", + "answerA": "Строительство коммунизма в СССР", + "answerB": "Русская армия в войне с Наполеоном", + "answerC": "Русская армия вступает в войну с Турцией за свободу Болгарии", + "answerD": "Космические исследования в 20 веке", + "correct_answer": "Русская армия вступает в войну с Турцией за свободу Болгарии", + "choices": [ + "1895", + "Космические исследования в 20 веке", + "Русская армия в войне с Наполеоном", + "Русская армия вступает в войну с Турцией за свободу Болгарии", + "Хорошее расположение духа", + "Право совместного проживания с мужем", + "Косарь из Тамбовской губернии по имени Никита", + "1939", + "Желание развестись с мужем", + "Состояние глубокой печали", + "Строительство коммунизма в СССР", + "Странник, называющий себя паломником" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКакая ключевая тема затрагивается в книге 'Были и небыли. Книга 2. Переправа' Василия Бориса Львовича?\nA. 1895\nB. Космические исследования в 20 веке\nC. Русская армия в войне с Наполеоном\nD. Русская армия вступает в войну с Турцией за свободу Болгарии\nE. Хорошее расположение духа\nF. Право совместного проживания с мужем\nG. Косарь из Тамбовской губернии по имени Никита\nH. 1939\nI. Желание развестись с мужем\nJ. Состояние глубокой печали\nK. Строительство коммунизма в СССР\nL. Странник, называющий себя паломником\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 163, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0010179819073528051, + "B": 0.005169739481061697, + "C": 0.0045622787438333035, + "D": 0.021765414625406265, + "E": 0.010944337584078312, + "F": 0.003135605249553919, + "G": 0.010281254537403584, + "H": 0.9254889488220215, + "I": 0.0002133806119672954, + "J": 0.00012158061872469261, + "K": 0.000310466974042356, + "L": 4.201713454676792e-05 + }, + "sample": { + "question": "Что означает слово 'euthymia', как объяснила его Люся из романа 'Euthymia'?", + "answerA": "Состояние глубокой печали", + "answerB": "Хорошее расположение духа", + "answerC": "Стремление к знаниям", + "answerD": "Спокойствие и отсутствие эмоций", + "correct_answer": "answerB", + "choices": [ + "Стремление к знаниям", + "Странник, называющий себя паломником", + "Спокойствие и отсутствие эмоций", + "Косарь из Тамбовской губернии по имени Никита", + "Предыдущая любовница убитого", + "Право совместного проживания с мужем", + "1895", + "Хорошее расположение духа", + "Желание развестись с мужем", + "1939", + "Состояние глубокой печали", + "1897" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nЧто означает слово 'euthymia', как объяснила его Люся из романа 'Euthymia'?\nA. Стремление к знаниям\nB. Странник, называющий себя паломником\nC. Спокойствие и отсутствие эмоций\nD. Косарь из Тамбовской губернии по имени Никита\nE. Предыдущая любовница убитого\nF. Право совместного проживания с мужем\nG. 1895\nH. Хорошее расположение духа\nI. Желание развестись с мужем\nJ. 1939\nK. Состояние глубокой печали\nL. 1897\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 147, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.025370698422193527, + "B": 0.07814725488424301, + "C": 0.3090783953666687, + "D": 0.10034305602312088, + "E": 0.03257662057876587, + "F": 0.053709764033555984, + "G": 0.21242626011371613, + "H": 0.02874876745045185, + "I": 0.0036549954675137997, + "J": 0.011258179321885109, + "K": 0.022389564663171768, + "L": 0.001523628830909729 + }, + "sample": { + "question": "Кто является главным героем рассказа 'В степи' Викентия Вересаева?", + "answerA": "Странник, называющий себя паломником", + "answerB": "Косарь из Тамбовской губернии по имени Никита", + "answerC": "Кондуктор, высаживающий 'зайцев' на станциях", + "answerD": "Длинноволосый мужчина, продававший святой припас", + "correct_answer": "B", + "choices": [ + "1939", + "Желание развестись с мужем", + "Длинноволосый мужчина, продававший святой припас", + "1940", + "1895", + "Косарь из Тамбовской губернии по имени Никита", + "Странник, называющий себя паломником", + "Кондуктор, высаживающий 'зайцев' на станциях", + "1897", + "Право совместного проживания с мужем", + "Предыдущая любовница убитого", + "Я его победил!" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКто является главным героем рассказа 'В степи' Викентия Вересаева?\nA. 1939\nB. Желание развестись с мужем\nC. Длинноволосый мужчина, продававший святой припас\nD. 1940\nE. 1895\nF. Косарь из Тамбовской губернии по имени Никита\nG. Странник, называющий себя паломником\nH. Кондуктор, высаживающий 'зайцев' на станциях\nI. 1897\nJ. Право совместного проживания с мужем\nK. Предыдущая любовница убитого\nL. Я его победил!\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 156, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.2557539939880371, + "B": 0.15512263774871826, + "C": 0.08303116261959076, + "D": 0.0940866470336914, + "E": 0.1208096370100975, + "F": 0.07327474653720856, + "G": 0.07327474653720856, + "H": 0.0392211452126503, + "I": 0.023788826540112495, + "J": 0.012733240611851215, + "K": 0.0026690324302762747, + "L": 0.0009223929373547435 + }, + "sample": { + "question": "Что преследовала героиня рассказа 'За права' Викентия Вересаева, обращаясь за помощью к властям?", + "answerA": "Желание развестись с мужем", + "answerB": "Право совместного проживания с мужем", + "answerC": "Требование алиментов с мужа", + "answerD": "Желание изменить имя и фамилию", + "correct_answer": "B", + "choices": [ + "Предыдущая любовница убитого", + "Право совместного проживания с мужем", + "1939", + "Требование алиментов с мужа", + "Иван Семёнович", + "Я его победил!", + "1897", + "Желание изменить имя и фамилию", + "Желание развестись с мужем", + "Хозяин шапочного заведения", + "1940", + "1895" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nЧто преследовала героиня рассказа 'За права' Викентия Вересаева, обращаясь за помощью к властям?\nA. Предыдущая любовница убитого\nB. Право совместного проживания с мужем\nC. 1939\nD. Требование алиментов с мужа\nE. Иван Семёнович\nF. Я его победил!\nG. 1897\nH. Желание изменить имя и фамилию\nI. Желание развестись с мужем\nJ. Хозяин шапочного заведения\nK. 1940\nL. 1895\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 137, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.02996673621237278, + "B": 0.32217279076576233, + "C": 0.08145803958177567, + "D": 0.08145803958177567, + "E": 0.11852075904607773, + "F": 0.0923040509223938, + "G": 0.0923040509223938, + "H": 0.06343957781791687, + "I": 0.004317117854952812, + "J": 0.02996673621237278, + "K": 0.008585614152252674, + "L": 0.023338118568062782 + }, + "sample": { + "question": "В каком году была написана повесть 'Загадка' Викентия Вересаева?", + "answerA": "1895", + "answerB": "1897", + "answerC": "1900", + "answerD": "1902", + "correct_answer": "B", + "choices": [ + "Он был отправлен в монастырь на исправление.", + "1897", + "Предыдущая любовница убитого", + "Бац его по морде!", + "Иван Семёнович", + "Хозяин шапочного заведения", + "1940", + "1900", + "1939", + "1902", + "Я его победил!", + "1895" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nВ каком году была написана повесть 'Загадка' Викентия Вересаева?\nA. Он был отправлен в монастырь на исправление.\nB. 1897\nC. Предыдущая любовница убитого\nD. Бац его по морде!\nE. Иван Семёнович\nF. Хозяин шапочного заведения\nG. 1940\nH. 1900\nI. 1939\nJ. 1902\nK. Я его победил!\nL. 1895\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 134, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.1680290400981903, + "B": 0.07004492729902267, + "C": 0.061814431101083755, + "D": 0.14828510582447052, + "E": 0.10191476345062256, + "F": 0.04814112186431885, + "G": 0.061814431101083755, + "H": 0.24448081851005554, + "I": 0.012957008555531502, + "J": 0.012171982787549496, + "K": 0.007382681127637625, + "L": 0.022740257903933525 + }, + "sample": { + "question": "В каком году написан рассказ «Миллионерша и дочь» Викентия Вересаева?", + "answerA": "1939", + "answerB": "1940", + "answerC": "1941", + "answerD": "1945", + "correct_answer": "1940", + "choices": [ + "1940", + "Потому что работает с мёдом.", + "Иван Семёнович", + "1941", + "1945", + "Я его победил!", + "Он был отправлен в монастырь на исправление.", + "1939", + "Хозяин шапочного заведения", + "Бац его по морде!", + "Иван Михайлович", + "Предыдущая любовница убитого" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nВ каком году написан рассказ «Миллионерша и дочь» Викентия Вересаева?\nA. 1940\nB. Потому что работает с мёдом.\nC. Иван Семёнович\nD. 1941\nE. 1945\nF. Я его победил!\nG. Он был отправлен в монастырь на исправление.\nH. 1939\nI. Хозяин шапочного заведения\nJ. Бац его по морде!\nK. Иван Михайлович\nL. Предыдущая любовница убитого\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 132, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.08513828366994858, + "B": 0.0751342698931694, + "C": 0.09647432714700699, + "D": 0.2622443735599518, + "E": 0.058514632284641266, + "F": 0.045571234077215195, + "G": 0.06630576401948929, + "H": 0.045571234077215195, + "I": 0.020222114399075508, + "J": 0.058514632284641266, + "K": 0.035490915179252625, + "L": 0.008973509073257446 + }, + "sample": { + "question": "Кто оказался убийцей старика, найденного задушенным под кроватью на Хитровом рынке?", + "answerA": "Предыдущая любовница убитого", + "answerB": "Хозяин шапочного заведения", + "answerC": "Городовой, помогавший в расследовании", + "answerD": "Татьяна, последняя спутница старика", + "correct_answer": "answerD", + "choices": [ + "Городовой, помогавший в расследовании", + "Бац его по морде!", + "Потому что работает с мёдом.", + "Михаил Иванович Михайлов", + "Хозяин шапочного заведения", + "Иван Михайлович", + "Иван Семёнович", + "Я его победил!", + "Татьяна, последняя спутница старика", + "Предыдущая любовница убитого", + "Он был отправлен в монастырь на исправление.", + "Помещик притворился священником и отпел панихиду." + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКто оказался убийцей старика, найденного задушенным под кроватью на Хитровом рынке?\nA. Городовой, помогавший в расследовании\nB. Бац его по морде!\nC. Потому что работает с мёдом.\nD. Михаил Иванович Михайлов\nE. Хозяин шапочного за��едения\nF. Иван Михайлович\nG. Иван Семёнович\nH. Я его победил!\nI. Татьяна, последняя спутница старика\nJ. Предыдущая любовница убитого\nK. Он был отправлен в монастырь на исправление.\nL. Помещик притворился священником и отпел панихиду.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 145, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0707695335149765, + "B": 0.0707695335149765, + "C": 0.19237151741981506, + "D": 0.19237151741981506, + "E": 0.04292389005422592, + "F": 0.11667922884225845, + "G": 0.11667922884225845, + "H": 0.06245388835668564, + "I": 0.010852859355509281, + "J": 0.02027580887079239, + "K": 0.016809236258268356, + "L": 0.007940120995044708 + }, + "sample": { + "question": "Что мальчик Игорь сказал после удара по комару?", + "answerA": "Я его победил!", + "answerB": "Бац его по морде!", + "answerC": "Охотник за комарами!", + "answerD": "Ой, я себя ударил!", + "correct_answer": "Ой, я себя ударил!", + "choices": [ + "Потому что работает с мёдом.", + "Из-за того, что раньше занимался с бабами.", + "Охотник за комарами!", + "Ой, я себя ударил!", + "Был продвинут по службе за успокоение бунта", + "Бац его по морде!", + "Я его победил!", + "Помещик притворился священником и отпел панихиду.", + "Иван Михайлович", + "Иван Семёнович", + "Михаил Иванович Михайлов", + "Он был отправлен в монастырь на исправление." + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nЧто мальчик Игорь сказал после удара по комару?\nA. Потому что работает с мёдом.\nB. Из-за того, что раньше занимался с бабами.\nC. Охотник за комарами!\nD. Ой, я себя ударил!\nE. Был продвинут по службе за успокоение бунта\nF. Бац его по морде!\nG. Я его победил!\nH. Помещик притворился священником и отпел панихиду.\nI. Иван Михайлович\nJ. Иван Семёнович\nK. Михаил Иванович Михайлов\nL. Он был отправлен в монастырь на исправление.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 144, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.023703739047050476, + "B": 0.10623279213905334, + "C": 0.2548392117023468, + "D": 0.13640561699867249, + "E": 0.023703739047050476, + "F": 0.030436206609010696, + "G": 0.19846898317337036, + "H": 0.03908086195588112, + "I": 0.006791235413402319, + "J": 0.01846049167215824, + "K": 0.05686231702566147, + "L": 0.0008634086698293686 + }, + "sample": { + "question": "Как звали фельдшера в рассказе из 'Навыдуманные рассказы о прошлом. Часть II'?", + "answerA": "Иван Семёнович", + "answerB": "Иван Михайлович", + "answerC": "Михаил Иванович", + "answerD": "Иван Петрович", + "correct_answer": "Иван Михайлович", + "choices": [ + "Был продвинут по службе за успокоение бунта", + "Иван Михайлович", + "Михаил Иванович", + "Из-за того, что раньше занимался с бабами.", + "Потому что работает с мёдом.", + "Он был отправлен в монастырь на исправление.", + "Иван Петрович", + "1939", + "Иван Семёнович", + "Помещик притворился священником и отпел панихиду.", + "Михаил Иванович Михайлов", + "Николай Николаевич Фигнер" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКак звали фельдшера в рассказе из 'Навыдуманные рассказы о прошлом. Часть II'?\nA. Был продвинут по службе за успокоение бунта\nB. Иван Михайлович\nC. Михаил Иванович\nD. Из-за того, что раньше занимался с бабами.\nE. Потому что работает с мёдом.\nF. Он был отправлен в монастырь на исправление.\nG. Иван Петрович\nH. 1939\nI. Иван Семёнович\nJ. Помещик притворился священником и отпел панихиду.\nK. Михаил Иванович Михайлов\nL. Николай Николаевич Фигнер\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 148, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.07544241845607758, + "B": 0.09686998277902603, + "C": 0.06657770276069641, + "D": 0.07544241845607758, + "E": 0.2323790043592453, + "F": 0.05875461548566818, + "G": 0.12438352406024933, + "H": 0.0854874700307846, + "I": 0.01231563650071621, + "J": 0.05185076594352722, + "K": 0.015813589096069336, + "L": 0.005133920814841986 + }, + "sample": { + "question": "Что произошло с пьяным священником в истории 'Навыдуманные рассказы о прошлом. Часть III'?", + "answerA": "Он был отправлен в монастырь на исправление.", + "answerB": "Помещик притворился священником и отпел панихиду.", + "answerC": "Его изгнали из села за пьянки и разврат.", + "answerD": "Его пригласили на ужин к помещику.", + "correct_answer": "B", + "choices": [ + "Николай Николаевич Фигнер", + "Помещик притворился священником и отпел панихиду.", + "Ушел в отставку, разочаровавшись в армейской жизни", + "Из-за того, что раньше занимался с бабами.", + "Его изгнали из села за пьянки и разврат.", + "Он был отправлен в монастырь на исправление.", + "1939", + "Михаил Иванович Михайлов", + "Был продвинут по службе за успокоение бунта", + "Его пригласили на ужин к помещику.", + "Применил тест на честность, подложив свое бельё в их кучи", + "Потому что работает с мёдом." + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nЧто произошло с пьяным священником в истории 'Навыдуманные рассказы о прошлом. Часть III'?\nA. Николай Николаевич Фигнер\nB. Помещик притворился священником и отпел панихиду.\nC. Ушел в отставку, разочаровавшись в армейской жизни\nD. Из-за того, что раньше занимался с бабами.\nE. Его изгнали из села за пьянки и разврат.\nF. Он был отправлен в монастырь на исправление.\nG. 1939\nH. Михаил Иванович Михайлов\nI. Был продвинут по службе за успокоение бунта\nJ. Его пригласили на ужин к помещику.\nK. Применил тест на честность, подложив свое бельё в их кучи\nL. Потому что работает с мёдом.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 184, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.2458142191171646, + "B": 0.27854400873184204, + "C": 0.13157488405704498, + "D": 0.03769683092832565, + "E": 0.09042999893426895, + "F": 0.06215156987309456, + "G": 0.054848562926054, + "H": 0.02590862847864628, + "I": 0.002730749547481537, + "J": 0.007422946393489838, + "K": 0.006550727412104607, + "L": 0.002730749547481537 + }, + "sample": { + "question": "Что сказал пасечник о причинах, по которым пчёлы его жалят?", + "answerA": "Потому что работает с мёдом.", + "answerB": "Из-за того, что раньше занимался с бабами.", + "answerC": "Потому что носит яркую одежду.", + "answerD": "Из-за того, что давно бросил это дело.", + "correct_answer": "answerD", + "choices": [ + "Из-за того, что давно бросил это дело.", + "Применил тест на честность, подложив свое бельё в их кучи", + "Николай Николаевич Фигнер", + "1945", + "Из-за того, что раньше занимался с бабами.", + "Был продвинут по службе за успокоение бунта", + "Михаил Иванович Михайлов", + "Ушел в отставку, разочаровавшись в армейской жизни", + "Важность поддержания чистоты в доме", + "1939", + "Потому что носит яркую одежду.", + "Потому что работает с мёдом." + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nЧто сказал пасечник о причинах, по которым пчёлы его жалят?\nA. Из-за того, что давно бросил это дело.\nB. Применил тест на честность, подложив свое бельё в их кучи\nC. Николай Николаевич Фигнер\nD. 1945\nE. Из-за того, что раньше занимался с бабами.\nF. Был продвинут по службе за успокоение бунта\nG. Михаил Иванович Михайлов\nH. Ушел в отставку, разочаровавшись в армейской жизни\nI. Важность поддержания чистоты в доме\nJ. 1939\nK. Потому что носит яркую одежду.\nL. Потому что работает с мёдом.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 167, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.10359543561935425, + "B": 0.06283380091190338, + "C": 0.0914226546883583, + "D": 0.3190964162349701, + "E": 0.07120003551244736, + "F": 0.043185003101825714, + "G": 0.06283380091190338, + "H": 0.05545063689351082, + "I": 0.023115267977118492, + "J": 0.027882331982254982, + "K": 0.016911489889025688, + "L": 0.00662263436242938 + }, + "sample": { + "question": "Кто из перечисленных теноров учился пению в Италии?", + "answerA": "Михаил Иванович Михайлов", + "answerB": "Николай Николаевич Фигнер", + "answerC": "Пётр Гермогенович Смидович", + "answerD": "Викентий Викентьевич Вересаев", + "correct_answer": "B", + "choices": [ + "Ушел в отставку, разочаровавшись в армейской жизни", + "Призвал к общественному суду всех жителей местечка", + "Применил тест на честность, подложив свое бельё в их кучи", + "Николай Николаевич Фигнер", + "1939", + "Михаил Иванович Михайлов", + "Был продвинут по службе за успокоение бунта", + "Важность поддержания чистоты в доме", + "Викентий Викентьевич Вересаев", + "В желании Елены Николаевны контролировать каждый шаг мужа", + "1945", + "Пётр Гермогенович Смидович" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКто из перечисленных теноров учился пению в Итали��?\nA. Ушел в отставку, разочаровавшись в армейской жизни\nB. Призвал к общественному суду всех жителей местечка\nC. Применил тест на честность, подложив свое бельё в их кучи\nD. Николай Николаевич Фигнер\nE. 1939\nF. Михаил Иванович Михайлов\nG. Был продвинут по службе за успокоение бунта\nH. Важность поддержания чистоты в доме\nI. Викентий Викентьевич Вересаев\nJ. В желании Елены Николаевны контролировать каждый шаг мужа\nK. 1945\nL. Пётр Гермогенович Смидович\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 163, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.018728381022810936, + "B": 0.48301130533218384, + "C": 0.3319684863090515, + "D": 0.03087787888944149, + "E": 0.021222036331892014, + "F": 0.007807150483131409, + "G": 0.01652773842215538, + "H": 0.006080214865505695, + "I": 0.0001620322436792776, + "J": 0.0014441777020692825, + "K": 0.0025346106849610806, + "L": 0.00011136302055092528 + }, + "sample": { + "question": "Что ожидало капитана Тиунова после его попытки повлиять на ситуацию в полку?", + "answerA": "Был продвинут по службе за успокоение бунта", + "answerB": "Ушел в отставку, разочаровавшись в армейской жизни", + "answerC": "Застрелился, пуля прошла на вылет, но не задела сердца и крупных сосудов", + "answerD": "Стал народным героем и получил награду за мужество", + "correct_answer": "Застрелился, пуля прошла на вылет, но не задела сердца и крупных сосудов", + "choices": [ + "1945", + "Ушел в отставку, разочаровавшись в армейской жизни", + "Стал народным героем и получил награду за мужество", + "Дважды-Венчанный", + "Необходимость внешнего порядка даже при внутреннем хаосе", + "В желании Елены Николаевны контролировать каждый шаг мужа", + "Застрелился, пуля прошла на вылет, но не задела сердца и крупных сосудов", + "Важность поддержания чистоты в доме", + "1939", + "Призвал к общественному суду всех жителей местечка", + "Был продвинут по службе за успокоение бунта", + "Применил тест на честность, подложив свое бельё в их кучи" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nЧто ожидало капитана Тиунова после его попытки повлиять на ситуацию в полку?\nA. 1945\nB. Ушел в отставку, разочаровавшись в армейской жизни\nC. Стал народным героем и получил награду за мужество\nD. Дважды-Венчанный\nE. Необходимость внешнего порядка даже при внутреннем хаосе\nF. В желании Елены Николаевны контролировать каждый шаг мужа\nG. Застрелился, пуля прошла на вылет, но не задела сердца и крупных сосудов\nH. Важность поддержания чистоты в доме\nI. 1939\nJ. Призвал к общественному суду всех жителей местечка\nK. Был продвинут по службе за успокоение бунта\nL. Применил тест на честность, подложив свое бельё в их кучи\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 181, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.06872230023145676, + "B": 0.06064721196889877, + "C": 0.1648562252521515, + "D": 0.30799198150634766, + "E": 0.07787256687879562, + "F": 0.05352097377181053, + "G": 0.11330392956733704, + "H": 0.03246211260557175, + "I": 0.0072432770393788815, + "J": 0.028647715225815773, + "K": 0.028647715225815773, + "L": 0.004127094987779856 + }, + "sample": { + "question": "В каком году был опубликован 'Невыдуманные рассказы о прошлом. Часть VII' Вересаева Викентия Викентьевича?", + "answerA": "1939", + "answerB": "1945", + "answerC": "1950", + "answerD": "1941", + "correct_answer": "1945", + "choices": [ + "Стальштадт", + "Применил тест на честность, подложив свое бельё в их кучи", + "В желании Елены Николаевны контролировать каждый шаг мужа", + "1941", + "1945", + "Необходимость внешнего порядка даже при внутреннем хаосе", + "1939", + "Дважды-Венчанный", + "Призвал к общественному суду всех жителей местечка", + "Важность поддержания чистоты в доме", + "В недопонимании и мелких ссорах, вызванных пустяками", + "1950" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nВ каком году был опубликован 'Невыдуманные рассказы о прошлом. Часть VII' Вересаева Викентия Викентьевича?\nA. Стальштадт\nB. Применил тест на честность, подложив свое бельё в их кучи\nC. В желании Елены Николаевны контролировать каждый шаг мужа\nD. 1941\nE. 1945\nF. Необходимость внешнего порядка даже при внутреннем хаосе\nG. 1939\nH. Дважды-Венчанный\nI. Призвал к общественному суду всех жителей местечка\nJ. Важность поддержания чистоты в доме\nK. В недопонимании и мелких ссорах, вызванных пустяками\nL. 1950\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 174, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.009105023927986622, + "B": 0.015011646784842014, + "C": 0.04623912647366524, + "D": 0.05937221273779869, + "E": 0.18287929892539978, + "F": 0.02475002221763134, + "G": 0.04623912647366524, + "H": 0.05937221273779869, + "I": 0.43870460987091064, + "J": 0.031779658049345016, + "K": 0.015011646784842014, + "L": 0.0023021106608211994 + }, + "sample": { + "question": "Что символизирует выражение 'Не дави клопов на обоях', упомянутое в 'Невыдуманные рассказы о прошлом. Часть IX' Викентия Вересаева?", + "answerA": "Важность поддержания чистоты в доме", + "answerB": "Необходимость внешнего порядка даже при внутреннем хаосе", + "answerC": "Значение небольших улучшений в трудных ситуациях", + "answerD": "Совет избегать лишнего ущерба при решении проблем", + "correct_answer": "D", + "choices": [ + "Слау", + "Единорог", + "Стальштадт", + "В желании Елены Николаевны контролировать каждый шаг мужа", + "Значение небольших улучшений в трудных ситуациях", + "Франсевиль", + "Необходимость внешнего порядка даже при внутреннем хаосе", + "Александр Дюма", + "В недопонимании и мелких ссорах, вызванных пустяками", + "Дважды-Венчанный", + "Важность поддержания чистоты в доме", + "Совет избегать лишнего ущерба при решении проблем" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nЧто символизирует выражение 'Не дави клопов на обоях', упомянутое в 'Невыдуманные рассказы о прошлом. Часть IX' Викентия Вересаева?\nA. Слау\nB. Единорог\nC. Стальштадт\nD. В желании Елены Николаевны контролировать каждый шаг мужа\nE. Значение небольших улучшений в трудных ситуациях\nF. Франсевиль\nG. Необходимость внешнего порядка даже при внутреннем хаосе\nH. Александр Дюма\nI. В недопонимании и мелких ссорах, вызванных пустяками\nJ. Дважды-Венчанный\nK. Важность поддержания чистоты в доме\nL. Совет избегать лишнего ущерба при решении проблем\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 162, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.011766701005399227, + "B": 0.11883947253227234, + "C": 0.013333418406546116, + "D": 0.030047321692109108, + "E": 0.19593316316604614, + "F": 0.038581524044275284, + "G": 0.038581524044275284, + "H": 0.1729104071855545, + "I": 0.0062982612289488316, + "J": 0.056135788559913635, + "K": 0.009754938073456287, + "L": 0.22202135622501373 + }, + "sample": { + "question": "В чем Готовцев осознал причину раздражения и отчуждения между супругами в рассказе 'Паутина' Вересаева?", + "answerA": "В желании Елены Николаевны контролировать каждый шаг мужа", + "answerB": "В недопонимании и мелких ссорах, вызванных пустяками", + "answerC": "В отсутствии общих интересов и хобби у супругов", + "answerD": "В экономических спорах и разногласиях по поводу бюджета", + "correct_answer": "В недопонимании и мелких ссорах, вызванных пустяками", + "choices": [ + "В экономических спорах и разногласиях по поводу бюджета", + "В желании Елены Николаевны контролировать каждый шаг мужа", + "Франсевиль", + "Жюль Верн", + "В недопонимании и мелких ссорах, вызванных пустяками", + "Единорог", + "Дважды-Венчанный", + "Александр Дюма", + "Слау", + "Стальштадт", + "Том Айртон", + "В отсутствии общих интересов и хобби у супругов" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nВ чем Готовцев осознал причину раздражения и отчуждения между супругами в рассказе 'Паутина' Вересаева?\nA. В экономических спорах и разногласиях по поводу бюджета\nB. В желании Елены Николаевны контролировать каждый шаг мужа\nC. Франсевиль\nD. Жюль Верн\nE. В недопонимании и мелких ссорах, вызванных пустяками\nF. Единорог\nG. Дважды-Венчанный\nH. Александр Дюма\nI. Слау\nJ. Стальштадт\nK. Том Айртон\nL. В отсутствии общих интересов и хобби у супругов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 143, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.18237237632274628, + "B": 0.05920764431357384, + "C": 0.08614661544561386, + "D": 0.052250564098358154, + "E": 0.05920764431357384, + "F": 0.05920764431357384, + "G": 0.11061444133520126, + "H": 0.09761690348386765, + "I": 0.0760241150856018, + "J": 0.02796771191060543, + "K": 0.024681417271494865, + "L": 0.021781275048851967 + }, + "sample": { + "question": "Кто в рассказе 'Состязание' Вересаева Викентия Викентьевича был назван 'Трижды-Венчанным' после состязания художников?", + "answerA": "Дважды-Венчанный", + "answerB": "Единорог", + "answerC": "Путник издалека", + "answerD": "Старец в пурпуровом плаще", + "correct_answer": "B", + "choices": [ + "Признание нового свидетеля.", + "Александр Дюма", + "Дважды-Венчанный", + "Нептун", + "Путник издалека", + "Стальштадт", + "Слау", + "Франсевиль", + "Старец в пурпуровом плаще", + "Том Айртон", + "Жюль Верн", + "Единорог" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКто в рассказе 'Состязание' Вересаева Викентия Викентьевича был назван 'Трижды-Венчанным' после состязания художников?\nA. Признание нового свидетеля.\nB. Александр Дюма\nC. Дважды-Венчанный\nD. Нептун\nE. Путник издалека\nF. Стальштадт\nG. Слау\nH. Франсевиль\nI. Старец в пурпуровом плаще\nJ. Том Айртон\nK. Жюль Верн\nL. Единорог\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 128, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.07407902926206589, + "B": 0.07407902926206589, + "C": 0.02725214883685112, + "D": 0.10778434574604034, + "E": 0.06141366437077522, + "F": 0.10778434574604034, + "G": 0.05769280344247818, + "H": 0.10778434574604034, + "I": 0.0422089546918869, + "J": 0.20136766135692596, + "K": 0.039651643484830856, + "L": 0.04493119940161705 + }, + "sample": { + "question": "Какой город построил французский врач Сарассин в романе 'Пятьсот миллионов бегумы'?", + "answerA": "Стальштадт", + "answerB": "Франсевиль", + "answerC": "Новый Париж", + "answerD": "Будущеград", + "correct_answer": "answerB", + "choices": [ + "Слау", + "Нептун", + "Признание нового свидетеля.", + "Майор Мак-Наббс", + "Том Айртон", + "Новый Париж", + "Стальштадт", + "Александр Дюма", + "Будущеград", + "Франсевиль", + "Жюль Верн", + "Замок был невидимым." + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКакой город построил французский врач Сарассин в романе 'Пятьсот миллионов бегумы'?\nA. Слау\nB. Нептун\nC. Признание нового свидетеля.\nD. Майор Мак-Наббс\nE. Том Айртон\nF. Новый Париж\nG. Стальштадт\nH. Александр Дюма\nI. Будущеград\nJ. Франсевиль\nK. Жюль Верн\nL. Замок был невидимым.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 111, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.039304863661527634, + "B": 0.2904258370399475, + "C": 0.0571882389485836, + "D": 0.03468642383813858, + "E": 0.19960658252239227, + "F": 0.07343115657567978, + "G": 0.039304863661527634, + "H": 0.09428746998310089, + "I": 0.0014316795859485865, + "J": 0.03468642383813858, + "K": 0.009937825612723827, + "L": 0.05046844109892845 + }, + "sample": { + "question": "Кто является автором романа 'Властелин мира'?", + "answerA": "Александр Дюма", + "answerB": "Жюль Верн", + "answerC": "Лев Толстой", + "answerD": "Марк Твен", + "correct_answer": "answerB", + "choices": [ + "Нептун", + "Том Айртон", + "Нахождение закодированного письма.", + "Переплыл через пролив Ла-Манш", + "Майор Мак-Наббс", + "Александр Дюма", + "Признание нового свидетеля.", + "Замок был невидимым.", + "Слау", + "Лев Толстой", + "Марк Твен", + "Жюль Верн" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКто является автором романа 'Властелин мира'?\nA. Нептун\nB. Том Айртон\nC. Нахождение закодированного письма.\nD. Переплыл через пролив Ла-Манш\nE. Майор Мак-Наббс\nF. Александр Дюма\nG. Признание нового свидетеля.\nH. Замок был невидимым.\nI. Слау\nJ. Лев Толстой\nK. Марк Твен\nL. Жюль Верн\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 112, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.03303048014640808, + "B": 0.06992553174495697, + "C": 0.16774263978004456, + "D": 0.13063809275627136, + "E": 0.04241197928786278, + "F": 0.07923601567745209, + "G": 0.10174105316400528, + "H": 0.06992553174495697, + "I": 0.01376915443688631, + "J": 0.08978616446256638, + "K": 0.10174105316400528, + "L": 0.00737009709700942 + }, + "sample": { + "question": "Как звали индейца, спасшего Роберта Гранта от кондора?", + "answerA": "Том Айртон", + "answerB": "Майор Мак-Наббс", + "answerC": "Талькав", + "answerD": "Жак Паганель", + "correct_answer": "Талькав", + "choices": [ + "Нахождение закодированного письма.", + "Замок был невидимым.", + "Том Айртон", + "Майор Мак-Наббс", + "В замке происходили природные аномалии.", + "Электричество", + "Переплыл через пролив Ла-Манш", + "Талькав", + "Прошел через пустыню Гоби", + "Жак Паганель", + "1865", + "Признание нового свидетеля." + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКак звали индейца, спасшего Роберта Гранта от кондора?\nA. Нахождение закодированного письма.\nB. Замок был невидимым.\nC. Том Айртон\nD. Майор Мак-Наббс\nE. В замке происходили природные аномалии.\nF. Электричество\nG. Переплыл через пролив Ла-Манш\nH. Талькав\nI. Прошел через пустыню Гоби\nJ. Жак Паганель\nK. 1865\nL. Признание нового свидетеля.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 129, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.03149038180708885, + "B": 0.045818231999874115, + "C": 0.017942680045962334, + "D": 0.04043445363640785, + "E": 0.07554150372743607, + "F": 0.043042249977588654, + "G": 0.05883178114891052, + "H": 0.15992136299610138, + "I": 0.045818231999874115, + "J": 0.26366573572158813, + "K": 0.04043445363640785, + "L": 0.12454688549041748 + }, + "sample": { + "question": "Какое событие помогло доказать невиновность Жоама Даскота в романе 'Жангада. Восемьсот льё по Амазонке'?", + "answerA": "Признание нового свидетеля.", + "answerB": "Нахождение закодированного письма.", + "answerC": "Отпечатки пальцев на месте преступления.", + "answerD": "Видеодоказательство.", + "correct_answer": "answerB", + "choices": [ + "1865", + "Научить его управлять 'Альбатросом'", + "В замке происходили природные аномалии.", + "Замок был невидимым.", + "Признание нового свидетеля.", + "Прошел через пустыню Гоби", + "Переплыл через пролив Ла-Манш", + "Отпечатки пальцев на месте преступления.", + "Электричество", + "Видеодоказательство.", + "Оксигидрический газ", + "Нахождение закодированного письма." + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКакое событие помогло доказать невиновность Жоама Даскота в романе 'Жангада. Восемьсот льё по Амазонке'?\nA. 1865\nB. Научить его управлять 'Альбатросом'\nC. В замке происходили природные аномалии.\nD. Замок был невидимым.\nE. Признание нового свидетеля.\nF. Прошел через пустыню Гоби\nG. Переплыл через пролив Ла-Манш\nH. Отпечатки пальцев на месте преступления.\nI. Электричество\nJ. Видеодоказательство.\nK. Оксигидрический газ\nL. Нахождение закодированного письма.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 157, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.2391689270734787, + "B": 0.34798872470855713, + "C": 0.18626494705677032, + "D": 0.06852304190397263, + "E": 0.028564654290676117, + "F": 0.013492987491190434, + "G": 0.028564654290676117, + "H": 0.015289558097720146, + "I": 0.0008625778718851507, + "J": 0.003631588537245989, + "K": 0.0015138712478801608, + "L": 0.0002630713861435652 + }, + "sample": { + "question": "В чем была особенность замка в Карпатах, описанном в романе Жюля Верна?", + "answerA": "Замок был невидимым.", + "answerB": "В замке происходили природные аномалии.", + "answerC": "В замке создавались иллюзии призраков.", + "answerD": "Замок постоянно перемещался по горам.", + "correct_answer": "В замке создавались иллюзии призраков.", + "choices": [ + "Оксигидрический газ", + "В замке происходили природные аномалии.", + "В замке создавались иллюзии призраков.", + "1865", + "Научить его управлять 'Альбатросом'", + "Замок был невидимым.", + "Переплыл через пролив Ла-Манш", + "Прошел через пустыню Гоби", + "Алиса Уоткинс", + "1870", + "Электричество", + "Замок постоянно перемещался по горам." + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nВ чем была особенность замка в Карпатах, описанном в романе Жюля Верна?\nA. Оксигидрический газ\nB. В замке происходили природные аномалии.\nC. В замке создавались иллюзии призраков.\nD. 1865\nE. Научить его управлять 'Альбатросом'\nF. Замок был невидимым.\nG. Переплыл через пролив Ла-Манш\nH. Прошел через пустыню Гоби\nI. Алиса Уоткинс\nJ. 1870\nK. Электричество\nL. Замок постоянно перемещался по горам.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 144, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.17752490937709808, + "B": 0.08385683596134186, + "C": 0.04488532617688179, + "D": 0.04488532617688179, + "E": 0.10767430067062378, + "F": 0.1220109686255455, + "G": 0.06530777364969254, + "H": 0.13825653493404388, + "I": 0.03084920160472393, + "J": 0.0576338991522789, + "K": 0.016512388363480568, + "L": 0.03084920160472393 + }, + "sample": { + "question": "Какое испытание преодолел Михаил Строгов в ходе событий романа 'Михаил Строгов'?", + "answerA": "Переплыл через пролив Ла-Манш", + "answerB": "Прошел через пустыню Гоби", + "answerC": "Был ослеплен по приговору татарского хана", + "answerD": "Выжил после зимовки в Антарктиде", + "correct_answer": "Был ослеплен по приговору татарского хана", + "choices": [ + "1865", + "Алиса Уоткинс", + "Оксигидрический газ", + "Электричество", + "Переплыл через пролив Ла-Манш", + "Выжил после зимовки в Антарктиде", + "Прошел через пустыню Гоби", + "Говорить на любых языках", + "Был ослеплен по приговору татарского хана", + "Прочитать лекцию о важности смелости", + "1870", + "Научить его управлять 'Альбатросом'" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКакое испытание преодолел Михаил Строгов в ходе событий романа 'Михаил Строгов'?\nA. 1865\nB. Алиса Уоткинс\nC. Оксигидрический газ\nD. Электричество\nE. Переплыл через пролив Ла-Манш\nF. Выжил после зимовки в Антарктиде\nG. Прошел через пустыню Гоби\nH. Говорить на любых языках\nI. Был ослеплен по приговору татарского хана\nJ. Прочитать лекцию о важности смелости\nK. 1870\nL. Научить его управлять 'Альбатросом'\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 155, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.287336528301239, + "B": 0.09328451007604599, + "C": 0.1742784082889557, + "D": 0.038886766880750656, + "E": 0.07265004515647888, + "F": 0.09328451007604599, + "G": 0.10570520907640457, + "H": 0.0440644845366478, + "I": 0.009832114912569523, + "J": 0.011141245253384113, + "K": 0.006348090246319771, + "L": 0.004098635166883469 + }, + "sample": { + "question": "Какое научное открытие использовал доктор Окс для освещения города Кикандона?", + "answerA": "Электричество", + "answerB": "Оксигидрический газ", + "answerC": "Лампы накаливания", + "answerD": "Солнечные батареи", + "correct_answer": "B", + "choices": [ + "Оксигидрический газ", + "1870", + "Электричество", + "Прочитать лекцию о важности смелости", + "Научить его управлять 'Альбатросом'", + "Лампы накаливания", + "1865", + "Кипрен Мере", + "Солнечные батареи", + "Говорить на любых языках", + "Алиса Уоткинс", + "Джованни Боккаччо" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКакое научное открытие использовал доктор Окс для освещения города Кикандона?\nA. Оксигидрический газ\nB. 1870\nC. Электричество\nD. Прочитать лекцию о важности смелости\nE. Научить его управлять 'Альбатросом'\nF. Лампы накаливания\nG. 1865\nH. Кипрен Мере\nI. Солнечные батареи\nJ. Говорить на любых языках\nK. Алиса Уоткинс\nL. Джованни Боккаччо\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 131, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.346684992313385, + "B": 0.06826631724834442, + "C": 0.1275382936000824, + "D": 0.346684992313385, + "E": 0.015232276171445847, + "F": 0.0063497573137283325, + "G": 0.0284576378762722, + "H": 0.007659269031137228, + "I": 0.0028176880441606045, + "J": 0.0056036412715911865, + "K": 0.003851322690024972, + "L": 0.000278988853096962 + }, + "sample": { + "question": "Какой год является годом публикации романа «Пять недель на воздушном шаре»?", + "answerA": "1865", + "answerB": "1870", + "answerC": "1863", + "answerD": "1859", + "correct_answer": "C", + "choices": [ + "1865", + "Кипрен Мере", + "Научить его управлять 'Альбатросом'", + "1863", + "1870", + "Елена проводила слишком много времени вне дома.", + "1859", + "Творить чудеса с помощью универсального автомата", + "Прочитать лекцию о важности смелости", + "Алиса Уоткинс", + "Говорить на любых языках", + "Джованни Боккаччо" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКакой год является годом публикации романа «Пять недель на воздушном шаре»?\nA. 1865\nB. Кипрен Мере\nC. Научить его управлять 'Альбатросом'\nD. 1863\nE. 1870\nF. Елена проводила слишком много времени вне дома.\nG. 1859\nH. Творить чудеса с помощью универсального автомата\nI. Прочитать лекцию о важности смелости\nJ. Алиса Уоткинс\nK. Говорить на любых языках\nL. Джованни Боккаччо\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 143, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.009912866167724133, + "B": 0.0119572002440691, + "C": 0.05034169182181358, + "D": 0.03053377754986286, + "E": 0.00772014819085598, + "F": 0.018519673496484756, + "G": 0.0237797312438488, + "H": 0.01971409097313881, + "I": 0.007252407725900412, + "J": 0.02233899012207985, + "K": 0.6132873296737671, + "L": 0.0049845026805996895 + }, + "sample": { + "question": "Какой урок решил преподать Робур Фрайколлину над Капийским морем в романе 'Робур-завоеватель'?", + "answerA": "Научить его управлять 'Альбатросом'", + "answerB": "Прочитать лекцию о важности смелости", + "answerC": "Показать красоты Капийского моря с высоты птичьего полета", + "answerD": "Посадить в большую корзину, которая будет болтаться на канате под 'брюхом' 'Альбатроса'", + "correct_answer": "answerD", + "choices": [ + "Научить его управлять 'Альбатросом'", + "Алиса Уоткинс", + "Говорить на любых языках", + "Джованни Боккаччо", + "Елена проводила слишком много времени вне дома.", + "Творить чудеса с помощью универсального автомата", + "1923", + "Показать красоты Капийского моря с высоты птичьего полета", + "Прочитать лекцию о важности смелости", + "Кипрен Мере", + "Посадить в большую корзину, которая будет болтаться на канате под 'брюхом' 'Альбатроса'", + "Федор Достоевский" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКакой урок решил преподать Робур Фрайколлину над Капийским морем в романе 'Робур-завоеватель'?\nA. Научить его управлять 'Альбатросом'\nB. Алиса Уоткинс\nC. Говорить на любых языках\nD. Джованни Боккаччо\nE. Елена проводила слишком много времени вне дома.\nF. Творить чудеса с помощью универсального автомата\nG. 1923\nH. Показать красоты Капийского моря с высоты птичьего полета\nI. Прочитать лекцию о важности смелости\nJ. Кипрен Мере\nK. Посадить в большую корзину, которая будет болтаться на канате под 'брюхом' 'Альбатроса'\nL. Федор Достоевский\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 181, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.4304216504096985, + "B": 0.07479605823755264, + "C": 0.051406536251306534, + "D": 0.08475504070520401, + "E": 0.06600730121135712, + "F": 0.09604005515575409, + "G": 0.02751593478024006, + "H": 0.051406536251306534, + "I": 0.01472821831703186, + "J": 0.016689257696270943, + "K": 0.0027244463562965393, + "L": 0.002121801022440195 + }, + "sample": { + "question": "Кто является главным героем романа «Южная звезда»?", + "answerA": "Алиса Уоткинс", + "answerB": "Кипрен Мере", + "answerC": "Матакит", + "answerD": "Уоткинс", + "correct_answer": "B", + "choices": [ + "Алиса Уоткинс", + "Джованни Боккаччо", + "1923", + "Кипрен Мере", + "Матакит", + "Уоткинс", + "Елена проводила слишком много времени вне дома.", + "Творить чудеса с помощью универсального автомата", + "Елена получила письмо от бывшего возлюбленного.", + "Эрик Рыжий", + "Федор Достоевский", + "Говорить на любых языках" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКто является главным героем романа «Южная звезда»?\nA. Алиса Уоткинс\nB. Джованни Боккаччо\nC. 1923\nD. Кипрен Мере\nE. Матакит\nF. Уоткинс\nG. Елена проводила слишком много времени вне дома.\nH. Творить чудеса с помощью универсального автомата\nI. Елена получила письмо от бывшего возлюбленного.\nJ. Эрик Рыжий\nK. Федор Достоевский\nL. Говорить на любых языках\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 122, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.05075102299451828, + "B": 0.010637992061674595, + "C": 0.0575084425508976, + "D": 0.021156173199415207, + "E": 0.02397308498620987, + "F": 0.018670259043574333, + "G": 0.6182740330696106, + "H": 0.030782051384449005, + "I": 0.030782051384449005, + "J": 0.012054425664246082, + "K": 0.012831867672502995, + "L": 0.0006388610927388072 + }, + "sample": { + "question": "Какую уникальную способность имеет мальчик Гум-Гам из книги Евгения Велтистова?", + "answerA": "Говорить на любых языках", + "answerB": "Творить чудеса с помощью универсального автомата", + "answerC": "Становиться невидимым", + "answerD": "Управлять погодой", + "correct_answer": "answerB", + "choices": [ + "Становиться невидимым", + "Елена проводила слишком много времени вне дома.", + "Джованни Боккаччо", + "1923", + "Тротт выиграл большой денежный приз.", + "1936", + "Творить чудеса с помощью универсального автомата", + "Федор Достоевский", + "Говорить на любых языках", + "Елена получила письмо от бывшего возлюбленного.", + "Эрик Рыжий", + "Управлять погодой" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКакую уникальную способность имеет мальчик Гум-Гам из книги Евгения Велтистова?\nA. Становиться невидимым\nB. Елена проводила слишком много времени вне дома.\nC. Джованни Боккаччо\nD. 1923\nE. Тротт выиграл большой денежный приз.\nF. 1936\nG. Творить чудеса с помощью универсального автомата\nH. Федор Достоевский\nI. Говорить на любых языках\nJ. Елена получила письмо от бывшего возлюбленного.\nK. Эрик Рыжий\nL. Управлять погодой\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 136, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.08656424283981323, + "B": 0.1427203118801117, + "C": 0.3021388649940491, + "D": 0.08656424283981323, + "E": 0.04633449763059616, + "F": 0.031845200806856155, + "G": 0.07639267295598984, + "H": 0.04633449763059616, + "I": 0.0038033672608435154, + "J": 0.011005408130586147, + "K": 0.02056080847978592, + "L": 0.0016877340385690331 + }, + "sample": { + "question": "Кто является автором произведения 'Истинная тигрица'?", + "answerA": "Джованни Боккаччо", + "answerB": "Федор Достоевский", + "answerC": "Габриэль Гарсиа Маркес", + "answerD": "Верга Джованни", + "correct_answer": "answerD", + "choices": [ + "1936", + "Федор Достоевский", + "Верга Джованни", + "1923", + "Елена получила письмо от бывшего возлюбленного.", + "Эрик Рыжий", + "Габриэль Гарсиа Маркес", + "Преподаватель", + "Елена проводила слишком много времени вне дома.", + "Тротт выиграл большой денежный приз.", + "Джованни Боккаччо", + "Торфинн Карлсефни" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКто является автором произведения 'Истинная тигрица'?\nA. 1936\nB. Федор Достоевский\nC. Верга Джованни\nD. 1923\nE. Елена получила письмо от бывшего возлюбленного.\nF. Эрик Рыжий\nG. Габриэль Гарсиа Маркес\nH. Преподаватель\nI. Елена проводила слишком много времени вне дома.\nJ. Тротт выиграл большой денежный приз.\nK. Джованни Боккаччо\nL. Торфинн Карлсефни\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 132, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.05254870280623436, + "B": 0.067473866045475, + "C": 0.161861389875412, + "D": 0.067473866045475, + "E": 0.067473866045475, + "F": 0.0764579102396965, + "G": 0.14284217357635498, + "H": 0.036116160452365875, + "I": 0.067473866045475, + "J": 0.12605778872966766, + "K": 0.04092497006058693, + "L": 0.0009041504235938191 + }, + "sample": { + "question": "Что стало причиной ревности Чезаре к своей жене Елене в романе 'Муж Елены'?", + "answerA": "Елена проводила слишком много времени вне дома.", + "answerB": "Елена получила письмо от бывшего возлюбленного.", + "answerC": "Елена получала внимание от других мужчин в обществе.", + "answerD": "Елена забыла о годовщине их свадьбы.", + "correct_answer": "Елена получала внимание от других мужчин в обществе.", + "choices": [ + "Эрик Рыжий", + "Клотильда обнаружила, что Тротт является слепым.", + "Елена получала внимание от других мужчин в обществе.", + "1849", + "1936", + "Тротт выиграл большой денежный приз.", + "Торфинн Карлсефни", + "Преподаватель", + "Елена забыла о годовщине их свадьбы.", + "Елена получила письмо от бывшего возлюбленного.", + "1923", + "Елена проводила слишком много времени вне дома." + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nЧто стало причиной ревности Чезаре к своей жене Елене в романе 'Муж Елены'?\nA. Эрик Рыжий\nB. Клотильда обнаружила, что Тротт является слепым.\nC. Елена получала внимание от других мужчин в обществе.\nD. 1849\nE. 1936\nF. Тротт выиграл большой денежный приз.\nG. Торфинн Карлсефни\nH. Преподаватель\nI. Елена забыла о годовщине их свадьбы.\nJ. Елена получила письмо от бывшего возлюбленного.\nK. 1923\nL. Елена проводила слишком много времени вне дома.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 160, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.1196533814072609, + "B": 0.3685583770275116, + "C": 0.25330621004104614, + "D": 0.105593740940094, + "E": 0.0207926407456398, + "F": 0.00718574458733201, + "G": 0.0266982801258564, + "H": 0.01834944076836109, + "I": 0.0004593692719936371, + "J": 0.0029954640194773674, + "K": 0.0020587502513080835, + "L": 0.0001587537699379027 + }, + "sample": { + "question": "Какой год создания рассказа 'Патроны' Аркадия Гайдара?", + "answerA": "1923", + "answerB": "1936", + "answerC": "1926", + "answerD": "1941", + "correct_answer": "answerC", + "choices": [ + "1923", + "1936", + "1926", + "Клотильда обнаружила, что Тротт является слепым.", + "Тротт выиграл большой денежный приз.", + "Построила летающий корабль", + "1941", + "Торфинн Карлсефни", + "Врач", + "1849", + "Эрик Рыжий", + "Преподаватель" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКакой год создания рассказа 'Патроны' Аркадия Гайдара?\nA. 1923\nB. 1936\nC. 1926\nD. Клотильда обнаружила, что Тротт является слепым.\nE. Тротт выиграл большой денежный приз.\nF. Построила летающий корабль\nG. 1941\nH. Торфинн Карлсефни\nI. Врач\nJ. 1849\nK. Эрик Рыжий\nL. Преподаватель\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 138, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.15142935514450073, + "B": 0.029818207025527954, + "C": 0.029818207025527954, + "D": 0.28290727734565735, + "E": 0.06312514841556549, + "F": 0.04338523745536804, + "G": 0.08105429261922836, + "H": 0.055707741528749466, + "I": 0.13363593816757202, + "J": 0.04338523745536804, + "K": 0.023222442716360092, + "L": 0.0026054857298731804 + }, + "sample": { + "question": "Как звали викинга, попавшего в будущее в фильме 'Фантастическая сага'?", + "answerA": "Эрик Рыжий", + "answerB": "Торфинн Карлсефни", + "answerC": "Одтар", + "answerD": "Бьярни Х��рлофсон", + "correct_answer": "Одтар", + "choices": [ + "Клотильда обнаружила, что Тротт является слепым.", + "Тротт выиграл большой денежный приз.", + "Преподаватель", + "Торфинн Карлсефни", + "Построила летающий корабль", + "Врач", + "Лев Толстой", + "1849", + "Бьярни Херлофсон", + "Одтар", + "Эрик Рыжий", + "1868" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКак звали викинга, попавшего в будущее в фильме 'Фантастическая сага'?\nA. Клотильда обнаружила, что Тротт является слепым.\nB. Тротт выиграл большой денежный приз.\nC. Преподаватель\nD. Торфинн Карлсефни\nE. Построила летающий корабль\nF. Врач\nG. Лев Толстой\nH. 1849\nI. Бьярни Херлофсон\nJ. Одтар\nK. Эрик Рыжий\nL. 1868\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 139, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.013991924934089184, + "B": 0.02035813219845295, + "C": 0.006609317846596241, + "D": 0.04048697650432587, + "E": 0.11005500704050064, + "F": 0.013991924934089184, + "G": 0.0216711163520813, + "H": 0.6333228945732117, + "I": 0.007489337585866451, + "J": 0.009033865295350552, + "K": 0.005147342104464769, + "L": 0.09712321311235428 + }, + "sample": { + "question": "Какое событие способствовало женитьбе Дж. Тротта на Клотильде Монморанси в фильме 'Джентльмен из Лапорта'?", + "answerA": "Тротт выиграл большой денежный приз.", + "answerB": "Клотильда обнаружила, что Тротт является слепым.", + "answerC": "Дж. Тротт нашёл золотую жилу в Лапорте.", + "answerD": "Капитан Саймс уговорил их пожениться.", + "correct_answer": "B", + "choices": [ + "Построила летающий корабль", + "Врач", + "1868", + "Тротт выиграл большой денежный приз.", + "Дж. Тротт нашёл золотую жилу в Лапорте.", + "Клотильда обнаружила, что Тротт является слепым.", + "Преподаватель", + "Капитан Саймс уговорил их пожениться.", + "1849", + "Лев Толстой", + "Изобрела велосипед", + "Корабельный капитан" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКакое событие способствовало женитьбе Дж. Тротта на Клотильде Монморанси в фильме 'Джентльмен из Лапорта'?\nA. Построила летающий корабль\nB. Врач\nC. 1868\nD. Тротт выиграл большой денежный приз.\nE. Дж. Тротт нашёл золотую жилу в Лапорте.\nF. Клотильда обнаружила, что Тротт является слепым.\nG. Преподаватель\nH. Капитан Саймс уговорил их пожениться.\nI. 1849\nJ. Лев Толстой\nK. Изобрела велосипед\nL. Корабельный капитан\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 162, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.5439624190330505, + "B": 0.03068826161324978, + "C": 0.09452648460865021, + "D": 0.03068826161324978, + "E": 0.08341933786869049, + "F": 0.00996301881968975, + "G": 0.03940450772643089, + "H": 0.010605579242110252, + "I": 0.06496704369783401, + "J": 0.00996301881968975, + "K": 0.0016264182049781084, + "L": 0.0004659765982069075 + }, + "sample": { + "question": "Какую профессию имел Джон Оукхерст, один из изгнанных из Покер-Флэта?", + "answerA": "Преподаватель", + "answerB": "Врач", + "answerC": "Профессиональный игрок в покер", + "answerD": "Ковбой", + "correct_answer": "Профессиональный игрок в покер", + "choices": [ + "Преподаватель", + "Врач", + "Корабельный капитан", + "Лев Толстой", + "Что она действительно аристократка", + "О. Генри", + "1849", + "1868", + "Профессиональный игрок в покер", + "Ковбой", + "Изобрела велосипед", + "Построила летающий корабль" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКакую профессию имел Джон Оукхерст, один из изгнанных из Покер-Флэта?\nA. Преподаватель\nB. Врач\nC. Корабельный капитан\nD. Лев Толстой\nE. Что она действительно аристократка\nF. О. Генри\nG. 1849\nH. 1868\nI. Профессиональный игрок в покер\nJ. Ковбой\nK. Изобрела велосипед\nL. Построила летающий корабль\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 128, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.030699001625180244, + "B": 0.13758337497711182, + "C": 0.08344852924346924, + "D": 0.05735328420996666, + "E": 0.20018261671066284, + "F": 0.17666053771972656, + "G": 0.09455958008766174, + "H": 0.04466678202152252, + "I": 0.009362665936350822, + "J": 0.05735328420996666, + "K": 0.018619883805513382, + "L": 0.013622598722577095 + }, + "sample": { + "question": "В каком году происходят события рассказа 'Счастье Ревущего Стана'?", + "answerA": "1849", + "answerB": "1868", + "answerC": "1883", + "answerD": "1901", + "correct_answer": "answerB", + "choices": [ + "Изобрела велосипед", + "1849", + "Что она действительно аристократка", + "Построила летающий корабль", + "1868", + "О. Генри", + "Ида была известным художником.", + "Корабельный капитан", + "Лев Толстой", + "1883", + "1901", + "Конный полисмен" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nВ каком году происходят события рассказа 'Счастье Ревущего Стана'?\nA. Изобрела велосипед\nB. 1849\nC. Что она действительно аристократка\nD. Построила летающий корабль\nE. 1868\nF. О. Генри\nG. Ида была известным художником.\nH. Корабельный капитан\nI. Лев Толстой\nJ. 1883\nK. 1901\nL. Конный полисмен\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 124, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.03508875146508217, + "B": 0.03508875146508217, + "C": 0.013740953989326954, + "D": 0.02128240466117859, + "E": 0.019992969930171967, + "F": 0.7047764658927917, + "G": 0.05785157531499863, + "H": 0.0397607684135437, + "I": 0.002387819578871131, + "J": 0.01764373481273651, + "K": 0.010053095407783985, + "L": 0.01878165639936924 + }, + "sample": { + "question": "Какое изобретение совершила лягушка-путешественница в сказке Всеволода Гаршина?", + "answerA": "Построила летающий корабль", + "answerB": "Изобрела велосипед", + "answerC": "Нашла способ путешествовать на утках", + "answerD": "Создала машину времени", + "correct_answer": "Нашла способ путешествовать на утках", + "choices": [ + "Что она работает продавщицей и скопила деньги, чтобы пожить жизнью знатной леди", + "Ида была известным художником.", + "Корабельный капитан", + "Лев Толстой", + "1905", + "Нашла способ путешествовать на утках", + "О. Генри", + "Создала машину времени", + "Построила летающий корабль", + "Что она действительно аристократка", + "Изобрела велосипед", + "Конный полисмен" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКакое изобретение совершила лягушка-путешественница в сказке Всеволода Гаршина?\nA. Что она работает продавщицей и скопила деньги, чтобы пожить жизнью знатной леди\nB. Ида была известным художником.\nC. Корабельный капитан\nD. Лев Толстой\nE. 1905\nF. Нашла способ путешествовать на утках\nG. О. Генри\nH. Создала машину времени\nI. Построила летающий корабль\nJ. Что она действительно аристократка\nK. Изобрела велосипед\nL. Конный полисмен\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 142, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.04786701500415802, + "B": 0.06964609771966934, + "C": 0.45414960384368896, + "D": 0.114826999604702, + "E": 0.06964609771966934, + "F": 0.02562136761844158, + "G": 0.06964609771966934, + "H": 0.02562136761844158, + "I": 0.005716899875551462, + "J": 0.010033470578491688, + "K": 0.004182572942227125, + "L": 0.0016379192238673568 + }, + "sample": { + "question": "Кто является автором рассказа 'Бабье лето Джонсона Сухого Лога'?", + "answerA": "Лев Толстой", + "answerB": "О. Генри", + "answerC": "Марк Твен", + "answerD": "Федор Достоевский", + "correct_answer": "B", + "choices": [ + "Лев Толстой", + "Корабельный капитан", + "О. Генри", + "Ида была известным художником.", + "Миссис Браун видела в Иде сходство с женской головкой на серебряном долларе.", + "Что она действительно аристократка", + "Что она работает продавщицей и скопила деньги, чтобы пожить жизнью знатной леди", + "Конный полисмен", + "Федор Достоевский", + "1905", + "Марк Твен", + "Полицейский на углу" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКто является автором рассказа 'Бабье лето Джонсона Сухого Лога'?\nA. Лев Толстой\nB. Корабельный капитан\nC. О. Генри\nD. Ида была известным художником.\nE. Миссис Браун видела в Иде сходство с женской головкой на серебряном долларе.\nF. Что она действительно аристократка\nG. Что она работает продавщицей и скопила деньги, чтобы пожить жизнью знатной леди\nH. Конный полисмен\nI. Федор Достоевский\nJ. 1905\nK. Марк Твен\nL. Полицейский на углу\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 144, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.014417551457881927, + "B": 0.05032219737768173, + "C": 0.0940142422914505, + "D": 0.07321836799383163, + "E": 0.04440918192267418, + "F": 0.05032219737768173, + "G": 0.057022519409656525, + "H": 0.05032219737768173, + "I": 0.025303587317466736, + "J": 0.1756417155265808, + "K": 0.1990281492471695, + "L": 0.06461497396230698 + }, + "sample": { + "question": "Какую работу хотел получить О’Рун после войны в рассказе 'Бляха полицейского О’Руна'?", + "answerA": "Корабельный капитан", + "answerB": "Конный полисмен", + "answerC": "Бармен", + "answerD": "Инженер", + "correct_answer": "B", + "choices": [ + "1909", + "Лу, уехавшая на автомобиле с неизвестным", + "Миссис Браун видела в Иде сходство с женской головкой на серебряном долларе.", + "1905", + "Конный полисмен", + "Что она действительно аристократка", + "Бармен", + "Ида была известным художником.", + "Инженер", + "Корабельный капитан", + "Что она работает продавщицей и скопила деньги, чтобы пожить жизнью знатной леди", + "Полицейский на углу" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКакую работу хотел получить О’Рун после войны в рассказе 'Бляха полицейского О’Руна'?\nA. 1909\nB. Лу, уехавшая на автомобиле с неизвестным\nC. Миссис Браун видела в Иде сходство с женской головкой на серебряном долларе.\nD. 1905\nE. Конный полисмен\nF. Что она действительно аристократка\nG. Бармен\nH. Ида была известным художником.\nI. Инженер\nJ. Корабельный капитан\nK. Что она работает продавщицей и скопила деньги, чтобы пожить жизнью знатной леди\nL. Полицейский на углу\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 158, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0069266376085579395, + "B": 0.029162229970097542, + "C": 0.16781705617904663, + "D": 0.054482217878103256, + "E": 0.03744504600763321, + "F": 0.03744504600763321, + "G": 0.04243079945445061, + "H": 0.017687786370515823, + "I": 0.021335544064641, + "J": 0.04808038845658302, + "K": 0.2766835391521454, + "L": 0.012156627140939236 + }, + "sample": { + "question": "Что призналась мадам Бомон в последний вечер своего пребывания в отеле из рассказа 'В Аркадии проездом'?", + "answerA": "Что она действительно аристократка", + "answerB": "Что она работает продавщицей и скопила деньги, чтобы пожить жизнью знатной леди", + "answerC": "Что она владелица отеля", + "answerD": "Что она знаменитая писательница", + "correct_answer": "B", + "choices": [ + "1909", + "Что она действительно аристократка", + "1905", + "Мэр посёлка", + "Лу, уехавшая на автомобиле с неизвестным", + "Что она знаменитая писательница", + "Миссис Браун видела в Иде сходство с женской головкой на серебряном долларе.", + "Ида была известным художником.", + "Мальчик-газетчик", + "Что она владелица отеля", + "Что она работает продавщицей и скопила деньги, чтобы пожить жизнью знатной леди", + "Полицейский на углу" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nЧто призналась мадам Бомон в последний вечер своего пребывания в отеле из рассказа 'В Аркадии проездом'?\nA. 1909\nB. Что она действительно аристократка\nC. 1905\nD. ��эр посёлка\nE. Лу, уехавшая на автомобиле с неизвестным\nF. Что она знаменитая писательница\nG. Миссис Браун видела в Иде сходство с женской головкой на серебряном долларе.\nH. Ида была известным художником.\nI. Мальчик-газетчик\nJ. Что она владелица отеля\nK. Что она работает продавщицей и скопила деньги, чтобы пожить жизнью знатной леди\nL. Полицейский на углу\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 168, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.004904399625957012, + "B": 0.008607489056885242, + "C": 0.8779876828193665, + "D": 0.009753563441336155, + "E": 0.009753563441336155, + "F": 0.005557412281632423, + "G": 0.03404327854514122, + "H": 0.007135859224945307, + "I": 0.0006637382321059704, + "J": 0.0014957573730498552, + "K": 0.0004856012819800526, + "L": 5.448294905363582e-05 + }, + "sample": { + "question": "Почему миссис Браун так сильно полюбила Иду в рассказе 'Волшебный профиль'?", + "answerA": "Ида была известным художником.", + "answerB": "Миссис Браун видела в Иде сходство с женской головкой на серебряном долларе.", + "answerC": "Ида унаследовала большое состояние.", + "answerD": "Миссис Браун была давней подругой семьи Иды.", + "correct_answer": "Миссис Браун видела в Иде сходство с женской головкой на серебряном долларе.", + "choices": [ + "1905", + "Ида унаследовала большое состояние.", + "Миссис Браун видела в Иде сходство с женской головкой на серебряном долларе.", + "Мальчик-газетчик", + "1909", + "Ида была известным художником.", + "Полицейский на углу", + "Лу, уехавшая на автомобиле с неизвестным", + "Нэнси, вернувшаяся домой после встречи с Лу", + "Миссис Браун была давней подругой семьи Иды.", + "Мэр посёлка", + "Подарки волхвов" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nПочему миссис Браун так сильно полюбила Иду в рассказе 'Волшебный профиль'?\nA. 1905\nB. Ида унаследовала большое состояние.\nC. Миссис Браун видела в Иде сходство с женской головкой на серебряном долларе.\nD. Мальчик-газетчик\nE. 1909\nF. Ида была известным художником.\nG. Полицейский на углу\nH. Лу, уехавшая на автомобиле с неизвестным\nI. Нэнси, вернувшаяся домой после встречи с Лу\nJ. Миссис Браун была давней подругой семьи Иды.\nK. Мэр посёлка\nL. Подарки волхвов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 161, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.05811984837055206, + "B": 0.04526378586888313, + "C": 0.027453875169157982, + "D": 0.0331156961619854, + "E": 0.3344566524028778, + "F": 0.08456388860940933, + "G": 0.12303974479436874, + "H": 0.13942228257656097, + "I": 0.0331156961619854, + "J": 0.027453875169157982, + "K": 0.012182583101093769, + "L": 0.035251472145318985 + }, + "sample": { + "question": "В каком году был опубликован рассказ 'Гнусный обманщик' О. Генри?", + "answerA": "1905", + "answerB": "1909", + "answerC": "1912", + "answerD": "1903", + "correct_answer": "B", + "choices": [ + "1912", + "Эн��и Таккер", + "Лу, уехавшая на автомобиле с неизвестным", + "Прибытие цирка", + "Мэр посёлка", + "Подарки волхвов", + "Полицейский на углу", + "1903", + "1905", + "1909", + "Мальчик-газетчик", + "Нэнси, вернувшаяся домой после встречи с Лу" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nВ каком году был опубликован рассказ 'Гнусный обманщик' О. Генри?\nA. 1912\nB. Энди Таккер\nC. Лу, уехавшая на автомобиле с неизвестным\nD. Прибытие цирка\nE. Мэр посёлка\nF. Подарки волхвов\nG. Полицейский на углу\nH. 1903\nI. 1905\nJ. 1909\nK. Мальчик-газетчик\nL. Нэнси, вернувшаяся домой после встречи с Лу\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 138, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.05314280465245247, + "B": 0.0602186881005764, + "C": 0.23816952109336853, + "D": 0.11250331997871399, + "E": 0.0773223266005516, + "F": 0.0602186881005764, + "G": 0.12748296558856964, + "H": 0.03652448207139969, + "I": 0.0195501446723938, + "J": 0.046898357570171356, + "K": 0.046898357570171356, + "L": 0.0040979329496622086 + }, + "sample": { + "question": "Кто в итоге помог редактору понять Голос Большого Города в рассказе О. Генри?", + "answerA": "Полицейский на углу", + "answerB": "Мальчик-газетчик", + "answerC": "Аврелия", + "answerD": "Бармен Билли", + "correct_answer": "Аврелия", + "choices": [ + "Полицейский на углу", + "Мэр посёлка", + "Нэнси, вернувшаяся домой после встречи с Лу", + "Лу, уехавшая на автомобиле с неизвестным", + "Бармен Билли", + "Прибытие цирка", + "Аврелия", + "Подарки волхвов", + "Мальчик-газетчик", + "Энди Таккер", + "Двери", + "1888" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКто в итоге помог редактору понять Голос Большого Города в рассказе О. Генри?\nA. Полицейский на углу\nB. Мэр посёлка\nC. Нэнси, вернувшаяся домой после встречи с Лу\nD. Лу, уехавшая на автомобиле с неизвестным\nE. Бармен Билли\nF. Прибытие цирка\nG. Аврелия\nH. Подарки волхвов\nI. Мальчик-газетчик\nJ. Энди Таккер\nK. Двери\nL. 1888\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 133, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.16198931634426117, + "B": 0.052590228617191315, + "C": 0.06752718985080719, + "D": 0.05959254503250122, + "E": 0.12615740299224854, + "F": 0.04641071707010269, + "G": 0.07651833444833755, + "H": 0.040957313030958176, + "I": 0.12615740299224854, + "J": 0.11133351922035217, + "K": 0.03614469990134239, + "L": 0.007117313798516989 + }, + "sample": { + "question": "Кто из героинь рассказа «Горящий светильник» О. Генри в конце истории считается лучшей партией?", + "answerA": "Лу, уехавшая на автомобиле с неизвестным", + "answerB": "Нэнси, вернувшаяся домой после встречи с Лу", + "answerC": "Девушка из прачечной, подсказавшая о исчезновении Лу", + "answerD": "Продавщица из магазина одежды, мечтающая о миллионере", + "correct_answer": "Нэнси, вернувшаяся домой после встречи с Лу", + "choices": [ + "Продавщица из магазина одежды, мечтающая о миллионере", + "Прибытие цирка", + "1888", + "Мэр посёлка", + "Двери", + "Энди Таккер", + "Внезапный снегопад", + "Девушка из прачечной, подсказавшая о исчезновении Лу", + "Нэнси, вернувшаяся домой после встречи с Лу", + "Лу, уехавшая на автомобиле с неизвестным", + "Исключительное качество исполнения", + "Подарки волхвов" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКто из героинь рассказа «Горящий светильник» О. Генри в конце истории считается лучшей партией?\nA. Продавщица из магазина одежды, мечтающая о миллионере\nB. Прибытие цирка\nC. 1888\nD. Мэр посёлка\nE. Двери\nF. Энди Таккер\nG. Внезапный снегопад\nH. Девушка из прачечной, подсказавшая о исчезновении Лу\nI. Нэнси, вернувшаяся домой после встречи с Лу\nJ. Лу, уехавшая на автомобиле с неизвестным\nK. Исключительное качество исполнения\nL. Подарки волхвов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 153, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.14097626507282257, + "B": 0.045768290758132935, + "C": 0.08550643175840378, + "D": 0.10979242622852325, + "E": 0.10979242622852325, + "F": 0.045768290758132935, + "G": 0.07545915991067886, + "H": 0.027759868651628494, + "I": 0.15974703431129456, + "J": 0.07545915991067886, + "K": 0.014858787879347801, + "L": 0.0027485995087772608 + }, + "sample": { + "question": "Кто становится компаньоном Джеффа Питерса в рассказе 'Джефф Питерс как персональный магнит'?", + "answerA": "Мэр посёлка", + "answerB": "Энди Таккер", + "answerC": "Констебль", + "answerD": "Хозяин гостиницы", + "correct_answer": "B", + "choices": [ + "Хозяин гостиницы", + "1908", + "Подарки волхвов", + "Прибытие цирка", + "Внезапный снегопад", + "Мэр посёлка", + "Двери", + "1888", + "Энди Таккер", + "Констебль", + "Марк Твен", + "Исключительное качество исполнения" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКто становится компаньоном Джеффа Питерса в рассказе 'Джефф Питерс как персональный магнит'?\nA. Хозяин гостиницы\nB. 1908\nC. Подарки волхвов\nD. Прибытие цирка\nE. Внезапный снегопад\nF. Мэр посёлка\nG. Двери\nH. 1888\nI. Энди Таккер\nJ. Констебль\nK. Марк Твен\nL. Исключительное качество исполнения\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 125, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.1800241321325302, + "B": 0.0584452748298645, + "C": 0.05157777667045593, + "D": 0.0963599756360054, + "E": 0.0963599756360054, + "F": 0.10919015109539032, + "G": 0.10919015109539032, + "H": 0.07504522055387497, + "I": 0.0963599756360054, + "J": 0.0584452748298645, + "K": 0.011508557014167309, + "L": 0.011508557014167309 + }, + "sample": { + "question": "Как называется рассказ О. Генри, где Телемак Хикс рассказывает историю о своем израненном ухе?", + "answerA": "Подарки волхвов", + "answerB": "Двери", + "answerC": "Друг Телемак", + "answerD": "Последний лист", + "correct_answer": "answerC", + "choices": [ + "Марк Твен", + "Прибытие цирка", + "1888", + "1908", + "Выдающаяся техника живописи", + "Двери", + "Подарки волхвов", + "Друг Телемак", + "Последний лист", + "Он решил открыть свой ресторан.", + "Исключительное качество исполнения", + "Внезапный снегопад" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКак называется рассказ О. Генри, где Телемак Хикс рассказывает историю о своем израненном ухе?\nA. Марк Твен\nB. Прибытие цирка\nC. 1888\nD. 1908\nE. Выдающаяся техника живописи\nF. Двери\nG. Подарки волхвов\nH. Друг Телемак\nI. Последний лист\nJ. Он решил открыть свой ресторан.\nK. Исключительное качество исполнения\nL. Внезапный снегопад\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 126, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.04747777432203293, + "B": 0.021068133413791656, + "C": 0.022426912561058998, + "D": 0.04189898818731308, + "E": 0.06907974928617477, + "F": 0.06096266955137253, + "G": 0.04189898818731308, + "H": 0.025413019582629204, + "I": 0.3975265324115753, + "J": 0.12905797362327576, + "K": 0.04189898818731308, + "L": 0.022426912561058998 + }, + "sample": { + "question": "Какое событие заставило жителей Жёлтой Кирки обратить внимание на детей в своем посёлке?", + "answerA": "Прибытие цирка", + "answerB": "Внезапный снегопад", + "answerC": "Новость о Рождественском празднике для детей от Чероки", + "answerD": "Открытие новой школы", + "correct_answer": "Новость о Рождественском празднике для детей от Чероки", + "choices": [ + "Джон де Граффенрид Этвуд", + "Выдающаяся техника живописи", + "Марк Твен", + "Исключительное качество исполнения", + "Внезапный снегопад", + "1888", + "1908", + "Джек Лондон", + "Новость о Рождественском празднике для детей от Чероки", + "Открытие новой школы", + "Прибытие цирка", + "Он решил открыть свой ресторан." + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКакое событие заставило жителей Жёлтой Кирки обратить внимание на детей в своем посёлке?\nA. Джон де Граффенрид Этвуд\nB. Выдающаяся техника живописи\nC. Марк Твен\nD. Исключительное качество исполнения\nE. Внезапный снегопад\nF. 1888\nG. 1908\nH. Джек Лондон\nI. Новость о Рождественском празднике для детей от Чероки\nJ. Открытие новой школы\nK. Прибытие цирка\nL. Он решил открыть свой ресторан.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 136, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.07805085927248001, + "B": 0.036868616938591, + "C": 0.4491517245769501, + "D": 0.08844321221113205, + "E": 0.06887964904308319, + "F": 0.02871330827474594, + "G": 0.11356333643198013, + "H": 0.04177761450409889, + "I": 0.019734349101781845, + "J": 0.010563036426901817, + "K": 0.011969487182796001, + "L": 0.0036504878662526608 + }, + "sample": { + "question": "В каком году вышел рассказ 'Заложники Момуса' О. Генри?", + "answerA": "1888", + "answerB": "1908", + "answerC": "1925", + "answerD": "1910", + "correct_answer": "answerB", + "choices": [ + "1888", + "Джек Лондон", + "1925", + "Он решил открыть свой ресторан.", + "Посещение выставки", + "Он увидел, что его жена заслуживает большего внимания.", + "Марк Твен", + "Исключительное качество исполнения", + "1910", + "Выдающаяся техника живописи", + "Джон де Граффенрид Этвуд", + "1908" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nВ каком году вышел рассказ 'Заложники Момуса' О. Генри?\nA. 1888\nB. Джек Лондон\nC. 1925\nD. Он решил открыть свой ресторан.\nE. Посещение выставки\nF. Он увидел, что его жена заслуживает большего внимания.\nG. Марк Твен\nH. Исключительное качество исполнения\nI. 1910\nJ. Выдающаяся техника живописи\nK. Джон де Граффенрид Этвуд\nL. 1908\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 130, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.024013344198465347, + "B": 0.12194982916116714, + "C": 0.039591312408447266, + "D": 0.1381872594356537, + "E": 0.057605016976594925, + "F": 0.1774359494447708, + "G": 0.12194982916116714, + "H": 0.10762034356594086, + "I": 0.0073236566968262196, + "J": 0.06527504324913025, + "K": 0.04214473441243172, + "L": 0.04214473441243172 + }, + "sample": { + "question": "Что сделало картину Лонни Бриско особенной в глазах законодательного собрания?", + "answerA": "Исключительное качество исполнения", + "answerB": "Выдающаяся техника живописи", + "answerC": "Заслуги его дедушки перед штатом", + "answerD": "Рекомендация знаменитого художника", + "correct_answer": "C", + "choices": [ + "Джон де Граффенрид Этвуд", + "Заслуги его дедушки перед штатом", + "Он решил открыть свой ресторан.", + "Исключительное качество исполнения", + "Дикки Малони", + "Рекомендация знаменитого художника", + "Посещение выставки", + "Выдающаяся техника живописи", + "Марк Твен", + "1905", + "Джек Лондон", + "Он увидел, что его жена заслуживает большего внимания." + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nЧто сделало картину Лонни Бриско особенной в глазах законодательного собрания?\nA. Джон де Граффенрид Этвуд\nB. Заслуги его дедушки перед штатом\nC. Он решил открыть свой ресторан.\nD. Исключительное качество исполнения\nE. Дикки Малони\nF. Рекомендация знаменитого художника\nG. Посещение выставки\nH. Выдающаяся техника живописи\nI. Марк Твен\nJ. 1905\nK. Джек Лондон\nL. Он увидел, что его жена заслуживает большего внимания.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 134, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.14885389804840088, + "B": 0.01777806133031845, + "C": 0.5195510983467102, + "D": 0.01777806133031845, + "E": 0.10230567306280136, + "F": 0.004494998138397932, + "G": 0.07967574894428253, + "H": 0.01777806133031845, + "I": 0.008939370512962341, + "J": 0.006961989216506481, + "K": 0.0009422027505934238, + "L": 8.232875552494079e-05 + }, + "sample": { + "question": "Кто является автором рассказа «Исчезновение Чёрного Орла»?", + "answerA": "Марк Твен", + "answerB": "Джек Лондон", + "answerC": "О. Генри", + "answerD": "Эрнест Хемингуэй", + "correct_answer": "C", + "choices": [ + "Долгое голодание в заброшенном домике", + "Что ему следует чаще покидать дом.", + "Джек Лондон", + "1905", + "Джон де Граффенрид Этвуд", + "Марк Твен", + "Он решил открыть свой ресторан.", + "Эрнест Хемингуэй", + "О. Генри", + "Он увидел, что его жена заслуживает большего внимания.", + "Дикки Малони", + "Посещение выставки" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКто является автором рассказа «Исчезновение Чёрного Орла»?\nA. Долгое голодание в заброшенном домике\nB. Что ему следует чаще покидать дом.\nC. Джек Лондон\nD. 1905\nE. Джон де Граффенрид Этвуд\nF. Марк Твен\nG. Он решил открыть свой ресторан.\nH. Эрнест Хемингуэй\nI. О. Генри\nJ. Он увидел, что его жена заслуживает большего внимания.\nK. Дикки Малони\nL. Посещение выставки\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 132, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.009822787716984749, + "B": 0.0322076790034771, + "C": 0.34626519680023193, + "D": 0.12738385796546936, + "E": 0.01723952777683735, + "F": 0.00922765489667654, + "G": 0.34626519680023193, + "H": 0.008143376559019089, + "I": 0.0004315831756684929, + "J": 0.0023331164848059416, + "K": 0.009822787716984749, + "L": 7.983485556906089e-05 + }, + "sample": { + "question": "Какой урок извлёк «Большой Джим» Доггерти из своего вечера, проведённого в ресторане?", + "answerA": "Он решил открыть свой ресторан.", + "answerB": "Он увидел, что его жена заслуживает большего внимания.", + "answerC": "Ему захотелось чаще готовить дома.", + "answerD": "Он понял, что ресторанный бизнес - его призвание.", + "correct_answer": "Он увидел, что его жена заслуживает большего внимания.", + "choices": [ + "1908", + "Он решил открыть свой ресторан.", + "Посещение выставки", + "Он увидел, что его жена заслуживает большего внимания.", + "Старинную мебель для своей коллекции", + "Дикки Малони", + "Он понял, что ресторанный бизнес - его призвание.", + "Ему захотелось чаще готовить дома.", + "Что ему следует чаще покидать дом.", + "Джон де Граффенрид Этвуд", + "1905", + "Долгое голодание в заброшенном домике" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКакой урок извлёк «Большой Джим» Доггерти из своего вечера, проведённого в ресторане?\nA. 1908\nB. Он решил открыть свой ресторан.\nC. Посещение выставки\nD. Он увидел, что его жена заслуживает большего внимания.\nE. Старинную мебель для своей коллекции\nF. Дикки Малони\nG. Он понял, что ресторанный бизнес - его призвание.\nH. Ему захотелось чаще готовить дома.\nI. Что ему следует чаще покидать дом.\nJ. Джон де Граффенрид Этвуд\nK. 1905\nL. Долгое голодание в заброшенном домике\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 156, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.00414228392764926, + "B": 0.016383051872253418, + "C": 0.016383051872253418, + "D": 0.07342374324798584, + "E": 0.02103625424206257, + "F": 0.012759133242070675, + "G": 0.03930089995265007, + "H": 0.0060269879177212715, + "I": 0.0008156640687957406, + "J": 0.01445799134671688, + "K": 0.6966250538825989, + "L": 0.0030305597465485334 + }, + "sample": { + "question": "Кто стал новым президентом Анчурии после свержения Лосады?", + "answerA": "Джон де Граффенрид Этвуд", + "answerB": "Дикки Малони", + "answerC": "Мистер Гудвин", + "answerD": "Фелипе Каррера", + "correct_answer": "B", + "choices": [ + "Что он слишком много времени проводит с друзьями.", + "1908", + "Посещение выставки", + "Дикки Малони", + "Долгое голодание в заброшенном домике", + "Мистер Блэк", + "Что ему следует чаще покидать дом.", + "Мистер Гудвин", + "1905", + "Старинную мебель для своей коллекции", + "Джон де Граффенрид Этвуд", + "Фелипе Каррера" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКто стал новым президентом Анчурии после свержения Лосады?\nA. Что он слишком много времени проводит с друзьями.\nB. 1908\nC. Посещение выставки\nD. Дикки Малони\nE. Долгое голодание в заброшенном домике\nF. Мистер Блэк\nG. Что ему следует чаще покидать дом.\nH. Мистер Гудвин\nI. 1905\nJ. Старинную мебель для своей коллекции\nK. Джон де Граффенрид Этвуд\nL. Фелипе Каррера\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 135, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.025068972259759903, + "B": 0.0681445375084877, + "C": 0.09914972633123398, + "D": 0.05307101458311081, + "E": 0.12731075286865234, + "F": 0.060137342661619186, + "G": 0.0681445375084877, + "H": 0.05307101458311081, + "I": 0.025068972259759903, + "J": 0.26951685547828674, + "K": 0.05307101458311081, + "L": 0.009817151352763176 + }, + "sample": { + "question": "Что изменило взгляд Мэйми на мужчин в фильме 'Купидон порционно'?", + "answerA": "Посещение выставки", + "answerB": "Долгое голодание в заброшенном домике", + "answerC": "Предложение от Джеффа", + "answerD": "Дружба с подругой, работающей в буфете", + "correct_answer": "B", + "choices": [ + "Старинную мебель для своей коллекции", + "1905", + "Мистер Блэк", + "Что ему следует чаще покидать дом.", + "Дружба с подругой, работающей в буфете", + "Долгое голодание в заброшенном домике", + "Посещение выставки", + "1908", + "Что он слишком много времени проводит с друзьями.", + "Предложение от Джеффа", + "Как прогнать скот со своих земель", + "Девушку по имени Элоиза Вешнер" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nЧто изменило взгляд Мэйми на мужчин в фильме 'Купидон порционно'?\nA. Старинную мебель для своей коллекции\nB. 1905\nC. Мистер Блэк\nD. Что ему с��едует чаще покидать дом.\nE. Дружба с подругой, работающей в буфете\nF. Долгое голодание в заброшенном домике\nG. Посещение выставки\nH. 1908\nI. Что он слишком много времени проводит с друзьями.\nJ. Предложение от Джеффа\nK. Как прогнать скот со своих земель\nL. Девушку по имени Элоиза Вешнер\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 158, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.31533393263816833, + "B": 0.31533393263816833, + "C": 0.2167256474494934, + "D": 0.054796818643808365, + "E": 0.029330624267458916, + "F": 0.003969468642026186, + "G": 0.005775542464107275, + "H": 0.004497996997088194, + "I": 0.00017440627561882138, + "J": 0.0014602859737351537, + "K": 0.0005046612932346761, + "L": 8.769697888055816e-05 + }, + "sample": { + "question": "В каком году был опубликован рассказ \"Летний маскарад\" О. Генри?", + "answerA": "1905", + "answerB": "1908", + "answerC": "1910", + "answerD": "1912", + "correct_answer": "B", + "choices": [ + "1912", + "1905", + "1908", + "Отсутствие нужного количества золотых запасов", + "Мистер Сидерс", + "1910", + "Как прогнать скот со своих земель", + "Старинную мебель для своей коллекции", + "Мистер Блэк", + "Что ему следует чаще покидать дом.", + "Девушку по имени Элоиза Вешнер", + "Что он слишком много времени проводит с друзьями." + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nВ каком году был опубликован рассказ \"Летний маскарад\" О. Генри?\nA. 1912\nB. 1905\nC. 1908\nD. Отсутствие нужного количества золотых запасов\nE. Мистер Сидерс\nF. 1910\nG. Как прогнать скот со своих земель\nH. Старинную мебель для своей коллекции\nI. Мистер Блэк\nJ. Что ему следует чаще покидать дом.\nK. Девушку по имени Элоиза Вешнер\nL. Что он слишком много времени проводит с друзьями.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 147, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.006873561535030603, + "B": 0.5129520297050476, + "C": 0.010645980015397072, + "D": 0.009395044296979904, + "E": 0.21383021771907806, + "F": 0.03715812414884567, + "G": 0.013669708743691444, + "H": 0.012063476257026196, + "I": 0.003916436806321144, + "J": 0.07866374403238297, + "K": 0.0018499939469620585, + "L": 0.0001720762375043705 + }, + "sample": { + "question": "Что понял Джон Перкинс, когда его жена Кети срочно уехала к заболевшей матери?", + "answerA": "Что ему следует чаще покидать дом.", + "answerB": "Что он слишком много времени проводит с друзьями.", + "answerC": "Что Кети необходимо больше помогать по дому.", + "answerD": "Что он должен больше времени уделять своей жене.", + "correct_answer": "Что он должен больше времени уделять своей жене.", + "choices": [ + "Мистер Сидерс", + "Что Кети необходимо больше помогать по дому.", + "Мистер Блэк", + "Что он слишком много времени проводит с друзьями.", + "Девушку по имени Элоиза Вешнер", + "Старинную мебель для своей коллекции", + "Как покорить сердце Уиллелы", + "��тсутствие нужного количества золотых запасов", + "Что ему следует чаще покидать дом.", + "Что он должен больше времени уделять своей жене.", + "Как прогнать скот со своих земель", + "Подкупил антрепренёра" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nЧто понял Джон Перкинс, когда его жена Кети срочно уехала к заболевшей матери?\nA. Мистер Сидерс\nB. Что Кети необходимо больше помогать по дому.\nC. Мистер Блэк\nD. Что он слишком много времени проводит с друзьями.\nE. Девушку по имени Элоиза Вешнер\nF. Старинную мебель для своей коллекции\nG. Как покорить сердце Уиллелы\nH. Отсутствие нужного количества золотых запасов\nI. Что ему следует чаще покидать дом.\nJ. Что он должен больше времени уделять своей жене.\nK. Как прогнать скот со своих земель\nL. Подкупил антрепренёра\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 160, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.06340984255075455, + "B": 0.08141984790563583, + "C": 0.021913854405283928, + "D": 0.02995269000530243, + "E": 0.17236582934856415, + "F": 0.13423864543437958, + "G": 0.08141984790563583, + "H": 0.08141984790563583, + "I": 0.028137948364019394, + "J": 0.19531607627868652, + "K": 0.020586160942912102, + "L": 0.019338909536600113 + }, + "sample": { + "question": "Что искал молодой человек в рассказе 'Меблированная комната' О. Генри?", + "answerA": "Старинную мебель для своей коллекции", + "answerB": "Девушку по имени Элоиза Вешнер", + "answerC": "Работу в одном из местных театров", + "answerD": "Ключи, которые он потерял", + "correct_answer": "B", + "choices": [ + "Как покорить сердце Уиллелы", + "Отсутствие нужного количества золотых запасов", + "Подкупил антрепренёра", + "Читает книгу", + "Как прогнать скот со своих земель", + "Ссуда в десять тысяч долларов, выданная без поручительства", + "Мистер Блэк", + "Старинную мебель для своей коллекции", + "Ключи, которые он потерял", + "Девушку по имени Элоиза Вешнер", + "Работу в одном из местных театров", + "Мистер Сидерс" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nЧто искал молодой человек в рассказе 'Меблированная комната' О. Генри?\nA. Как покорить сердце Уиллелы\nB. Отсутствие нужного количества золотых запасов\nC. Подкупил антрепренёра\nD. Читает книгу\nE. Как прогнать скот со своих земель\nF. Ссуда в десять тысяч долларов, выданная без поручительства\nG. Мистер Блэк\nH. Старинную мебель для своей коллекции\nI. Ключи, которые он потерял\nJ. Девушку по имени Элоиза Вешнер\nK. Работу в одном из местных театров\nL. Мистер Сидерс\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 159, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.10808950662612915, + "B": 0.10808950662612915, + "C": 0.13878968358039856, + "D": 0.10808950662612915, + "E": 0.10808950662612915, + "F": 0.06555960327386856, + "G": 0.06555960327386856, + "H": 0.0742887631058693, + "I": 0.019994549453258514, + "J": 0.05785614252090454, + "K": 0.021284086629748344, + "L": 0.007355583366006613 + }, + "sample": { + "question": "Кто из клиентов обратил внимание на Тильду в фильме 'Недолгий триумф Тильди'?", + "answerA": "Мистер Блэк", + "answerB": "Мистер Сидерс", + "answerC": "Мистер Джонс", + "answerD": "Мистер Греен", + "correct_answer": "Мистер Сидерс", + "choices": [ + "Читает книгу", + "Мистер Греен", + "Мистер Блэк", + "Отсутствие нужного количества золотых запасов", + "Ссуда в десять тысяч долларов, выданная без поручительства", + "Рассказал ей сказку", + "Подкупил антрепренёра", + "Мистер Джонс", + "Как прогнать скот со своих земель", + "Дары волхвов", + "Как покорить сердце Уиллелы", + "Мистер Сидерс" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКто из клиентов обратил внимание на Тильду в фильме 'Недолгий триумф Тильди'?\nA. Читает книгу\nB. Мистер Греен\nC. Мистер Блэк\nD. Отсутствие нужного количества золотых запасов\nE. Ссуда в десять тысяч долларов, выданная без поручительства\nF. Рассказал ей сказку\nG. Подкупил антрепренёра\nH. Мистер Джонс\nI. Как прогнать скот со своих земель\nJ. Дары волхвов\nK. Как покорить сердце Уиллелы\nL. Мистер Сидерс\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 150, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.19796855747699738, + "B": 0.064270980656147, + "C": 0.056718941777944565, + "D": 0.050054289400577545, + "E": 0.1360616683959961, + "F": 0.12007400393486023, + "G": 0.0825255736708641, + "H": 0.064270980656147, + "I": 0.050054289400577545, + "J": 0.07282856851816177, + "K": 0.017298299819231033, + "L": 0.010491949506103992 + }, + "sample": { + "question": "Что Джек Птицсон на самом деле хотел узнать у Джеда?", + "answerA": "Как прогнать скот со своих земель", + "answerB": "Как покорить сердце Уиллелы", + "answerC": "Старинный рецепт блинчиков", + "answerD": "Как стать лучшим стрелком", + "correct_answer": "answerC", + "choices": [ + "Как покорить сердце Уиллелы", + "Дары волхвов", + "Подкупил антрепренёра", + "Читает книгу", + "Разговаривает с молодым человеком", + "Как прогнать скот со своих земель", + "Как стать лучшим стрелком", + "Рассказал ей сказку", + "Ссуда в десять тысяч долларов, выданная без поручительства", + "Отсутствие нужного количества золотых запасов", + "Старинный рецепт блинчиков", + "О великодушном поступке мистера Питерса, который жертвует единственным долларом ради друзей." + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nЧто Джек Птицсон на самом деле хотел узнать у Джеда?\nA. Как покорить сердце Уиллелы\nB. Дары волхвов\nC. Подкупил антрепренёра\nD. Читает книгу\nE. Разговаривает с молодым человеком\nF. Как прогнать скот со своих земель\nG. Как стать лучшим стрелком\nH. Рассказал ей сказку\nI. Ссуда в десять тысяч долларов, выданная без поручительства\nJ. Отсутствие нужного количества золотых запасов\nK. Старинный рецепт блинчиков\nL. О великодушном поступке мистера Питерса, который жертвует единственным долларом ради друзей.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 156, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.02846776507794857, + "B": 0.019565587863326073, + "C": 0.012632493861019611, + "D": 0.022170716896653175, + "E": 0.12758366763591766, + "F": 0.018380170688033104, + "G": 0.030303776264190674, + "H": 0.5046032071113586, + "I": 0.012632493861019611, + "J": 0.02674298919737339, + "K": 0.016220442950725555, + "L": 0.12758366763591766 + }, + "sample": { + "question": "Что было обнаружено дотошным ревизором в банке, учрежденном Длинным Биллом Лонгли?", + "answerA": "Отсутствие нужного количества золотых запасов", + "answerB": "Ссуда в десять тысяч долларов, выданная без поручительства", + "answerC": "Нарушение в работе системы безопасности банка", + "answerD": "Нехватка работников в критические рабочие часы", + "correct_answer": "answerB", + "choices": [ + "Нехватка работников в критические рабочие часы", + "Они сразились из-за земельного участка.", + "Дары волхвов", + "Рассказал ей сказку", + "Нарушение в работе системы безопасности банка", + "Путь к счастью", + "О великодушном поступке мистера Питерса, который жертвует единственным долларом ради друзей.", + "Ссуда в десять тысяч долларов, выданная без поручительства", + "Разговаривает с молодым человеком", + "Читает книгу", + "Подкупил антрепренёра", + "Отсутствие нужного количества золотых запасов" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nЧто было обнаружено дотошным ревизором в банке, учрежденном Длинным Биллом Лонгли?\nA. Нехватка работников в критические рабочие часы\nB. Они сразились из-за земельного участка.\nC. Дары волхвов\nD. Рассказал ей сказку\nE. Нарушение в работе системы безопасности банка\nF. Путь к счастью\nG. О великодушном поступке мистера Питерса, который жертвует единственным долларом ради друзей.\nH. Ссуда в десять тысяч долларов, выданная без поручительства\nI. Разговаривает с молодым человеком\nJ. Читает книгу\nK. Подкупил антрепренёра\nL. Отсутствие нужного количества золотых запасов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 170, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.013731816783547401, + "B": 0.03732694685459137, + "C": 0.24340227246284485, + "D": 0.04792874678969383, + "E": 0.03732694685459137, + "F": 0.029070256277918816, + "G": 0.0790211483836174, + "H": 0.022639937698841095, + "I": 0.0064864507876336575, + "J": 0.03732694685459137, + "K": 0.24340227246284485, + "L": 0.002386231906712055 + }, + "sample": { + "question": "Как мистер Хайсмит пытался получить роль у мисс Пози в рассказе 'Погребок и Роза' О. Генри?", + "answerA": "Подкупил антрепренёра", + "answerB": "Рассказал ей сказку", + "answerC": "Притворил��я её земляком и рассказал новости о её односельчанах", + "answerD": "Организовал пышное торжество в её честь", + "correct_answer": "C", + "choices": [ + "Рассказал ей сказку", + "Путь к счастью", + "Они сразились из-за земельного участка.", + "Читает книгу", + "О любви и самопожертвовании миссис Питерс, которая тратит последний доллар на сарсапариллу для своего мужа.", + "Организовал пышное торжество в её честь", + "Притворился её земляком и рассказал новости о её односельчанах", + "К тому, что они решают открыть собственный бизнес.", + "Дары волхвов", + "Подкупил антрепренёра", + "О великодушном поступке мистера Питерса, который жертвует единственным долларом ради друзей.", + "Разговаривает с молодым человеком" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКак мистер Хайсмит пытался получить роль у мисс Пози в рассказе 'Погребок и Роза' О. Генри?\nA. Рассказал ей сказку\nB. Путь к счастью\nC. Они сразились из-за земельного участка.\nD. Читает книгу\nE. О любви и самопожертвовании миссис Питерс, которая тратит последний доллар на сарсапариллу для своего мужа.\nF. Организовал пышное торжество в её честь\nG. Притворился её земляком и рассказал новости о её односельчанах\nH. К тому, что они решают открыть собственный бизнес.\nI. Дары волхвов\nJ. Подкупил антрепренёра\nK. О великодушном поступке мистера Питерса, который жертвует единственным долларом ради друзей.\nL. Разговаривает с молодым человеком\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 201, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.05016005039215088, + "B": 0.04426608979701996, + "C": 0.030423611402511597, + "D": 0.05683879181742668, + "E": 0.17507579922676086, + "F": 0.039064690470695496, + "G": 0.05683879181742668, + "H": 0.25473377108573914, + "I": 0.07298245280981064, + "J": 0.05683879181742668, + "K": 0.022258387878537178, + "L": 0.04426608979701996 + }, + "sample": { + "question": "Чем занимается главная героиня 'Пока ждет автомобиль' большую часть времени в парке?", + "answerA": "Читает книгу", + "answerB": "Разговаривает с молодым человеком", + "answerC": "Ждет кого-то", + "answerD": "Наблюдает за прохожими", + "correct_answer": "B", + "choices": [ + "Жозефа случайно застрелила любимцевого льва Рипли.", + "Дары волхвов", + "Наблюдает за прохожими", + "О великодушном поступке мистера Питерса, который жертвует единственным долларом ради друзей.", + "О любви и самопожертвовании миссис Питерс, которая тратит последний доллар на сарсапариллу для своего мужа.", + "Разговаривает с молодым человеком", + "Они сразились из-за земельного участка.", + "Ждет кого-то", + "Читает книгу", + "Путь к счастью", + "К тому, что они решают открыть собственный бизнес.", + "1899" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nЧем занимается главная героиня 'Пока ждет автомобиль' большую часть времени в парке?\nA. Жозефа случайно застрелила любимцевого льва Рипли.\nB. Дары волхвов\nC. Наблюдает за прохожими\nD. О великодушном поступке мистера Питерса, который жертвует единственным долларом ради друзей.\nE. О любви и самопожертвовании миссис Питерс, которая тратит последний доллар на сарсапариллу для своего мужа.\nF. Разговаривает с молодым человеком\nG. Они сразились из-за земельного участка.\nH. Ждет кого-то\nI. Читает книгу\nJ. Путь к счастью\nK. К тому, что они решают открыть собственный бизнес.\nL. 1899\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 181, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.009736195206642151, + "B": 0.03617435321211815, + "C": 0.03192375227808952, + "D": 0.024862244725227356, + "E": 0.1262608915567398, + "F": 0.024862244725227356, + "G": 0.05964142084121704, + "H": 0.040990911424160004, + "I": 0.267294317483902, + "J": 0.30288416147232056, + "K": 0.01605227217078209, + "L": 0.0016918970504775643 + }, + "sample": { + "question": "Как называется рассказ О. Генри, в котором воры пытались выполнить аферу, связанную с украденной умной свиньей?", + "answerA": "Дары волхвов", + "answerB": "Путь к счастью", + "answerC": "Поросячья этика", + "answerD": "Вожди краснокожих", + "correct_answer": "C", + "choices": [ + "К тому, что они решают открыть собственный бизнес.", + "Поросячья этика", + "Жозефа случайно застрелила любимцевого льва Рипли.", + "Они сразились из-за земельного участка.", + "Вожди краснокожих", + "Она забыла о празднике", + "К тому, что Вэленс возвращается домой по просьбе дяди.", + "Путь к счастью", + "О любви и самопожертвовании миссис Питерс, которая тратит последний доллар на сарсапариллу для своего мужа.", + "О великодушном поступке мистера Питерса, который жертвует единственным долларом ради друзей.", + "Дары волхвов", + "1899" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКак называется рассказ О. Генри, в котором воры пытались выполнить аферу, связанную с украденной умной свиньей?\nA. К тому, что они решают открыть собственный бизнес.\nB. Поросячья этика\nC. Жозефа случайно застрелила любимцевого льва Рипли.\nD. Они сразились из-за земельного участка.\nE. Вожди краснокожих\nF. Она забыла о празднике\nG. К тому, что Вэленс возвращается домой по просьбе дяди.\nH. Путь к счастью\nI. О любви и самопожертвовании миссис Питерс, которая тратит последний доллар на сарсапариллу для своего мужа.\nJ. О великодушном поступке мистера Питерса, который жертвует единственным долларом ради друзей.\nK. Дары волхвов\nL. 1899\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 201, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0032846482936292887, + "B": 0.45794984698295593, + "C": 0.007402069866657257, + "D": 0.012203949503600597, + "E": 0.013828887604176998, + "F": 0.3566516935825348, + "G": 0.07022888213396072, + "H": 0.020120911300182343, + "I": 9.918778960127383e-05, + "J": 0.007879462093114853, + "K": 0.0028986921533942223, + "L": 6.817070243414491e-05 + }, + "sample": { + "question": "В чем заключается суть рассказа \"Предвестник весны\" О. Генри?", + "answerA": "О великодушном поступке мистера Питерса, который жертвует единственным долларом ради друзей.", + "answerB": "О любви и самопожертвовании миссис Питерс, которая тратит последний доллар на сарсапариллу для своего мужа.", + "answerC": "О стремлении мистера Питерса и его друзей использовать насилие для решения финансовых проблем.", + "answerD": "О том, как приближение весны пробуждает в сердцах людей заботу и любовь, меняющие их взгляды на жизнь.", + "correct_answer": "B", + "choices": [ + "К тому, что Вэленс возвращается домой по просьбе дяди.", + "О том, как приближение весны пробуждает в сердцах людей заботу и любовь, меняющие их взгляды на жизнь.", + "Жозефа случайно застрелила любимцевого льва Рипли.", + "К тому, что они решают открыть собственный бизнес.", + "Она забыла о празднике", + "О великодушном поступке мистера Питерса, который жертвует единственным долларом ради друзей.", + "Они сразились из-за земельного участка.", + "1910", + "1899", + "О любви и самопожертвовании миссис Питерс, которая тратит последний доллар на сарсапариллу для своего мужа.", + "О стремлении мистера Питерса и его друзей использовать насилие для решения финансовых проблем.", + "1903" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nВ чем заключается суть рассказа \"Предвестник весны\" О. Генри?\nA. К тому, что Вэленс возвращается домой по просьбе дяди.\nB. О том, как приближение весны пробуждает в сердцах людей заботу и любовь, меняющие их взгляды на жизнь.\nC. Жозефа случайно застрелила любимцевого льва Рипли.\nD. К тому, что они решают открыть собственный бизнес.\nE. Она забыла о празднике\nF. О великодушном поступке мистера Питерса, который жертвует единственным долларом ради друзей.\nG. Они сразились из-за земельного участка.\nH. 1910\nI. 1899\nJ. О любви и самопожертвовании миссис Питерс, которая тратит последний доллар на сарсапариллу для своего мужа.\nK. О стремлении мистера Питерса и его друзей использовать насилие для решения финансовых проблем.\nL. 1903\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 220, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.04037153348326683, + "B": 0.03562774881720543, + "C": 0.0754239484667778, + "D": 0.26325544714927673, + "E": 0.06656140089035034, + "F": 0.05874023213982582, + "G": 0.1243530735373497, + "H": 0.1243530735373497, + "I": 0.04574693366885185, + "J": 0.04574693366885185, + "K": 0.03562774881720543, + "L": 0.01682935655117035 + }, + "sample": { + "question": "Что произошло между Рипли Гивнс и Жозефой в рассказе 'Принцесса и пума' О. Генри?", + "answerA": "Они сразились из-за земельного участка.", + "answerB": "Жозефа случайно застрелила любимцевого льва Рипли.", + "answerC": "Рипли спас Жозефу от нападения бандитов.", + "answerD": "Жозефа научила Рипли верховой езде.", + "correct_answer": "Жозефа случайно застрелила любимцевого льва Рипли.", + "choices": [ + "Жозефа научила Рипли верховой езде.", + "К тому, что они решают открыть собственный бизнес.", + "Она забыла о празднике", + "Жозефа случайно застрелила любимцевого льва Рипли.", + "1910", + "К тому, что Вэленс возвращается домой по просьбе дяди.", + "Что он дал распоряжение найти новую стенографистку", + "Ей негде было одеться", + "Рипли спас Жозефу от нападения бандитов.", + "1899", + "1903", + "Они сразились из-за земельного участка." + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nЧто произошло между Рипли Гивнс и Жозефой в рассказе 'Принцесса и пума' О. Генри?\nA. Жозефа научила Рипли верховой езде.\nB. К тому, что они решают открыть собственный бизнес.\nC. Она забыла о празднике\nD. Жозефа случайно застрелила любимцевого льва Рипли.\nE. 1910\nF. К тому, что Вэленс возвращается домой по просьбе дяди.\nG. Что он дал распоряжение найти новую стенографистку\nH. Ей негде было одеться\nI. Рипли спас Жозефу от нападения бандитов.\nJ. 1899\nK. 1903\nL. Они сразились из-за земельного участка.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 185, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.07809169590473175, + "B": 0.04736500233411789, + "C": 0.2725667953491211, + "D": 0.1136227399110794, + "E": 0.07809169590473175, + "F": 0.02872832678258419, + "G": 0.16532011330127716, + "H": 0.03255346044898033, + "I": 0.02872832678258419, + "J": 0.025352658703923225, + "K": 0.014445510692894459, + "L": 0.00040978757897391915 + }, + "sample": { + "question": "В рассказе 'Прихоти Фортуны' О. Генри, к чему приводит встреча Вэленса и Айди в парке?", + "answerA": "К тому, что они решают открыть собственный бизнес.", + "answerB": "К тому, что Вэленс возвращается домой по просьбе дяди.", + "answerC": "К тому, что Айди теряет последнюю надежду на наследство.", + "answerD": "К тому, что Айди успешно получает наследство от дяди.", + "correct_answer": "B", + "choices": [ + "Дороги, которые мы выбираем", + "1899", + "1908", + "1903", + "К тому, что они решают открыть собственный бизнес.", + "Ей негде было одеться", + "К тому, что Айди теряет последнюю надежду на наследство.", + "К тому, что Вэленс возвращается домой по просьбе дяди.", + "К тому, что Айди успешно получает наследство от дяди.", + "Что он дал распоряжение найти новую стенографистку", + "1910", + "Она забыла о празднике" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nВ рассказе 'Прихоти Фортуны' О. Генри, к чему приводит встреча Вэленса и Айди в парке?\nA. Дороги, которые мы выбираем\nB. 1899\nC. 1908\nD. 1903\nE. К тому, что они решают открыть собственный бизнес.\nF. Ей негде было одеться\nG. К тому, что Айди теряет последнюю надежду на наследство.\nH. К тому, что Вэленс возвращается домой по просьбе дяди.\nI. К тому, что Айди успешно получает наследство от дяди.\nJ. Что он дал распоряжение найти новую стенографистку\nK. 1910\nL. Она забыла о празднике\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 176, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.5082882046699524, + "B": 0.06070637330412865, + "C": 0.07794852554798126, + "D": 0.18698881566524506, + "E": 0.07794852554798126, + "F": 0.011953793466091156, + "G": 0.01970847323536873, + "H": 0.011953793466091156, + "I": 0.006398404482752085, + "J": 0.010549185797572136, + "K": 0.0019514032173901796, + "L": 0.0007641804404556751 + }, + "sample": { + "question": "В каком году была опубликована история 'Простаки с Бродвея' О. Генри?", + "answerA": "1899", + "answerB": "1903", + "answerC": "1908", + "answerD": "1912", + "correct_answer": "answerC", + "choices": [ + "1908", + "Ей негде было одеться", + "Что он уже сделал предложение мисс Лесли", + "1899", + "1903", + "Дороги, которые мы выбираем", + "1910", + "Она забыла о празднике", + "Что он дал распоряжение найти новую стенографистку", + "1912", + "Отправляет его к лучшим врачам города", + "Последний лист" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nВ каком году была опубликована история 'Простаки с Бродвея' О. Генри?\nA. 1908\nB. Ей негде было одеться\nC. Что он уже сделал предложение мисс Лесли\nD. 1899\nE. 1903\nF. Дороги, которые мы выбираем\nG. 1910\nH. Она забыла о празднике\nI. Что он дал распоряжение найти новую стенографистку\nJ. 1912\nK. Отправляет его к лучшим врачам города\nL. Последний лист\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 147, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.06222892180085182, + "B": 0.03330874443054199, + "C": 0.13173863291740417, + "D": 0.3160245716571808, + "E": 0.07990352064371109, + "F": 0.04846394062042236, + "G": 0.1691557765007019, + "H": 0.03774375468492508, + "I": 0.025940876454114914, + "J": 0.015733936801552773, + "K": 0.010158593766391277, + "L": 0.0008876480278559029 + }, + "sample": { + "question": "Почему Мейда не пошла на праздничный обед в День Благодарения в рассказе 'Пурпурное платье'?", + "answerA": "Она забыла о празднике", + "answerB": "Ей негде было одеться", + "answerC": "Она отдала свои деньги на платье подруге", + "answerD": "Она заболела", + "correct_answer": "Она отдала свои деньги на платье подруге", + "choices": [ + "Последний лист", + "Дороги, которые мы выбираем", + "1905", + "Она заболела", + "Что он дал распоряжение найти новую стенографистку", + "Отправляет его к лучшим врачам города", + "Она забыла о празднике", + "Что он уже сделал предложение мисс Лесли", + "Ей негде было одеться", + "1910", + "Она отдала свои деньги на платье подруге", + "1908" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nПочему Мейда не пошла на праздничный обед в День Благодарения в рассказе 'Пурпурное платье'?\nA. Последний лист\nB. Дороги, которые мы выбираем\nC. 1905\nD. Она заболела\nE. Что он дал распоряжение найти новую стенографистку\nF. Отправляет его к лучшим врачам города\nG. Она забыла о празднике\nH. Что он уже сделал предложение мисс Лесли\nI. Ей негде было одеться\nJ. 1910\nK. Она отдала свои деньги на платье подруге\nL. 1908\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 153, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.062140338122844696, + "B": 0.2168910801410675, + "C": 0.1315510869026184, + "D": 0.0904136523604393, + "E": 0.14906692504882812, + "F": 0.1024520993232727, + "G": 0.0704142227768898, + "H": 0.04839494451880455, + "I": 0.004501430783420801, + "J": 0.025903945788741112, + "K": 0.009529529139399529, + "L": 0.020174013450741768 + }, + "sample": { + "question": "В каком году был опубликован рассказ 'Развлечения современной деревни' входящий в цикл 'Благородный жулик'?", + "answerA": "1910", + "answerB": "1908", + "answerC": "1905", + "answerD": "1912", + "correct_answer": "B", + "choices": [ + "Справедливость", + "1907", + "Отправляет его к лучшим врачам города", + "Приглашает к нему на ранчо жить и дышать свежим воздухом", + "1905", + "1908", + "Последний лист", + "1910", + "Дороги, которые мы выбираем", + "Что он дал распоряжение найти новую стенографистку", + "1912", + "Что он уже сделал предложение мисс Лесли" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nВ каком году был опубликован рассказ 'Развлечения современной деревни' входящий в цикл 'Благородный жулик'?\nA. Справедливость\nB. 1907\nC. Отправляет его к лучшим врачам города\nD. Приглашает к нему на ранчо жить и дышать свежим воздухом\nE. 1905\nF. 1908\nG. Последний лист\nH. 1910\nI. Дороги, которые мы выбираем\nJ. Что он дал распоряжение найти новую стенографистку\nK. 1912\nL. Что он уже сделал предложение мисс Лесли\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 156, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.039983250200748444, + "B": 0.08464454114437103, + "C": 0.0746985375881195, + "D": 0.17919248342514038, + "E": 0.0746985375881195, + "F": 0.10868573933839798, + "G": 0.10868573933839798, + "H": 0.0746985375881195, + "I": 0.018886748701334, + "J": 0.0746985375881195, + "K": 0.039983250200748444, + "L": 0.05133950710296631 + }, + "sample": { + "question": "Что забыл Гарви Максуэлл из-за напряженной работы на бирже?", + "answerA": "Что он дал распоряжение найти новую стенографистку", + "answerB": "Что он уже сделал предложение мисс Лесли", + "answerC": "Что вчера они с мисс Лесли обвенчались", + "answerD": "Что он должен сделать важное финансовое решение", + "correct_answer": "Что вчера они с мисс Лесли обвенчались", + "choices": [ + "Справедливость", + "Дороги, которые мы выбираем", + "Что он уже сделал предложение мисс Лесли", + "Что он дал распоряжение найти новую стенографистку", + "1907", + "Отправляет его к лучшим врачам города", + "1905", + "Мисс Мери Сьюэлл", + "Что вчера они с мисс Лесли обвенчались", + "Приглашает к нему на ранчо жить и дышать свежим воздухом", + "Последний лист", + "Что он должен сделать важное финансовое решение" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nЧто забыл Гарви Максуэлл из-за напряженной работы на бирже?\nA. Справедливость\nB. Дороги, которые мы выбираем\nC. Что он уже сделал предложение мисс Лесли\nD. Что он дал распоряжение найти новую стенографистку\nE. 1907\nF. Отправляет его к лучшим врачам города\nG. 1905\nH. Мисс Мери Сьюэлл\nI. Что вчера они с мисс Лесли обвенчались\nJ. Приглашает к нему на ранчо жить и дышать свежим воздухом\nK. Последний лист\nL. Что он должен сделать важное финансовое решение\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 156, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.12979884445667267, + "B": 0.07872698456048965, + "C": 0.2747841477394104, + "D": 0.10108745098114014, + "E": 0.18885621428489685, + "F": 0.047750324010849, + "G": 0.06947631388902664, + "H": 0.03281828761100769, + "I": 0.010654537938535213, + "J": 0.015502261929214, + "K": 0.0034590221475809813, + "L": 0.0005646698409691453 + }, + "sample": { + "question": "Какое произведение О. Генри повествует о двух мошенниках, обратившихся за помощью к женщине, которая в итоге их обманывает?", + "answerA": "Дороги, которые мы выбираем", + "answerB": "Последний лист", + "answerC": "Рука, терзающая весь мир", + "answerD": "Дары волхвов", + "correct_answer": "answerC", + "choices": [ + "Дороги, которые мы выбираем", + "Последний лист", + "Смерть дуракам", + "Семена льна", + "Мисс Мери Сьюэлл", + "Приглашает к нему на ранчо жить и дышать свежим воздухом", + "1907", + "Отправляет его к лучшим врачам города", + "Рука, терзающая весь мир", + "Справедливость", + "Дары волхвов", + "1905" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКакое произведение О. Генри повествует о двух мошенниках, обратившихся за помощью к женщине, которая в итоге их обманывает?\nA. Дороги, которые мы выбираем\nB. Последний лист\nC. Смерть дуракам\nD. Семена льна\nE. Мисс Мери Сьюэлл\nF. Приглашает к нему на ранчо жить и дышать свежим воздухом\nG. 1907\nH. Отправляет его к лучшим врачам города\nI. Рука, терзающая весь мир\nJ. Справедливость\nK. Дары волхвов\nL. 1905\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 148, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.007055540103465319, + "B": 0.02790519967675209, + "C": 0.5604909658432007, + "D": 0.06694109737873077, + "E": 0.02790519967675209, + "F": 0.06694109737873077, + "G": 0.08595407754182816, + "H": 0.040601830929517746, + "I": 0.0015743038384243846, + "J": 0.006226492580026388, + "K": 0.012382857501506805, + "L": 0.002762989141047001 + }, + "sample": { + "question": "Как Рейдлер пытается изначально помочь Сверчку Макгуайру вылечиться в рассказе 'Санаторий на ранчо'?", + "answerA": "Отправляет его к лучшим врачам города", + "answerB": "Приглашает к нему на ранчо жить и дышать свежим воздухом", + "answerC": "Нанимает личного инструктора по боксу, чтобы укрепить тело", + "answerD": "Дарит ему лошадь для ежедневных прогулок по прериям", + "correct_answer": "Приглашает к нему на ранчо жить и дышать свежим воздухом", + "choices": [ + "Семена льна", + "1905", + "Дарит ему лошадь для ежедневных прогулок по прериям", + "1907", + "Нанимает личного инструктора по боксу, чтобы укрепить тело", + "Приглашает к нему на ранчо жить и дышать свежим воздухом", + "Сын миллионера Комптон", + "Справедливость", + "Остаться работать в банке", + "Мисс Мери Сьюэлл", + "Смерть дуракам", + "Отправляет его к лучшим врачам города" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКак Рейдлер пытается изначально помочь Сверчку Макгуайру вылечиться в рассказе 'Санаторий на ранчо'?\nA. Семена льна\nB. 1905\nC. Дарит ему лошадь для ежедневных прогулок по прериям\nD. 1907\nE. Нанимает личного инструктора по боксу, чтобы укрепить тело\nF. Приглашает к нему на ранчо жить и дышать свежим воздухом\nG. Сын миллионера Комптон\nH. Справедливость\nI. Остаться работать в банке\nJ. Мисс Мери Сьюэлл\nK. Смерть дуракам\nL. Отправляет его к лучшим врачам города\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 165, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.24047896265983582, + "B": 0.11359421908855438, + "C": 0.34989482164382935, + "D": 0.06889837235212326, + "E": 0.06080259755253792, + "F": 0.032545287162065506, + "G": 0.0417889766395092, + "H": 0.01973971538245678, + "I": 0.0016203345730900764, + "J": 0.005655522923916578, + "K": 0.0025096230674535036, + "L": 0.00024848635075613856 + }, + "sample": { + "question": "В каком году была опубликована история \"Сердце и крест\" О. Генри?", + "answerA": "1905", + "answerB": "1907", + "answerC": "1910", + "answerD": "1899", + "correct_answer": "answerB", + "choices": [ + "1905", + "1910", + "1907", + "Семена льна", + "Справедливость", + "1899", + "Друзья были пойманы полицией.", + "Рубаи Омара Хайяма", + "Мисс Мери Сьюэлл", + "Смерть дуракам", + "Остаться работать в банке", + "Сын миллионера Комптон" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nВ каком году была опубликована история \"Сердце и крест\" О. Генри?\nA. 1905\nB. 1910\nC. 1907\nD. Семена льна\nE. Справедливость\nF. 1899\nG. Друзья были пойманы полицией.\nH. Рубаи Омара Хайяма\nI. Мисс Мери Сьюэлл\nJ. Смерть дуракам\nK. Остаться работать в банке\nL. Сын миллионера Комптон\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 129, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.010752116329967976, + "B": 0.05129547417163849, + "C": 0.07463448494672775, + "D": 0.0845719501376152, + "E": 0.07463448494672775, + "F": 0.2298903912305832, + "G": 0.2951850891113281, + "H": 0.06586470454931259, + "I": 0.0032792105339467525, + "J": 0.021383138373494148, + "K": 0.027456490322947502, + "L": 0.006521488074213266 + }, + "sample": { + "question": "Что символизирует Джесси Хомз в рассказе 'Смерть дуракам' О. Генри?", + "answerA": "Справедливость", + "answerB": "Смерть дуракам", + "answerC": "Любовь и прощение", + "answerD": "Удачу", + "correct_answer": "Смерть дуракам", + "choices": [ + "Друзья были пойманы полицией.", + "Уехать за границу", + "Семена льна", + "Рубаи Омара Хайяма", + "Мисс Мери Сьюэлл", + "Смерть дуракам", + "Любовь и прощение", + "Справедливость", + "Антон Чехов", + "Удачу", + "Остаться работать в банке", + "Сын миллионера Комптон" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nЧто символизирует Джесси Хомз в рассказе 'Смерть дуракам' О. Генри?\nA. Друзья были пойманы полицией.\nB. Уехать за границу\nC. Семена льна\nD. Рубаи Омара Хайяма\nE. Мисс Мери Сьюэлл\nF. Смерть дуракам\nG. Любовь и прощение\nH. Справедливость\nI. Антон Чехов\nJ. Удачу\nK. Остаться работать в банке\nL. Сын миллионера Комптон\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 124, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.11888009309768677, + "B": 0.03859471529722214, + "C": 0.1729695051908493, + "D": 0.03859471529722214, + "E": 0.09258390963077545, + "F": 0.030057590454816818, + "G": 0.13470879197120667, + "H": 0.043733540922403336, + "I": 0.028236495330929756, + "J": 0.02652573399245739, + "K": 0.02652573399245739, + "L": 0.00279579171910882 + }, + "sample": { + "question": "Какой из этих персонажей является главным героем рассказа 'Сон в летнюю сушь'?", + "answerA": "Мисс Мери Сьюэлл", + "answerB": "Сын миллионера Комптон", + "answerC": "Гейнс", + "answerD": "Толстяк, предлагающий поездку на рыбалку", + "correct_answer": "C", + "choices": [ + "Толстяк, предлагающий поездку на рыбалку", + "Как ограниченный и мало влиятельный", + "Мисс Мери Сьюэлл", + "Друзья были пойманы полицией.", + "Гейнс", + "Сын миллионера Комптон", + "Один из мошенников умер.", + "Уехать за границу", + "Рубаи Омара Хайяма", + "Остаться работать в банке", + "Антон Чехов", + "Семена льна" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКакой из этих персонажей является главным героем рассказа 'Сон в летнюю сушь'?\nA. Толстяк, предлагающий поездку на рыбалку\nB. Как ограниченный и мало влиятельный\nC. Мисс Мери Сьюэлл\nD. Друзья были пойманы полицией.\nE. Гейнс\nF. Сын миллионера Комптон\nG. Один из мошенников умер.\nH. Уехать за границу\nI. Рубаи Омара Хайяма\nJ. Остаться работать в банке\nK. Антон Чехов\nL. Семена льна\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 140, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.023451756685972214, + "B": 0.11188206821680069, + "C": 0.02657432109117508, + "D": 0.059886153787374496, + "E": 0.0768953487277031, + "F": 0.11188206821680069, + "G": 0.0768953487277031, + "H": 0.09873558580875397, + "I": 0.013362406753003597, + "J": 0.14365942776203156, + "K": 0.04964736849069595, + "L": 0.14365942776203156 + }, + "sample": { + "question": "Какое решение приняли два мошенника в конце рассказа «Стихший ветер» О. Генри?", + "answerA": "Остаться работать в банке", + "answerB": "Уехать за границу", + "answerC": "Зарабатывать на жизнь честным путём", + "answerD": "Открыть собственное детективное агентство", + "correct_answer": "Зарабатывать на жизнь честным путём", + "choices": [ + "Антон Чехов", + "Отталкиваться от реальных продаж, а не от прогнозов при планировании поставок.", + "Антон Чехов", + "Уехать за границу", + "Открыть собственное детективное агентство", + "Друзья были пойманы полицией.", + "О. Генри", + "Остаться работать в банке", + "Как ограниченный и мало влиятельный", + "Зарабатывать на жизнь честным путём", + "Как побудитель к патриотизму и национальному самосознанию", + "Один из мошенников умер." + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКакое решение приняли два мошенника в конце рассказа «Стихший ветер» О. Генри?\nA. Антон Чехов\nB. Отталкиваться от реальных продаж, а не от прогнозов при планировании поставок.\nC. Антон Чехов\nD. Уехать за границу\nE. Открыть собственное детективное агентство\nF. Друзья были пойманы полицией.\nG. О. Генри\nH. Остаться работать в банке\nI. Как ограниченный и мало влиятельный\nJ. Зарабатывать на жизнь честным путём\nK. Как побудитель к патриотизму и национальному самосознанию\nL. Один из мошенников умер.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 153, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.19287529587745667, + "B": 0.07095486670732498, + "C": 0.03351669758558273, + "D": 0.15021143853664398, + "E": 0.07095486670732498, + "F": 0.19287529587745667, + "G": 0.05525970086455345, + "H": 0.09110784530639648, + "I": 0.012330104596912861, + "J": 0.03797939419746399, + "K": 0.015832168981432915, + "L": 0.03351669758558273 + }, + "sample": { + "question": "Как закончилась афера с брачными объявлениями в рассказе О. Генри 'Супружество как точная наука'?", + "answerA": "Друзья были пойманы полицией.", + "answerB": "Один из мошенников умер.", + "answerC": "Один из мошенников женился на вдове.", + "answerD": "Вдова оказалась богатой наследницей.", + "correct_answer": "Один из мошенников женился на вдове.", + "choices": [ + "Маскировать серьёзные хронические проблемы и принимать их как данность.", + "Один из мошенников умер.", + "Антон Чехов", + "Вдова оказалась богатой наследницей.", + "Антон Чехов", + "Один из мошенников женился на вдове.", + "Как побудитель к патриотизму и национальному самосознанию", + "Друзья были пойманы полицией.", + "Как ограниченный и мало влиятельный", + "Лев Толстой", + "Отталкиваться от реальных продаж, а не от прогнозов при планировании поставок.", + "О. Генри" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКак закончилась афера с брачными объявлениями в рассказе О. Генри 'Супружество как точная наука'?\nA. Маскировать серьёзные хронические проблемы и принимать их как данность.\nB. Один из мошенников умер.\nC. Антон Чехов\nD. Вдова оказалась богатой наследницей.\nE. Антон Чехов\nF. Один из мошенников женился на вдове.\nG. Как побудитель к патриотизму и национальному самосознанию\nH. Друзья были пойманы полицией.\nI. Как ограниченный и мало влиятельный\nJ. Лев Толстой\nK. Отталкиваться от реальных продаж, а не от прогнозов при планировании поставок.\nL. О. Генри\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 170, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.07612930983304977, + "B": 0.059289563447237015, + "C": 0.14222829043865204, + "D": 0.3010972738265991, + "E": 0.03596094250679016, + "F": 0.03596094250679016, + "G": 0.1826247274875641, + "H": 0.01808229647576809, + "I": 0.00486678397282958, + "J": 0.01808229647576809, + "K": 0.012427769601345062, + "L": 0.0011559625854715705 + }, + "sample": { + "question": "Кто является автором рассказа «Чья вина?» из цикла «Горящий светильник»?", + "answerA": "Антон Чехов", + "answerB": "О. Генри", + "answerC": "Эрнест Хемингуэй", + "answerD": "Марк Твен", + "correct_answer": "answerB", + "choices": [ + "Лев Толстой", + "Марк Твен", + "Как ограниченный и мало влиятельный", + "Антон Чехов", + "Эрнест Хемингуэй", + "Маскировать серьёзные хронические проблемы и принимать их как данность.", + "О. Генри", + "Важность личного успеха и карьеры", + "Лев Толстой", + "Фёдор Достоевский", + "Отталкиваться от реальных продаж, а не от прогнозов при планировании поставок.", + "Как побудитель к патриотизму и национальному самосознанию" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКто является автором рассказа «Чья вина?» из цикла «Горящий светильник»?\nA. Лев Толстой\nB. Марк Твен\nC. Как ограниченный и мало влиятельный\nD. Антон Чехов\nE. Эрнест Хемингуэй\nF. Маскировать серьёзные хронические проблемы и принимать их как данность.\nG. О. Генри\nH. Важность личного успеха и карьеры\nI. Лев Толстой\nJ. Фёдор Достоевский\nK. Отталкиваться от реальных продаж, а не от прогнозов при планировании поставок.\nL. Как побудитель к патриотизму и национальному самосознанию\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 153, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.001996955368667841, + "B": 0.002408788073807955, + "C": 0.025896910578012466, + "D": 0.011491684243083, + "E": 0.00577838160097599, + "F": 0.008407496847212315, + "G": 0.7568187117576599, + "H": 0.006547764874994755, + "I": 0.00034701882395893335, + "J": 0.0009432950173504651, + "K": 0.005428287200629711, + "L": 7.743036258034408e-05 + }, + "sample": { + "question": "Как Гоголь описал вклад Пушкина в развитие русского языка?", + "answerA": "Как ограниченный и мало влиятельный", + "answerB": "Как побудитель к патриотизму и национальному самосознанию", + "answerC": "Как того, кто расширил его границы и вобрал в себя всё богатство языка", + "answerD": "Как создателя новых грамматических правил", + "correct_answer": "Как того, кто расширил его границы и вобрал в себя всё богатство языка", + "choices": [ + "Лев Толстой", + "Отталкиваться от реальных продаж, а не от прогнозов при планировании поставок.", + "Маскировать серьёзные хронические проблемы и принимать их как данность.", + "Антон Чехов", + "Фёдор Достоевский", + "Лев Толстой", + "Как того, кто расширил его границы и вобрал в себя всё богатство языка", + "Важность личного успеха и карьеры", + "Организовал строительные работы", + "Как побудитель к патриотизму и национальному самосознанию", + "Как создателя новых грамматических правил", + "Как ограниченный и мало влиятельный" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКак Гоголь описал вклад Пушкина в развитие русского языка?\nA. Лев Толстой\nB. Отталкиваться от реальных продаж, а не от прогнозов при планировании поставок.\nC. Маскировать серьёзные хронические проблемы и принимать их как данность.\nD. Антон Чехов\nE. Фёдор Достоевский\nF. Лев Толстой\nG. Как того, кто расширил его границы и вобрал в себя всё богатство языка\nH. Важность личного успеха и карьеры\nI. Организовал строительные работы\nJ. Как побудитель к патриотизму и национальному самосознанию\nK. Как создателя новых грамматических правил\nL. Как ограниченный и мало влиятельный\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 162, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.035092152655124664, + "B": 0.06978907436132431, + "C": 0.35441818833351135, + "D": 0.1674153059720993, + "E": 0.04796528443694115, + "F": 0.07908139377832413, + "G": 0.06158864125609398, + "H": 0.035092152655124664, + "I": 0.00270601618103683, + "J": 0.03735540062189102, + "K": 0.01878347620368004, + "L": 0.012909682467579842 + }, + "sample": { + "question": "Какой из перечисленных принципов НЕ относится к идеям, изложенным в \"Правилах Голдратта\" Элияху Голдраттом?", + "answerA": "Отталкиваться от реальных продаж, а не от прогнозов при планировании поставок.", + "answerB": "Маскировать серьёзные хронические проблемы и принимать их как данность.", + "answerC": "Сосредоточить усилия на крупных проблемах для достижения значительного результата.", + "answerD": "Избегать заключения компромисса по главной исходной предпосылке.", + "correct_answer": "B", + "choices": [ + "Фёдор Достоевский", + "Отталкиваться от реальных продаж, а не от прогнозов при планировании поставок.", + "Важность личного успеха и карьеры", + "Эгоизм и корысть как движущие силы", + "Лев Толстой", + "Маскировать серьёзные хрониче��кие проблемы и принимать их как данность.", + "Сосредоточить усилия на крупных проблемах для достижения значительного результата.", + "Во влиянии общества на личность", + "Антон Чехов", + "Избегать заключения компромисса по главной исходной предпосылке.", + "Лев Толстой", + "Организовал строительные работы" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКакой из перечисленных принципов НЕ относится к идеям, изложенным в \"Правилах Голдратта\" Элияху Голдраттом?\nA. Фёдор Достоевский\nB. Отталкиваться от реальных продаж, а не от прогнозов при планировании поставок.\nC. Важность личного успеха и карьеры\nD. Эгоизм и корысть как движущие силы\nE. Лев Толстой\nF. Маскировать серьёзные хронические проблемы и принимать их как данность.\nG. Сосредоточить усилия на крупных проблемах для достижения значительного результата.\nH. Во влиянии общества на личность\nI. Антон Чехов\nJ. Избегать заключения компромисса по главной исходной предпосылке.\nK. Лев Толстой\nL. Организовал строительные работы\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 180, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.019111977890133858, + "B": 0.05195174366235733, + "C": 0.05886903405189514, + "D": 0.16002264618873596, + "E": 0.02780776284635067, + "F": 0.045847248286008835, + "G": 0.4349866211414337, + "H": 0.03151032701134682, + "I": 0.0020143878646194935, + "J": 0.00961010530591011, + "K": 0.02780776284635067, + "L": 0.01584438607096672 + }, + "sample": { + "question": "Кто является автором рассказа 'Мой спутник'?", + "answerA": "Антон Чехов", + "answerB": "Лев Толстой", + "answerC": "Максим Горький", + "answerD": "Федор Достоевский", + "correct_answer": "answerC", + "choices": [ + "Лев Толстой", + "Важность личного успеха и карьеры", + "Эгоизм и корысть как движущие силы", + "Антон Чехов", + "В непонимании мотивов преступления Раскольникова", + "Поддержал проект перестройки", + "Фёдор Достоевский", + "Организовал строительные работы", + "Максим Горький", + "Во влиянии общества на личность", + "1989", + "Федор Достоевский" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКто является автором рассказа 'Мой спутник'?\nA. Лев Толстой\nB. Важность личного успеха и карьеры\nC. Эгоизм и корысть как движущие силы\nD. Антон Чехов\nE. В непонимании мотивов преступления Раскольникова\nF. Поддержал проект перестройки\nG. Фёдор Достоевский\nH. Организовал строительные работы\nI. Максим Горький\nJ. Во влиянии общества на личность\nK. 1989\nL. Федор Достоевский\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 118, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.27742210030555725, + "B": 0.029240073636174202, + "C": 0.048208728432655334, + "D": 0.14849336445331573, + "E": 0.07014328986406326, + "F": 0.02277219295501709, + "G": 0.07948276400566101, + "H": 0.020096391439437866, + "I": 0.061901241540908813, + "J": 0.029240073636174202, + "K": 0.006524342577904463, + "L": 0.00211814371868968 + }, + "sample": { + "question": "Кто является автором произведения 'Фома Гордеев'?", + "answerA": "Лев Толстой", + "answerB": "Фёдор Достоевский", + "answerC": "Максим Горький", + "answerD": "Антон Чехов", + "correct_answer": "C", + "choices": [ + "Лев Толстой", + "1989", + "Невский проспект", + "Максим Горький", + "Фёдор Достоевский", + "Поддержал проект перестройки", + "Эгоизм и корысть как движущие силы", + "Важность личного успеха и карьеры", + "Антон Чехов", + "В непонимании мотивов преступления Раскольникова", + "Организовал строительные работы", + "Во влиянии общества на личность" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКто является автором произведения 'Фома Гордеев'?\nA. Лев Толстой\nB. 1989\nC. Невский проспект\nD. Максим Горький\nE. Фёдор Достоевский\nF. Поддержал проект перестройки\nG. Эгоизм и корысть как движущие силы\nH. Важность личного успеха и карьеры\nI. Антон Чехов\nJ. В непонимании мотивов преступления Раскольникова\nK. Организовал строительные работы\nL. Во влиянии общества на личность\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 121, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.01107180304825306, + "B": 0.8795422911643982, + "C": 0.018254317343235016, + "D": 0.030096281319856644, + "E": 0.002470453269779682, + "F": 0.0018074221443384886, + "G": 0.0031721247360110283, + "H": 0.001407621894031763, + "I": 2.5781491785892285e-05, + "J": 0.000429300416726619, + "K": 0.00016811644309200346, + "L": 2.4219472834374756e-05 + }, + "sample": { + "question": "Какой основной мысли донес Гранин в произведении 'Будущее воспоминание'?", + "answerA": "Важность личного успеха и карьеры", + "answerB": "Эгоизм и корысть как движущие силы", + "answerC": "Ценность сочувствия и помощь другим как способы выживания в трудные времена", + "answerD": "Необходимость отказа от воспоминаний ради достижения будущих успехов", + "correct_answer": "Ценность сочувствия и помощь другим как способы выживания в трудные времена", + "choices": [ + "1989", + "Ценность сочувствия и помощь другим как способы выживания в трудные времена", + "Важность личного успеха и карьеры", + "Необходимость отказа от воспоминаний ради достижения будущих успехов", + "Невский проспект", + "1995", + "В непонимании мотивов преступления Раскольникова", + "Эгоизм и корысть как движущие силы", + "Поддержал проект перестройки", + "Организовал строительные работы", + "Во влиянии общества на личность", + "Писать только поучительные исторические романы" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКакой основной мысли донес Гранин в произведении 'Будущее воспоминание'?\nA. 1989\nB. Ценность сочувствия и помощь другим как способы выживания в трудные времена\nC. Важность личного успеха и карьеры\nD. Необходимость отказа от воспоминаний ради достижения будущих успехов\nE. Невский проспект\nF. 1995\nG. В непонимании мотивов преступления Раскольникова\nH. Эгоизм и корысть как движущие силы\nI. Поддержал проект перестройки\nJ. Организовал строительные работы\nK. Во влиянии общества на личность\nL. Писать только поучительные исторические романы\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 149, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.03846710920333862, + "B": 0.8755073547363281, + "C": 0.005899121984839439, + "D": 0.007574622519314289, + "E": 0.0006618631887249649, + "F": 0.00017813805607147515, + "G": 0.0003126419906038791, + "H": 8.957343379734084e-05, + "I": 7.82683946454199e-06, + "J": 2.1275556719047017e-05, + "K": 1.2904276445624419e-05, + "L": 1.0698021469579544e-05 + }, + "sample": { + "question": "Что сделал Д. С. Лихачёв для защиты Невского проспекта?", + "answerA": "Организовал строительные работы", + "answerB": "Поддержал проект перестройки", + "answerC": "Защищал сохранность и историческую цельность", + "answerD": "Предложил новый проект реконструкции", + "correct_answer": "Защищал сохранность и историческую цельность", + "choices": [ + "Предложил новый проект реконструкции", + "Защищал сохранность и историческую цельность", + "Писать только поучительные исторические романы", + "1995", + "В непонимании мотивов преступления Раскольникова", + "Во влиянии общества на личность", + "Невский проспект", + "О путешествиях по миру", + "Поддержал проект перестройки", + "Кировский проспект", + "1989", + "Организовал строительные работы" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nЧто сделал Д. С. Лихачёв для защиты Невского проспекта?\nA. Предложил новый проект реконструкции\nB. Защищал сохранность и историческую цельность\nC. Писать только поучительные исторические романы\nD. 1995\nE. В непонимании мотивов преступления Раскольникова\nF. Во влиянии общества на личность\nG. Невский проспект\nH. О путешествиях по миру\nI. Поддержал проект перестройки\nJ. Кировский проспект\nK. 1989\nL. Организовал строительные работы\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 134, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.14590543508529663, + "B": 0.3966120481491089, + "C": 0.05367560312151909, + "D": 0.0368906669318676, + "E": 0.0368906669318676, + "F": 0.10027922689914703, + "G": 0.10027922689914703, + "H": 0.0223753210157156, + "I": 0.01056935265660286, + "J": 0.02873048186302185, + "K": 0.01197664625942707, + "L": 0.000494335254188627 + }, + "sample": { + "question": "В чем Даниил Александрович Гранин видит причину удивительного вопроса, задаваемого читателям в 'Преступлении и наказании' по Достоевскому?", + "answerA": "Во влиянии общества на личность", + "answerB": "В непонимании мотивов преступления Раскольникова", + "answerC": "В жертве идеи и неспособности раскаяться", + "answerD": "В критике советской системы", + "correct_answer": "C", + "choices": [ + "Во влиянии общества на личность", + "В жертве идеи и неспособности раскаяться", + "Кировский проспект", + "1995", + "Писать только поучительные исторические романы", + "Невский проспект", + "1989", + "О путешествиях по миру", + "Предугадать будущее и понять куда движется время", + "В критике советской системы", + "В непонимании мотивов преступления Раскольникова", + "Иван Тургенев" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nВ чем Даниил Александрович Гранин видит причину удивительного вопроса, задаваемого читателям в 'Преступлении и наказании' по Достоевскому?\nA. Во влиянии общества на личность\nB. В жертве идеи и неспособности раскаяться\nC. Кировский проспект\nD. 1995\nE. Писать только поучительные исторические романы\nF. Невский проспект\nG. 1989\nH. О путешествиях по миру\nI. Предугадать будущее и понять куда движется время\nJ. В критике советской системы\nK. В непонимании мотивов преступления Раскольникова\nL. Иван Тургенев\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 150, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0376516617834568, + "B": 0.0376516617834568, + "C": 0.31525349617004395, + "D": 0.07034256309270859, + "E": 0.1687430441379547, + "F": 0.05478283762931824, + "G": 0.14891521632671356, + "H": 0.0376516617834568, + "I": 0.012223704718053341, + "J": 0.015695547685027122, + "K": 0.008943053893744946, + "L": 0.001760991639457643 + }, + "sample": { + "question": "В каком году вышел фильм 'Он умер в день Веры, Надежды, Любви'?", + "answerA": "1989", + "answerB": "1995", + "answerC": "1999", + "answerD": "2002", + "correct_answer": "answerC", + "choices": [ + "Писать только поучительные исторические романы", + "Кировский проспект", + "1989", + "Невский проспект", + "1995", + "Коллекцию древних мечей", + "2002", + "О путешествиях по миру", + "Предугадать будущее и понять куда движется время", + "Иван Тургенев", + "1999", + "Об исторических событиях 20 века" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nВ каком году вышел фильм 'Он умер в день Веры, Надежды, Любви'?\nA. Писать только поучительные исторические романы\nB. Кировский проспект\nC. 1989\nD. Невский проспект\nE. 1995\nF. Коллекцию древних мечей\nG. 2002\nH. О путешествиях по миру\nI. Предугадать будущее и понять куда движется время\nJ. Иван Тургенев\nK. 1999\nL. Об исторических событиях 20 века\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 137, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.1065937876701355, + "B": 0.13686911761760712, + "C": 0.13686911761760712, + "D": 0.28975191712379456, + "E": 0.034605931490659714, + "F": 0.057055532932281494, + "G": 0.057055532932281494, + "H": 0.06465239822864532, + "I": 0.005649263504892588, + "J": 0.013551878742873669, + "K": 0.011234900914132595, + "L": 0.0032188533805310726 + }, + "sample": { + "question": "Какое название улицы упоминается в рассказе о несчастном случае с Даниилом Александровичем Граниным?", + "answerA": "Невский проспект", + "answerB": "Кировский проспект", + "answerC": "Проспект Мира", + "answerD": "Ленинский проспект", + "correct_answer": "answerB", + "choices": [ + "Кировский проспект", + "Александр Пушкин", + "Коллекцию древних мечей", + "Дневник жертвы", + "Писать только поучительные исторические романы", + "Предугадать будущее и понять куда движется время", + "Иван Тургенев", + "Проспект Мира", + "О путешествиях по миру", + "Невский проспект", + "Об исторических событиях 20 века", + "Ленинский проспект" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКакое название улицы упоминается в рассказе о несчастном случае с Даниилом Александровичем Граниным?\nA. Кировский проспект\nB. Александр Пушкин\nC. Коллекцию древних мечей\nD. Дневник жертвы\nE. Писать только поучительные исторические романы\nF. Предугадать будущее и понять куда движется время\nG. Иван Тургенев\nH. Проспект Мира\nI. О путешествиях по миру\nJ. Невский проспект\nK. Об исторических событиях 20 века\nL. Ленинский проспект\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 130, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.01555571798235178, + "B": 0.047914985567331314, + "C": 0.354046493768692, + "D": 0.13024644553661346, + "E": 0.017626937478780746, + "F": 0.013727872632443905, + "G": 0.2433323711156845, + "H": 0.013727872632443905, + "I": 0.001276891096495092, + "J": 0.003470950061455369, + "K": 0.032931454479694366, + "L": 0.00032284861663356423 + }, + "sample": { + "question": "Что является одной из задач писателя по замыслу Даниила Гранина в 'Точка опоры. Часть 2'?", + "answerA": "Писать только поучительные исторические романы", + "answerB": "Предугадать будущее и понять куда движется время", + "answerC": "Отказаться от создания произведений на актуальные темы", + "answerD": "Сосредоточиться исключительно на научной литературе", + "correct_answer": "B", + "choices": [ + "Иван Тургенев", + "Дневник жертвы", + "Пьеро", + "Тайный дневник Доггера", + "Писать только поучительные исторические романы", + "Отказаться от создания произведений на актуальные темы", + "Предугадать будущее и понять куда движется время", + "Сосредоточиться исключительно на научной литературе", + "О путешествиях по миру", + "Об исторических событиях 20 века", + "Александр Пушкин", + "Коллекцию древних мечей" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nЧто является одной из задач писателя по замыслу Даниила Гранина в 'Точка опоры. Часть 2'?\nA. Иван Тургенев\nB. Дневник жертвы\nC. Пьеро\nD. Тайный дневник Доггера\nE. Писать только поучительные исторические романы\nF. Отказаться от создания произведений на актуальные темы\nG. Предугадать будущее и понять куда движется время\nH. Сосредоточиться исключительно на научной литературе\nI. О путешествиях по миру\nJ. Об исторических событиях 20 века\nK. Александр Пушкин\nL. Коллекцию древних мечей\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 147, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.8821246027946472, + "B": 0.011104309931397438, + "C": 0.012582831084728241, + "D": 0.007631873246282339, + "E": 0.006735104136168957, + "F": 0.00043056084541603923, + "G": 0.0008043934940360487, + "H": 0.0003150050179101527, + "I": 0.00016861002950463444, + "J": 0.00016861002950463444, + "K": 0.0001397826272295788, + "L": 8.936004633142147e-06 + }, + "sample": { + "question": "О чем книга 'Что ценишь в себе?' Гранина Даниила Александровича?", + "answerA": "О путешествиях по миру", + "answerB": "Об исторических событиях 20 века", + "answerC": "О культуре личности, проблемах жизненных идеалов", + "answerD": "О научных открытиях последних десятилетий", + "correct_answer": "answerC", + "choices": [ + "О культуре личности, проблемах жизненных идеалов", + "1799", + "Дневник жертвы", + "Кусок ткани с места преступления", + "Пьеро", + "О путешествиях по миру", + "Тайный дневник Доггера", + "Об исторических событиях 20 века", + "Иван Тургенев", + "Коллекцию древних мечей", + "Александр Пушкин", + "О научных открытиях последних десятилетий" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nО чем книга 'Что ценишь в себе?' Гранина Даниила Александровича?\nA. О культуре личности, проблемах жизненных идеалов\nB. 1799\nC. Дневник жертвы\nD. Кусок ткани с места преступления\nE. Пьеро\nF. О путешествиях по миру\nG. Тайный дневник Доггера\nH. Об исторических событиях 20 века\nI. Иван Тургенев\nJ. Коллекцию древних мечей\nK. Александр Пушкин\nL. О научных открытиях последних десятилетий\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 133, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.2047131359577179, + "B": 0.3375149071216583, + "C": 0.10957504063844681, + "D": 0.06646061688661575, + "E": 0.07530975341796875, + "F": 0.03139377385377884, + "G": 0.03139377385377884, + "H": 0.04567767307162285, + "I": 0.0024208277463912964, + "J": 0.007456675171852112, + "K": 0.0014683064073324203, + "L": 0.002274157479405403 + }, + "sample": { + "question": "Кто является автором произведения \"Сто вёрст по реке\"?", + "answerA": "Иван Тургенев", + "answerB": "Александр Пушкин", + "answerC": "Лев Толстой", + "answerD": "Александр Грин", + "correct_answer": "answerD", + "choices": [ + "Тайный дневник Доггера", + "Александр Пушкин", + "Пьеро", + "Леопольд", + "Граф де Сен-Валлиар", + "Коллекцию древних мечей", + "Дневник жертвы", + "Александр Грин", + "Иван Тургенев", + "1799", + "Кусок ткани с места преступления", + "Лев Толстой" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКто является автором ��роизведения \"Сто вёрст по реке\"?\nA. Тайный дневник Доггера\nB. Александр Пушкин\nC. Пьеро\nD. Леопольд\nE. Граф де Сен-Валлиар\nF. Коллекцию древних мечей\nG. Дневник жертвы\nH. Александр Грин\nI. Иван Тургенев\nJ. 1799\nK. Кусок ткани с места преступления\nL. Лев Толстой\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 113, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.09000751376152039, + "B": 0.035247448831796646, + "C": 0.035247448831796646, + "D": 0.07943135499954224, + "E": 0.11557193100452423, + "F": 0.04525861516594887, + "G": 0.070097915828228, + "H": 0.3559865951538086, + "I": 0.022757461294531822, + "J": 0.025787584483623505, + "K": 0.020083392038941383, + "L": 0.03752071037888527 + }, + "sample": { + "question": "Что Аммон Кут обнаружил за занавесями в комнате, куда он случайно забрёл?", + "answerA": "Коллекцию древних мечей", + "answerB": "Тайный дневник Доггера", + "answerC": "Картины с изображением женщины", + "answerD": "Записки о путешествиях", + "correct_answer": "Картины с изображением женщины", + "choices": [ + "Кусок ткани с места преступления", + "1834", + "Леопольд", + "Коллекцию древних мечей", + "Записки о путешествиях", + "1799", + "Граф де Сен-Валлиар", + "Тайный дневник Доггера", + "Он построил первый пароход, успешно проплывший через Ла-Манш.", + "Пьеро", + "Дневник жертвы", + "Картины с изображением женщины" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nЧто Аммон Кут обнаружил за занавесями в комнате, куда он случайно забрёл?\nA. Кусок ткани с места преступления\nB. 1834\nC. Леопольд\nD. Коллекцию древних мечей\nE. Записки о путешествиях\nF. 1799\nG. Граф де Сен-Валлиар\nH. Тайный дневник Доггера\nI. Он построил первый пароход, успешно проплывший через Ла-Манш.\nJ. Пьеро\nK. Дневник жертвы\nL. Картины с изображением женщины\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 143, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.01506872195750475, + "B": 0.033957887440919876, + "C": 0.08146072924137115, + "D": 0.09230710566043854, + "E": 0.033957887440919876, + "F": 0.02996772900223732, + "G": 0.4687741696834564, + "H": 0.02815207652747631, + "I": 0.005207611247897148, + "J": 0.011735532432794571, + "K": 0.07188884913921356, + "L": 0.0016906637465581298 + }, + "sample": { + "question": "В рассказе Грина 'Редкий фотографический аппарат', что стало необычным доказательством в деле убийства?", + "answerA": "Дневник жертвы", + "answerB": "Кусок ткани с места преступления", + "answerC": "Отпечаток статуи 'Ленивой Матери' на шее преступника", + "answerD": "Револьвер преступника", + "correct_answer": "Отпечаток статуи 'Ленивой Матери' на шее преступника", + "choices": [ + "Граф де Сен-Валлиар", + "1834", + "Дневник жертвы", + "Леопольд", + "Невил Ландлес", + "Револьвер преступника", + "Отпечаток статуи 'Ленивой Матери' на шее преступника", + "1799", + "Он построил первый пароход, успешно проплывший через Ла-Манш.", + "Кусок ткани с места преступления", + "Бланш", + "Пьеро" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nВ рассказе Грина 'Редкий фотографический аппарат', что стало необычным доказательством в деле убийства?\nA. Граф де Сен-Валлиар\nB. 1834\nC. Дневник жертвы\nD. Леопольд\nE. Невил Ландлес\nF. Револьвер преступника\nG. Отпечаток статуи 'Ленивой Матери' на шее преступника\nH. 1799\nI. Он построил первый пароход, успешно проплывший через Ла-Манш.\nJ. Кусок ткани с места преступления\nK. Бланш\nL. Пьеро\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 143, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.15816836059093475, + "B": 0.07471343874931335, + "C": 0.23013359308242798, + "D": 0.10870742052793503, + "E": 0.07471343874931335, + "F": 0.039991218596696854, + "G": 0.08466142416000366, + "H": 0.0352921299636364, + "I": 0.06593438237905502, + "J": 0.02140575833618641, + "K": 0.012196633964776993, + "L": 0.0014566801255568862 + }, + "sample": { + "question": "В каком году был написан роман про Клода Гё?", + "answerA": "1799", + "answerB": "1834", + "answerC": "1867", + "answerD": "1901", + "correct_answer": "B", + "choices": [ + "1985", + "Герой спас ребенка от утонутой смерти во время шторма.", + "1799", + "Он построил первый пароход, успешно проплывший через Ла-Манш.", + "Граф де Сен-Валлиар", + "1834", + "Джон Джаспер", + "Федор Достоевский", + "Невил Ландлес", + "Бланш", + "1901", + "1867" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nВ каком году был написан роман про Клода Гё?\nA. 1985\nB. Герой спас ребенка от утонутой смерти во время шторма.\nC. 1799\nD. Он построил первый пароход, успешно проплывший через Ла-Манш.\nE. Граф де Сен-Валлиар\nF. 1834\nG. Джон Джаспер\nH. Федор Достоевский\nI. Невил Ландлес\nJ. Бланш\nK. 1901\nL. 1867\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 139, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.20322807133197784, + "B": 0.15827418863773346, + "C": 0.1087801530957222, + "D": 0.15827418863773346, + "E": 0.03531574085354805, + "F": 0.07476343959569931, + "G": 0.06597849726676941, + "H": 0.03531574085354805, + "I": 0.012991935946047306, + "J": 0.022801557555794716, + "K": 0.007402582559734583, + "L": 0.005765136796981096 + }, + "sample": { + "question": "Кто из персонажей \"Король забавляется\" решает отомстить королю?", + "answerA": "Граф де Сен-Валлиар", + "answerB": "Бланш", + "answerC": "Салтабадил", + "answerD": "Трибуле", + "correct_answer": "Трибуле", + "choices": [ + "Трибуле", + "Герой спас ребенка от утонутой смерти во время шторма.", + "1985", + "Бланш", + "Федор Достоевский", + "Невил Ландлес", + "Владимир Набоков", + "Он построил первый пароход, успешно проплывший через Ла-Манш.", + "Граф де Сен-Валлиар", + "1981", + "Джон Джаспер", + "Салтабадил" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКто из персо��ажей \"Король забавляется\" решает отомстить королю?\nA. Трибуле\nB. Герой спас ребенка от утонутой смерти во время шторма.\nC. 1985\nD. Бланш\nE. Федор Достоевский\nF. Невил Ландлес\nG. Владимир Набоков\nH. Он построил первый пароход, успешно проплывший через Ла-Манш.\nI. Граф де Сен-Валлиар\nJ. 1981\nK. Джон Джаспер\nL. Салтабадил\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 134, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.26356402039527893, + "B": 0.03147822991013527, + "C": 0.021634651347994804, + "D": 0.024515269324183464, + "E": 0.06663940846920013, + "F": 0.011580194346606731, + "G": 0.08556670695543289, + "H": 0.012327052652835846, + "I": 0.383483350276947, + "J": 0.009018664248287678, + "K": 0.0033177812583744526, + "L": 0.0007402970222756267 + }, + "sample": { + "question": "Каков основной подвиг главного героя романа 'Труженики моря'?", + "answerA": "Он построил первый пароход, успешно проплывший через Ла-Манш.", + "answerB": "Герой спас ребенка от утонутой смерти во время шторма.", + "answerC": "Он сыграл свадьбу, объединив две враждующие семьи.", + "answerD": "Герой отправился в опасное путешествие, чтобы спасти машину от гибели.", + "correct_answer": "answerD", + "choices": [ + "Невил Ландлес", + "Он построил первый пароход, успешно проплывший через Ла-Манш.", + "1985", + "Владимир Набоков", + "1990", + "Федор Достоевский", + "1981", + "Джон Джаспер", + "Герой спас ребенка от утонутой смерти во время шторма.", + "Герой отправился в опасное путешествие, чтобы спасти машину от гибели.", + "1985", + "Он сыграл свадьбу, объединив две враждующие семьи." + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКаков основной подвиг главного героя романа 'Труженики моря'?\nA. Невил Ландлес\nB. Он построил первый пароход, успешно проплывший через Ла-Манш.\nC. 1985\nD. Владимир Набоков\nE. 1990\nF. Федор Достоевский\nG. 1981\nH. Джон Джаспер\nI. Герой спас ребенка от утонутой смерти во время шторма.\nJ. Герой отправился в опасное путешествие, чтобы спасти машину от гибели.\nK. 1985\nL. Он сыграл свадьбу, объединив две враждующие семьи.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 151, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.12055627256631851, + "B": 0.17540833353996277, + "C": 0.25521761178970337, + "D": 0.10639052838087082, + "E": 0.05025532469153404, + "F": 0.03913889080286026, + "G": 0.08285702764987946, + "H": 0.034539949148893356, + "I": 0.0020742854103446007, + "J": 0.017367776483297348, + "K": 0.009895861148834229, + "L": 0.0022080650087445974 + }, + "sample": { + "question": "Кто задумывает убийство Эдвина Друда?", + "answerA": "Невил Ландлес", + "answerB": "Джон Джаспер", + "answerC": "Мистер Грюгиус", + "answerD": "Дик Дэчери", + "correct_answer": "Джон Джаспер", + "choices": [ + "1985", + "Дик Дэчери", + "Невил Ландлес", + "Джон Джаспер", + "1981", + "Мистер Грюгиус", + "Федор Достоевский", + "1953 год", + "Владимир Набоков", + "1985", + "1990", + "1975" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКто задумывает убийство Эдвина Друда?\nA. 1985\nB. Дик Дэчери\nC. Невил Ландлес\nD. Джон Джаспер\nE. 1981\nF. Мистер Грюгиус\nG. Федор Достоевский\nH. 1953 год\nI. Владимир Набоков\nJ. 1985\nK. 1990\nL. 1975\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.04719531536102295, + "B": 0.23967760801315308, + "C": 0.07781192660331726, + "D": 0.09991248697042465, + "E": 0.06866879016160965, + "F": 0.23967760801315308, + "G": 0.06866879016160965, + "H": 0.04719531536102295, + "I": 0.0008644124609418213, + "J": 0.012702448293566704, + "K": 0.0036393122281879187, + "L": 0.006387191824615002 + }, + "sample": { + "question": "Кто является автором рассказа \"Виноград\", повествующего о студенческой молодости и первом сексуальном опыте?", + "answerA": "Федор Достоевский", + "answerB": "Владимир Набоков", + "answerC": "Сергей Донатович Довлатов", + "answerD": "Антон Чехов", + "correct_answer": "Сергей Донатович Довлатов", + "choices": [ + "1985", + "1981", + "1985", + "1953 год", + "Антон Чехов", + "Сергей Донатович Довлатов", + "1990", + "Владимир Набоков", + "1988", + "1975", + "Джон Мак-Мэрдо", + "Федор Достоевский" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКто является автором рассказа \"Виноград\", повествующего о студенческой молодости и первом сексуальном опыте?\nA. 1985\nB. 1981\nC. 1985\nD. 1953 год\nE. Антон Чехов\nF. Сергей Донатович Довлатов\nG. 1990\nH. Владимир Набоков\nI. 1988\nJ. 1975\nK. Джон Мак-Мэрдо\nL. Федор Достоевский\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 130, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.23047517240047455, + "B": 0.07482433319091797, + "C": 0.33533939719200134, + "D": 0.12336447834968567, + "E": 0.06603223830461502, + "F": 0.01669556461274624, + "G": 0.040050581097602844, + "H": 0.03534451127052307, + "I": 0.003499580780044198, + "J": 0.005420256406068802, + "K": 0.0019940007477998734, + "L": 0.0005041623371653259 + }, + "sample": { + "question": "В каком году была опубликована юмористическая история \"Игрушка\"?", + "answerA": "1985", + "answerB": "1990", + "answerC": "2000", + "answerD": "1995", + "correct_answer": "1990", + "choices": [ + "1985", + "1990", + "1953 год", + "1981", + "1963 год", + "1988", + "2000", + "Джон Мак-Мэрдо", + "1995", + "1975", + "Шерлок Холмс", + "Умение лечить травами." + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nВ каком году была опубликована юмористическая история \"Игрушка\"?\nA. 1985\nB. 1990\nC. 1953 год\nD. 1981\nE. 1963 год\nF. 1988\nG. 2000\nH. Джон Мак-Мэрдо\nI. 1995\nJ. 1975\nK. Шерлок Холмс\nL. Умение лечить травами.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 130, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.4239492416381836, + "B": 0.023917580023407936, + "C": 0.057375289499759674, + "D": 0.22692368924617767, + "E": 0.07367132604122162, + "F": 0.02110718935728073, + "G": 0.027102166786789894, + "H": 0.018627028912305832, + "I": 0.07367132604122162, + "J": 0.012802157551050186, + "K": 0.003667879616841674, + "L": 0.0009273851756006479 + }, + "sample": { + "question": "В каком году был опубликован рассказ 'Мы и гинеколог Буданицкий' Сергея Довлатова?", + "answerA": "1985", + "answerB": "1988", + "answerC": "1990", + "answerD": "1982", + "correct_answer": "answerB", + "choices": [ + "1963 год", + "Лев Толстой", + "Джон Мак-Мэрдо", + "1953 год", + "1985", + "Способность находить болезни на ощупь.", + "1982", + "1988", + "1954", + "Шерлок Холмс", + "Умение лечить травами.", + "1990" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nВ каком году был опубликован рассказ 'Мы и гинеколог Буданицкий' Сергея Довлатова?\nA. 1963 год\nB. Лев Толстой\nC. Джон Мак-Мэрдо\nD. 1953 год\nE. 1985\nF. Способность находить болезни на ощупь.\nG. 1982\nH. 1988\nI. 1954\nJ. Шерлок Холмс\nK. Умение лечить травами.\nL. 1990\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 136, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.020975133404135704, + "B": 0.020975133404135704, + "C": 0.017388997599482536, + "D": 0.06460796296596527, + "E": 0.1549864560365677, + "F": 0.05031673237681389, + "G": 0.08295825868844986, + "H": 0.4212968349456787, + "I": 0.06460796296596527, + "J": 0.02530084177851677, + "K": 0.009307659231126308, + "L": 0.03051864169538021 + }, + "sample": { + "question": "В каком году происходят события рассказа 'Офицерский ремень' Сергея Довлатова?", + "answerA": "1953 год", + "answerB": "1963 год", + "answerC": "1973 год", + "answerD": "1983 год", + "correct_answer": "answerB", + "choices": [ + "Способность находить болезни на ощупь.", + "Джон Мак-Мэрдо", + "Фёдор Достоевский", + "1983 год", + "Шерлок Холмс", + "Лев Толстой", + "Дочь главных героев", + "1954", + "1953 год", + "1973 год", + "Умение лечить травами.", + "1963 год" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nВ каком году происходят события рассказа 'Офицерский ремень' Сергея Довлатова?\nA. Способность находить болезни на ощупь.\nB. Джон Мак-Мэрдо\nC. Фёдор Достоевский\nD. 1983 год\nE. Шерлок Холмс\nF. Лев Толстой\nG. Дочь главных героев\nH. 1954\nI. 1953 год\nJ. 1973 год\nK. Умение лечить травами.\nL. 1963 год\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 131, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.008619949221611023, + "B": 0.009767682291567326, + "C": 0.8792586922645569, + "D": 0.007607078179717064, + "E": 0.009175888262689114, + "F": 0.006713222712278366, + "G": 0.01254195161163807, + "H": 0.006713222712278366, + "I": 0.0009085359051823616, + "J": 0.0011665832716971636, + "K": 0.002469656988978386, + "L": 0.00035578777897171676 + }, + "sample": { + "question": "Какое магическое свойство обладал доктор Винтер, о котором говорится в рассказе 'Отстал от жизни'?", + "answerA": "Умение лечить травами.", + "answerB": "Способность находить болезни на ощупь.", + "answerC": "Целительное прикосновение.", + "answerD": "Сила предсказывать будущее.", + "correct_answer": "Целительное прикосновение.", + "choices": [ + "Фёдор Достоевский", + "1938", + "Целительное прикосновение.", + "1954", + "Умение лечить травами.", + "Способность находить болезни на ощупь.", + "1964", + "Они случайно встретились на дороге.", + "Дочь главных героев", + "Лев Толстой", + "Случайного прохожего", + "Сила предсказывать будущее." + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКакое магическое свойство обладал доктор Винтер, о котором говорится в рассказе 'Отстал от жизни'?\nA. Фёдор Достоевский\nB. 1938\nC. Целительное прикосновение.\nD. 1954\nE. Умение лечить травами.\nF. Способность находить болезни на ощупь.\nG. 1964\nH. Они случайно встретились на дороге.\nI. Дочь главных героев\nJ. Лев Толстой\nK. Случайного прохожего\nL. Сила предсказывать будущее.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 129, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0628778412938118, + "B": 0.04321526736021042, + "C": 0.04321526736021042, + "D": 0.13311238586902618, + "E": 0.018014803528785706, + "F": 0.08073674887418747, + "G": 0.10366804152727127, + "H": 0.13311238586902618, + "I": 0.026211382821202278, + "J": 0.07124993205070496, + "K": 0.15083609521389008, + "L": 0.018014803528785706 + }, + "sample": { + "question": "Кто произнес речь 8 июня 1880 года на заседании Общества любителей российской словесности, в которой говорилось о Пушкине?", + "answerA": "Лев Толстой", + "answerB": "Фёдор Достоевский", + "answerC": "Николай Гоголь", + "answerD": "Иван Тургенев", + "correct_answer": "answerB", + "choices": [ + "Николай Гоголь", + "1964", + "Джон спас Жана от нападения.", + "Дочь главных героев", + "1938", + "1954", + "Случайного прохожего", + "Фёдор Достоевский", + "Лев Толстой", + "Они случайно встретились на дороге.", + "Александр Пушкин", + "Иван Тургенев" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКто произнес речь 8 июня 1880 года на заседании Общества любителей российской словесности, в которой говорилось о Пушкине?\nA. Николай Гоголь\nB. 1964\nC. Джон спас Жана от нападения.\nD. Дочь главных героев\nE. 1938\nF. 1954\nG. Случайного прохожего\nH. Фёдор Достоевский\nI. Лев Толстой\nJ. Они случайно встретились на дороге.\nK. Александр Пушкин\nL. Иван Тургенев\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 127, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.024247169494628906, + "B": 0.051331255584955215, + "C": 0.07468654215335846, + "D": 0.2953909933567047, + "E": 0.10866828262805939, + "F": 0.051331255584955215, + "G": 0.12313728779554367, + "H": 0.05816593021154404, + "I": 0.035279422998428345, + "J": 0.051331255584955215, + "K": 0.05816593021154404, + "L": 0.012978575192391872 + }, + "sample": { + "question": "В каком году был опубликован рассказ 'Профессор кислых щей' из цикла 'Денискины рассказы' Виктора Драгунского?", + "answerA": "1954", + "answerB": "1964", + "answerC": "1974", + "answerD": "1984", + "correct_answer": "B", + "choices": [ + "Дочь главных героев", + "Александр Пушкин", + "1984", + "1964", + "Случайного прохожего", + "Джон спас Жана от нападения.", + "Купить новую игрушку", + "Они случайно встретились на дороге.", + "1941", + "1974", + "1938", + "1954" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nВ каком году был опубликован рассказ 'Профессор кислых щей' из цикла 'Денискины рассказы' Виктора Драгунского?\nA. Дочь главных героев\nB. Александр Пушкин\nC. 1984\nD. 1964\nE. Случайного прохожего\nF. Джон спас Жана от нападения.\nG. Купить новую игрушку\nH. Они случайно встретились на дороге.\nI. 1941\nJ. 1974\nK. 1938\nL. 1954\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 139, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0373617485165596, + "B": 0.21500201523303986, + "C": 0.3544783890247345, + "D": 0.04233640804886818, + "E": 0.025678331032395363, + "F": 0.115082286298275, + "G": 0.08962617814540863, + "H": 0.0373617485165596, + "I": 0.0017474321648478508, + "J": 0.012129583396017551, + "K": 0.008874193765223026, + "L": 0.0008254285203292966 + }, + "sample": { + "question": "Какую роль играет девочка в красном капюшоне в фильме 'А теперь не смотри'?", + "answerA": "Дочь главных героев", + "answerB": "Случайного прохожего", + "answerC": "Женоподобного карлика-убийцу", + "answerD": "Медиума, который помогает семье", + "correct_answer": "Женоподобного карлика-убийцу", + "choices": [ + "1941", + "Женоподобного карлика-убийцу", + "Медиума, который помогает семье", + "Купить новую игрушку", + "1985", + "Дочь главных героев", + "Они случайно встретились на дороге.", + "Борис Екимов", + "Александр Пушкин", + "Случайного прохожего", + "Джон спас Жана от нападения.", + "1938" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКакую роль играет девочка в красном капюшоне в фильме 'А теперь не смотри'?\nA. 1941\nB. Женоподобного карлика-убийцу\nC. Медиума, который помогает семье\nD. Купить новую игрушку\nE. 1985\nF. Дочь главных героев\nG. Они случайно встретились на дороге.\nH. Борис Екимов\nI. Александр Пушкин\nJ. Случайного прохожего\nK. Джон спас Жана от нападения.\nL. 1938\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 136, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.01132990326732397, + "B": 0.3110474646091461, + "C": 0.07864511758089066, + "D": 0.06124887242913246, + "E": 0.16649171710014343, + "F": 0.10098232328891754, + "G": 0.07864511758089066, + "H": 0.05405193939805031, + "I": 0.0012711798772215843, + "J": 0.01132990326732397, + "K": 0.010643458925187588, + "L": 0.02893191948533058 + }, + "sample": { + "question": "Какое событие спровоцировало Джона поменяться местами с его двойником Жаном де Ги в романе 'Козёл отпущения' Дафны Дюморье?", + "answerA": "Они случайно встретились на дороге.", + "answerB": "Джон спас Жана от нападения.", + "answerC": "Они напились вместе и решили поменяться местами.", + "answerD": "Жан угрожал Джону, если тот откажется меняться местами.", + "correct_answer": "Они напились вместе и решили поменяться местами.", + "choices": [ + "Остаться жить в посёлке", + "Джон спас Жана от нападения.", + "Они напились вместе и решили поменяться местами.", + "1938", + "Они случайно встретились на дороге.", + "1941", + "Борис Екимов", + "1985", + "Купить новую игрушку", + "История о женщине, которая встречает старинного друга на вершине кургана, чтобы вместе вспомнить былые времена.", + "Александр Пушкин", + "Жан угрожал Джону, если тот откажется меняться местами." + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКакое событие спровоцировало Джона поменяться местами с его двойником Жаном де Ги в романе 'Козёл отпущения' Дафны Дюморье?\nA. Остаться жить в посёлке\nB. Джон спас Жана от нападения.\nC. Они напились вместе и решили поменяться местами.\nD. 1938\nE. Они случайно встретились на дороге.\nF. 1941\nG. Борис Екимов\nH. 1985\nI. Купить новую игрушку\nJ. История о женщине, которая встречает старинного друга на вершине кургана, чтобы вместе вспомнить былые времена.\nK. Александр Пушкин\nL. Жан угрожал Джону, если тот откажется меняться местами.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 177, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.027237551286816597, + "B": 0.04780339449644089, + "C": 0.027237551286816597, + "D": 0.06955352425575256, + "E": 0.10119979083538055, + "F": 0.0613807737827301, + "G": 0.1299431025981903, + "H": 0.07881448417901993, + "I": 0.11467438191175461, + "J": 0.2142399549484253, + "K": 0.03722931817173958, + "L": 0.012866108678281307 + }, + "sample": { + "question": "В каком году был опубликован роман 'Французова бухта' Дафны Дюморье?", + "answerA": "1938", + "answerB": "1941", + "answerC": "1945", + "answerD": "1952", + "correct_answer": "1941", + "choices": [ + "Александр Пушкин", + "1978", + "Борис Екимов", + "История о женщине, которая встречает старинного друга на вершине кургана, чтобы вместе вспомнить былые времена.", + "Купить новую игрушку", + "2001", + "Остаться жить в посёлке", + "1941", + "1985", + "1952", + "1945", + "1938" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nВ каком году был опубликован роман 'Французова бухта' Дафны Дюморье?\nA. Александр Пушкин\nB. 1978\nC. Борис Екимов\nD. История о женщине, которая встречает старинного друга на вершине кургана, чтобы вместе вспомнить былые времена.\nE. Купить новую игрушку\nF. 2001\nG. Остаться жить в посёлке\nH. 1941\nI. 1985\nJ. 1952\nK. 1945\nL. 1938\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 147, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.024046583101153374, + "B": 0.0576847568154335, + "C": 0.05090662091970444, + "D": 0.04492493346333504, + "E": 0.05090662091970444, + "F": 0.05090662091970444, + "G": 0.10776931792497635, + "H": 0.08393082767724991, + "I": 0.025597456842660904, + "J": 0.1568034291267395, + "K": 0.177681565284729, + "L": 0.03087642230093479 + }, + "sample": { + "question": "Кто является автором книги 'Белая дорога'?", + "answerA": "Александр Пушкин", + "answerB": "Борис Екимов", + "answerC": "Лев Толстой", + "answerD": "Федор Достоевский", + "correct_answer": "B", + "choices": [ + "2001", + "Стать продавцом на рынке", + "1985", + "Лев Толстой", + "1978", + "Рассказ о крестьянине, который каждый день поднимается на курган, чтобы осмотреть свои поля и помолиться за урожай.", + "История о женщине, которая встречает старинного друга на вершине кургана, чтобы вместе вспомнить былые времена.", + "Купить новую игрушку", + "Остаться жить в посёлке", + "Александр Пушкин", + "Федор Достоевский", + "Борис Екимов" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКто является автором книги 'Белая дорога'?\nA. 2001\nB. Стать продавцом на рынке\nC. 1985\nD. Лев Толстой\nE. 1978\nF. Рассказ о крестьянине, который каждый день поднимается на курган, чтобы осмотреть свои поля и помолиться за урожай.\nG. История о женщине, которая встречает старинного друга на вершине кургана, чтобы вместе вспомнить былые времена.\nH. Купить новую игрушку\nI. Остаться жить в посёлке\nJ. Александр Пушкин\nK. Федор Достоевский\nL. Борис Екимов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 150, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.014376383274793625, + "B": 0.028590848669409752, + "C": 0.006790922023355961, + "D": 0.022266576066613197, + "E": 0.04713834077119827, + "F": 0.04713834077119827, + "G": 0.1451963186264038, + "H": 0.07771798223257065, + "I": 0.02685861848294735, + "J": 0.44723615050315857, + "K": 0.05341473966836929, + "L": 0.01734122633934021 + }, + "sample": { + "question": "Каким был особенный желание Мити в истории 'Давай здесь останемся жить…'?", + "answerA": "Купить новую игрушку", + "answerB": "Остаться жить в посёлке", + "answerC": "Посетить зоопарк", + "answerD": "Поймать рыбу в водохранилище", + "correct_answer": "B", + "choices": [ + "История о женщине, которая встречает старинного друга на вершине кургана, чтобы вместе вспомнить былые времена.", + "1985", + "Купить новую игрушку", + "Стать продавцом на рынке", + "Поймать рыбу в водохранилище", + "1985", + "Посетить зоопарк", + "1978", + "2001", + "Остаться жить в посёлке", + "2010", + "Рассказ о крестьянине, который каждый день поднимается на курган, чтобы осмотреть свои поля и помолиться за урожай." + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКаким был особенный желание Мити в истории 'Давай здесь останемся жить…'?\nA. История о женщине, которая встречает старинного друга на вершине кургана, чтобы вместе вспомнить былые времена.\nB. 1985\nC. Купить новую игрушку\nD. Стать продавцом на рынке\nE. Поймать рыбу в водохранилище\nF. 1985\nG. Посетить зоопарк\nH. 1978\nI. 2001\nJ. Остаться жить в посёлке\nK. 2010\nL. Рассказ о крестьянине, который каждый день поднимается на курган, чтобы осмотреть свои поля и помолиться за урожай.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 171, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.11424656957387924, + "B": 0.015461593866348267, + "C": 0.2740632891654968, + "D": 0.07852044701576233, + "E": 0.0692940503358841, + "F": 0.013644807040691376, + "G": 0.0692940503358841, + "H": 0.03709043189883232, + "I": 0.24186000227928162, + "J": 0.007303539197891951, + "K": 0.010626587085425854, + "L": 0.00032089510932564735 + }, + "sample": { + "question": "В каком году была написана книга 'Житейские истории' Борисом Петровичем Екимовым?", + "answerA": "1985", + "answerB": "2001", + "answerC": "2015", + "answerD": "1999", + "correct_answer": "C", + "choices": [ + "О последних днях известного военного лётчика.", + "2015", + "1985", + "О сложной судьбе и повседневной жизни доярки Акулины.", + "2010", + "Рассказ о крестьянине, который каждый день поднимается на курган, чтобы осмотреть свои поля и помолиться за урожай.", + "Стать продавцом на рынке", + "Работать дворником", + "1978", + "2001", + "История о женщине, которая встречает старинного друга на вершине кургана, чтобы вместе вспомнить былые времена.", + "1999" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nВ каком году была написана книга 'Житейские истории' Борисом Петровичем Екимовым?\nA. О последних днях известного военного лётчика.\nB. 2015\nC. 1985\nD. О сложной судьбе и повседневной жизни доярки Акулины.\nE. 2010\nF. Рассказ о крестьянине, который каждый день поднимается на курган, чтобы осмотреть свои поля и помолиться за урожай.\nG. Стать продавцом на рынке\nH. Работать дворником\nI. 1978\nJ. 2001\nK. История о женщине, которая встречает старинного друга на вершине кургана, чтобы вместе вспомнить былые времена.\nL. 1999\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 178, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.004423495847731829, + "B": 0.0056798807345330715, + "C": 0.9552090764045715, + "D": 0.004423495847731829, + "E": 0.0008182644378393888, + "F": 0.0005283111822791398, + "G": 0.000637264980468899, + "H": 0.00032043695682659745, + "I": 3.827073305728845e-05, + "J": 8.10191486380063e-05, + "K": 0.00016112581943161786, + "L": 9.090096682484727e-06 + }, + "sample": { + "question": "Какой по сюжету микропересказ повествует о событиях, происходящих в фильме 'На кургане'?", + "answerA": "История о женщине, которая встречает старинного друга на вершине кургана, чтобы вместе вспомнить былые времена.", + "answerB": "Рассказ о крестьянине, который каждый день поднимается на курган, чтобы осмотреть свои поля и помолиться за урожай.", + "answerC": "Описание встречи мужчины с женщиной, угощающей пирожками на помин души сына, погибшего в войну, на кургане зимним днем.", + "answerD": "Сказание об археологах, нашедших на кургане древние захоронения и попытавшихся раскрыть тайны прошлого.", + "correct_answer": "C", + "choices": [ + "Учительствовал", + "Работать дворником", + "Сказание об археологах, нашедших на кургане древние захоронения и попытавшихся раскрыть тайны прошлого.", + "1985", + "Описание встречи мужчины с женщиной, угощающей пирожками на помин души сына, погибшего в войну, на кургане зимним днем.", + "История о женщине, которая встречает старинного друга на вершине кургана, чтобы вместе вспомнить былые времена.", + "2010", + "Стать продавцом на рынке", + "Рассказ о крестьянине, который каждый день поднимается на курган, чтобы осмотреть свои поля и помолиться за урожай.", + "О последних днях известного военного лётчика.", + "1978", + "2015" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКакой по сюжету микропересказ повествует о событиях, происходящих в фильме 'На кургане'?\nA. Учительствовал\nB. Работать дворником\nC. Сказание об археологах, нашедших на кургане древние захоронения и попытавшихся раскрыть тайны прошлого.\nD. 1985\nE. Описание встречи мужчины с женщиной, угощающей пирожками на помин души сына, погибшего в войну, на кургане зимним днем.\nF. История о женщине, которая встречает старинного друга на вершине кургана, чтобы вместе вспомнить былые времена.\nG. 2010\nH. Стать продавцом на рынке\nI. Рассказ о крестьянине, который каждый день поднимается на курган, чтобы осмотреть свои поля и помолиться за урожай.\nJ. О последних днях известного военного лётчика.\nK. 1978\nL. 2015\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 208, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.01245946902781725, + "B": 0.07169929891824722, + "C": 0.04927815869450569, + "D": 0.04927815869450569, + "E": 0.05583946406841278, + "F": 0.04348782077431679, + "G": 0.1517874151468277, + "H": 0.03837786987423897, + "I": 0.02327735535800457, + "J": 0.32133394479751587, + "K": 0.06327440589666367, + "L": 0.0031502475030720234 + }, + "sample": { + "question": "В каком году был опубликован рассказ 'Озеро Дербень' Екимова Бориса Петровича?", + "answerA": "1978", + "answerB": "1985", + "answerC": "1991", + "answerD": "2001", + "correct_answer": "B", + "choices": [ + "Стать продавцом на рынке", + "1978", + "1985", + "2010", + "1991", + "Оставила Мишу и уехала с сыном за границу", + "2001", + "Учительствовал", + "Работать дворником", + "О сложной судьбе и повседневной жизни доярки Акулины.", + "О последних днях известного военного лётчика.", + "2015" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nВ каком году был опубликован рассказ 'Озеро Дербень' Екимова Бориса Петровича?\nA. Стать продавцом на рынке\nB. 1978\nC. 1985\nD. 2010\nE. 1991\nF. Оставила Мишу и уехала с сыном за границу\nG. 2001\nH. Учительствовал\nI. Работ��ть дворником\nJ. О сложной судьбе и повседневной жизни доярки Акулины.\nK. О последних днях известного военного лётчика.\nL. 2015\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 147, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.14254845678806305, + "B": 0.05942302942276001, + "C": 0.3017750680446625, + "D": 0.040840812027454376, + "E": 0.040840812027454376, + "F": 0.046278707683086395, + "G": 0.14254845678806305, + "H": 0.07630068808794022, + "I": 0.013259070925414562, + "J": 0.01502449531108141, + "K": 0.01502449531108141, + "L": 0.0023040808737277985 + }, + "sample": { + "question": "Какую работу предложили Тимофею по прибытии в посёлок?", + "answerA": "Стать продавцом на рынке", + "answerB": "Работать дворником", + "answerC": "Пасти овец до зимы", + "answerD": "Водить автобус", + "correct_answer": "Пасти овец до зимы", + "choices": [ + "О последних днях известного военного лётчика.", + "Учительствовал", + "О сложной судьбе и повседневной жизни доярки Акулины.", + "2015", + "От 1845 по 1850 год", + "Оставила Мишу и уехала с сыном за границу", + "Пасти овец до зимы", + "Был моряком", + "Стать продавцом на рынке", + "2010", + "Работать дворником", + "Водить автобус" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКакую работу предложили Тимофею по прибытии в посёлок?\nA. О последних днях известного военного лётчика.\nB. Учительствовал\nC. О сложной судьбе и повседневной жизни доярки Акулины.\nD. 2015\nE. От 1845 по 1850 год\nF. Оставила Мишу и уехала с сыном за границу\nG. Пасти овец до зимы\nH. Был моряком\nI. Стать продавцом на рынке\nJ. 2010\nK. Работать дворником\nL. Водить автобус\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 146, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.041036251932382584, + "B": 0.07666581124067307, + "C": 0.16230152547359467, + "D": 0.18391172587871552, + "E": 0.04650016501545906, + "F": 0.031959064304828644, + "G": 0.06765735149383545, + "H": 0.018209727481007576, + "I": 0.008601666428148746, + "J": 0.03621436282992363, + "K": 0.18391172587871552, + "L": 0.0027925518807023764 + }, + "sample": { + "question": "В каком году происходят события, описанные в фильме \"Пеший переход\"?", + "answerA": "2010", + "answerB": "2015", + "answerC": "2020", + "answerD": "2005", + "correct_answer": "B", + "choices": [ + "Вышла замуж за Якова Бордюка", + "Оставила Мишу и уехала с сыном за границу", + "2020", + "О сложной судьбе и повседневной жизни доярки Акулины.", + "2005", + "Учительствовал", + "О последних днях известного военного лётчика.", + "2010", + "2015", + "Предложил ей начать новую жизнь в другой стране.", + "От 1845 по 1850 год", + "Был моряком" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nВ каком году происходят события, описанные в фильме \"Пеший переход\"?\nA. Вышла замуж за Якова Бордюка\nB. Оставила Мишу и уехала с сыном за границу\nC. 2020\nD. О сложной судьбе и повседневн��й жизни доярки Акулины.\nE. 2005\nF. Учительствовал\nG. О последних днях известного военного лётчика.\nH. 2010\nI. 2015\nJ. Предложил ей начать новую жизнь в другой стране.\nK. От 1845 по 1850 год\nL. Был моряком\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 160, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.08914922922849655, + "B": 0.3111613690853119, + "C": 0.11446987837553024, + "D": 0.2745989263057709, + "E": 0.08914922922849655, + "F": 0.02254045382142067, + "G": 0.0421111099421978, + "H": 0.012065035291016102, + "I": 0.0009903584141284227, + "J": 0.006457948125898838, + "K": 0.001969562843441963, + "L": 0.00020759040489792824 + }, + "sample": { + "question": "О чём повествует фильм Провожаю, выпущенный в 2002 году?", + "answerA": "О последних днях известного военного лётчика.", + "answerB": "О сложной судьбе и повседневной жизни доярки Акулины.", + "answerC": "О космическом путешествии на неизведанную планету.", + "answerD": "О воссоединении разлучённой войной семьи.", + "correct_answer": "B", + "choices": [ + "Вышла замуж за Якова Бордюка", + "О последних днях известного военного лётчика.", + "Предложил ей начать новую жизнь в другой стране.", + "О сложной судьбе и повседневной жизни доярки Акулины.", + "О воссоединении разлучённой войной семьи.", + "От 1845 по 1850 год", + "От 1850 по 1855 год", + "Учительствовал", + "Оставила Мишу и уехала с сыном за границу", + "О космическом путешествии на неизведанную планету.", + "Был моряком", + "Тереза Ракен" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nО чём повествует фильм Провожаю, выпущенный в 2002 году?\nA. Вышла замуж за Якова Бордюка\nB. О последних днях известного военного лётчика.\nC. Предложил ей начать новую жизнь в другой стране.\nD. О сложной судьбе и повседневной жизни доярки Акулины.\nE. О воссоединении разлучённой войной семьи.\nF. От 1845 по 1850 год\nG. От 1850 по 1855 год\nH. Учительствовал\nI. Оставила Мишу и уехала с сыном за границу\nJ. О космическом путешествии на неизведанную планету.\nK. Был моряком\nL. Тереза Ракен\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 181, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.05918680876493454, + "B": 0.14198176562786102, + "C": 0.14198176562786102, + "D": 0.14198176562786102, + "E": 0.09758255630731583, + "F": 0.08611629903316498, + "G": 0.09758255630731583, + "H": 0.05918680876493454, + "I": 0.008526667952537537, + "J": 0.03168041631579399, + "K": 0.03168041631579399, + "L": 0.010948458686470985 + }, + "sample": { + "question": "Чем занимался отец Саши, персонажа фильма 'Солёный снег'?", + "answerA": "Учительствовал", + "answerB": "Был моряком", + "answerC": "Изучал вулканы", + "answerD": "Работал врачом", + "correct_answer": "Изучал вулканы", + "choices": [ + "Тереза Ракен", + "Вышла замуж за Якова Бордюка", + "Предложил ей начать новую жизнь в другой стране.", + "Попытался остановить её.", + "Учительствов��л", + "От 1845 по 1850 год", + "От 1850 по 1855 год", + "В 18-м веке", + "Изучал вулканы", + "Работал врачом", + "Был моряком", + "Оставила Мишу и уехала с сыном за границу" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nЧем занимался отец Саши, персонажа фильма 'Солёный снег'?\nA. Тереза Ракен\nB. Вышла замуж за Якова Бордюка\nC. Предложил ей начать новую жизнь в другой стране.\nD. Попытался остановить её.\nE. Учительствовал\nF. От 1845 по 1850 год\nG. От 1850 по 1855 год\nH. В 18-м веке\nI. Изучал вулканы\nJ. Работал врачом\nK. Был моряком\nL. Оставила Мишу и уехала с сыном за границу\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 154, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.1597505509853363, + "B": 0.051863402128219604, + "C": 0.051863402128219604, + "D": 0.09689360111951828, + "E": 0.29845330119132996, + "F": 0.03145674616098404, + "G": 0.03145674616098404, + "H": 0.03145674616098404, + "I": 0.05876893550157547, + "J": 0.04576930031180382, + "K": 0.015817446634173393, + "L": 0.012318640016019344 + }, + "sample": { + "question": "Какое решение приняла Варвара в конце рассказа «Мученики науки»?", + "answerA": "Оставила Мишу и уехала с сыном за границу", + "answerB": "Вышла замуж за Якова Бордюка", + "answerC": "Вернулась на сожженное имение и начала его восстанавливать", + "answerD": "Осталась одна, отказавшись от всех предложений", + "correct_answer": "Вышла замуж за Якова Бордюка", + "choices": [ + "Вернулась на сожженное имение и начала его восстанавливать", + "Тереза Ракен", + "Накипь", + "Предложил ей начать новую жизнь в другой стране.", + "Осталась одна, отказавшись от всех предложений", + "В 18-м веке", + "Вышла замуж за Якова Бордюка", + "Посетить психолога", + "От 1850 по 1855 год", + "Оставила Мишу и уехала с сыном за границу", + "Попытался остановить её.", + "От 1845 по 1850 год" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКакое решение приняла Варвара в конце рассказа «Мученики науки»?\nA. Вернулась на сожженное имение и начала его восстанавливать\nB. Тереза Ракен\nC. Накипь\nD. Предложил ей начать новую жизнь в другой стране.\nE. Осталась одна, отказавшись от всех предложений\nF. В 18-м веке\nG. Вышла замуж за Якова Бордюка\nH. Посетить психолога\nI. От 1850 по 1855 год\nJ. Оставила Мишу и уехала с сыном за границу\nK. Попытался остановить её.\nL. От 1845 по 1850 год\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 171, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.037721823900938034, + "B": 0.10253855586051941, + "C": 0.090489961206913, + "D": 0.4055478572845459, + "E": 0.04843578487634659, + "F": 0.090489961206913, + "G": 0.090489961206913, + "H": 0.062192779034376144, + "I": 0.0029087946750223637, + "J": 0.017818529158830643, + "K": 0.007427867967635393, + "L": 0.007906924933195114 + }, + "sample": { + "question": "В каком году происходит действие романа 'Деньги' Эмиля Золя?", + "answerA": "От 1845 по 1850 год", + "answerB": "От 1850 по 1855 год", + "answerC": "От 1864 по 1869 год", + "answerD": "От 1870 по 1875 год", + "correct_answer": "От 1864 по 1869 год", + "choices": [ + "Попытался остановить её.", + "1867", + "Предложил ей начать новую жизнь в другой стране.", + "От 1870 по 1875 год", + "Посетить психолога", + "От 1850 по 1855 год", + "От 1845 по 1850 год", + "От 1864 по 1869 год", + "В 19-м веке", + "В 18-м веке", + "Тереза Ракен", + "Накипь" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nВ каком году происходит действие романа 'Деньги' Эмиля Золя?\nA. Попытался остановить её.\nB. 1867\nC. Предложил ей начать новую жизнь в другой стране.\nD. От 1870 по 1875 год\nE. Посетить психолога\nF. От 1850 по 1855 год\nG. От 1845 по 1850 год\nH. От 1864 по 1869 год\nI. В 19-м веке\nJ. В 18-м веке\nK. Тереза Ракен\nL. Накипь\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 167, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.00237963255494833, + "B": 0.00444573862478137, + "C": 0.14722265303134918, + "D": 0.12992353737354279, + "E": 0.006076605059206486, + "F": 0.00780251482501626, + "G": 0.5822768807411194, + "H": 0.00444573862478137, + "I": 0.00046857743291184306, + "J": 0.000681776087731123, + "K": 0.008841407485306263, + "L": 0.00011847492714878172 + }, + "sample": { + "question": "Что сделал Гийом, когда Мадлен попыталась покончить с собой?", + "answerA": "Предложил ей начать новую жизнь в другой стране.", + "answerB": "Попытался остановить её.", + "answerC": "Вызвал доктора.", + "answerD": "Ушёл, не пытаясь помешать.", + "correct_answer": "Попытался остановить её.", + "choices": [ + "Накипь", + "Тереза Ракен", + "Посетить психолога", + "Предложил ей начать новую жизнь в другой стране.", + "1867", + "В 18-м веке", + "Попытался остановить её.", + "Вызвал доктора.", + "Виктор Гюго", + "Переехать в другой город", + "Ушёл, не пытаясь помешать.", + "В 19-м веке" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nЧто сделал Гийом, когда Мадлен попыталась покончить с собой?\nA. Накипь\nB. Тереза Ракен\nC. Посетить психолога\nD. Предложил ей начать новую жизнь в другой стране.\nE. 1867\nF. В 18-м веке\nG. Попытался остановить её.\nH. Вызвал доктора.\nI. Виктор Гюго\nJ. Переехать в другой город\nK. Ушёл, не пытаясь помешать.\nL. В 19-м веке\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 132, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.15783502161502838, + "B": 0.09573177248239517, + "C": 0.07455597072839737, + "D": 0.4290400445461273, + "E": 0.05124152824282646, + "F": 0.04522048681974411, + "G": 0.04522048681974411, + "H": 0.03521775081753731, + "I": 0.008904441259801388, + "J": 0.01663568802177906, + "K": 0.007858142256736755, + "L": 0.002114990260452032 + }, + "sample": { + "question": "В каком романе Эмиля Золя Октав Мурэ приезжает в Париж, чтобы сделать карьеру в торговле?", + "answerA": "Тереза Ракен", + "answerB": "Накипь", + "answerC": "Жерминаль", + "answerD": "Завоевание Плассана", + "correct_answer": "B", + "choices": [ + "1867", + "В 18-м веке", + "Виктор Гюго", + "Завоевание Плассана", + "1890", + "Жерминаль", + "Сильная вера в богатство и власть", + "Посетить психолога", + "В 19-м веке", + "Тереза Ракен", + "Накипь", + "Переехать в другой город" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nВ каком романе Эмиля Золя Октав Мурэ приезжает в Париж, чтобы сделать карьеру в торговле?\nA. 1867\nB. В 18-м веке\nC. Виктор Гюго\nD. Завоевание Плассана\nE. 1890\nF. Жерминаль\nG. Сильная вера в богатство и власть\nH. Посетить психолога\nI. В 19-м веке\nJ. Тереза Ракен\nK. Накипь\nL. Переехать в другой город\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 135, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.021672362461686134, + "B": 0.23299986124038696, + "C": 0.0857158675789833, + "D": 0.12471584230661392, + "E": 0.04588038846850395, + "F": 0.1601383090019226, + "G": 0.12471584230661392, + "H": 0.051989294588565826, + "I": 0.001569940708577633, + "J": 0.011600378900766373, + "K": 0.031533099710941315, + "L": 0.035731684416532516 + }, + "sample": { + "question": "В каком веке происходит действие романа «Радость жизни»?", + "answerA": "В 18-м веке", + "answerB": "В 19-м веке", + "answerC": "В 20-м веке", + "answerD": "В 17-м веке", + "correct_answer": "answerB", + "choices": [ + "1890", + "В 20-м веке", + "В 17-м веке", + "Посетить психолога", + "Критика советской системы", + "1867", + "В 19-м веке", + "В 18-м веке", + "Виктор Гюго", + "Переехать в другой город", + "Сильная вера в богатство и власть", + "Гюстав Флобер" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nВ каком веке происходит действие романа «Радость жизни»?\nA. 1890\nB. В 20-м веке\nC. В 17-м веке\nD. Посетить психолога\nE. Критика советской системы\nF. 1867\nG. В 19-м веке\nH. В 18-м веке\nI. Виктор Гюго\nJ. Переехать в другой город\nK. Сильная вера в богатство и власть\nL. Гюстав Флобер\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 133, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.10164328664541245, + "B": 0.032998740673065186, + "C": 0.10164328664541245, + "D": 0.06164976581931114, + "E": 0.35476991534233093, + "F": 0.025699447840452194, + "G": 0.054405733942985535, + "H": 0.029121289029717445, + "I": 0.029121289029717445, + "J": 0.037392474710941315, + "K": 0.022679680958390236, + "L": 0.001981728710234165 + }, + "sample": { + "question": "Какой совет дал доктор месье Шабру для решения семейной проблемы?", + "answerA": "Посетить психолога", + "answerB": "Переехать в другой город", + "answerC": "Ехать на курорт и есть много морепродуктов", + "answerD": "Заниматься спортом", + "correct_answer": "Ехать на курорт и есть много морепродуктов", + "choices": [ + "Переехать в другой город", + "1867", + "Виктор Гюго", + "1890", + "Посетить психолога", + "Жена уехала к родственникам.", + "Усердная работа и экономия до копейки", + "Заниматься спортом", + "Ехать на курорт и есть много морепродуктов", + "Критика советской системы", + "Сильная вера в богатство и власть", + "Гюстав Флобер" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКакой совет дал доктор месье Шабру для решения семейной проблемы?\nA. Переехать в другой город\nB. 1867\nC. Виктор Гюго\nD. 1890\nE. Посетить психолога\nF. Жена уехала к родственникам.\nG. Усердная работа и экономия до копейки\nH. Заниматься спортом\nI. Ехать на курорт и есть много морепродуктов\nJ. Критика советской системы\nK. Сильная вера в богатство и власть\nL. Гюстав Флобер\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 136, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.03772727772593498, + "B": 0.1492142677307129, + "C": 0.45961233973503113, + "D": 0.062201764434576035, + "E": 0.025929555296897888, + "F": 0.033294208347797394, + "G": 0.11620819568634033, + "H": 0.02938203141093254, + "I": 0.003735506674274802, + "J": 0.006978844292461872, + "K": 0.015727069228887558, + "L": 0.0007830047397874296 + }, + "sample": { + "question": "В каком году был написан роман \"Страница любви\" Эмиля Золя?", + "answerA": "1867", + "answerB": "1890", + "answerC": "1879", + "answerD": "1885", + "correct_answer": "1879", + "choices": [ + "Сильная вера в богатство и власть", + "1890", + "1879", + "Жена уехала к родственникам.", + "1923", + "Виктор Гюго", + "Усердная работа и экономия до копейки", + "Критика советской системы", + "История любви между профессором и молодой девушкой", + "Гюстав Флобер", + "1885", + "1867" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nВ каком году был написан роман \"Страница любви\" Эмиля Золя?\nA. Сильная вера в богатство и власть\nB. 1890\nC. 1879\nD. Жена уехала к родственникам.\nE. 1923\nF. Виктор Гюго\nG. Усердная работа и экономия до копейки\nH. Критика советской системы\nI. История любви между профессором и молодой девушкой\nJ. Гюстав Флобер\nK. 1885\nL. 1867\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 134, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.00831408891826868, + "B": 0.012096928432583809, + "C": 0.0509299673140049, + "D": 0.014591680839657784, + "E": 0.04494554176926613, + "F": 0.030890585854649544, + "G": 0.6204540133476257, + "H": 0.035003624856472015, + "I": 0.0030585823114961386, + "J": 0.02405761368572712, + "K": 0.005042749922722578, + "L": 0.00015227786207105964 + }, + "sample": { + "question": "Кто автор романа 'Человек-зверь'?", + "answerA": "Виктор Гюго", + "answerB": "Гюстав Флобер", + "answerC": "Эмиль Золя", + "answerD": "Оноре де Бальзак", + "correct_answer": "C", + "choices": [ + "История любви между профессором и молодой девушкой", + "Соседка подала ложную тревогу о грабеже.", + "Критика советской системы", + "1923", + "Жена уехала к родственникам.", + "Усердная работа и экономия до копейки", + "Гюстав Флобер", + "Жена отравила��ь каплями от ревматизма вместо валерианки.", + "Оноре де Бальзак", + "Эмиль Золя", + "Сильная вера в богатство и власть", + "Виктор Гюго" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКто автор романа 'Человек-зверь'?\nA. История любви между профессором и молодой девушкой\nB. Соседка подала ложную тревогу о грабеже.\nC. Критика советской системы\nD. 1923\nE. Жена уехала к родственникам.\nF. Усердная работа и экономия до копейки\nG. Гюстав Флобер\nH. Жена отравилась каплями от ревматизма вместо валерианки.\nI. Оноре де Бальзак\nJ. Эмиль Золя\nK. Сильная вера в богатство и власть\nL. Виктор Гюго\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 139, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.043471600860357285, + "B": 0.41244709491729736, + "C": 0.2207670360803604, + "D": 0.10428295284509659, + "E": 0.02053453028202057, + "F": 0.029877567663788795, + "G": 0.03385571762919426, + "H": 0.026366859674453735, + "I": 0.0010882903588935733, + "J": 0.015992309898138046, + "K": 0.010325411334633827, + "L": 0.0005472267512232065 + }, + "sample": { + "question": "Каков секрет успеха семьи Фроман из романа \"Плодовитость\" Эмиля Золя?", + "answerA": "Сильная вера в богатство и власть", + "answerB": "Усердная работа и экономия до копейки", + "answerC": "Образование отца и за бесценок проданная земля арендодателем", + "answerD": "Стратегический брак с дочерью владельца фабрики", + "correct_answer": "Образование отца и за бесценок проданная земля арендодателем", + "choices": [ + "1923", + "Усердная работа и экономия до копейки", + "Жена отравилась каплями от ревматизма вместо валерианки.", + "Колыван", + "Соседка подала ложную тревогу о грабеже.", + "Образование отца и за бесценок проданная земля арендодателем", + "Сильная вера в богатство и власть", + "Критика советской системы", + "Жена уехала к родственникам.", + "История любви между профессором и молодой девушкой", + "Стратегический брак с дочерью владельца фабрики", + "1925" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКаков секрет успеха семьи Фроман из романа \"Плодовитость\" Эмиля Золя?\nA. 1923\nB. Усердная работа и экономия до копейки\nC. Жена отравилась каплями от ревматизма вместо валерианки.\nD. Колыван\nE. Соседка подала ложную тревогу о грабеже.\nF. Образование отца и за бесценок проданная земля арендодателем\nG. Сильная вера в богатство и власть\nH. Критика советской системы\nI. Жена уехала к родственникам.\nJ. История любви между профессором и молодой девушкой\nK. Стратегический брак с дочерью владельца фабрики\nL. 1925\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 165, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.008929385803639889, + "B": 0.9108220338821411, + "C": 0.011465556919574738, + "D": 0.005415945313870907, + "E": 0.002558311680331826, + "F": 0.000570836418773979, + "G": 0.0009411502396687865, + "H": 0.0005362512310966849, + "I": 7.72543135099113e-05, + "J": 0.002120914636179805, + "K": 0.0002696440787985921, + "L": 2.0792718714801595e-05 + }, + "sample": { + "question": "Какая главная идея произведения «Возвращённая молодость» Михаила Михайловича Зощенко?", + "answerA": "Критика советской системы", + "answerB": "История любви между профессором и молодой девушкой", + "answerC": "Важность самоизучения и самолечения для возвращения здоровья и молодости", + "answerD": "Приключения профессора во времени путешествий", + "correct_answer": "Важность самоизучения и самолечения для возвращения здоровья и молодости", + "choices": [ + "История любви между профессором и молодой девушкой", + "Важность самоизучения и самолечения для возвращения здоровья и молодости", + "Колыван", + "Жители коммуналки устроили вечеринку.", + "Соседка подала ложную тревогу о грабеже.", + "Михаил Гагарин", + "Приключения профессора во времени путешествий", + "1925", + "Жена отравилась каплями от ревматизма вместо валерианки.", + "Критика советской системы", + "1923", + "Жена уехала к родственникам." + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКакая главная идея произведения «Возвращённая молодость» Михаила Михайловича Зощенко?\nA. История любви между профессором и молодой девушкой\nB. Важность самоизучения и самолечения для возвращения здоровья и молодости\nC. Колыван\nD. Жители коммуналки устроили вечеринку.\nE. Соседка подала ложную тревогу о грабеже.\nF. Михаил Гагарин\nG. Приключения профессора во времени путешествий\nH. 1925\nI. Жена отравилась каплями от ревматизма вместо валерианки.\nJ. Критика советской системы\nK. 1923\nL. Жена уехала к родственникам.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 154, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.008595806546509266, + "B": 0.019370950758457184, + "C": 0.7268895506858826, + "D": 0.03193729743361473, + "E": 0.017094803974032402, + "F": 0.017094803974032402, + "G": 0.05966673046350479, + "H": 0.028184566646814346, + "I": 0.0018017791444435716, + "J": 0.0024627400562167168, + "K": 0.0020416832994669676, + "L": 0.00037767342291772366 + }, + "sample": { + "question": "Что случилось из-за ошибки мужа в рассказе 'Несчастный случай' Михаила Зощенко?", + "answerA": "Жена уехала к родственникам.", + "answerB": "Жена отравилась каплями от ревматизма вместо валерианки.", + "answerC": "Жена потеряла голос на неделю.", + "answerD": "Жена ушла из дома.", + "correct_answer": "answerB", + "choices": [ + "Осташа", + "1923", + "Жена отравилась каплями от ревматизма вместо валерианки.", + "1925", + "Колыван", + "Жена ушла из дома.", + "Жена уехала к родственникам.", + "Соседка подала ложную тревогу о грабеже.", + "Жители коммуналки устроили вечеринку.", + "Михаил Гагарин", + "Иван Сергеевич Тургенев", + "Жена потеряла голос на неделю." + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nЧто случилось из-за ошибки мужа в рассказе 'Несчастный случай' Михаила Зощенко?\nA. Осташа\nB. 1923\nC. Жена отравилась каплями от ревматизма вместо валерианки.\nD. 1925\nE. Колыван\nF. Жена ушла из дома.\nG. Жена уехала к родственникам.\nH. Соседка подала ложную тревогу о грабеже.\nI. Жители коммуналки устроили вечеринку.\nJ. Михаил Гагарин\nK. Иван Сергеевич Тургенев\nL. Жена потеряла голос на неделю.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 142, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.02525540068745613, + "B": 0.14533481001853943, + "C": 0.2715211510658264, + "D": 0.05346568301320076, + "E": 0.03674639016389847, + "F": 0.028618117794394493, + "G": 0.2114608883857727, + "H": 0.028618117794394493, + "I": 0.004671779461205006, + "J": 0.0105280177667737, + "K": 0.06058456003665924, + "L": 0.0010424149222671986 + }, + "sample": { + "question": "В каком году был написан рассказ Михаила Зощенко 'О чём пел соловей'?", + "answerA": "1923", + "answerB": "1925", + "answerC": "1930", + "answerD": "1940", + "correct_answer": "answerB", + "choices": [ + "Жители коммуналки устроили вечеринку.", + "1923", + "Осташа", + "Михаил Гагарин", + "Табберт", + "Дружбе Моцарта и Сальери", + "1930", + "Соседка подала ложную тревогу о грабеже.", + "Колыван", + "Иван Сергеевич Тургенев", + "1925", + "1940" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nВ каком году был написан рассказ Михаила Зощенко 'О чём пел соловей'?\nA. Жители коммуналки устроили вечеринку.\nB. 1923\nC. Осташа\nD. Михаил Гагарин\nE. Табберт\nF. Дружбе Моцарта и Сальери\nG. 1930\nH. Соседка подала ложную тревогу о грабеже.\nI. Колыван\nJ. Иван Сергеевич Тургенев\nK. 1925\nL. 1940\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 132, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.06614303588867188, + "B": 0.024332664906978607, + "C": 0.1090514287352562, + "D": 0.43130677938461304, + "E": 0.05151224881410599, + "F": 0.0401177778840065, + "G": 0.08492933213710785, + "H": 0.024332664906978607, + "I": 0.01895029842853546, + "J": 0.024332664906978607, + "K": 0.05837102234363556, + "L": 0.0029061222448945045 + }, + "sample": { + "question": "Что произошло в рассказе 'Событие' Зощенко Михаила Михайловича?", + "answerA": "Соседка подала ложную тревогу о грабеже.", + "answerB": "Жители коммуналки устроили вечеринку.", + "answerC": "Жительница коммуналки учинила пожар.", + "answerD": "В коммуналке поселился новый жилец.", + "correct_answer": "Жительница коммуналки учинила пожар.", + "choices": [ + "Жительница коммуналки учинила пожар.", + "Михаил Гагарин", + "Михаил Юрьевич Лермонтов", + "В коммуналке поселился новый жилец.", + "Соседка подала ложную тревогу о грабеже.", + "Дружбе Моцарта и Сальери", + "Осташа", + "Иван Сергеевич Тургенев", + "Пройти через темный лес", + "Табберт", + "Жители коммуналки устроили вечеринку.", + "Колыван" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nЧто произошло в рассказе 'Событие' Зощенко Михаила Михайловича?\nA. Жительница коммуналки учинила пожар.\nB. Михаил Гагарин\nC. Михаил Юрьевич Лермонтов\nD. В коммуналке поселился новый жилец.\nE. Соседка подала ложную тревогу о грабеже.\nF. Дружбе Моцарта и Сальери\nG. Осташа\nH. Иван Сергеевич Тургенев\nI. Пройти через темный лес\nJ. Табберт\nK. Жители коммуналки устроили вечеринку.\nL. Колыван\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 134, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.277877539396286, + "B": 0.24522605538368225, + "C": 0.07961324602365494, + "D": 0.16854123771190643, + "E": 0.03760663419961929, + "F": 0.029288075864315033, + "G": 0.022809576243162155, + "H": 0.015676777809858322, + "I": 0.006139114033430815, + "J": 0.006956528406590223, + "K": 0.003963709808886051, + "L": 0.0009414636879228055 + }, + "sample": { + "question": "Как звали юного героя книги 'Золото бунта, или Вниз по реке теснин'?", + "answerA": "Колыван", + "answerB": "Осташа", + "answerC": "Ипат", + "answerD": "Федька", + "correct_answer": "B", + "choices": [ + "Табберт", + "Осташа", + "Михаил Гагарин", + "Федька", + "Колыван", + "Иван Сергеевич Тургенев", + "Михаил Юрьевич Лермонтов", + "Дружбе Моцарта и Сальери", + "Миллер", + "Ипат", + "Пройти через темный лес", + "Зависти Сальери к Моцарту" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКак звали юного героя книги 'Золото бунта, или Вниз по реке теснин'?\nA. Табберт\nB. Осташа\nC. Михаил Гагарин\nD. Федька\nE. Колыван\nF. Иван Сергеевич Тургенев\nG. Михаил Юрьевич Лермонтов\nH. Дружбе Моцарта и Сальери\nI. Миллер\nJ. Ипат\nK. Пройти через темный лес\nL. Зависти Сальери к Моцарту\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 118, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.2614407539367676, + "B": 0.051480732858181, + "C": 0.2614407539367676, + "D": 0.031224645674228668, + "E": 0.07490403205156326, + "F": 0.013016368262469769, + "G": 0.07490403205156326, + "H": 0.021460363641381264, + "I": 0.024317776784300804, + "J": 0.013016368262469769, + "K": 0.013016368262469769, + "L": 0.0009429026395082474 + }, + "sample": { + "question": "Кто создал карту Сибири в 1714 году, которая стала одним из ключевых элементов сюжета книги «Мало избранных»?", + "answerA": "Михаил Гагарин", + "answerB": "Табберт", + "answerC": "Семён Ремезов", + "answerD": "Иван Демарин", + "correct_answer": "B", + "choices": [ + "Табберт", + "Зависти Сальери к Моцарту", + "Михаил Гагарин", + "Переправиться через быструю реку", + "Семён Ремезов", + "Необходимо отказаться от исторических тем в литературе.", + "Иван Сергеевич Тургенев", + "Пройти через темный лес", + "Иван Демарин", + "Михаил Юрьевич Лермонтов", + "Дружбе Моцарта и Сальери", + "Миллер" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКто создал карту Сибири в 1714 году, которая стала одним из ключевых элементов сюжета книги «Мало избранных»?\nA. Табберт\nB. Зависти Сальери к Моцарту\nC. Михаил Гагарин\nD. Переправиться через быструю реку\nE. Семён Ремезов\nF. Необходимо отказаться от исторических тем в литературе.\nG. Иван Сергеевич Тургенев\nH. Пройти через темный лес\nI. Иван Демарин\nJ. Михаил Юрьевич Лермонтов\nK. Дружбе Моцарта и Сальери\nL. Миллер\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 139, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.01890501007437706, + "B": 0.07024063169956207, + "C": 0.10219951719045639, + "D": 0.06198713928461075, + "E": 0.04827563092112541, + "F": 0.022803794592618942, + "G": 0.025840086862444878, + "H": 0.014723236672580242, + "I": 0.017759613692760468, + "J": 0.4580264687538147, + "K": 0.0292806513607502, + "L": 0.0019925732631236315 + }, + "sample": { + "question": "Кто является автором произведения 'Мой дядя самых честных правил'?", + "answerA": "Иван Сергеевич Тургенев", + "answerB": "Михаил Юрьевич Лермонтов", + "answerC": "Фазиль Абдулович Искандер", + "answerD": "Александр Сергеевич Пушкин", + "correct_answer": "Фазиль Абдулович Искандер", + "choices": [ + "Пройти через темный лес", + "Зависти Сальери к Моцарту", + "Иван Сергеевич Тургенев", + "Миллер", + "Переправиться через быструю реку", + "Кюхля", + "Фазиль Абдулович Искандер", + "Необходимо отказаться от исторических тем в литературе.", + "Шахов", + "Михаил Юрьевич Лермонтов", + "Дружбе Моцарта и Сальери", + "Александр Сергеевич Пушкин" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКто является автором произведения 'Мой дядя самых честных правил'?\nA. Пройти через темный лес\nB. Зависти Сальери к Моцарту\nC. Иван Сергеевич Тургенев\nD. Миллер\nE. Переправиться через быструю реку\nF. Кюхля\nG. Фазиль Абдулович Искандер\nH. Необходимо отказаться от исторических тем в литературе.\nI. Шахов\nJ. Михаил Юрьевич Лермонтов\nK. Дружбе Моцарта и Сальери\nL. Александр Сергеевич Пушкин\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 131, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.06144652143120766, + "B": 0.5829883813858032, + "C": 0.13008229434490204, + "D": 0.0696280300617218, + "E": 0.0328899547457695, + "F": 0.017604723572731018, + "G": 0.015536113642156124, + "H": 0.013710572384297848, + "I": 0.0003432374505791813, + "J": 0.00689410837367177, + "K": 0.002382540376856923, + "L": 0.0003224417450837791 + }, + "sample": { + "question": "Чему Пушкин уделяет основное внимание в 'Моцарте и Сальери'?", + "answerA": "Дружбе Моцарта и Сальери", + "answerB": "Зависти Сальери к Моцарту", + "answerC": "Историческим фактам о Моцарте", + "answerD": "Любовным историям Моцарта", + "correct_answer": "B", + "choices": [ + "Шахов", + "Дружбе Моцарта и Сальери", + "Любовным историям Моцарта", + "Марина", + "Кюхл��", + "Переправиться через быструю реку", + "Миллер", + "Историческим фактам о Моцарте", + "Современные писатели должны больше писать о будущем.", + "Зависти Сальери к Моцарту", + "Пройти через темный лес", + "Необходимо отказаться от исторических тем в литературе." + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nЧему Пушкин уделяет основное внимание в 'Моцарте и Сальери'?\nA. Шахов\nB. Дружбе Моцарта и Сальери\nC. Любовным историям Моцарта\nD. Марина\nE. Кюхля\nF. Переправиться через быструю реку\nG. Миллер\nH. Историческим фактам о Моцарте\nI. Современные писатели должны больше писать о будущем.\nJ. Зависти Сальери к Моцарту\nK. Пройти через темный лес\nL. Необходимо отказаться от исторических тем в литературе.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 137, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.10299456119537354, + "B": 0.5230495929718018, + "C": 0.08021225780248642, + "D": 0.08021225780248642, + "E": 0.04293452575802803, + "F": 0.015794729813933372, + "G": 0.0295084398239851, + "H": 0.026041105389595032, + "I": 0.001144166337326169, + "J": 0.010197844356298447, + "K": 0.0027447124011814594, + "L": 0.0009485471528023481 + }, + "sample": { + "question": "Что мальчик и его ослик должны были преодолеть, чтобы выполнить поручение тёти в рассказе 'Первое дело' Искандера Фазиля Абдуловича?", + "answerA": "Пройти через темный лес", + "answerB": "Переправиться через быструю реку", + "answerC": "Намолоть кукурузную муку на мельнице", + "answerD": "Найти потерянное сокровище", + "correct_answer": "Намолоть кукурузную муку на мельнице", + "choices": [ + "Марина", + "Переправиться через быструю реку", + "Необходимо отказаться от исторических тем в литературе.", + "Найти потерянное сокровище", + "Пройти через темный лес", + "Современные писатели должны больше писать о будущем.", + "Шахов", + "Намолоть кукурузную муку на мельнице", + "Кюхля", + "Смерть Вазир-Мухтара", + "Желанием сравнить различия в традициях русской и американской литературы", + "Миллер" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nЧто мальчик и его ослик должны были преодолеть, чтобы выполнить поручение тёти в рассказе 'Первое дело' Искандера Фазиля Абдуловича?\nA. Марина\nB. Переправиться через быструю реку\nC. Необходимо отказаться от исторических тем в литературе.\nD. Найти потерянное сокровище\nE. Пройти через темный лес\nF. Современные писатели должны больше писать о будущем.\nG. Шахов\nH. Намолоть кукурузную муку на мельнице\nI. Кюхля\nJ. Смерть Вазир-Мухтара\nK. Желанием сравнить различия в традициях русской и американской литературы\nL. Миллер\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 160, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.032565027475357056, + "B": 0.03690101206302643, + "C": 0.021025562658905983, + "D": 0.028738535940647125, + "E": 0.10030735284090042, + "F": 0.028738535940647125, + "G": 0.03690101206302643, + "H": 0.18739880621433258, + "I": 0.022381596267223358, + "J": 0.0781194418668747, + "K": 0.028738535940647125, + "L": 0.3089683949947357 + }, + "sample": { + "question": "Как звали героя романа 'Девять десятых судьбы', написанного Вениамином Кавериным?", + "answerA": "Миллер", + "answerB": "Шахов", + "answerC": "Главецкий", + "answerD": "Тарханов", + "correct_answer": "Шахов", + "choices": [ + "Желанием сравнить различия в традициях русской и американской литературы", + "Современные писатели должны больше писать о будущем.", + "Миллер", + "Настя", + "Главецкий", + "Кюхля", + "Смерть Вазир-Мухтара", + "Марина", + "Тарханов", + "Шахов", + "Необходимо отказаться от исторических тем в литературе.", + "Вениамин Каверин" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКак звали героя романа 'Девять десятых судьбы', написанного Вениамином Кавериным?\nA. Желанием сравнить различия в традициях русской и американской литературы\nB. Современные писатели должны больше писать о будущем.\nC. Миллер\nD. Настя\nE. Главецкий\nF. Кюхля\nG. Смерть Вазир-Мухтара\nH. Марина\nI. Тарханов\nJ. Шахов\nK. Необходимо отказаться от исторических тем в литературе.\nL. Вениамин Каверин\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 124, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.018805690109729767, + "B": 0.9061089158058167, + "C": 0.012924949638545513, + "D": 0.006918226834386587, + "E": 0.0009362802375108004, + "F": 0.00039029965410009027, + "G": 0.0004422674828674644, + "H": 0.0002855493512470275, + "I": 6.3086067711992655e-06, + "J": 7.21981778042391e-05, + "K": 3.630352148320526e-05, + "L": 3.826363354164641e-06 + }, + "sample": { + "question": "Какую главную мысль излагает Вениамин Каверин в своём собеседовании с Феликсом Медведевым в 1988 году?", + "answerA": "Необходимо отказаться от исторических тем в литературе.", + "answerB": "Современные писатели должны больше писать о будущем.", + "answerC": "Изучение и понимание прошлого помогают формировать будущее и избегать ошибок.", + "answerD": "Важно сосредоточиться исключительно на современной литературе.", + "correct_answer": "C", + "choices": [ + "Необходимо отказаться от исторических тем в литературе.", + "Изучение и понимание прошлого помогают формировать будущее и избегать ошибок.", + "Вениамин Каверин", + "Желанием сравнить различия в традициях русской и американской литературы", + "Интересом к изучению влияния Чехова на творчество Хемингуэя", + "Современные писатели должны больше писать о будущем.", + "Смерть Вазир-Мухтара", + "Марина", + "Я - должен защитить сокровища.", + "Кюхля", + "Настя", + "Важно сосредоточиться исключительно на современной литературе." + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКакую главную мы��ль излагает Вениамин Каверин в своём собеседовании с Феликсом Медведевым в 1988 году?\nA. Необходимо отказаться от исторических тем в литературе.\nB. Изучение и понимание прошлого помогают формировать будущее и избегать ошибок.\nC. Вениамин Каверин\nD. Желанием сравнить различия в традициях русской и американской литературы\nE. Интересом к изучению влияния Чехова на творчество Хемингуэя\nF. Современные писатели должны больше писать о будущем.\nG. Смерть Вазир-Мухтара\nH. Марина\nI. Я - должен защитить сокровища.\nJ. Кюхля\nK. Настя\nL. Важно сосредоточиться исключительно на современной литературе.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 161, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.05332138016819954, + "B": 0.09961745142936707, + "C": 0.09961745142936707, + "D": 0.3476990759372711, + "E": 0.04705595225095749, + "F": 0.06042103469371796, + "G": 0.12791135907173157, + "H": 0.03234105184674263, + "I": 0.005620032083243132, + "J": 0.022227657958865166, + "K": 0.019615840166807175, + "L": 0.004659170284867287 + }, + "sample": { + "question": "В каком романе Юрия Тынянова рассказывается о жизни и творчестве Грибоедова?", + "answerA": "Кюхля", + "answerB": "Смерть Вазир-Мухтара", + "answerC": "Пушкин", + "answerD": "Подпоручик Киже", + "correct_answer": "Смерть Вазир-Мухтара", + "choices": [ + "Желанием сравнить различия в традициях русской и американской литературы", + "Смерть Вазир-Мухтара", + "Настя", + "Подпоручик Киже", + "Кюхля", + "Вениамин Каверин", + "Я - должен защитить сокровища.", + "Василий Гроссман", + "Интересом к изучению влияния Чехова на творчество Хемингуэя", + "Пушкин", + "Чинил машины", + "Марина" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nВ каком романе Юрия Тынянова рассказывается о жизни и творчестве Грибоедова?\nA. Желанием сравнить различия в традициях русской и американской литературы\nB. Смерть Вазир-Мухтара\nC. Настя\nD. Подпоручик Киже\nE. Кюхля\nF. Вениамин Каверин\nG. Я - должен защитить сокровища.\nH. Василий Гроссман\nI. Интересом к изучению влияния Чехова на творчество Хемингуэя\nJ. Пушкин\nK. Чинил машины\nL. Марина\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 129, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.06280890107154846, + "B": 0.07117181271314621, + "C": 0.1707322895526886, + "D": 0.19346502423286438, + "E": 0.04316788539290428, + "F": 0.09138641506433487, + "G": 0.11734247207641602, + "H": 0.06280890107154846, + "I": 0.009632056578993797, + "J": 0.019155632704496384, + "K": 0.021706173196434975, + "L": 0.005488180555403233 + }, + "sample": { + "question": "Как звали девочку, которая раньше была снежной бабой в сказе Вениамина Каверина «Лёгкие шаги»?", + "answerA": "Марина", + "answerB": "Настя", + "answerC": "Алёна", + "answerD": "Ольга", + "correct_answer": "B", + "choices": [ + "Вениамин Каверин", + "Интересом к изучению влияния Чехова на творчество Хемингуэя", + "Настя", + "Ольга", + "Василий Гроссман", + "Алёна", + "Желанием сравнить различия в традициях русской и американской литературы", + "Василий", + "Чинил машины", + "Я - лучший друг человека.", + "Я - должен защитить сокровища.", + "Марина" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКак звали девочку, которая раньше была снежной бабой в сказе Вениамина Каверина «Лёгкие шаги»?\nA. Вениамин Каверин\nB. Интересом к изучению влияния Чехова на творчество Хемингуэя\nC. Настя\nD. Ольга\nE. Василий Гроссман\nF. Алёна\nG. Желанием сравнить различия в традициях русской и американской литературы\nH. Василий\nI. Чинил машины\nJ. Я - лучший друг человека.\nK. Я - должен защитить сокровища.\nL. Марина\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 133, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.21610023081302643, + "B": 0.07949883490800858, + "C": 0.02010045200586319, + "D": 0.02010045200586319, + "E": 0.5183975100517273, + "F": 0.007394542917609215, + "G": 0.006946530658751726, + "H": 0.0027203005738556385, + "I": 0.0028957449831068516, + "J": 0.0017563580768182874, + "K": 0.0017563580768182874, + "L": 0.00120712595526129 + }, + "sample": { + "question": "Чем был мотивирован Вениамин Каверин для написания эссе «Читая Хемингуэя» в 1983 году?", + "answerA": "Желанием сравнить различия в традициях русской и американской литературы", + "answerB": "Интересом к изучению влияния Чехова на творчество Хемингуэя", + "answerC": "Стремлением показать развитие Хемингуэя как писателя от отчаяния к надежде", + "answerD": "Желанием популяризировать творчество Хемингуэя среди советских читателей", + "correct_answer": "B", + "choices": [ + "Желанием сравнить различия в традициях русской и американской литературы", + "Стремлением показать развитие Хемингуэя как писателя от отчаяния к надежде", + "Василий Гроссман", + "Василий", + "Желанием популяризировать творчество Хемингуэя среди советских читателей", + "Я - должен защитить сокровища.", + "Я - лучший друг человека.", + "Чинил машины", + "Летние дожди", + "Ловил рыбу", + "Интересом к изучению влияния Чехова на творчество Хемингуэя", + "Вениамин Каверин" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nЧем был мотивирован Вениамин Каверин для написания эссе «Читая Хемингуэя» в 1983 году?\nA. Желанием сравнить различия в традициях русской и американской литературы\nB. Стремлением показать развитие Хемингуэя как писателя от отчаяния к надежде\nC. Василий Гроссман\nD. Василий\nE. Желанием популяризировать творчество Хемингуэя среди советских читателей\nF. Я - должен защитить сокровища.\nG. Я - лучший друг человека.\nH. Чинил машины\nI. Летние дожди\nJ. Ловил рыбу\nK. Интересом к изучению влияния Чехова на творчество Хемингуэя\nL. Вениамин Каверин\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 162, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.23254044353961945, + "B": 0.07549482583999634, + "C": 0.05879542976617813, + "D": 0.06662395596504211, + "E": 0.07549482583999634, + "F": 0.05879542976617813, + "G": 0.026090312749147415, + "H": 0.01793159358203411, + "I": 0.04040946438908577, + "J": 0.12446993589401245, + "K": 0.011577506549656391, + "L": 0.010217114351689816 + }, + "sample": { + "question": "Кто является автором знаменитой повести \"Звезда\"?", + "answerA": "Вениамин Каверин", + "answerB": "Василий Гроссман", + "answerC": "Эммануил Казакевич", + "answerD": "Николай Заболоцкий", + "correct_answer": "answerC", + "choices": [ + "Эммануил Казакевич", + "Сергей", + "Николай Заболоцкий", + "Я - должен защитить сокровища.", + "Вениамин Каверин", + "Василий", + "Летние дожди", + "Чинил машины", + "Вечерний свет", + "Василий Гроссман", + "Я - лучший друг человека.", + "Ловил рыбу" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКто является автором знаменитой повести \"Звезда\"?\nA. Эммануил Казакевич\nB. Сергей\nC. Николай Заболоцкий\nD. Я - должен защитить сокровища.\nE. Вениамин Каверин\nF. Василий\nG. Летние дожди\nH. Чинил машины\nI. Вечерний свет\nJ. Василий Гроссман\nK. Я - лучший друг человека.\nL. Ловил рыбу\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 108, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0184346754103899, + "B": 0.03039363957941532, + "C": 0.01266995444893837, + "D": 0.014356940053403378, + "E": 0.010503760538995266, + "F": 0.008180337026715279, + "G": 0.023670591413974762, + "H": 0.09361899644136429, + "I": 0.010503760538995266, + "J": 0.04707459360361099, + "K": 0.12020917981863022, + "L": 0.4754365384578705 + }, + "sample": { + "question": "Какие фразы умеет говорить лев на бюро в кабинете Корнея Ивановича Чуковского?", + "answerA": "Я - должен защитить сокровища.", + "answerB": "Я - лучший друг человека.", + "answerC": "Я - добрый лев. Я - самый настоящий лев. Я - люблю детей.", + "answerD": "Я - мудрый властитель джунглей.", + "correct_answer": "Я - добрый лев. Я - самый настоящий лев. Я - люблю детей.", + "choices": [ + "На Оке", + "Василий", + "Я - должен защитить сокровища.", + "Чинил машины", + "Я - лучший друг человека.", + "Вечерний свет", + "Я - мудрый властитель джунглей.", + "Летние дожди", + "1939 год", + "Ловил рыбу", + "Сергей", + "Я - добрый лев. Я - самый настоящий лев. Я - люблю детей." + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКакие фразы умеет говорить лев на бюро в кабинете Корнея Ивановича Чуковского?\nA. На Оке\nB. Василий\nC. Я - должен защитить сокровища.\nD. Чинил машины\nE. Я - лучший друг человека.\nF. Вечерний свет\nG. Я - мудрый властитель джунглей.\nH. Летние дожди\nI. 1939 год\nJ. Ловил рыбу\nK. Сергей\nL. Я - добрый лев. Я - самый настоящий лев. Я - люблю детей.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 132, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.2746884822845459, + "B": 0.08917828649282455, + "C": 0.06129128485918045, + "D": 0.10105225443840027, + "E": 0.08917828649282455, + "F": 0.05408936366438866, + "G": 0.07869956642389297, + "H": 0.06129128485918045, + "I": 0.06129128485918045, + "J": 0.02895195037126541, + "K": 0.007792312651872635, + "L": 0.006068658549338579 + }, + "sample": { + "question": "Чем занимался главный герой повести 'Вот бежит собака' Юрия Казакова?", + "answerA": "Чинил машины", + "answerB": "Ловил рыбу", + "answerC": "Путешествовал на мотоцикле", + "answerD": "Рисовал пейзажи", + "correct_answer": "answerB", + "choices": [ + "Случайным выбором места и времени", + "На Оке", + "Летние дожди", + "Василий", + "Путешествовал на мотоцикле", + "Ловил рыбу", + "Вечерний свет", + "Ночная сказка", + "Сергей", + "Рисовал пейзажи", + "Чинил машины", + "1939 год" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nЧем занимался главный герой повести 'Вот бежит собака' Юрия Казакова?\nA. Случайным выбором места и времени\nB. На Оке\nC. Летние дожди\nD. Василий\nE. Путешествовал на мотоцикле\nF. Ловил рыбу\nG. Вечерний свет\nH. Ночная сказка\nI. Сергей\nJ. Рисовал пейзажи\nK. Чинил машины\nL. 1939 год\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 117, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0919898971915245, + "B": 0.11811736226081848, + "C": 0.41227009892463684, + "D": 0.08118078857660294, + "E": 0.026355544105172157, + "F": 0.038347091525793076, + "G": 0.08118078857660294, + "H": 0.03384118899703026, + "I": 0.0024514475371688604, + "J": 0.0033507319167256355, + "K": 0.004875285550951958, + "L": 0.000901837192941457 + }, + "sample": { + "question": "Как звали случайного попутчика студента в фильме 'Ни стуку, ни грюку'?", + "answerA": "Василий", + "answerB": "Сергей", + "answerC": "Александр", + "answerD": "Николай", + "correct_answer": "answerB", + "choices": [ + "Сергей", + "Летние дожди", + "Случайным выбором места и времени", + "Александр", + "Позвонить в скорую помощь", + "Вечерний свет", + "1941 год", + "На Оке", + "Ночная сказка", + "Николай", + "1939 год", + "Василий" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКак звали случайного попутчика студента в фильме 'Ни стуку, ни грюку'?\nA. Сергей\nB. Летние дожди\nC. Случайным выбором места и времени\nD. Александр\nE. Позвонить в скорую помощь\nF. Вечерний свет\nG. 1941 год\nH. На Оке\nI. Ночная сказка\nJ. Николай\nK. 1939 год\nL. Василий\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.011511174030601978, + "B": 0.02436915598809719, + "C": 0.007432172540575266, + "D": 0.8069956302642822, + "E": 0.014780640602111816, + "F": 0.018978718668222427, + "G": 0.04017794504761696, + "H": 0.011511174030601978, + "I": 0.0029104806017130613, + "J": 0.011511174030601978, + "K": 0.014780640602111816, + "L": 0.0004463366640266031 + }, + "sample": { + "question": "Как называется произведение Юрия Казакова, в котором рассказывается о счастливых днях проведенных в позднюю осень на Оке с любимой женщиной?", + "answerA": "Летние дожди", + "answerB": "На Оке", + "answerC": "Осень в дубовых лесах", + "answerD": "Зимние сказки", + "correct_answer": "C", + "choices": [ + "Вечерний свет", + "Советами друзей и семьи", + "Зимние сказки", + "На Оке", + "Мог сохранять документы без использования электричества", + "Позвонить в скорую помощь", + "Ночная сказка", + "Летние дожди", + "1939 год", + "Осень в дубовых лесах", + "Случайным выбором места и времени", + "1941 год" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКак называется произведение Юрия Казакова, в котором рассказывается о счастливых днях проведенных в позднюю осень на Оке с любимой женщиной?\nA. Вечерний свет\nB. Советами друзей и семьи\nC. Зимние сказки\nD. На Оке\nE. Мог сохранять документы без использования электричества\nF. Позвонить в скорую помощь\nG. Ночная сказка\nH. Летние дожди\nI. 1939 год\nJ. Осень в дубовых лесах\nK. Случайным выбором места и времени\nL. 1941 год\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 139, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.09216471016407013, + "B": 0.10443630069494247, + "C": 0.1951126903295517, + "D": 0.08133506774902344, + "E": 0.10443630069494247, + "F": 0.08133506774902344, + "G": 0.17218634486198425, + "H": 0.06334381550550461, + "I": 0.010340593755245209, + "J": 0.014133916236460209, + "K": 0.00805326271802187, + "L": 0.0023072983603924513 + }, + "sample": { + "question": "Как называется произведение Юрия Павловича Казакова, в котором отец размышляет о любви и ответственности, глядя на спящего сына?", + "answerA": "Вечерний свет", + "answerB": "Ночная сказка", + "answerC": "Свечечка", + "answerD": "Рассказ о детстве", + "correct_answer": "Свечечка", + "choices": [ + "Случайным выбором места и времени", + "Мог сохранять документы без использования электричества", + "Вечерний свет", + "Советами друзей и семьи", + "Рассказ о детстве", + "Вызвать имя Хастура и сказать бабуле лечь от его имени", + "Свечечка", + "1939 год", + "1941 год", + "Пытаются общаться с людьми через радио.", + "Позвонить в скорую помощь", + "Ночная сказка" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКак называется произведение Юрия Павловича Казакова, в котором отец размышляет о любви и ответственности, глядя на спящего сына?\nA. Случайным выбором места и времени\nB. Мог сохранять документы без использования электричества\nC. Вечерний свет\nD. Советами друзей и семьи\nE. Рассказ о детстве\nF. Вызвать имя Хастура и сказать бабуле лечь от его имени\nG. Свечечка\nH. 1939 год\nI. 1941 год\nJ. Пытаются общаться с людьми через радио.\nK. Позвонить в скорую помощь\nL. Ночная сказка\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 151, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.3010813593864441, + "B": 0.05928643420338631, + "C": 0.067180335521698, + "D": 0.04617232456803322, + "E": 0.07612529397010803, + "F": 0.01924748718738556, + "G": 0.07612529397010803, + "H": 0.028004929423332214, + "I": 0.23448240756988525, + "J": 0.024714263156056404, + "K": 0.00854102149605751, + "L": 0.001230450696311891 + }, + "sample": { + "question": "В каком году начинается повествование романа \"Великое противостояние\" Льва Кассиля?", + "answerA": "1939 год", + "answerB": "1941 год", + "answerC": "1938 год", + "answerD": "1940 год", + "correct_answer": "answerC", + "choices": [ + "Случайным выбором места и времени", + "1940 год", + "1941 год", + "Вызвать имя Хастура и сказать бабуле лечь от его имени", + "Пытаются общаться с людьми через радио.", + "Позвонить в скорую помощь", + "Малахи", + "Советами друзей и семьи", + "1939 год", + "Мог сохранять документы без использования электричества", + "Позволял печатать текст со скоростью света", + "1938 год" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nВ каком году начинается повествование романа \"Великое противостояние\" Льва Кассиля?\nA. Случайным выбором места и времени\nB. 1940 год\nC. 1941 год\nD. Вызвать имя Хастура и сказать бабуле лечь от его имени\nE. Пытаются общаться с людьми через радио.\nF. Позвонить в скорую помощь\nG. Малахи\nH. Советами друзей и семьи\nI. 1939 год\nJ. Мог сохранять документы без использования электричества\nK. Позволял печатать текст со скоростью света\nL. 1938 год\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 152, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.006991042755544186, + "B": 0.02292274683713913, + "C": 0.005114756524562836, + "D": 0.01082793902605772, + "E": 0.02765011042356491, + "F": 0.05165720731019974, + "G": 0.04023067280650139, + "H": 0.062310487031936646, + "I": 0.029433391988277435, + "J": 0.5217193365097046, + "K": 0.04558732360601425, + "L": 0.10273262113332748 + }, + "sample": { + "question": "Чем Робинсон руководствовался при планировании мести Долану в рассказе «Кадиллак» Стивена Кинга?", + "answerA": "Случайным выбором места и времени", + "answerB": "Советами друзей и семьи", + "answerC": "Регулярным маршрутом Долана и характеристиками его кадиллака", + "answerD": "Гаданием на картах Таро", + "correct_answer": "Регулярным маршрутом Долана и характеристиками его кадиллака", + "choices": [ + "В Соединенных Штатах Америки", + "Позволял печатать текст со скоростью света", + "Пытаются общаться с людьми через радио.", + "Случайным выбором места и времени", + "Гаданием на картах Таро", + "Вызвать имя Хастура и сказать бабуле лечь от его имени", + "Малахи", + "Советами друзей и семьи", + "Позвонить в скорую помощь", + "Регулярным маршрутом Долана и характеристиками его кадиллака", + "Требуют, чтобы люди начали их закачивать топливом.", + "Мог сохранять документы без использования электричества" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nЧем Робинсон руководствовался при планировании мести Долану в рассказе «Кадиллак» Стивена Кинга?\nA. В Соединенных Штатах Америки\nB. Позволял печатать текст со скоростью света\nC. Пытаются общаться с людьми через радио.\nD. Случайным выбором места и времени\nE. Гаданием на картах Таро\nF. Вызвать имя Хастура и сказать бабуле лечь от его имени\nG. Малахи\nH. Советами друзей и семьи\nI. Позвонить в скорую помощь\nJ. Регулярным маршрутом Долана и характеристиками его кадиллака\nK. Требуют, чтобы люди начали их закачивать топливом.\nL. Мог сохранять документы без использования электричества\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 178, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.02411489747464657, + "B": 0.05784863606095314, + "C": 0.037349883466959, + "D": 0.07427911460399628, + "E": 0.08416926115751266, + "F": 0.09537626802921295, + "G": 0.10807546973228455, + "H": 0.12246555089950562, + "I": 0.02732575498521328, + "J": 0.1572488695383072, + "K": 0.05784863606095314, + "L": 0.08416926115751266 + }, + "sample": { + "question": "Что Джорджу предложила сделать его тетя Фло, когда бабушка оказалась с ним на кухне?", + "answerA": "Позвонить в скорую помощь", + "answerB": "Вызвать имя Хастура и сказать бабуле лечь от его имени", + "answerC": "Закрыть бабушку в комнате и ждать помощи", + "answerD": "Покинуть дом и позвонить в полицию", + "correct_answer": "Вызвать имя Хастура и сказать бабуле лечь от его имени", + "choices": [ + "Требуют, чтобы люди начали их закачивать топливом.", + "Теплые дожди и яркое солнце", + "Позволял печатать текст со скоростью света", + "Закрыть бабушку в комнате и ждать помощи", + "Позвонить в скорую помощь", + "Пытаются общаться с людьми через радио.", + "Исаак", + "Покинуть дом и позвонить в полицию", + "Малахи", + "Мог сохранять документы без использования электричества", + "В Соединенных Штатах Америки", + "Вызвать имя Хастура и сказать бабуле лечь от его имени" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nЧто Джорджу предложила сделать его тетя Фло, когда бабушка оказалась с ним на кухне?\nA. Требуют, чтобы люди начали их закачивать топливом.\nB. Теплые дожди и яркое солнце\nC. Позволял печатать текст со скоростью света\nD. Закрыть бабушку в комнате и ждать помощи\nE. Позвонить в скорую помощь\nF. Пытаются общаться с людьми через радио.\nG. Исаак\nH. Покинуть дом и позвонить в полицию\nI. Малахи\nJ. Мог сохранять документы без использования электричества\nK. В Соединенных Штатах Америки\nL. Вызвать имя Хастура и сказать бабуле лечь от его имени\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 163, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.010739045217633247, + "B": 0.03748295083642006, + "C": 0.048129066824913025, + "D": 0.06179894506931305, + "E": 0.07002736628055573, + "F": 0.03521197289228439, + "G": 0.06179894506931305, + "H": 0.048129066824913025, + "I": 0.029191754758358, + "J": 0.4029797315597534, + "K": 0.11545562744140625, + "L": 0.007856854237616062 + }, + "sample": { + "question": "Какую уникальную способность имел текст-процессор в рассказе \"Всемогущий текст-процессор\"?", + "answerA": "Мог сохранять документы без использования электричества", + "answerB": "Позволял печатать текст со скоростью света", + "answerC": "Обладал способностью влиять на реальность", + "answerD": "Автоматически исправлял орфографические ошибки", + "correct_answer": "Обладал способностью влиять на реальность", + "choices": [ + "Теплые дожди и яркое солнце", + "В Соединенных Штатах Америки", + "Исаак", + "Автоматически исправлял орфографические ошибки", + "Мог сохранять документы без использования электричества", + "В Австралии", + "Позволял печатать текст со скоростью света", + "Пытаются общаться с людьми через радио.", + "Требуют, чтобы люди начали их закачивать топливом.", + "Обладал способностью влиять на реальность", + "Сосед", + "Малахи" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКакую уникальную способность имел текст-процессор в рассказе \"Всемогущий текст-процессор\"?\nA. Теплые дожди и яркое солнце\nB. В Соединенных Штатах Америки\nC. Исаак\nD. Автоматически исправлял орфографические ошибки\nE. Мог сохранять документы без использования электричества\nF. В Австралии\nG. Позволял печатать текст со скоростью света\nH. Пытаются общаться с людьми через радио.\nI. Требуют, чтобы люди начали их закачивать топливом.\nJ. Обладал способностью влиять на реальность\nK. Сосед\nL. Малахи\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 142, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.05523793399333954, + "B": 0.07092691212892532, + "C": 0.11693869531154633, + "D": 0.07092691212892532, + "E": 0.0803707167506218, + "F": 0.13250890374183655, + "G": 0.1501522660255432, + "H": 0.1501522660255432, + "I": 0.017933130264282227, + "J": 0.03350349888205528, + "K": 0.03350349888205528, + "L": 0.026092547923326492 + }, + "sample": { + "question": "Какое решение принимают грузовики в рассказе «Грузовики» Кинга Стивена?", + "answerA": "Пытаются общаться с людьми через радио.", + "answerB": "Требуют, чтобы люди начали их закачивать топливом.", + "answerC": "Пытаются убить всех выживших.", + "answerD": "Отправляются на поиски нового топлива самостоятельно.", + "correct_answer": "Требуют, чтобы люди начали их закачивать топливом.", + "choices": [ + "Сосед", + "Пытаются убить всех выживших.", + "Пытаются общаться с людьми через радио.", + "Густой туман, идеально подходящий для серийного убийцы", + "Теплые дожди и яркое солнце", + "Отправляются на поиски нового топлива самостоятельно.", + "В Соединенных Штатах Америки", + "Требуют, чтобы люди начали их закачивать топливом.", + "Чтобы мстить за смерть своего брата", + "В Австралии", + "Исаак", + "Малахи" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакое решение принимают грузовики в рассказе «Грузовики» Кинга Стивена?\nA. Сосед\nB. Пытаются убить всех выживших.\nC. Пытаются общаться с людьми через радио.\nD. Густой туман, идеально подходящий для серийного убийцы\nE. Теплые дожди и яркое солнце\nF. Отправляются на поиски нового топлива самостоятельно.\nG. В Соединенных Штатах Америки\nH. Требуют, чтобы люди начали их закачивать топливом.\nI. Чтобы мстить за смерть своего брата\nJ. В Австралии\nK. Исаак\nL. Малахи\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 143, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.10358055680990219, + "B": 0.19351394474506378, + "C": 0.17077545821666718, + "D": 0.04892798513174057, + "E": 0.11737214028835297, + "F": 0.09140951931476593, + "G": 0.055442675948143005, + "H": 0.055442675948143005, + "I": 0.0058436146937310696, + "J": 0.019160475581884384, + "K": 0.008502409793436527, + "L": 0.0015727876452729106 + }, + "sample": { + "question": "Кто является лидером детей в культовом фильме 'Дети кукурузы' 1977 года?", + "answerA": "Малахи", + "answerB": "Исаак", + "answerC": "Берт", + "answerD": "Вики", + "correct_answer": "B", + "choices": [ + "В Соединенных Штатах Америки", + "Мизери", + "Бугимен", + "Теплые дожди и яркое солнце", + "Берт", + "Сосед", + "Вики", + "Чтобы мстить за смерть своего брата", + "Густой туман, идеально подходящий для серийного убийцы", + "Малахи", + "В Австралии", + "Исаак" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКто является лидером детей в культовом фильме 'Дети кукурузы' 1977 года?\nA. В Соединенных Штатах Америки\nB. Мизери\nC. Бугимен\nD. Теплые дожди и яркое солнце\nE. Берт\nF. Сосед\nG. Вики\nH. Чтобы мстить за смерть своего брата\nI. Густой туман, идеально подходящий для серийного убийцы\nJ. Малахи\nK. В Австралии\nL. Исаак\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.22175084054470062, + "B": 0.10474768280982971, + "C": 0.2512766420841217, + "D": 0.11869467794895172, + "E": 0.0436653271317482, + "F": 0.03853452205657959, + "G": 0.09243951737880707, + "H": 0.03400659188628197, + "I": 0.008598213084042072, + "J": 0.01417605858296156, + "K": 0.011752365157008171, + "L": 0.0007997584762051702 + }, + "sample": { + "question": "Где впервые появились слухи о ходячих мертвецах в рассказе «Домашние роды» Стивена Кинга?", + "answerA": "В Соединенных Штатах Америки", + "answerB": "В Австралии", + "answerC": "В Великобритании", + "answerD": "В Канаде", + "correct_answer": "B", + "choices": [ + "Чтобы заняться расследованием мистических событий", + "В Соединенных Штатах Америки", + "Чтобы мстить за смерть своего брата", + "Мизери", + "Густой туман, идеально подходящий для серийного убийцы", + "Гипноз и психотерапия", + "Теплые дожди и яркое солнце", + "Бугимен", + "В Австралии", + "Сосед", + "В Великобритании", + "В Канаде" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nГде впервые появились слухи о ходячих мертвецах в рассказе «Домашние роды» Стивена Кинга?\nA. Чтобы заняться расследованием мистических событий\nB. В Соединенных Штатах Америки\nC. Чтобы мстить за смерть своего брата\nD. Мизери\nE. Густой туман, идеально подходящий для серийного убийцы\nF. Гипноз и психотерапия\nG. Теплые дожди и яркое солнце\nH. Бугимен\nI. В Австралии\nJ. Сосед\nK. В Великобритании\nL. В Канаде\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 134, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.034183062613010406, + "B": 0.04973606392741203, + "C": 0.3675025701522827, + "D": 0.15319786965847015, + "E": 0.08200091123580933, + "F": 0.030166449025273323, + "G": 0.06386236846446991, + "H": 0.014249620959162712, + "I": 0.012575246393680573, + "J": 0.030166449025273323, + "K": 0.03873448446393013, + "L": 0.0008557562250643969 + }, + "sample": { + "question": "Что принесла земляничная весна в рассказе Стивена Кинга «Земляничная весна»?", + "answerA": "Теплые дожди и яркое солнце", + "answerB": "Густой туман, идеально подходящий для серийного убийцы", + "answerC": "Очаровательных бабочек и пение птиц", + "answerD": "Разноцветные цветы и счастливых людей", + "correct_answer": "Густой туман, идеально подходящий для серийного убийцы", + "choices": [ + "Сосед", + "Бугимен", + "Густой туман, идеально подходящий для серийного убийцы", + "Конец всей этой гадости", + "Разноцветные цветы и счастливых людей", + "Очаровательных бабочек и пение птиц", + "Мизери", + "Гипноз и психотерапия", + "Теплые дожди и яркое солнце", + "Чтобы мстить за смерть своего брата", + "Чтобы заняться расследованием мистических событий", + "Переспать с женой Кресснера" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nЧто принесла земляничная весна в рассказе Стивена Кинга «Земляничная весна»?\nA. Сосед\nB. Бугимен\nC. Густой туман, идеально подходящий для серийного убийцы\nD. Конец всей этой гадости\nE. Разноцветные цветы и счастливых людей\nF. Очаровательных бабочек и пение птиц\nG. Мизери\nH. Гипноз и психотерапия\nI. Теплые дожди и яркое солнце\nJ. Чтобы мстить за смерть своего брата\nK. Чтобы заняться расследованием мистических событий\nL. Переспать с женой Кресснера\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 146, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.05744756758213043, + "B": 0.0737641304731369, + "C": 0.3746051788330078, + "D": 0.0737641304731369, + "E": 0.03948309272527695, + "F": 0.03074946627020836, + "G": 0.1561586707830429, + "H": 0.03948309272527695, + "I": 0.003909355960786343, + "J": 0.018650492653250694, + "K": 0.017520518973469734, + "L": 0.0006793441716581583 + }, + "sample": { + "question": "Кто, по словам Лестера Биллингса, убил его детей в рассказе 'И пришёл бука' Стивена Кинга?", + "answerA": "Сосед", + "answerB": "Бугимен", + "answerC": "Случайный прохожий", + "answerD": "Бабушка детей", + "correct_answer": "Бугимен", + "choices": [ + "Физическое воздействие на курящего и его семью", + "Чтобы заняться расследованием мистических событий", + "Чтобы мстить за смерть своего брата", + "Бабушка детей", + "Исцеление прошлого от болезней и страданий.", + "Случайный прохожий", + "Сосед", + "Переспать с женой Кресснера", + "Гипноз и психотерапия", + "Конец всей этой гадости", + "Бугимен", + "Мизери" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКто, по словам Лестера Биллингса, убил его детей в рассказе 'И пришёл бука' Стивена Кинга?\nA. Физическое воздействие на курящего и его семью\nB. Чтобы заняться расследованием мистических событий\nC. Чтобы мстить за смерть своего брата\nD. Бабушка детей\nE. Исцеление прошлого от болезней и страданий.\nF. Случайный прохожий\nG. Сосед\nH. Переспать с женой Кресснера\nI. Гипноз и психотерапия\nJ. Конец всей этой гадости\nK. Бугимен\nL. Мизери\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 146, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.13117516040802002, + "B": 0.6661624312400818, + "C": 0.07021300494670868, + "D": 0.025829920545220375, + "E": 0.02011636272072792, + "F": 0.004216618835926056, + "G": 0.008926582522690296, + "H": 0.0032839057967066765, + "I": 0.00010556098277447745, + "J": 0.0030849443282932043, + "K": 0.0005036033107899129, + "L": 4.6842404117342085e-05 + }, + "sample": { + "question": "Какова основная причина возвращения Джима Нормана в свой родной город в фильме 'Иногда они возвращаются'?", + "answerA": "Чтобы мстить за смерть своего брата", + "answerB": "Чтобы заняться расследованием мистических событий", + "answerC": "Чтобы устроиться на работу учителем", + "answerD": "Для поиска утерянного сокровища", + "correct_answer": "Чтобы устроиться на работу учителем", + "choices": [ + "Мизери", + "Исцеление прошлого от болезней и страданий.", + "Гипноз и психотерапия", + "Для поиска утерянного сокровища", + "Чтобы мстить за смерть своего брата", + "Чтобы устроиться на работу учителем", + "Сундук с золотом", + "Украсть крупную сумму денег", + "Конец всей этой гадости", + "Чтобы заняться расследованием мистических событий", + "Физическое воздействие на курящего и его семью", + "Переспать с женой Кресснера" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКакова основная причина возвращения Джима Нормана в свой родной город в фильме 'Иногда они возвращаются'?\nA. Мизери\nB. Исцеление ��рошлого от болезней и страданий.\nC. Гипноз и психотерапия\nD. Для поиска утерянного сокровища\nE. Чтобы мстить за смерть своего брата\nF. Чтобы устроиться на работу учителем\nG. Сундук с золотом\nH. Украсть крупную сумму денег\nI. Конец всей этой гадости\nJ. Чтобы заняться расследованием мистических событий\nK. Физическое воздействие на курящего и его семью\nL. Переспать с женой Кресснера\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 150, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.1513911783695221, + "B": 0.04337430000305176, + "C": 0.5284071564674377, + "D": 0.029810691252350807, + "E": 0.03377993777394295, + "F": 0.018081096932291985, + "G": 0.0810338631272316, + "H": 0.014989756979048252, + "I": 0.006248659919947386, + "J": 0.004294637590646744, + "K": 0.0020286429207772017, + "L": 0.0002922537096310407 + }, + "sample": { + "question": "В каком произведении Стивена Кинга рассказывается о гениальном младшем брате, который открывает химическое вещество, снижающее агрессию?", + "answerA": "Мизери", + "answerB": "Конец всей этой гадости", + "answerC": "Оно", + "answerD": "Сияние", + "correct_answer": "B", + "choices": [ + "Конец всей этой гадости", + "Физическое воздействие на курящего и его семью", + "Оно", + "Нарушение Реншоу срока оплаты по кредиту", + "Возвращение пассажиров самолета в их временной период.", + "Сундук с золотом", + "Мизери", + "Украсть крупную сумму денег", + "Сияние", + "Переспать с женой Кресснера", + "Гипноз и психотерапия", + "Исцеление прошлого от болезней и страданий." + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nВ каком произведении Стивена Кинга рассказывается о гениальном младшем брате, который открывает химическое вещество, снижающее агрессию?\nA. Конец всей этой гадости\nB. Физическое воздействие на курящего и его семью\nC. Оно\nD. Нарушение Реншоу срока оплаты по кредиту\nE. Возвращение пассажиров самолета в их временной период.\nF. Сундук с золотом\nG. Мизери\nH. Украсть крупную сумму денег\nI. Сияние\nJ. Переспать с женой Кресснера\nK. Гипноз и психотерапия\nL. Исцеление прошлого от болезней и страданий.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 150, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.007376838941127062, + "B": 0.06574904918670654, + "C": 0.01662396267056465, + "D": 0.017696116119623184, + "E": 0.0241877231746912, + "F": 0.022722262889146805, + "G": 0.031057652086019516, + "H": 0.0241877231746912, + "I": 0.022722262889146805, + "J": 0.550510048866272, + "K": 0.13919073343276978, + "L": 0.007376838941127062 + }, + "sample": { + "question": "Какие уникальные методы лечения использует Корпорация «Бросайте курить» в рассказе Стивена Кинга?", + "answerA": "Гипноз и психотерапия", + "answerB": "Физическое воздействие на курящего и его семью", + "answerC": "Плацебо и поддержка сообщества", + "answerD": "Акупунктура и медитация", + "correct_answer": "B", + "choices": [ + "Украсть крупную сумму денег", + "Исцеление прошлого от болезней и страданий.", + "В Нью-Йорке", + "Сундук с золотом", + "Акупунктура и медитация", + "Физическое воздействие на курящего и его семью", + "Крыса-корова размером с теленка без глаз и ног", + "Переспать с женой Кресснера", + "Возвращение пассажиров самолета в их временной период.", + "Плацебо и поддержка сообщества", + "Гипноз и психотерапия", + "Нарушение Реншоу срока оплаты по кредиту" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКакие уникальные методы лечения использует Корпорация «Бросайте курить» в рассказе Стивена Кинга?\nA. Украсть крупную сумму денег\nB. Исцеление прошлого от болезней и страданий.\nC. В Нью-Йорке\nD. Сундук с золотом\nE. Акупунктура и медитация\nF. Физическое воздействие на курящего и его семью\nG. Крыса-корова размером с теленка без глаз и ног\nH. Переспать с женой Кресснера\nI. Возвращение пассажиров самолета в их временной период.\nJ. Плацебо и поддержка сообщества\nK. Гипноз и психотерапия\nL. Нарушение Реншоу срока оплаты по кредиту\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 168, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.4144477844238281, + "B": 0.04368247464299202, + "C": 0.09247580170631409, + "D": 0.03401994705200195, + "E": 0.11874128133058548, + "F": 0.04949872940778732, + "G": 0.04368247464299202, + "H": 0.03401994705200195, + "I": 0.03401994705200195, + "J": 0.020634138956665993, + "K": 0.007130967918783426, + "L": 0.0011640986194834113 + }, + "sample": { + "question": "Что должен был сделать главный герой рассказа 'Карниз', чтобы избежать обвинений в хранении героина?", + "answerA": "Переспать с женой Кресснера", + "answerB": "Украсть крупную сумму денег", + "answerC": "Пройтись по карнизу многоэтажного здания", + "answerD": "Убить одного из врагов Кресснера", + "correct_answer": "Пройтись по карнизу многоэтажного здания", + "choices": [ + "Используя свое настоящее имя и документы", + "Исцеление прошлого от болезней и страданий.", + "Пройтись по карнизу многоэтажного здания", + "Сундук с золотом", + "Убийство Реншоу производителя игрушек", + "Крыса-корова размером с теленка без глаз и ног", + "Убить одного из врагов Кресснера", + "В Нью-Йорке", + "Нарушение Реншоу срока оплаты по кредиту", + "Возвращение пассажиров самолета в их временной период.", + "Украсть крупную сумму денег", + "Переспать с женой Кресснера" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nЧто должен был сделать главный герой рассказа 'Карниз', чтобы избежать обвинений в хранении героина?\nA. Используя свое настоящее имя и документы\nB. Исцеление прошлого от болезней и страданий.\nC. Пройтись по карнизу многоэтажного здания\nD. Сундук с золотом\nE. Убийство Реншоу производителя игрушек\nF. Крыса-корова размером с теленка без глаз и ног\nG. Убить одного из врагов Кресснера\nH. В Нью-Йорке\nI. Нарушение Реншоу срока оплаты по кредиту\nJ. Возвращение пассажиров самолета в их временной период.\nK. Украсть крупную сумму денег\nL. Переспать с женой Кресснера\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 167, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.02307688631117344, + "B": 0.04311330243945122, + "C": 0.595160722732544, + "D": 0.03357667475938797, + "E": 0.026149539276957512, + "F": 0.02307688631117344, + "G": 0.11719409376382828, + "H": 0.04311330243945122, + "I": 0.002016435842961073, + "J": 0.004268794320523739, + "K": 0.004544108174741268, + "L": 0.000290495139779523 + }, + "sample": { + "question": "Что предложил Боб Дженкинс как объяснение цели лангольеров?", + "answerA": "Исцеление прошлого от болезней и страданий.", + "answerB": "Возвращение пассажиров самолета в их временной период.", + "answerC": "Очистка того, что осталось от прошлого, съев это.", + "answerD": "Создание нового мира путем уничтожения старого.", + "correct_answer": "C", + "choices": [ + "Убийство Реншоу производителя игрушек", + "Используя свое настоящее имя и документы", + "Очистка того, что осталось от прошлого, съев это.", + "В Нью-Йорке", + "Возвращение пассажиров самолета в их временной период.", + "Нарушение Реншоу срока оплаты по кредиту", + "В маленьком городке рядом с Омахой", + "Создание нового мира путем уничтожения старого.", + "Крыса-корова размером с теленка без глаз и ног", + "1984", + "Исцеление прошлого от болезней и страданий.", + "Сундук с золотом" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nЧто предложил Боб Дженкинс как объяснение цели лангольеров?\nA. Убийство Реншоу производителя игрушек\nB. Используя свое настоящее имя и документы\nC. Очистка того, что осталось от прошлого, съев это.\nD. В Нью-Йорке\nE. Возвращение пассажиров самолета в их временной период.\nF. Нарушение Реншоу срока оплаты по кредиту\nG. В маленьком городке рядом с Омахой\nH. Создание нового мира путем уничтожения старого.\nI. Крыса-корова размером с теленка без глаз и ног\nJ. 1984\nK. Исцеление прошлого от болезней и страданий.\nL. Сундук с золотом\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 161, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.21479859948158264, + "B": 0.06973488628864288, + "C": 0.3541429936885834, + "D": 0.1014636754989624, + "E": 0.05430959165096283, + "F": 0.015559958294034004, + "G": 0.04792804270982742, + "H": 0.015559958294034004, + "I": 0.04792804270982742, + "J": 0.010694191791117191, + "K": 0.0027039151173084974, + "L": 0.00017285552166868 + }, + "sample": { + "question": "Что нашли Холл и Уорвик в подвале старой мельницы в рассказе 'Ночная смена'?", + "answerA": "Сундук с золотом", + "answerB": "Крыса-корова размером с теленка без глаз и ног", + "answerC": "Древний артефакт", + "answerD": "Забр��шенную лабораторию", + "correct_answer": "B", + "choices": [ + "В маленьком городке рядом с Омахой", + "Крыса-корова размером с теленка без глаз и ног", + "Используя свое настоящее имя и документы", + "Сундук с золотом", + "1984", + "Заброшенную лабораторию", + "В Нью-Йорке", + "Нарушение Реншоу срока оплаты по кредиту", + "При помощи поддельных документов, которые он создал", + "Убийство Реншоу производителя игрушек", + "Древний артефакт", + "Сезон посева" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nЧто нашли Холл и Уорвик в подвале старой мельницы в рассказе 'Ночная смена'?\nA. В маленьком городке рядом с Омахой\nB. Крыса-корова размером с теленка без глаз и ног\nC. Используя свое настоящее имя и документы\nD. Сундук с золотом\nE. 1984\nF. Заброшенную лабораторию\nG. В Нью-Йорке\nH. Нарушение Реншоу срока оплаты по кредиту\nI. При помощи поддельных документов, которые он создал\nJ. Убийство Реншоу производителя игрушек\nK. Древний артефакт\nL. Сезон посева\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 155, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.3921358585357666, + "B": 0.028406227007508278, + "C": 0.06013598293066025, + "D": 0.20989520847797394, + "E": 0.06013598293066025, + "F": 0.019523294642567635, + "G": 0.04683395102620125, + "H": 0.022122792899608612, + "I": 0.07721612602472305, + "J": 0.03218847140669823, + "K": 0.01045006699860096, + "L": 0.0031870906241238117 + }, + "sample": { + "question": "Что вызвало атаку игрушечных солдатиков на Реншоу в фильме 'Поле боя'?", + "answerA": "Нарушение Реншоу срока оплаты по кредиту", + "answerB": "Убийство Реншоу производителя игрушек", + "answerC": "Случайный вызов Реншоу спецслужб", + "answerD": "Сломанный сундучок американского солдата Джо", + "correct_answer": "answerB", + "choices": [ + "При помощи поддельных документов, которые он создал", + "1992", + "В Нью-Йорке", + "Сломанный сундучок американского солдата Джо", + "Убийство Реншоу производителя игрушек", + "Нарушение Реншоу срока оплаты по кредиту", + "1984", + "Сияние", + "Используя свое настоящее имя и документы", + "Случайный вызов Реншоу спецслужб", + "В маленьком городке рядом с Омахой", + "Сезон посева" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nЧто вызвало атаку игрушечных солдатиков на Реншоу в фильме 'Поле боя'?\nA. При помощи поддельных документов, которые он создал\nB. 1992\nC. В Нью-Йорке\nD. Сломанный сундучок американского солдата Джо\nE. Убийство Реншоу производителя игрушек\nF. Нарушение Реншоу срока оплаты по кредиту\nG. 1984\nH. Сияние\nI. Используя свое настоящее имя и документы\nJ. Случайный вызов Реншоу спецслужб\nK. В маленьком городке рядом с Омахой\nL. Сезон посева\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 150, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.1233835518360138, + "B": 0.13981187343597412, + "C": 0.0660424530506134, + "D": 0.26120296120643616, + "E": 0.0660424530506134, + "F": 0.1233835518360138, + "G": 0.05828225985169411, + "H": 0.04005677253007889, + "I": 0.0057707251980900764, + "J": 0.035349976271390915, + "K": 0.01892147958278656, + "L": 0.01892147958278656 + }, + "sample": { + "question": "Где выросли главные герои рассказа 'Последняя перекладина' Стивена Кинга?", + "answerA": "В Нью-Йорке", + "answerB": "В маленьком городке рядом с Омахой", + "answerC": "В Лос-Анджелесе", + "answerD": "В Чикаго", + "correct_answer": "B", + "choices": [ + "При помощи поддельных документов, которые он создал", + "В Лос-Анджелесе", + "1984", + "Воронья миля", + "В Чикаго", + "В маленьком городке рядом с Омахой", + "Сияние", + "Сезон посева", + "1992", + "Используя свое настоящее имя и документы", + "В Нью-Йорке", + "1958 году" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nГде выросли главные герои рассказа 'Последняя перекладина' Стивена Кинга?\nA. При помощи поддельных документов, которые он создал\nB. В Лос-Анджелесе\nC. 1984\nD. Воронья миля\nE. В Чикаго\nF. В маленьком городке рядом с Омахой\nG. Сияние\nH. Сезон посева\nI. 1992\nJ. Используя свое настоящее имя и документы\nK. В Нью-Йорке\nL. 1958 году\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 131, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0030721453949809074, + "B": 0.015601643361151218, + "C": 0.010722841136157513, + "D": 0.020032906904816628, + "E": 0.0069231875240802765, + "F": 0.010722841136157513, + "G": 0.014656387269496918, + "H": 0.031027570366859436, + "I": 0.005739523563534021, + "J": 0.09557165205478668, + "K": 0.6232054233551025, + "L": 0.10829685628414154 + }, + "sample": { + "question": "Как Энди Дюфресн смог открыть банковский счет на имя несуществующего человека?", + "answerA": "Используя свое настоящее имя и документы", + "answerB": "При помощи поддельных документов, которые он создал", + "answerC": "Заставив другого заключенного открыть счет", + "answerD": "Использовал украденные документы", + "correct_answer": "answerB", + "choices": [ + "Сезон посева", + "Сияние", + "1958 году", + "Воронья миля", + "Секционный зал номер четыре", + "1984", + "Заставив другого заключенного открыть счет", + "Использовал украденные документы", + "1956", + "1992", + "При помощи поддельных документов, которые он создал", + "Используя свое настоящее имя и документы" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКак Энди Дюфресн смог открыть банковский счет на имя несуществующего человека?\nA. Сезон посева\nB. Сияние\nC. 1958 году\nD. Воронья миля\nE. Секционный зал номер четыре\nF. 1984\nG. Заставив другого заключенного открыть счет\nH. Использовал украденные документы\nI. 1956\nJ. 1992\nK. При помощи поддельных документов, которые он создал\nL. Используя свое настоящее имя и документы\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 137, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.028330912813544273, + "B": 0.08726535737514496, + "C": 0.26879623532295227, + "D": 0.09888460487127304, + "E": 0.05997654050588608, + "F": 0.03637761250138283, + "G": 0.3045860230922699, + "H": 0.028330912813544273, + "I": 0.003383645322173834, + "J": 0.00762516213580966, + "K": 0.02206413820385933, + "L": 0.0013250544434413314 + }, + "sample": { + "question": "В каком году был опубликован рассказ 'You Know They Got a Hell of a Band' Стивена Кинга?", + "answerA": "1984", + "answerB": "1992", + "answerC": "1987", + "answerD": "1990", + "correct_answer": "1992", + "choices": [ + "Сияние", + "1984", + "1958 году", + "Воронья миля", + "1992", + "Создание новых жанров музыки", + "1987", + "Секционный зал номер четыре", + "1956", + "Сезон посева", + "1990", + "1948 году" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nВ каком году был опубликован рассказ 'You Know They Got a Hell of a Band' Стивена Кинга?\nA. Сияние\nB. 1984\nC. 1958 году\nD. Воронья миля\nE. 1992\nF. Создание новых жанров музыки\nG. 1987\nH. Секционный зал номер четыре\nI. 1956\nJ. Сезон посева\nK. 1990\nL. 1948 году\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 133, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.23410168290138245, + "B": 0.14198985695838928, + "C": 0.1823185831308365, + "D": 0.12530560791492462, + "E": 0.05223514884710312, + "F": 0.05223514884710312, + "G": 0.06707125902175903, + "H": 0.03590065985918045, + "I": 0.011655236594378948, + "J": 0.016958270221948624, + "K": 0.005860621575266123, + "L": 0.0022950523998588324 + }, + "sample": { + "question": "Какой рассказ Шутер обвиняет Морта Рейни в плагиате?", + "answerA": "Сезон посева", + "answerB": "Воронья миля", + "answerC": "Секретное окно, секретный сад", + "answerD": "Кроуфут-Майл", + "correct_answer": "C", + "choices": [ + "Кроуфут-Майл", + "Секционный зал номер четыре", + "Барбос", + "Сияние", + "Сезон посева", + "1969", + "1956", + "Воронья миля", + "Секретное окно, секретный сад", + "1948 году", + "1958 году", + "Создание новых жанров музыки" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКакой рассказ Шутер обвиняет Морта Рейни в плагиате?\nA. Кроуфут-Майл\nB. Секционный зал номер четыре\nC. Барбос\nD. Сияние\nE. Сезон посева\nF. 1969\nG. 1956\nH. Воронья миля\nI. Секретное окно, секретный сад\nJ. 1948 году\nK. 1958 году\nL. Создание новых жанров музыки\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 128, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.028863606974482536, + "B": 0.06110425665974617, + "C": 0.037061601877212524, + "D": 0.06924018263816833, + "E": 0.16609857976436615, + "F": 0.0539243146777153, + "G": 0.06110425665974617, + "H": 0.39844977855682373, + "I": 0.014513532631099224, + "J": 0.021117065101861954, + "K": 0.011303151026368141, + "L": 0.03481615334749222 + }, + "sample": { + "question": "В каком произведении Стивена Кинга персонаж Говард Коттрелл обн��руживает себя в морге, парализованным и в преддверии вскрытия?", + "answerA": "Сияние", + "answerB": "Секционный зал номер четыре", + "answerC": "Оно", + "answerD": "Мизери", + "correct_answer": "B", + "choices": [ + "Основание первой русской библиотеки", + "1948 году", + "Барбос", + "1956", + "Мизери", + "Оно", + "1958 году", + "Секционный зал номер четыре", + "Создание новых жанров музыки", + "Гипербола", + "1969", + "Сияние" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nВ каком произведении Стивена Кинга персонаж Говард Коттрелл обнаруживает себя в морге, парализованным и в преддверии вскрытия?\nA. Основание первой русской библиотеки\nB. 1948 году\nC. Барбос\nD. 1956\nE. Мизери\nF. Оно\nG. 1958 году\nH. Секционный зал номер четыре\nI. Создание новых жанров музыки\nJ. Гипербола\nK. 1969\nL. Сияние\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 130, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.07358935475349426, + "B": 0.07358935475349426, + "C": 0.057311445474624634, + "D": 0.47986283898353577, + "E": 0.057311445474624634, + "F": 0.027072010561823845, + "G": 0.030676603317260742, + "H": 0.01860630139708519, + "I": 0.03476114943623543, + "J": 0.08338765054941177, + "K": 0.014490602537989616, + "L": 0.005007818341255188 + }, + "sample": { + "question": "В каком году был опубликован рассказ 'Жарким летом' Фёдора Абрамова?", + "answerA": "1956", + "answerB": "1969", + "answerC": "1984", + "answerD": "1991", + "correct_answer": "C", + "choices": [ + "Офимьин хлебец", + "Утопыш", + "1984", + "1956", + "Создание новых жанров музыки", + "1991", + "Барбос", + "Основание первой русской библиотеки", + "Гипербола", + "1969", + "Его высокородие", + "Сколько будет, если сложить два и два?" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nВ каком году был опубликован рассказ 'Жарким летом' Фёдора Абрамова?\nA. Офимьин хлебец\nB. Утопыш\nC. 1984\nD. 1956\nE. Создание новых жанров музыки\nF. 1991\nG. Барбос\nH. Основание первой русской библиотеки\nI. Гипербола\nJ. 1969\nK. Его высокородие\nL. Сколько будет, если сложить два и два?\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 128, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0031105633825063705, + "B": 0.03789442032575607, + "C": 0.0022757367696613073, + "D": 0.01483966689556837, + "E": 0.0024225092492997646, + "F": 0.0021378567907959223, + "G": 0.001886651967652142, + "H": 0.0008911913027986884, + "I": 0.0004770203086081892, + "J": 0.8624730110168457, + "K": 0.033441707491874695, + "L": 0.0001988516451092437 + }, + "sample": { + "question": "Какой главный вклад Пушкина, упомянутый в тексте, в русскую литературу и культуру?", + "answerA": "Создание новых жанров музыки", + "answerB": "Основание первой русской библиотеки", + "answerC": "Воссоединение интеллигенции и народа через литературу", + "answerD": "Введение западноевропейской философии в России", + "correct_answer": "Воссоединение инт��ллигенции и народа через литературу", + "choices": [ + "Удочку", + "Барбос", + "Создание новых жанров музыки", + "Офимьин хлебец", + "Его высокородие", + "Сколько будет, если сложить два и два?", + "Гипербола", + "Основание первой русской библиотеки", + "Сколько будет двадцать минус пять?", + "Воссоединение интеллигенции и народа через литературу", + "Утопыш", + "Введение западноевропейской философии в России" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКакой главный вклад Пушкина, упомянутый в тексте, в русскую литературу и культуру?\nA. Удочку\nB. Барбос\nC. Создание новых жанров музыки\nD. Офимьин хлебец\nE. Его высокородие\nF. Сколько будет, если сложить два и два?\nG. Гипербола\nH. Основание первой русской библиотеки\nI. Сколько будет двадцать минус пять?\nJ. Воссоединение интеллигенции и народа через литературу\nK. Утопыш\nL. Введение западноевропейской философии в России\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 130, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.1174100786447525, + "B": 0.029685914516448975, + "C": 0.15075752139091492, + "D": 0.06284508109092712, + "E": 0.029685914516448975, + "F": 0.043192747980356216, + "G": 0.2193508893251419, + "H": 0.04894379898905754, + "I": 0.016914524137973785, + "J": 0.02171867899596691, + "K": 0.043192747980356216, + "L": 0.004846092313528061 + }, + "sample": { + "question": "Какое имя было у собаки, спасшейся от утопления в рассказе 'Собачья гордость' Фёдора Абрамова?", + "answerA": "Барбос", + "answerB": "Утопыш", + "answerC": "Белиз", + "answerD": "Шарик", + "correct_answer": "answerB", + "choices": [ + "Офимьин хлебец", + "1902", + "Барбос", + "Сколько будет, если сложить два и два?", + "Павла Захаровича", + "Сколько будет двадцать минус пять?", + "Утопыш", + "Его высокородие", + "Гипербола", + "Шарик", + "Удочку", + "Белиз" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКакое имя было у собаки, спасшейся от утопления в рассказе 'Собачья гордость' Фёдора Абрамова?\nA. Офимьин хлебец\nB. 1902\nC. Барбос\nD. Сколько будет, если сложить два и два?\nE. Павла Захаровича\nF. Сколько будет двадцать минус пять?\nG. Утопыш\nH. Его высокородие\nI. Гипербола\nJ. Шарик\nK. Удочку\nL. Белиз\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 129, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.2056770622730255, + "B": 0.33910414576530457, + "C": 0.16018146276474, + "D": 0.045892756432294846, + "E": 0.08573895692825317, + "F": 0.027835363522171974, + "G": 0.03574131429195404, + "H": 0.027835363522171974, + "I": 0.004268691409379244, + "J": 0.010240058414638042, + "K": 0.0037671071477234364, + "L": 0.0006149632972665131 + }, + "sample": { + "question": "Какой рассказ в сборнике 'Трава-мурава' рассказывает о женщине, которая вспоминает, как всю войну кормила односельчан хлебом из мха?", + "answerA": "Гипербола", + "answerB": "Офимьин хлебец", + "answerC": "Зарок блокадницы", + "answerD": "Мать художника", + "correct_answer": "B", + "choices": [ + "Мать художника", + "Офимьин хлебец", + "Сколько будет двадцать минус пять?", + "1902", + "Зарок блокадницы", + "Сколько будет, если сложить два и два?", + "Увеличением её заболевания.", + "Бинокль", + "Его высокородие", + "Гипербола", + "Павла Захаровича", + "Удочку" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКакой рассказ в сборнике 'Трава-мурава' рассказывает о женщине, которая вспоминает, как всю войну кормила односельчан хлебом из мха?\nA. Мать художника\nB. Офимьин хлебец\nC. Сколько будет двадцать минус пять?\nD. 1902\nE. Зарок блокадницы\nF. Сколько будет, если сложить два и два?\nG. Увеличением её заболевания.\nH. Бинокль\nI. Его высокородие\nJ. Гипербола\nK. Павла Захаровича\nL. Удочку\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 143, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.08947273343801498, + "B": 0.06968143582344055, + "C": 0.14751559495925903, + "D": 0.10138589143753052, + "E": 0.13018205761909485, + "F": 0.06968143582344055, + "G": 0.07895941287279129, + "H": 0.06968143582344055, + "I": 0.01875450275838375, + "J": 0.042263928800821304, + "K": 0.025634365156292915, + "L": 0.05426796153187752 + }, + "sample": { + "question": "Что спросил Бельмесов у первого ученика на экзамене?", + "answerA": "Сколько будет, если сложить два и два?", + "answerB": "Сколько будет двадцать минус пять?", + "answerC": "Чему равна сумма углов треугольника?", + "answerD": "Сколько будет пять умноженное на шесть?", + "correct_answer": "answerD", + "choices": [ + "Сколько будет, если сложить два и два?", + "К своему брату", + "Сколько будет пять умноженное на шесть?", + "1914", + "Увеличением её заболевания.", + "1902", + "Павла Захаровича", + "Удочку", + "Чему равна сумма углов треугольника?", + "Бинокль", + "Его высокородие", + "Сколько будет двадцать минус пять?" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nЧто спросил Бельмесов у первого ученика на экзамене?\nA. Сколько будет, если сложить два и два?\nB. К своему брату\nC. Сколько будет пять умноженное на шесть?\nD. 1914\nE. Увеличением её заболевания.\nF. 1902\nG. Павла Захаровича\nH. Удочку\nI. Чему равна сумма углов треугольника?\nJ. Бинокль\nK. Его высокородие\nL. Сколько будет двадцать минус пять?\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 127, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.02113962732255459, + "B": 0.04763888940215111, + "C": 0.14673811197280884, + "D": 0.08900116384029388, + "E": 0.025499258190393448, + "F": 0.022503018379211426, + "G": 0.04763888940215111, + "H": 0.04763888940215111, + "I": 0.006056605372577906, + "J": 0.019858842715620995, + "K": 0.31064456701278687, + "L": 0.012821833603084087 + }, + "sample": { + "question": "Кого арестовали за незаконное взимание «портового сбора на предмет морского улучшения», несмотря на отсутствие у города моря?", + "answerA": "Его высокородие", + "answerB": "Павла Захаровича", + "answerC": "Виктора Поликарповича", + "answerD": "Городового Дымбу", + "correct_answer": "Городового Дымбу", + "choices": [ + "Отто случайно разлил жидкость на машину.", + "Его высокородие", + "Виктора Поликарповича", + "Полным излечением за месяц.", + "Удочку", + "Увеличением её заболевания.", + "Бинокль", + "1914", + "К своему брату", + "1902", + "Городового Дымбу", + "Павла Захаровича" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКого арестовали за незаконное взимание «портового сбора на предмет морского улучшения», несмотря на отсутствие у города моря?\nA. Отто случайно разлил жидкость на машину.\nB. Его высокородие\nC. Виктора Поликарповича\nD. Полным излечением за месяц.\nE. Удочку\nF. Увеличением её заболевания.\nG. Бинокль\nH. 1914\nI. К своему брату\nJ. 1902\nK. Городового Дымбу\nL. Павла Захаровича\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 135, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.015658047050237656, + "B": 0.07017449289560318, + "C": 0.7544469237327576, + "D": 0.015658047050237656, + "E": 0.006948215886950493, + "F": 0.009497085586190224, + "G": 0.02925308234989643, + "H": 0.0121944984421134, + "I": 0.0005357888876460493, + "J": 0.0030832523480057716, + "K": 0.002255755476653576, + "L": 0.000324972381349653 + }, + "sample": { + "question": "Что купил чиновник Плюмажев, чтобы подсмотреть за купающейся женщиной?", + "answerA": "Удочку", + "answerB": "Бинокль", + "answerC": "Фотоаппарат", + "answerD": "Телескоп", + "correct_answer": "Бинокль", + "choices": [ + "Управлять миром еще эффективнее", + "Удочку", + "Бинокль", + "1902", + "Отто случайно разлил жидкость на машину.", + "Увеличением её заболевания.", + "К своему другу", + "К своему брату", + "Телескоп", + "1914", + "Фотоаппарат", + "Полным излечением за месяц." + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nЧто купил чиновник Плюмажев, чтобы подсмотреть за купающейся женщиной?\nA. Управлять миром еще эффективнее\nB. Удочку\nC. Бинокль\nD. 1902\nE. Отто случайно разлил жидкость на машину.\nF. Увеличением её заболевания.\nG. К своему другу\nH. К своему брату\nI. Телескоп\nJ. 1914\nK. Фотоаппарат\nL. Полным излечением за месяц.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 123, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.10036975145339966, + "B": 0.10036975145339966, + "C": 0.18751536309719086, + "D": 0.08857598900794983, + "E": 0.11373382061719894, + "F": 0.10036975145339966, + "G": 0.07816803455352783, + "H": 0.053724054247140884, + "I": 0.0163849089294672, + "J": 0.0418403334915638, + "K": 0.018566535785794258, + "L": 0.011987456120550632 + }, + "sample": { + "question": "В каком году был написан рассказ 'Смерть африканского охотника' Аркадия Аверченко?", + "answerA": "1902", + "answerB": "1914", + "answerC": "1920", + "answerD": "1899", + "correct_answer": "1914", + "choices": [ + "Увеличением её заболевания.", + "Произошло короткое замыкание.", + "1902", + "Семья Робинсонов", + "Управлять миром еще эффективнее", + "1899", + "Отто случайно разлил жидкость на машину.", + "К своему брату", + "1920", + "1914", + "К своему другу", + "Полным излечением за месяц." + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nВ каком году был написан рассказ 'Смерть африканского охотника' Аркадия Аверченко?\nA. Увеличением её заболевания.\nB. Произошло короткое замыкание.\nC. 1902\nD. Семья Робинсонов\nE. Управлять миром еще эффективнее\nF. 1899\nG. Отто случайно разлил жидкость на машину.\nH. К своему брату\nI. 1920\nJ. 1914\nK. К своему другу\nL. Полным излечением за месяц.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 133, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.010241929441690445, + "B": 0.03574784845113754, + "C": 0.26414284110069275, + "D": 0.05201280862092972, + "E": 0.02615368366241455, + "F": 0.031547363847494125, + "G": 0.14138548076152802, + "H": 0.040507618337869644, + "I": 0.004544828552752733, + "J": 0.020368508994579315, + "K": 0.14138548076152802, + "L": 0.0031236119102686644 + }, + "sample": { + "question": "Чем закончилась попытка Усатова вылечить ревматизм старухи в рассказе Аркадия Аверченко 'Специалист'?", + "answerA": "Увеличением её заболевания.", + "answerB": "Полным излечением за месяц.", + "answerC": "Приёмом четырёх килограммов порошка цианистого калия.", + "answerD": "Ухудшением общего состояния старухи.", + "correct_answer": "Приёмом четырёх килограммов порошка цианистого калия.", + "choices": [ + "Полным излечением за месяц.", + "Семья Робинсонов", + "Отто случайно разлил жидкость на машину.", + "Произошло короткое замыкание.", + "Управлять миром еще эффективнее", + "Увеличить свою вычислительную мощность", + "К своему другу", + "Ухудшением общего состояния старухи.", + "В начале 21-го века", + "К своему брату", + "Приёмом четырёх килограммов порошка цианистого калия.", + "Увеличением её заболевания." + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nЧем закончилась попытка Усатова вылечить ревматизм старухи в рассказе Аркадия Аверченко 'Специалист'?\nA. Полным излечением за месяц.\nB. Семья Робинсонов\nC. Отто случайно разлил жидкость на машину.\nD. Произошло короткое замыкание.\nE. Управлять миром еще эффективнее\nF. Увеличить свою вычислительную мощность\nG. К своему другу\nH. Ухудшением общего состояния старухи.\nI. В начале 21-го века\nJ. К своему брату\nK. Приёмом четырёх килограммов порошка цианистого калия.\nL. Увеличением её заболевания.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 152, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.09646899253129959, + "B": 0.09646899253129959, + "C": 0.29714542627334595, + "D": 0.12386864423751831, + "E": 0.04556873068213463, + "F": 0.0663021057844162, + "G": 0.09646899253129959, + "H": 0.05163612961769104, + "I": 0.004511914681643248, + "J": 0.0147939994931221, + "K": 0.016763798892498016, + "L": 0.0004755523696076125 + }, + "sample": { + "question": "К кому переехала Елена Александровна в рассказе 'Хвост женщины'?", + "answerA": "К своему брату", + "answerB": "К своему другу", + "answerC": "К своему коллеге по работе", + "answerD": "К рассказчику", + "correct_answer": "D", + "choices": [ + "В начале 21-го века", + "Золото и драгоценности", + "Семья Мартинов", + "К своему коллеге по работе", + "Управлять миром еще эффективнее", + "К своему брату", + "Произошло короткое замыкание.", + "Отто случайно разлил жидкость на машину.", + "Увеличить свою вычислительную мощность", + "Семья Робинсонов", + "К своему другу", + "К рассказчику" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nК кому переехала Елена Александровна в рассказе 'Хвост женщины'?\nA. В начале 21-го века\nB. Золото и драгоценности\nC. Семья Мартинов\nD. К своему коллеге по работе\nE. Управлять миром еще эффективнее\nF. К своему брату\nG. Произошло короткое замыкание.\nH. Отто случайно разлил жидкость на машину.\nI. Увеличить свою вычислительную мощность\nJ. Семья Робинсонов\nK. К своему другу\nL. К рассказчику\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 125, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.18576791882514954, + "B": 0.04696948453783989, + "C": 0.053223397582769394, + "D": 0.032281626015901566, + "E": 0.11267393827438354, + "F": 0.09943440556526184, + "G": 0.07743959873914719, + "H": 0.02218681387603283, + "I": 0.21050262451171875, + "J": 0.07743959873914719, + "K": 0.013456982560455799, + "L": 0.005269830580800772 + }, + "sample": { + "question": "Что привело к тому, что машина Отто Шиммельмайера перестала работать в рассказе 'Баттен, Баттен!'?", + "answerA": "Отто случайно разлил жидкость на машину.", + "answerB": "Произошло короткое замыкание.", + "answerC": "Машина сломалась из-за износа деталей.", + "answerD": "Герольд случайно уронил машину.", + "correct_answer": "Произошло короткое замыкание.", + "choices": [ + "Семья Мартинов", + "Отто случайно разлил жидкость на машину.", + "Управлять миром еще эффективнее", + "Золото и драгоценности", + "Семья Робинсонов", + "В начале 64-го века", + "Обер Кандалов", + "В начале 21-го века", + "Произошло короткое замыкание.", + "Машина сломалась из-за износа деталей.", + "Герольд случайно уронил машину.", + "Увеличить свою вычислительную мощность" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nЧто привело к тому, что машина Отто Шиммельмайера перестала работать в рассказе 'Баттен, Баттен!'?\nA. Семья Мартинов\nB. Отто случайно разлил жидкость на машину.\nC. Управлять ми��ом еще эффективнее\nD. Золото и драгоценности\nE. Семья Робинсонов\nF. В начале 64-го века\nG. Обер Кандалов\nH. В начале 21-го века\nI. Произошло короткое замыкание.\nJ. Машина сломалась из-за износа деталей.\nK. Герольд случайно уронил машину.\nL. Увеличить свою вычислительную мощность\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 148, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.11874037235975266, + "B": 0.026494557037949562, + "C": 0.2848433554172516, + "D": 0.05608897656202316, + "E": 0.08160898834466934, + "F": 0.030022267252206802, + "G": 0.11874037235975266, + "H": 0.03401968628168106, + "I": 0.15246565639972687, + "J": 0.012515143491327763, + "K": 0.004325117450207472, + "L": 0.0009650642168708146 + }, + "sample": { + "question": "Что Мультивак хотел больше всего на свете по рассказу 'Все грехи мира' Айзека Азимова?", + "answerA": "Управлять миром еще эффективнее", + "answerB": "Увеличить свою вычислительную мощность", + "answerC": "Умереть", + "answerD": "Стать человеком", + "correct_answer": "Умереть", + "choices": [ + "Семья Робинсонов", + "В начале 21-го века", + "Увеличить свою вычислительную мощность", + "Семья Мартинов", + "Золото и драгоценности", + "1978", + "Обер Кандалов", + "Стать человеком", + "Управлять миром еще эффективнее", + "В начале 64-го века", + "Труд и любовь", + "Умереть" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nЧто Мультивак хотел больше всего на свете по рассказу 'Все грехи мира' Айзека Азимова?\nA. Семья Робинсонов\nB. В начале 21-го века\nC. Увеличить свою вычислительную мощность\nD. Семья Мартинов\nE. Золото и драгоценности\nF. 1978\nG. Обер Кандалов\nH. Стать человеком\nI. Управлять миром еще эффективнее\nJ. В начале 64-го века\nK. Труд и любовь\nL. Умереть\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 133, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.11836232990026474, + "B": 0.3645816445350647, + "C": 0.283936470746994, + "D": 0.06335478276014328, + "E": 0.02330692484974861, + "F": 0.008054657839238644, + "G": 0.026410207152366638, + "H": 0.012475297786295414, + "I": 0.0004544127150438726, + "J": 0.007566650398075581, + "K": 0.0033576807472854853, + "L": 0.00033245544182136655 + }, + "sample": { + "question": "Какая семья взяла Эндрю на воспитание в рассказе 'Двухсотлетний человек'?", + "answerA": "Семья Робинсонов", + "answerB": "Семья Мартинов", + "answerC": "Семья Смитов", + "answerD": "Семья Джонсонов", + "correct_answer": "B", + "choices": [ + "В начале 21-го века", + "Семья Робинсонов", + "Семья Мартинов", + "Золото и драгоценности", + "Труд и любовь", + "В начале 64-го века", + "Авдий Калистратов", + "Погибший солдат", + "1978", + "Обер Кандалов", + "Семья Смитов", + "Семья Джонсонов" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКакая семья взяла Эндрю на воспитание в рассказе 'Двухсотлетний человек'?\nA. В начале 21-го века\nB. Семья Робинсонов\nC. Семья Мартинов\nD. Золото и драгоценности\nE. Труд и любовь\nF. В начале 64-го века\nG. Авдий Калистратов\nH. Погибший солдат\nI. 1978\nJ. Обер Кандалов\nK. Семья Смитов\nL. Семья Джонсонов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 124, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.15231230854988098, + "B": 0.09238208830356598, + "C": 0.1344151496887207, + "D": 0.15231230854988098, + "E": 0.1344151496887207, + "F": 0.043638210743665695, + "G": 0.05603257566690445, + "H": 0.05603257566690445, + "I": 0.038510583341121674, + "J": 0.02999207191169262, + "K": 0.014167251996695995, + "L": 0.013308901339769363 + }, + "sample": { + "question": "В каком веке происходят события рассказа «Профессия» Айзека Азимова?", + "answerA": "В начале 21-го века", + "answerB": "В начале 64-го века", + "answerC": "В середине 30-го века", + "answerD": "В конце 45-го века", + "correct_answer": "B", + "choices": [ + "Золото и драгоценности", + "Погибший солдат", + "2003", + "Обер Кандалов", + "В начале 64-го века", + "В конце 45-го века", + "Труд и любовь", + "1986", + "В середине 30-го века", + "Авдий Калистратов", + "1978", + "В начале 21-го века" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nВ каком веке происходят события рассказа «Профессия» Айзека Азимова?\nA. Золото и драгоценности\nB. Погибший солдат\nC. 2003\nD. Обер Кандалов\nE. В начале 64-го века\nF. В конце 45-го века\nG. Труд и любовь\nH. 1986\nI. В середине 30-го века\nJ. Авдий Калистратов\nK. 1978\nL. В начале 21-го века\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 138, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.27146366238594055, + "B": 0.041630301624536514, + "C": 0.06057173013687134, + "D": 0.12823034822940826, + "E": 0.06057173013687134, + "F": 0.0173540897667408, + "G": 0.03242171183228493, + "H": 0.028612056747078896, + "I": 0.2114161103963852, + "J": 0.02525005303323269, + "K": 0.004972030408680439, + "L": 0.0019470748957246542 + }, + "sample": { + "question": "Что, по мнению Кемеля, является самым большим богатством в жизни человека в рассказе 'Верблюжий глаз' Чингиза Айтматова?", + "answerA": "Золото и драгоценности", + "answerB": "Труд и любовь", + "answerC": "Уважение и власть", + "answerD": "Здоровье и долголетие", + "correct_answer": "B", + "choices": [ + "Шлем Дао", + "Погибший солдат", + "Золото и драгоценности", + "Уважение и власть", + "Здоровье и долголетие", + "1986", + "Авдий Калистратов", + "Обер Кандалов", + "Труд и любовь", + "Джеенгуль", + "1978", + "2003" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nЧто, по мнению Кемеля, является самым большим богатством в жизни человека в рассказе 'Верблюжий глаз' Чингиза Айтматова?\nA. Шлем Дао\nB. Погибший солдат\nC. Золото и драгоценности\nD. Уважение и власть\nE. Здоровье и долголетие\nF. 1986\nG. Авдий Калистратов\nH. Обер Кандалов\nI. Труд и любовь\nJ. Джеенгуль\nK. 1978\nL. 2003\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 141, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.174088716506958, + "B": 0.04987725242972374, + "C": 0.05651833117008209, + "D": 0.13558043539524078, + "E": 0.05651833117008209, + "F": 0.0440165214240551, + "G": 0.19726835191249847, + "H": 0.02841920219361782, + "I": 0.01112911943346262, + "J": 0.009821413084864616, + "K": 0.007648923899978399, + "L": 0.001816778676584363 + }, + "sample": { + "question": "Кто является главным героем романа «Плаха»?", + "answerA": "Обер Кандалов", + "answerB": "Авдий Калистратов", + "answerC": "Иван Иванович", + "answerD": "Петр Петрович", + "correct_answer": "answerB", + "choices": [ + "Шлем Дао", + "2003", + "2004", + "Обер Кандалов", + "Джеенгуль", + "Авдий Калистратов", + "Иван Иванович", + "Погибший солдат", + "Первая мировая война", + "1978", + "1986", + "Петр Петрович" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКто является главным героем романа «Плаха»?\nA. Шлем Дао\nB. 2003\nC. 2004\nD. Обер Кандалов\nE. Джеенгуль\nF. Авдий Калистратов\nG. Иван Иванович\nH. Погибший солдат\nI. Первая мировая война\nJ. 1978\nK. 1986\nL. Петр Петрович\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 112, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.03735564649105072, + "B": 0.10154317319393158, + "C": 0.31277498602867126, + "D": 0.06158904731273651, + "E": 0.21496690809726715, + "F": 0.07908190786838531, + "G": 0.05435214191675186, + "H": 0.019995035603642464, + "I": 0.00347461667843163, + "J": 0.012127602472901344, + "K": 0.0030663383658975363, + "L": 0.0003662218514364213 + }, + "sample": { + "question": "В каком году был опубликован рассказ Чингиза Айтматова 'Совесть не может молчать'?", + "answerA": "1978", + "answerB": "1986", + "answerC": "1983", + "answerD": "1991", + "correct_answer": "answerC", + "choices": [ + "Джеенгуль", + "Учит его читать и писать.", + "2004", + "Китайский бумажный веер", + "1978", + "1983", + "Погибший солдат", + "Шлем Дао", + "1986", + "2003", + "1991", + "Первая мировая война" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nВ каком году был опубликован рассказ Чингиза Айтматова 'Совесть не может молчать'?\nA. Джеенгуль\nB. Учит его читать и писать.\nC. 2004\nD. Китайский бумажный веер\nE. 1978\nF. 1983\nG. Погибший солдат\nH. Шлем Дао\nI. 1986\nJ. 2003\nK. 1991\nL. Первая мировая война\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 131, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0333244726061821, + "B": 0.0964275598526001, + "C": 0.08509702235460281, + "D": 0.06627362221479416, + "E": 0.03130544349551201, + "F": 0.1092667356133461, + "G": 0.3365652561187744, + "H": 0.06627362221479416, + "I": 0.00351237365975976, + "J": 0.0147876450791955, + "K": 0.04554915055632591, + "L": 0.003299569711089134 + }, + "sample": { + "question": "Кто является главным героем рассказа 'Солдатёнок'?", + "answerA": "Погибший солдат", + "answerB": "Джеенгуль", + "answerC": "Авалбек", + "answerD": "Телеграфистка", + "correct_answer": "Авалбек", + "choices": [ + "Война России и Японии", + "Джеенгуль", + "В период Возрождения в Италии", + "Телеграфистка", + "2004", + "Шлем Дао", + "Погибший солдат", + "Авалбек", + "2003", + "Первая мировая война", + "Учит его читать и писать.", + "Китайский бумажный веер" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКто является главным героем рассказа 'Солдатёнок'?\nA. Война России и Японии\nB. Джеенгуль\nC. В период Возрождения в Италии\nD. Телеграфистка\nE. 2004\nF. Шлем Дао\nG. Погибший солдат\nH. Авалбек\nI. 2003\nJ. Первая мировая война\nK. Учит его читать и писать.\nL. Китайский бумажный веер\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 117, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.03204943984746933, + "B": 0.028283534571528435, + "C": 0.08711942285299301, + "D": 0.05987624078989029, + "E": 0.11186354607343674, + "F": 0.05284060165286064, + "G": 0.18443180620670319, + "H": 0.05987624078989029, + "I": 0.07688261568546295, + "J": 0.08711942285299301, + "K": 0.12675800919532776, + "L": 0.009182319045066833 + }, + "sample": { + "question": "В каком году была опубликована пьеса \"Инь и Ян\" Бориса Акунина?", + "answerA": "2003", + "answerB": "2004", + "answerC": "2006", + "answerD": "2008", + "correct_answer": "answerC", + "choices": [ + "Перепрыгнула через лужу", + "В период Возрождения в Италии", + "Шлем Дао", + "Первая мировая война", + "Учит его читать и писать.", + "Подарила два тайных слова, заговаривающих тоску.", + "2008", + "Китайский бумажный веер", + "2006", + "2004", + "2003", + "Война России и Японии" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nВ каком году была опубликована пьеса \"Инь и Ян\" Бориса Акунина?\nA. Перепрыгнула через лужу\nB. В период Возрождения в Италии\nC. Шлем Дао\nD. Первая мировая война\nE. Учит его читать и писать.\nF. Подарила два тайных слова, заговаривающих тоску.\nG. 2008\nH. Китайский бумажный веер\nI. 2006\nJ. 2004\nK. 2003\nL. Война России и Японии\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 141, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.06227188557386398, + "B": 0.03776980936527252, + "C": 0.11633919924497604, + "D": 0.03776980936527252, + "E": 0.04279879853129387, + "F": 0.05495474860072136, + "G": 0.4601304531097412, + "H": 0.029415154829621315, + "I": 0.003980908542871475, + "J": 0.008427583612501621, + "K": 0.011519141495227814, + "L": 0.0002883760316763073 + }, + "sample": { + "question": "Какой предмет оказался ключевым в сюжете фильма \"Инь и Ян. Чёрная версия\"?", + "answerA": "Шлем Дао", + "answerB": "Китайский бумажный веер", + "answerC": "Револьвер", + "answerD": "Книга заклинаний", + "correct_answer": "answerB", + "choices": [ + "Шлем Дао", + "Война России и Японии", + "Револьвер", + "В период Возрождения в Италии", + "Книга заклинаний", + "На фоне военной диктатуры в одной из латиноамериканских стран", + "Подарила два тайных слова, заговаривающих тоску.", + "Генералом", + "Перепрыгнула через лужу", + "Учит его читать и писать.", + "Китайский бумажный веер", + "Первая мировая война" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКакой предмет оказался ключевым в сюжете фильма \"Инь и Ян. Чёрная версия\"?\nA. Шлем Дао\nB. Война России и Японии\nC. Револьвер\nD. В период Возрождения в Италии\nE. Книга заклинаний\nF. На фоне военной диктатуры в одной из латиноамериканских стран\nG. Подарила два тайных слова, заговаривающих тоску.\nH. Генералом\nI. Перепрыгнула через лужу\nJ. Учит его читать и писать.\nK. Китайский бумажный веер\nL. Первая мировая война\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 144, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.1366967409849167, + "B": 0.05698367580771446, + "C": 0.09395020455121994, + "D": 0.07316849380731583, + "E": 0.1366967409849167, + "F": 0.07316849380731583, + "G": 0.09395020455121994, + "H": 0.1366967409849167, + "I": 0.03679142892360687, + "J": 0.03679142892360687, + "K": 0.019693033769726753, + "L": 0.03679142892360687 + }, + "sample": { + "question": "Какую войну описывает рассказ 'Рассказ о том, как отвалилась голова' Акутагавы Рюноскэ?", + "answerA": "Первая мировая война", + "answerB": "Война России и Японии", + "answerC": "Война между Китаем и Японией", + "answerD": "Вторая мировая война", + "correct_answer": "C", + "choices": [ + "Учит его читать и писать.", + "На фоне военной диктатуры в одной из латиноамериканских стран", + "Война России и Японии", + "Подарила два тайных слова, заговаривающих тоску.", + "Вторая мировая война", + "Генералом", + "В период Возрождения в Италии", + "Первая мировая война", + "Война между Китаем и Японией", + "Обошла лужу стороной", + "Она меняла цвет в зависимости от настроения короля.", + "Перепрыгнула через лужу" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКакую войну описывает рассказ 'Рассказ о том, как отвалилась голова' Акутагавы Рюноскэ?\nA. Учит его читать и писать.\nB. На фоне военной диктатуры в одной из латиноамериканских стран\nC. Война России и Японии\nD. Подарила два тайных слова, заговаривающих тоску.\nE. Вторая мировая война\nF. Генералом\nG. В период Возрождения в Италии\nH. Первая мировая война\nI. Война между Китаем и Японией\nJ. Обошла лужу стороной\nK. Она меняла цвет в зависимости от настроения короля.\nL. Перепрыгнула через лужу\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 156, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0012265363475307822, + "B": 0.006228865124285221, + "C": 0.001152224256657064, + "D": 0.0033340714871883392, + "E": 0.012387578375637531, + "F": 0.007998022250831127, + "G": 0.007998022250831127, + "H": 0.0029423078522086143, + "I": 0.003549100598320365, + "J": 0.8158203959465027, + "K": 0.08598683774471283, + "L": 0.015905966982245445 + }, + "sample": { + "question": "Какое особое действие совершает Белиса Крепускуларио для Полковника в рассказе 'Два слова'?", + "answerA": "Учит его читать и писать.", + "answerB": "Подарила два тайных слова, заговаривающих тоску.", + "answerC": "Написала для него победный политический доклад.", + "answerD": "Спасает его от засады врагов.", + "correct_answer": "B", + "choices": [ + "Она меняла цвет в зависимости от настроения короля.", + "Спасает его от засады врагов.", + "Перелётная птица", + "Написала для него победный политический доклад.", + "Обошла лужу стороной", + "Учит его читать и писать.", + "Генералом", + "На фоне военной диктатуры в одной из латиноамериканских стран", + "Знаменитым музыкантом", + "Подарила два тайных слова, заговаривающих тоску.", + "Перепрыгнула через лужу", + "В период Возрождения в Италии" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКакое особое действие совершает Белиса Крепускуларио для Полковника в рассказе 'Два слова'?\nA. Она меняла цвет в зависимости от настроения короля.\nB. Спасает его от засады врагов.\nC. Перелётная птица\nD. Написала для него победный политический доклад.\nE. Обошла лужу стороной\nF. Учит его читать и писать.\nG. Генералом\nH. На фоне военной диктатуры в одной из латиноамериканских стран\nI. Знаменитым музыкантом\nJ. Подарила два тайных слова, заговаривающих тоску.\nK. Перепрыгнула через лужу\nL. В период Возрождения в Италии\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 164, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.025193234905600548, + "B": 0.04706715792417526, + "C": 0.0533340759575367, + "D": 0.0533340759575367, + "E": 0.21094036102294922, + "F": 0.06043542921543121, + "G": 0.16428051888942719, + "H": 0.14497704803943634, + "I": 0.026818055659532547, + "J": 0.0533340759575367, + "K": 0.0776006281375885, + "L": 0.017315039411187172 + }, + "sample": { + "question": "В каком контексте происходит история любви главных героев в романе 'Любовь и тьма' Исабель Альенде?", + "answerA": "В период Возрождения в Италии", + "answerB": "На фоне военной диктатуры в одной из латиноамериканских стран", + "answerC": "Во время космической экспедиции в будущем", + "answerD": "В контексте средневековых рыцарских походов", + "correct_answer": "B", + "choices": [ + "Обошла лужу стороной", + "Она меняла цвет в зависимости от настроения короля.", + "Генералом", + "Перелётная птица", + "В контексте средневековых рыцарских походов", + "Знаменитым музыкантом", + "Во время космической экспедиции в будущем", + "В период Возрождения в Италии", + "Перепрыгнула через лужу", + "1965", + "На фоне военной диктатуры в одной из латиноамериканских стран", + "Она была невидима для человека, считающего себя умнее других." + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nВ каком контексте происходит история любви главных героев в романе 'Любовь и тьма' Исабель Альенде?\nA. Обошла лужу стороной\nB. Она меняла цвет в зависимости от настроения короля.\nC. Генералом\nD. Перелётная птица\nE. В контексте средневековых рыцарских походов\nF. Знаменитым музыкантом\nG. Во время космической экспедиции в будущем\nH. В период Возрождения в Италии\nI. Перепрыгнула через лужу\nJ. 1965\nK. На фоне военной диктатуры в одной из латиноамериканских стран\nL. Она была невидима для человека, считающего себя умнее других.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 158, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0006436088588088751, + "B": 0.0027096946723759174, + "C": 0.001279969117604196, + "D": 0.002545522525906563, + "E": 0.07918888330459595, + "F": 0.0027096946723759174, + "G": 0.008884746581315994, + "H": 0.8513607382774353, + "I": 0.002545522525906563, + "J": 0.006106390617787838, + "K": 0.00419685710221529, + "L": 0.017669428139925003 + }, + "sample": { + "question": "Что сделала девочка Инге, чтобы не запачкать свои новые башмаки?", + "answerA": "Перепрыгнула через лужу", + "answerB": "Обошла лужу стороной", + "answerC": "Бросила в лужу хлеб и наступила на него", + "answerD": "Положила доску через лужу и перешла по ней", + "correct_answer": "C", + "choices": [ + "Генералом", + "Она меняла цвет в зависимости от настроения короля.", + "1965", + "Как быстро есть суп.", + "Обошла лужу стороной", + "Перелётная птица", + "Знаменитым музыкантом", + "Положила доску через лужу и перешла по ней", + "Бросила в лужу хлеб и наступила на него", + "Она была невидима для человека, считающего себя умнее других.", + "Перепрыгнула через лужу", + "Изгнанник-мышь" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nЧто сделала девочка Инге, чтобы не запачкать свои новые башмаки?\nA. Генералом\nB. Она меняла цвет в зависимости от настроения короля.\nC. 1965\nD. Как быстро есть суп.\nE. Обошла лужу стороной\nF. Перелётная птица\nG. Знаменитым музыкантом\nH. Положила доску через лужу и перешла по ней\nI. Бросила в лужу хлеб и наступила на него\nJ. Она была невидима для человека, считающего себя умнее других.\nK. Перепрыгнула через лужу\nL. Изгнанник-мышь\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 161, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.031586941331624985, + "B": 0.08586220443248749, + "C": 0.14156284928321838, + "D": 0.18177028000354767, + "E": 0.05207805708050728, + "F": 0.0972946286201477, + "G": 0.20597271621227264, + "H": 0.05207805708050728, + "I": 0.00704799871891737, + "J": 0.023109497502446175, + "K": 0.04595872759819031, + "L": 0.009049809537827969 + }, + "sample": { + "question": "Кем стал мальчик из сказки 'Золотой мальчик' Ханса Кристиана Андерсена?", + "answerA": "Генералом", + "answerB": "Знаменитым музыкантом", + "answerC": "Бургомистром", + "answerD": "Художником", + "correct_answer": "answerB", + "choices": [ + "Как быстро есть суп.", + "Генералом", + "Перелётная птица", + "Обещание вернуться раньше зимы", + "1959", + "Художником", + "Изгнанник-мышь", + "Она меняла цвет в зависимости от настроения короля.", + "Знаменитым музыкантом", + "Бургомистром", + "1965", + "Она была невидима для человека, считающего себя умнее других." + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКем стал мальчик из сказки 'Золотой мальчик' Ханса Кристиана Андерсена?\nA. Как быстро есть суп.\nB. Генералом\nC. Перелётная птица\nD. Обещание вернуться раньше зимы\nE. 1959\nF. Художником\nG. Изгнанник-мышь\nH. Она меняла цвет в зависимости от настроения короля.\nI. Знаменитым музыкантом\nJ. Бургомистром\nK. 1965\nL. Она была невидима для человека, считающего себя умнее других.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 140, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.18383629620075226, + "B": 0.3434513807296753, + "C": 0.046481091529130936, + "D": 0.03619951009750366, + "E": 0.14317183196544647, + "F": 0.024879537522792816, + "G": 0.04101942107081413, + "H": 0.02195611223578453, + "I": 0.01175225991755724, + "J": 0.06762958317995071, + "K": 0.007587829604744911, + "L": 0.001163631328381598 + }, + "sample": { + "question": "Какое уникальное свойство имела ткань, которую предложили сшить для короля два мошенника в сказке 'Новое платье короля'?", + "answerA": "Она меняла цвет в зависимости от настроения короля.", + "answerB": "Она была невидима для человека, считающего себя умнее других.", + "answerC": "Она могла защитить короля от любого оружия.", + "answerD": "Она была невидима для любого, кто непроходимо глуп.", + "correct_answer": "Она была невидима для любого, кто непроходимо глуп.", + "choices": [ + "Она могла защитить короля от любого оружия.", + "Она была невидима для любого, кто непроходимо глуп.", + "Важности поддерживать порядок в лагере.", + "1959", + "Она была невидима для человека, считающего себя умнее других.", + "Перелётная птица", + "1985", + "Как быстро есть суп.", + "Изгнанник-мышь", + "Она меняла цвет в зависимости от настроения короля.", + "Обещание вернуться раньше зимы", + "1965" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКакое уникальное свойство имела ткань, которую предложили сшить для короля два мошенника в сказке 'Новое платье короля'?\nA. Она могла защитить короля от любого оружия.\nB. Она была невидима для любого, кто непроходимо глуп.\nC. Важности поддерживать порядок в лагере.\nD. 1959\nE. Она была невидима для человека, считающего себя умнее других.\nF. Перелётная птица\nG. 1985\nH. Как быстро есть суп.\nI. Изгнанник-мышь\nJ. Она меняла цвет в зависимости от настроения короля.\nK. Обещание вернуться раньше зимы\nL. 1965\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 162, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.571108341217041, + "B": 0.019542250782251358, + "C": 0.04687942564487457, + "D": 0.03221972659230232, + "E": 0.05312134698033333, + "F": 0.015219520777463913, + "G": 0.05312134698033333, + "H": 0.017245976254343987, + "I": 0.05312134698033333, + "J": 0.009231106378138065, + "K": 0.011134840548038483, + "L": 0.001035701367072761 + }, + "sample": { + "question": "Кто из персонажей представляет угрозу роману пастушки и трубочиста в сказке Андерсена?", + "answerA": "Перелётная птица", + "answerB": "Изгнанник-мышь", + "answerC": "Обер-унтер-генерал-комиссар-сержант Козлоног", + "answerD": "Мудрая сова", + "correct_answer": "Обер-унтер-генерал-комиссар-сержант Козлоног", + "choices": [ + "Обер-унтер-генерал-комиссар-сержант Козлоног", + "1965", + "Обещание посадить дерево", + "Как быстро есть суп.", + "Важности поддерживать порядок в лагере.", + "1959", + "Мудрая сова", + "1985", + "Изгнанник-мышь", + "Перелётная птица", + "Обещание вернуться раньше зимы", + "1978" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКто из персонажей представляет угрозу роману пастушки и трубочиста в сказке Андерсена?\nA. Обер-унтер-генерал-комиссар-сержант Козлоног\nB. 1965\nC. Обещание посадить дерево\nD. Как быстро есть суп.\nE. Важности поддерживать порядок в лагере.\nF. 1959\nG. Мудрая сова\nH. 1985\nI. Изгнанник-мышь\nJ. Перелётная птица\nK. Обещание вернуться раньше зимы\nL. 1978\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 144, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.23793643712997437, + "B": 0.06816992163658142, + "C": 0.11239321529865265, + "D": 0.392290860414505, + "E": 0.046852461993694305, + "F": 0.0195310115814209, + "G": 0.025078315287828445, + "H": 0.01723605766892433, + "I": 0.007185057736933231, + "J": 0.005956621840596199, + "K": 0.006749736610800028, + "L": 0.0016032031271606684 + }, + "sample": { + "question": "В каком году был написан рассказ «Ария Каварадосси» Виктора Петровича Астафьева?", + "answerA": "1965", + "answerB": "1959", + "answerC": "1972", + "answerD": "1984", + "correct_answer": "answerB", + "choices": [ + "1979", + "Божей", + "Как быстро есть суп.", + "1959", + "1978", + "1965", + "1972", + "Обещание посадить дерево", + "1984", + "Важности поддерживать порядок в лагере.", + "1985", + "Обещание вернуться раньше зимы" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nВ каком году был написан рассказ «Ария Каварадосси» Виктора Петровича Астафьева?\nA. 1979\nB. Божей\nC. Как быстро есть суп.\nD. 1959\nE. 1978\nF. 1965\nG. 1972\nH. Обещание посадить дерево\nI. 1984\nJ. Важности поддерживать порядок в лагере.\nK. 1985\nL. Обещание вернуться раньше зимы\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 133, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.03364546597003937, + "B": 0.08071128278970718, + "C": 0.6757872700691223, + "D": 0.029692020267248154, + "E": 0.011627561412751675, + "F": 0.010923083871603012, + "G": 0.038125310093164444, + "H": 0.018009120598435402, + "I": 0.001016005058772862, + "J": 0.0014782786602154374, + "K": 0.00228960276581347, + "L": 0.00018794203060679138 + }, + "sample": { + "question": "Чему научил пожилой боец рассказчика в рассказе 'Макаронина' Виктора Астафьева?", + "answerA": "Как быстро есть суп.", + "answerB": "Важности поддерживать порядок в лагере.", + "answerC": "Умению разделять последнее с другим.", + "answerD": "Способам маскировки на фронте.", + "correct_answer": "answerC", + "choices": [ + "1979", + "Обещание посадить дерево", + "Умению разделять последнее с другим.", + "1978", + "Способам маскировки на фронте.", + "Как быстро есть суп.", + "Обещание вернуться раньше зимы", + "Важности поддерживать порядок в лагере.", + "1985", + "Он написал новую поэму.", + "1984", + "Божей" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nЧему научил пожилой боец рассказчика в рассказе 'Макаронина' Виктора Астафьева?\nA. 1979\nB. Обещание посадить дерево\nC. Умению разделять последнее с другим.\nD. 1978\nE. Способам маскировки на фронте.\nF. Как быстро есть суп.\nG. Обещание вернуться раньше зимы\nH. Важности поддерживать порядок в лагере.\nI. 1985\nJ. Он написал новую поэму.\nK. 1984\nL. Божей\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 133, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.04376090690493584, + "B": 0.06367173790931702, + "C": 0.19612278044223785, + "D": 0.36640557646751404, + "E": 0.04958760365843773, + "F": 0.06367173790931702, + "G": 0.07214953005313873, + "H": 0.03861886262893677, + "I": 0.006304355803877115, + "J": 0.020671188831329346, + "K": 0.014207085594534874, + "L": 0.001166188740171492 + }, + "sample": { + "question": "Какой важный обет нарушает рассказчик в рассказе 'Последний поклон'?", + "answerA": "Обещание вернуться раньше зимы", + "answerB": "Обещание посадить дерево", + "answerC": "Обещание быть на похоронах бабушки", + "answerD": "Обещание написать письмо старому другу", + "correct_answer": "Обещание быть на похоронах бабушки", + "choices": [ + "1984", + "1978", + "Божей", + "Обещание написать письмо старому другу", + "Обещание посадить дерево", + "1979", + "Он написал новую поэму.", + "Кунанбай", + "1985", + "Обещание вернуться раньше зимы", + "Обещание быть на похоронах бабушки", + "Врачом" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКакой важный обет нарушает рассказчик в рассказе 'Последний поклон'?\nA. 1984\nB. 1978\nC. Божей\nD. Обещание написать письмо старому другу\nE. Обещание посадить дерево\nF. 1979\nG. Он написал новую поэму.\nH. Кунанбай\nI. 1985\nJ. Обещание вернуться раньше зимы\nK. Обещание быть на похоронах бабушки\nL. Врачом\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 122, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.3561283051967621, + "B": 0.07012581825256348, + "C": 0.0900433361530304, + "D": 0.0900433361530304, + "E": 0.07946296781301498, + "F": 0.0900433361530304, + "G": 0.04253346100449562, + "H": 0.03312509134411812, + "I": 0.029232792556285858, + "J": 0.02276652120053768, + "K": 0.008915497921407223, + "L": 0.0028944385703653097 + }, + "sample": { + "question": "В каком году произошёл творческий вечер Виктора Петровича Астафьева, где он произнёс слова «Правда — она огромна»?", + "answerA": "1985", + "answerB": "1979", + "answerC": "1975", + "answerD": "1980", + "correct_answer": "B", + "choices": [ + "1979", + "Кунанбай", + "Он написал новую поэму.", + "Божей", + "Он организовал благотворительный концерт.", + "1978", + "1984", + "Врачом", + "1985", + "1980", + "1975", + "Умение летать" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nВ каком году произошёл творческий вечер Виктора Петровича Астафьева, где он произнёс слова «Правда — она огромна»?\nA. 1979\nB. Кунанбай\nC. Он написал новую поэму.\nD. Божей\nE. Он организовал благотворительный концерт.\nF. 1978\nG. 1984\nH. Врачом\nI. 1985\nJ. 1980\nK. 1975\nL. Умение летать\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 134, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.12416483461856842, + "B": 0.10957508534193039, + "C": 0.20471319556236267, + "D": 0.058651313185691833, + "E": 0.07530978322029114, + "F": 0.058651313185691833, + "G": 0.15943080186843872, + "H": 0.04567768797278404, + "I": 0.007004900369793177, + "J": 0.010849402286112309, + "K": 0.01788763888180256, + "L": 0.002420828677713871 + }, + "sample": { + "question": "В каком году была написана книга 'Учитель на все времена' Виктором Петровичем Астафьевым?", + "answerA": "1978", + "answerB": "1984", + "answerC": "1991", + "answerD": "2000", + "correct_answer": "answerB", + "choices": [ + "1978", + "Умение летать", + "1984", + "Он организовал благотворительный концерт.", + "1991", + "Божей", + "Справедливым судьёй и поэтом", + "Он написал новую поэму.", + "2000", + "Волшебная лошадь", + "Кунанбай", + "Врачом" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nВ каком году была написана книга 'Учитель на все времена' Виктором Петровичем Астафьевым?\nA. 1978\nB. Умение летать\nC. 1984\nD. Он организовал благотворительный концерт.\nE. 1991\nF. Божей\nG. Справедливым судьёй и поэтом\nH. Он написал новую поэму.\nI. 2000\nJ. Волшебная лошадь\nK. Кунанбай\nL. Врачом\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 127, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.3256763517856598, + "B": 0.03889649361371994, + "C": 0.07266821712255478, + "D": 0.11980964988470078, + "E": 0.07266821712255478, + "F": 0.03029261901974678, + "G": 0.08234387636184692, + "H": 0.056594058871269226, + "I": 0.056594058871269226, + "J": 0.026733143255114555, + "K": 0.01430922094732523, + "L": 0.0024865695741027594 + }, + "sample": { + "question": "Как звали отца Абая в романе «Путь Абая. Часть 1»?", + "answerA": "Божей", + "answerB": "Кунанбай", + "answerC": "Иргизбай", + "answerD": "Тогжан", + "correct_answer": "B", + "choices": [ + "Справедливым судьёй и поэтом", + "Он организовал благотворительный концерт.", + "Умение летать", + "Тогжан", + "Иргизбай", + "Волшебная лошадь", + "Сила тысячи мужчин", + "Висеть в галерее дожей как символ предательства", + "Кунанбай", + "Он написал новую поэму.", + "Божей", + "Врачом" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКак звали отца Абая в романе «Путь Абая. Часть 1»?\nA. Справедливым судьёй и поэтом\nB. Он организовал благотворительный концерт.\nC. Умение летать\nD. Тогжан\nE. Иргизбай\nF. Волшебная лошадь\nG. Сила тысячи мужчин\nH. Висеть в галерее дожей как символ предательства\nI. Кунанбай\nJ. Он написал новую поэму.\nK. Божей\nL. Врачом\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 125, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.039789799600839615, + "B": 0.09545077383518219, + "C": 0.12256121635437012, + "D": 0.13888005912303925, + "E": 0.045087747275829315, + "F": 0.08423500508069992, + "G": 0.2594620883464813, + "H": 0.051091112196445465, + "I": 0.004752214066684246, + "J": 0.016586855053901672, + "K": 0.045087747275829315, + "L": 0.0037010277155786753 + }, + "sample": { + "question": "Что сделал Абай в главах «На перевале» части 2 «Путь Абая»?", + "answerA": "Он написал новую поэму.", + "answerB": "Он организовал благотворительный концерт.", + "answerC": "Он отправил своих детей обучаться русскому языку.", + "answerD": "Он выиграл литературный конкурс.", + "correct_answer": "Он отправил своих детей обучаться русскому языку.", + "choices": [ + "Он выиграл литературный конкурс.", + "Справедливым судьёй и поэтом", + "Он отправил своих детей обучаться русскому языку.", + "Сила тысячи мужчин", + "Врачом", + "Золотая рыбка", + "Висеть в галерее дожей как символ предательства", + "Он написал новую поэму.", + "Марсель", + "Умение летать", + "Он организовал благотворительный концерт.", + "Волшебная лошадь" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nЧто сделал Абай в главах «На перевале» части 2 «Путь Абая»?\nA. Он выиграл литературный конкурс.\nB. Справедливым судьёй и поэтом\nC. Он отправил своих детей обучаться русскому языку.\nD. Сила тысячи мужчин\nE. Врачом\nF. Золотая рыбка\nG. Висеть в галерее дожей как символ предательства\nH. Он написал новую поэму.\nI. Марсель\nJ. Умение летать\nK. Он организовал благотворительный концерт.\nL. Волшебная лошадь\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 135, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.05717654153704643, + "B": 0.030604396015405655, + "C": 0.039296820759773254, + "D": 0.7892978191375732, + "E": 0.011258727870881557, + "F": 0.008237062022089958, + "G": 0.006828763987869024, + "H": 0.0030302456580102444, + "I": 0.0012631943682208657, + "J": 0.004141854587942362, + "K": 0.004141854587942362, + "L": 0.00017095475050155073 + }, + "sample": { + "question": "Кем был Абай в романе «Путь Абая. Часть 3»?", + "answerA": "Врачом", + "answerB": "Справедливым судьёй и поэтом", + "answerC": "Учёным", + "answerD": "Торговцем", + "correct_answer": "B", + "choices": [ + "Висеть в галерее дожей как символ предательства", + "Врачом", + "Волшебная лошадь", + "Справедливым судьёй и поэтом", + "Золотая рыбка", + "Торговцем", + "Выставить в музее как память об обвиняемом", + "Умение летать", + "Марсель", + "Сила тысячи мужчин", + "Тяжёлое заболевание", + "Учёным" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКем был Абай в романе «Путь Абая. Часть 3»?\nA. Висеть в галерее дожей как символ предательства\nB. Врачом\nC. Волшебная лошадь\nD. Справедливым судьёй и поэтом\nE. Золотая рыбка\nF. Торговцем\nG. Выставить в музее как память об обвиняемом\nH. Умение летать\nI. Марсель\nJ. Сила тысячи мужчин\nK. Тяжёлое заболевание\nL. Учёным\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 129, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.06742104887962341, + "B": 0.08657032996416092, + "C": 0.04089292883872986, + "D": 0.046337757259607315, + "E": 0.03184744343161583, + "F": 0.11115850508213043, + "G": 0.09809704124927521, + "H": 0.18326939642429352, + "I": 0.019316451624035835, + "J": 0.052507560700178146, + "K": 0.046337757259607315, + "L": 0.14273034036159515 + }, + "sample": { + "question": "Какое суперспособность имел Соловей-разбойник?", + "answerA": "Умение летать", + "answerB": "Сила тысячи мужчин", + "answerC": "Убивал свистом", + "answerD": "Невидимость", + "correct_answer": "answerC", + "choices": [ + "Убивал свистом", + "Висеть в галерее дожей как символ предательства", + "Выставить в музее как память об обвиняемом", + "Волшебная лошадь", + "Золотая рыбка", + "Сила тысячи мужчин", + "Невидимость", + "Тяжёлое заболевание", + "Марсель", + "Аделина Юло", + "Иссодун", + "Умение летать" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКакое суперспособность имел Соловей-разбойник?\nA. Убивал свистом\nB. Висеть в галерее дожей как символ предательства\nC. Выставить в музее как память об обвиняемом\nD. Волшебная лошадь\nE. Золотая рыбка\nF. Сила тысячи мужчин\nG. Невидимость\nH. Тяжёлое заболевание\nI. Марсель\nJ. Аделина Юло\nK. Иссодун\nL. Умение летать\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 122, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.06319703906774521, + "B": 0.1337881237268448, + "C": 0.06319703906774521, + "D": 0.11806760728359222, + "E": 0.08114660531282425, + "F": 0.11806760728359222, + "G": 0.0919511467218399, + "H": 0.1717873513698578, + "I": 0.004040051251649857, + "J": 0.013246818445622921, + "K": 0.011690275743603706, + "L": 0.00552209559828043 + }, + "sample": { + "question": "Какой сказочный персонаж помогает главному герою в сказке «По щучьему веленью»?", + "answerA": "Волшебная лошадь", + "answerB": "Золотая рыбка", + "answerC": "Щука", + "answerD": "Ворона", + "correct_answer": "C", + "choices": [ + "Иссодун", + "Ворона", + "Дама с эрмином", + "Золотая рыбка", + "Волшебная лошадь", + "Щука", + "Марсель", + "Висеть в галерее дожей как символ предательства", + "Выставить в музее как память об обвиняемом", + "Аделина Юло", + "Тяжёлое заболевание", + "Дорожно-транспортное происшествие" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКакой сказочный персонаж помогает главному герою в сказке «По щучьему веленью»?\nA. Иссодун\nB. Ворона\nC. Дама с эрмином\nD. Золотая рыбка\nE. Волшебная лошадь\nF. Щука\nG. Марсель\nH. Висеть в галерее дожей как символ предательства\nI. Выставить в музее как память об обвиняемом\nJ. Аделина Юло\nK. Тяжёлое заболевание\nL. Дорожно-транспортное происшествие\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 136, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0757821649312973, + "B": 0.040563274174928665, + "C": 0.024602871388196945, + "D": 0.035796962678432465, + "E": 0.43609631061553955, + "F": 0.02787870354950428, + "G": 0.035796962678432465, + "H": 0.1817919760942459, + "I": 0.009634621441364288, + "J": 0.01237110048532486, + "K": 0.00798738282173872, + "L": 0.024602871388196945 + }, + "sample": { + "question": "Что было решено сделать с портретом Марино Фальеро после его казни?", + "answerA": "Висеть в галерее дожей как символ предательства", + "answerB": "Выставить в музее как память об обвиняемом", + "answerC": "Заменить траурным полотнищем с позорной надписью", + "answerD": "Передать его родственникам", + "correct_answer": "Заменить траурным полотнищем с позорной надписью", + "choices": [ + "Передать его родственникам", + "Гортензия Юло", + "Тяжёлое заболевание", + "Марсель", + "Висеть в галерее дожей как символ предательства", + "Иссодун", + "Дорожно-транспортное происшествие", + "Выставить в музее как память об обвиняемом", + "Дама с эрмином", + "Он потерял большую часть своего состояния", + "Заменить траурным полотнищем с позорной надписью", + "Аделина Юло" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nЧто было решено сделать с портретом Марино Фальеро после его казни?\nA. Передать его родственникам\nB. Гортензия Юло\nC. Тяжёлое заболевание\nD. Марсель\nE. Висеть в галерее дожей как символ предательства\nF. Иссодун\nG. Дорожно-транспортное происшествие\nH. Выставить в музее как память об обвиняемом\nI. Дама с эрмином\nJ. Он потерял большую часть своего состояния\nK. Заменить траурным полотнищем с позорной надписью\nL. Аделина Юло\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 146, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.01208733581006527, + "B": 0.01458011008799076, + "C": 0.02258211560547352, + "D": 0.016521429643034935, + "E": 0.04218894615769386, + "F": 0.010667036287486553, + "G": 0.04218894615769386, + "H": 0.11468145251274109, + "I": 0.5139665603637695, + "J": 0.10120601207017899, + "K": 0.007331339176744223, + "L": 0.007804170250892639 + }, + "sample": { + "question": "Какой город стал одним из основных мест действия романа \"Баламутка\" Оноре де Бальзака?", + "answerA": "Марсель", + "answerB": "Иссодун", + "answerC": "Лион", + "answerD": "Ницца", + "correct_answer": "B", + "choices": [ + "Объявил себя мертвым", + "Тяжёлое заболевание", + "Аделина Юло", + "Он потерял большую часть своего состояния", + "Дорожно-транспортное происшествие", + "Гортензия Юло", + "Дама с эрмином", + "Мария Египетская", + "Марсель", + "Лион", + "Ницца", + "Иссодун" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКакой город стал одним из основных мест действия романа \"Баламутка\" Оноре де Бальзака?\nA. Объявил себя мертвым\nB. Тяжёлое заболевание\nC. Аделина Юло\nD. Он потерял большую часть своего состояния\nE. Дорожно-транспортное происшествие\nF. Гортензия Юло\nG. Дама с эрмином\nH. Мария Египетская\nI. Марсель\nJ. Лион\nK. Ницца\nL. Иссодун\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 127, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.05558126047253609, + "B": 0.07136774808168411, + "C": 0.10383947193622589, + "D": 0.41069307923316956, + "E": 0.04905029386281967, + "F": 0.08087025582790375, + "G": 0.08087025582790375, + "H": 0.03820040449500084, + "I": 0.009073391556739807, + "J": 0.029750507324934006, + "K": 0.012401856482028961, + "L": 0.004026293288916349 + }, + "sample": { + "question": "Что стало причиной смерти Кузена Понса в романе Бальзака Оноре де 'Кузен Понс'?", + "answerA": "Тяжёлое заболевание", + "answerB": "Дорожно-транспортное происшествие", + "answerC": "Ужас от потери своей коллекции", + "answerD": "Длительное путешествие", + "correct_answer": "Ужас от потери своей коллекции", + "choices": [ + "Ужас от потери своей коллекции", + "Тяжёлое заболевание", + "Дама с эрмином", + "Его любимая виконтесса де Боссеан отказалась прочитать его последнее письмо", + "Специальную печь", + "Объявил себя мертвым", + "Мария Египетская", + "Он потерял большую часть своего состояния", + "Гортензия Юло", + "Длительное путешествие", + "Дорожно-транспортное происшествие", + "Аделина Юло" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nЧто стало причиной смерти Кузена Понса в романе Бальзака Оноре де 'Кузен Понс'?\nA. Ужас от потери своей коллекции\nB. Тяжёлое заболевание\nC. Дама с эрмином\nD. Его любимая виконтесса де Боссеан отказалась прочитать его последнее письмо\nE. Специальную печь\nF. Объявил себя мертвым\nG. Мария Египетская\nH. Он потерял большую часть своего состояния\nI. Гортензия Юло\nJ. Длительное путешествие\nK. Дорожно-транспортное происшествие\nL. Аделина Юло\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 143, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.15056253969669342, + "B": 0.170609712600708, + "C": 0.15056253969669342, + "D": 0.1172582283616066, + "E": 0.05538886412978172, + "F": 0.048880502581596375, + "G": 0.05538886412978172, + "H": 0.04313689097762108, + "I": 0.009041983634233475, + "J": 0.038068175315856934, + "K": 0.016892649233341217, + "L": 0.004012356046587229 + }, + "sample": { + "question": "Кто из персонажей романа 'Кузина Бетта' в конечном итоге выходит замуж за Венцеслава Стейнбока?", + "answerA": "Аделина Юло", + "answerB": "Гортензия Юло", + "answerC": "Валери Марнефф", + "answerD": "Жозефина Миры", + "correct_answer": "answerB", + "choices": [ + "Мария Египетская", + "Валери Марнефф", + "Жозефина Миры", + "Он потерял большую часть своего состояния", + "Гортензия Юло", + "Тайну вечной любви", + "Объявил себя мертвым", + "Аделина Юло", + "Использовал информацию о желании графа Ферро стать пэром Франции", + "Дама с эрмином", + "Его любимая виконтесса де Боссеан отказалась прочитать его последнее письмо", + "Специальную печь" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКто из персонажей романа 'Кузина Бетта' в конечном итоге выходит замуж за Венцеслава Стейнбока?\nA. Мария Египетская\nB. Валери Марнефф\nC. Жозефина Миры\nD. Он потерял большую часть своего состояния\nE. Гортензия Юло\nF. Тайну вечной любви\nG. Объявил себя мертвым\nH. Аделина Юло\nI. Использовал информацию о желании графа Ферро стать пэром Франции\nJ. Дама с эрмином\nK. Его любимая виконтесса де Боссеан отказалась прочитать его последнее письмо\nL. Специальную печь\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 153, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0634719729423523, + "B": 0.17253470420837402, + "C": 0.13437016308307648, + "D": 0.17253470420837402, + "E": 0.0634719729423523, + "F": 0.13437016308307648, + "G": 0.0719231590628624, + "H": 0.049432020634412766, + "I": 0.007580645848065615, + "J": 0.023350032046437263, + "K": 0.011741133406758308, + "L": 0.007580645848065615 + }, + "sample": { + "question": "Какая картина была оживлена несколькими мазками в рассказе 'Неведомый шедевр'?", + "answerA": "Дама с эрмином", + "answerB": "Мария Египетская", + "answerC": "Мона Лиза", + "answerD": "Ночь перед Рождеством", + "correct_answer": "B", + "choices": [ + "Специальный грибок", + "Объявил себя мертвым", + "Тайну вечной любви", + "Использовал информацию о желании графа Ферро стать пэром Франции", + "Специальную печь", + "Его любимая виконтесса де Боссеан отказалась прочитать его последнее письмо", + "Павел Иванович Симов", + "Мария Египетская", + "Дама с эрмином", + "Он потерял большую часть своего состояния", + "Мона Лиза", + "Ночь перед Рождеством" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакая картина была оживлена несколькими м��зками в рассказе 'Неведомый шедевр'?\nA. Специальный грибок\nB. Объявил себя мертвым\nC. Тайну вечной любви\nD. Использовал информацию о желании графа Ферро стать пэром Франции\nE. Специальную печь\nF. Его любимая виконтесса де Боссеан отказалась прочитать его последнее письмо\nG. Павел Иванович Симов\nH. Мария Египетская\nI. Дама с эрмином\nJ. Он потерял большую часть своего состояния\nK. Мона Лиза\nL. Ночь перед Рождеством\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 141, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.030099496245384216, + "B": 0.05623326078057289, + "C": 0.19627335667610168, + "D": 0.09271297603845596, + "E": 0.03410719335079193, + "F": 0.11904580891132355, + "G": 0.15285784006118774, + "H": 0.07220494002103806, + "I": 0.015134976245462894, + "J": 0.06372062861919403, + "K": 0.08181890845298767, + "L": 0.004913607612252235 + }, + "sample": { + "question": "Какова основная причина, по которой Гастон де Нюэйль окончательно решил покончить с собой в романе 'Покинутая женщина'?", + "answerA": "Он потерял большую часть своего состояния", + "answerB": "Его любимая виконтесса де Боссеан отказалась прочитать его последнее письмо", + "answerC": "Его мать заставила его жениться на другой женщине", + "answerD": "Он впал в апатию после свадьбы", + "correct_answer": "Его любимая виконтесса де Боссеан отказалась прочитать его последнее письмо", + "choices": [ + "Тайну природы прекрасного", + "Смерть главного героя", + "Объявил себя мертвым", + "Он впал в апатию после свадьбы", + "Специальный грибок", + "Использовал информацию о желании графа Ферро стать пэром Франции", + "Он потерял большую часть своего состояния", + "Тайну вечной любви", + "Павел Иванович Симов", + "Его мать заставила его жениться на другой женщине", + "Его любимая виконтесса де Боссеан отказалась прочитать его последнее письмо", + "Специальную печь" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКакова основная причина, по которой Гастон де Нюэйль окончательно решил покончить с собой в романе 'Покинутая женщина'?\nA. Тайну природы прекрасного\nB. Смерть главного героя\nC. Объявил себя мертвым\nD. Он впал в апатию после свадьбы\nE. Специальный грибок\nF. Использовал информацию о желании графа Ферро стать пэром Франции\nG. Он потерял большую часть своего состояния\nH. Тайну вечной любви\nI. Павел Иванович Симов\nJ. Его мать заставила его жениться на другой женщине\nK. Его любимая виконтесса де Боссеан отказалась прочитать его последнее письмо\nL. Специальную печь\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 159, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.4511861503124237, + "B": 0.037035614252090454, + "C": 0.02545418217778206, + "D": 0.07840438932180405, + "E": 0.08884381502866745, + "F": 0.06919164210557938, + "G": 0.04196684807538986, + "H": 0.08884381502866745, + "I": 0.01982373557984829, + "J": 0.015438740141689777, + "K": 0.006850899662822485, + "L": 0.006435824558138847 + }, + "sample": { + "question": "Какой решающий ход предпринял полковник Шабер, чтобы получить пожизненную ренту?", + "answerA": "Объявил себя мертвым", + "answerB": "Использовал информацию о желании графа Ферро стать пэром Франции", + "answerC": "Выиграл судебный процесс", + "answerD": "Угрожал графине Ферро", + "correct_answer": "Использовал информацию о желании графа Ферро стать пэром Франции", + "choices": [ + "Использовал информацию о желании графа Ферро стать пэром Франции", + "Зиновий Лукьянов", + "Стивен Кинг", + "Угрожал графине Ферро", + "Смерть главного героя", + "Объявил себя мертвым", + "Тайну природы прекрасного", + "Выиграл судебный процесс", + "Павел Иванович Симов", + "Специальную печь", + "Специальный грибок", + "Тайну вечной любви" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКакой решающий ход предпринял полковник Шабер, чтобы получить пожизненную ренту?\nA. Использовал информацию о желании графа Ферро стать пэром Франции\nB. Зиновий Лукьянов\nC. Стивен Кинг\nD. Угрожал графине Ферро\nE. Смерть главного героя\nF. Объявил себя мертвым\nG. Тайну природы прекрасного\nH. Выиграл судебный процесс\nI. Павел Иванович Симов\nJ. Специальную печь\nK. Специальный грибок\nL. Тайну вечной любви\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 129, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.2604515552520752, + "B": 0.039941541850566864, + "C": 0.12302860617637634, + "D": 0.0352482832968235, + "E": 0.13940967619419098, + "F": 0.045259688049554825, + "G": 0.07462061941623688, + "H": 0.12302860617637634, + "I": 0.027451390400528908, + "J": 0.014693671837449074, + "K": 0.007864955812692642, + "L": 0.004209807142615318 + }, + "sample": { + "question": "Что изобрел профессор Бройер, чтобы предотвратить катастрофу, вызванную бесконечно растущим тестом?", + "answerA": "Специальную печь", + "answerB": "Специальный грибок", + "answerC": "Химический раствор", + "answerD": "Механического робота", + "correct_answer": "answerB", + "choices": [ + "Специальный грибок", + "Зиновий Лукьянов", + "Тайну природы прекрасного", + "Смерть главного героя", + "Специальную печь", + "Тайну вечной любви", + "Химический раствор", + "Стивен Кинг", + "Организовывал литературные вечера", + "Победа сына торговца в рыцарском турнире", + "Павел Иванович Симов", + "Механического робота" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nЧто изобрел профессор Бройер, чтобы предотвратить катастрофу, вызванную бесконечно растущим тестом?\nA. Специальный грибок\nB. Зиновий Лукьянов\nC. Тайну природы прекрасного\nD. Смерть главного героя\nE. Специальную печь\nF. Тайну вечной любви\nG. Химический раствор\nH. Стивен Кинг\nI. Организовывал литературные вечера\nJ. Победа сына ��орговца в рыцарском турнире\nK. Павел Иванович Симов\nL. Механического робота\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 120, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.025081895291805267, + "B": 0.0364939421415329, + "C": 0.8305982351303101, + "D": 0.02842150814831257, + "E": 0.009227113798260689, + "F": 0.009227113798260689, + "G": 0.010455689392983913, + "H": 0.003188805188983679, + "I": 0.00045939089613966644, + "J": 0.0007115185726433992, + "K": 0.0005541312275454402, + "L": 5.486641748575494e-05 + }, + "sample": { + "question": "Какую тайну пытался разгадать Дуглас Спольдинг в рассказе «Мистер Смех»?", + "answerA": "Тайну вечной любви", + "answerB": "Тайну природы прекрасного", + "answerC": "Тайну природы и тайны смешного", + "answerD": "Тайну американской машинизации", + "correct_answer": "C", + "choices": [ + "Эдгар Аллан По", + "Тайну вечной любви", + "Тайну природы и тайны смешного", + "Павел Иванович Симов", + "Зиновий Лукьянов", + "Организовывал литературные вечера", + "Победа сына торговца в рыцарском турнире", + "Стивен Кинг", + "Тайну природы прекрасного", + "О важности политического образования в детстве", + "Тайну американской машинизации", + "Смерть главного героя" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКакую тайну пытался разгадать Дуглас Спольдинг в рассказе «Мистер Смех»?\nA. Эдгар Аллан По\nB. Тайну вечной любви\nC. Тайну природы и тайны смешного\nD. Павел Иванович Симов\nE. Зиновий Лукьянов\nF. Организовывал литературные вечера\nG. Победа сына торговца в рыцарском турнире\nH. Стивен Кинг\nI. Тайну природы прекрасного\nJ. О важности политического образования в детстве\nK. Тайну американской машинизации\nL. Смерть главного героя\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 128, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.01612022891640663, + "B": 0.015143552795052528, + "C": 0.34466567635536194, + "D": 0.046645425260066986, + "E": 0.046645425260066986, + "F": 0.03632749244570732, + "G": 0.20905029773712158, + "H": 0.059893906116485596, + "I": 0.005930300336331129, + "J": 0.00918502826243639, + "K": 0.046645425260066986, + "L": 0.002181635471060872 + }, + "sample": { + "question": "Как звали человека, который утверждал, что уничтожил все бактерии в мире и потом предложил их вернуть за золото в романе 'Нетленный мир'?", + "answerA": "Павел Иванович Симов", + "answerB": "Зиновий Лукьянов", + "answerC": "Тридон", + "answerD": "Милликен", + "correct_answer": "Тридон", + "choices": [ + "Строил библиотеку", + "О важности политического образования в детстве", + "Эдгар Аллан По", + "Смерть главного героя", + "Милликен", + "Организовывал литературные вечера", + "Стивен Кинг", + "Павел Иванович Симов", + "Победа сына торговца в рыцарском турнире", + "Изобретение печатного станка", + "Тридон", + "Зиновий Лукьянов" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКак звали человека, который утверждал, что уничтожил все бактерии в мире и потом предложил их вернуть за золото в романе 'Нетленный мир'?\nA. Строил библиотеку\nB. О важности политического образования в детстве\nC. Эдгар Аллан По\nD. Смерть главного героя\nE. Милликен\nF. Организовывал литературные вечера\nG. Стивен Кинг\nH. Павел Иванович Симов\nI. Победа сына торговца в рыцарском турнире\nJ. Изобретение печатного станка\nK. Тридон\nL. Зиновий Лукьянов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 130, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.013000259175896645, + "B": 0.05826311558485031, + "C": 0.2033582478761673, + "D": 0.05826311558485031, + "E": 0.04004361107945442, + "F": 0.03533836826682091, + "G": 0.1583755761384964, + "H": 0.03533836826682091, + "I": 0.016692662611603737, + "J": 0.04004361107945442, + "K": 0.2304350882768631, + "L": 0.003498971927911043 + }, + "sample": { + "question": "Какое событие стало ключевым в фильме «Ревельский турнир»?", + "answerA": "Смерть главного героя", + "answerB": "Победа сына торговца в рыцарском турнире", + "answerC": "Заключение мирного договора между рыцарями", + "answerD": "Появление дракона на турнире", + "correct_answer": "Победа сына торговца в рыцарском турнире", + "choices": [ + "Эдгар Аллан По", + "О важности политического образования в детстве", + "Организовывал литературные вечера", + "Строил библиотеку", + "Способ сохранения истории", + "Заключение мирного договора между рыцарями", + "Появление дракона на турнире", + "Стивен Кинг", + "Смерть главного героя", + "Изобретение печатного станка", + "Победа сына торговца в рыцарском турнире", + "О технологических достижениях современных детских игр" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКакое событие стало ключевым в фильме «Ревельский турнир»?\nA. Эдгар Аллан По\nB. О важности политического образования в детстве\nC. Организовывал литературные вечера\nD. Строил библиотеку\nE. Способ сохранения истории\nF. Заключение мирного договора между рыцарями\nG. Появление дракона на турнире\nH. Стивен Кинг\nI. Смерть главного героя\nJ. Изобретение печатного станка\nK. Победа сына торговца в рыцарском турнире\nL. О технологических достижениях современных детских игр\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 126, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.11357234418392181, + "B": 0.02236372046172619, + "C": 0.03253902122378349, + "D": 0.740584671497345, + "E": 0.03253902122378349, + "F": 0.006019114051014185, + "G": 0.015370344743132591, + "H": 0.002509139943867922, + "I": 0.00024843847495503724, + "J": 0.0012616749154403806, + "K": 0.0003190013230778277, + "L": 0.00011024390551028773 + }, + "sample": { + "question": "Кто является автором рассказа 'Ученик чародея'?", + "answerA": "Стивен Кинг", + "answerB": "Эдгар Аллан По", + "answerC": "Блох Роберт", + "answerD": "Говард Филлипс Лавкрафт", + "correct_answer": "Блох Роберт", + "choices": [ + "Эдгар Аллан По", + "О технологических достижениях современных детских игр", + "Изобретение печатного станка", + "Говард Филлипс Лавкрафт", + "Стивен Кинг", + "Блох Роберт", + "Способ сохранения истории", + "Ритуалы древних цивилизаций", + "О важности политического образования в детстве", + "Организовывал литературные вечера", + "Невозможность путешествовать во времени", + "Строил библиотеку" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКто является автором рассказа 'Ученик чародея'?\nA. Эдгар Аллан По\nB. О технологических достижениях современных детских игр\nC. Изобретение печатного станка\nD. Говард Филлипс Лавкрафт\nE. Стивен Кинг\nF. Блох Роберт\nG. Способ сохранения истории\nH. Ритуалы древних цивилизаций\nI. О важности политического образования в детстве\nJ. Организовывал литературные вечера\nK. Невозможность путешествовать во времени\nL. Строил библиотеку\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 125, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.02030094526708126, + "B": 0.2473161518573761, + "C": 0.037927158176898956, + "D": 0.46204739809036255, + "E": 0.013952622190117836, + "F": 0.07085726410150528, + "G": 0.02953770011663437, + "H": 0.02300398424267769, + "I": 0.001010724576190114, + "J": 0.010866313241422176, + "K": 0.005463925190269947, + "L": 0.0035277751740068197 + }, + "sample": { + "question": "Чем занимался Константин Григорьевич Кисилёв, чтобы повлиять на культурную жизнь своего посёлка?", + "answerA": "Организовывал литературные вечера", + "answerB": "Строил библиотеку", + "answerC": "Учил местных жителей читать и размышлять", + "answerD": "Раздавал книги прохожим", + "correct_answer": "Учил местных жителей читать и размышлять", + "choices": [ + "Невозможность путешествовать во времени", + "Учил местных жителей читать и размышлять", + "О технологических достижениях современных детских игр", + "Организовывал литературные вечера", + "Раздавал книги прохожим", + "Строил библиотеку", + "Способ сохранения истории", + "Изобретение печатного станка", + "Ритуалы древних цивилизаций", + "О важности политического образования в детстве", + "Священник", + "Форма познания мира" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nЧем занимался Константин Григорьевич Кисилёв, чтобы повлиять на культурную жизнь своего посёлка?\nA. Невозможность путешествовать во времени\nB. Учил местных жителей читать и размышлять\nC. О технологических достижениях современных детских игр\nD. Организовывал литературные вечера\nE. Раздавал книги прохожим\nF. Строил библиотеку\nG. Способ сохранения истории\nH. Изобретение печатного станка\nI. Ритуалы древних цивилизаций\nJ. О важ��ости политического образования в детстве\nK. Священник\nL. Форма познания мира\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 134, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.024419112130999565, + "B": 0.629777193069458, + "C": 0.03135475888848305, + "D": 0.02154979109764099, + "E": 0.045620910823345184, + "F": 0.0276704803109169, + "G": 0.024419112130999565, + "H": 0.024419112130999565, + "I": 0.0009468317148275673, + "J": 0.045620910823345184, + "K": 0.003517906880006194, + "L": 0.000835576094686985 + }, + "sample": { + "question": "О чем в основном говорится в статье Евгения Богата «Не знаю…»?", + "answerA": "О важности политического образования в детстве", + "answerB": "О технологических достижениях современных детских игр", + "answerC": "О значении длительного детства для нравственного развития человека", + "answerD": "О методиках раннего обучения чтению и письму", + "correct_answer": "О значении длительного детства для нравственного развития человека", + "choices": [ + "Ритуалы древних цивилизаций", + "Форма познания мира", + "О технологических достижениях современных детских игр", + "О важности политического образования в детстве", + "О методиках раннего обучения чтению и письму", + "Способ сохранения истории", + "Невозможность путешествовать во времени", + "Изобретение печатного станка", + "Отсутствие интереса к научным достижениям", + "О значении длительного детства для нравственного развития человека", + "Священник", + "Своей семьей" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nО чем в основном говорится в статье Евгения Богата «Не знаю…»?\nA. Ритуалы древних цивилизаций\nB. Форма познания мира\nC. О технологических достижениях современных детских игр\nD. О важности политического образования в детстве\nE. О методиках раннего обучения чтению и письму\nF. Способ сохранения истории\nG. Невозможность путешествовать во времени\nH. Изобретение печатного станка\nI. Отсутствие интереса к научным достижениям\nJ. О значении длительного детства для нравственного развития человека\nK. Священник\nL. Своей семьей\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 134, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.07966070622205734, + "B": 0.0620398186147213, + "C": 0.04831666126847267, + "D": 0.10228637605905533, + "E": 0.07030032575130463, + "F": 0.11590564250946045, + "G": 0.054749954491853714, + "H": 0.07030032575130463, + "I": 0.11590564250946045, + "J": 0.14882579445838928, + "K": 0.033207524567842484, + "L": 0.010780904442071915 + }, + "sample": { + "question": "Какое явление описывается в тексте, связанном с Евгением Михайловичем Богатым и датируемым 1981 годом?", + "answerA": "Изобретение печатного станка", + "answerB": "Ритуалы древних цивилизаций", + "answerC": "Общение с книгой", + "answerD": "Развитие компьютерных технологий", + "correct_answer": "Общение с ��нигой", + "choices": [ + "Изобретение печатного станка", + "Священник", + "Ритуалы древних цивилизаций", + "Отсутствие интереса к научным достижениям", + "Развитие компьютерных технологий", + "Форма познания мира", + "Невозможность путешествовать во времени", + "Черные, как ночь, звезды", + "Мистер Вильяносуль", + "Общение с книгой", + "Способ сохранения истории", + "Своей семьей" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКакое явление описывается в тексте, связанном с Евгением Михайловичем Богатым и датируемым 1981 годом?\nA. Изобретение печатного станка\nB. Священник\nC. Ритуалы древних цивилизаций\nD. Отсутствие интереса к научным достижениям\nE. Развитие компьютерных технологий\nF. Форма познания мира\nG. Невозможность путешествовать во времени\nH. Черные, как ночь, звезды\nI. Мистер Вильяносуль\nJ. Общение с книгой\nK. Способ сохранения истории\nL. Своей семьей\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 136, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0017614001408219337, + "B": 0.0022616826463490725, + "C": 0.0003930215025320649, + "D": 0.003091353690251708, + "E": 0.006544395815581083, + "F": 0.0012886679032817483, + "G": 0.0019959278870373964, + "H": 0.9712744355201721, + "I": 0.0005371966981329024, + "J": 0.00032582628773525357, + "K": 0.00023837962362449616, + "L": 0.0017614001408219337 + }, + "sample": { + "question": "Что для Леонардо да Винчи означал рисунок?", + "answerA": "Способ сохранения истории", + "answerB": "Форма познания мира", + "answerC": "Просто хобби", + "answerD": "Метод обучения других", + "correct_answer": "B", + "choices": [ + "Черные, как ночь, звезды", + "Невозможность путешествовать во времени", + "Своей семьей", + "Отсутствие интереса к научным достижениям", + "Мистер Вильяносуль", + "Метод обучения других", + "Просто хобби", + "Форма познания мира", + "Своим волшебным даром", + "Способ сохранения истории", + "Сшила игрушку-мышку", + "Священник" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nЧто для Леонардо да Винчи означал рисунок?\nA. Черные, как ночь, звезды\nB. Невозможность путешествовать во времени\nC. Своей семьей\nD. Отсутствие интереса к научным достижениям\nE. Мистер Вильяносуль\nF. Метод обучения других\nG. Просто хобби\nH. Форма познания мира\nI. Своим волшебным даром\nJ. Способ сохранения истории\nK. Сшила игрушку-мышку\nL. Священник\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 115, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.037612803280353546, + "B": 0.2779231369495392, + "C": 0.35686036944389343, + "D": 0.09022843092679977, + "E": 0.025850879028439522, + "F": 0.02929288148880005, + "G": 0.09022843092679977, + "H": 0.010776249691843987, + "I": 0.000417840521549806, + "J": 0.004492208827286959, + "K": 0.004492208827286959, + "L": 0.00010564663534751162 + }, + "sample": { + "question": "Какая основная проблема обсуждается в повести 'Удивление'?", + "answerA": "Невозможность путешествовать во времени", + "answerB": "Отсутствие интереса к научным достижениям", + "answerC": "Жажда обладания и страсть к вещам", + "answerD": "Потеря способности к человеческому общению", + "correct_answer": "Жажда обладания и страсть к вещам", + "choices": [ + "Шейла отправилась в длительное путешествие.", + "Невозможность путешествовать во времени", + "Своим волшебным даром", + "Сшила игрушку-мышку", + "Мистер Вильяносуль", + "Были они смуглые и золотоглазые", + "Жажда обладания и страсть к вещам", + "Потеря способности к человеческому общению", + "Своей семьей", + "Священник", + "Черные, как ночь, звезды", + "Отсутствие интереса к научным достижениям" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКакая основная проблема обсуждается в повести 'Удивление'?\nA. Шейла отправилась в длительное путешествие.\nB. Невозможность путешествовать во времени\nC. Своим волшебным даром\nD. Сшила игрушку-мышку\nE. Мистер Вильяносуль\nF. Были они смуглые и золотоглазые\nG. Жажда обладания и страсть к вещам\nH. Потеря способности к человеческому общению\nI. Своей семьей\nJ. Священник\nK. Черные, как ночь, звезды\nL. Отсутствие интереса к научным достижениям\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 142, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.023969659581780434, + "B": 0.08366233855485916, + "C": 0.07383175194263458, + "D": 0.13793587684631348, + "E": 0.08366233855485916, + "F": 0.17711316049098969, + "G": 0.12172798067331314, + "H": 0.09480185061693192, + "I": 0.010636472143232822, + "J": 0.08366233855485916, + "K": 0.030777649953961372, + "L": 0.021153151988983154 + }, + "sample": { + "question": "Кто успокоил миссис Новарес в рассказе Брэдбери 'En la noche'?", + "answerA": "Священник", + "answerB": "Мистер Вильяносуль", + "answerC": "Полицейский", + "answerD": "Случайный прохожий", + "correct_answer": "Мистер Вильяносуль", + "choices": [ + "Были они смуглые и золотоглазые", + "Скроила и сшила пижаму", + "Сшила игрушку-мышку", + "Мистер Вильяносуль", + "Священник", + "Своим волшебным даром", + "Случайный прохожий", + "Своей семьей", + "Черные, как ночь, звезды", + "Он убегает с деньгами", + "Шейла отправилась в длительное путешествие.", + "Полицейский" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКто успокоил миссис Новарес в рассказе Брэдбери 'En la noche'?\nA. Были они смуглые и золотоглазые\nB. Скроила и сшила пижаму\nC. Сшила игрушку-мышку\nD. Мистер Вильяносуль\nE. Священник\nF. Своим волшебным даром\nG. Случайный прохожий\nH. Своей семьей\nI. Черные, как ночь, звезды\nJ. Он убегает с деньгами\nK. Шейла отправилась в длительное путешествие.\nL. Полицейский\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 142, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.10184343159198761, + "B": 0.022724339738488197, + "C": 0.10184343159198761, + "D": 0.07931574434041977, + "E": 0.06999589502811432, + "F": 0.020054161548614502, + "G": 0.042454659938812256, + "H": 0.0257500521838665, + "I": 0.3554685115814209, + "J": 0.054512862116098404, + "K": 0.0073775132186710835, + "L": 0.0027140353340655565 + }, + "sample": { + "question": "Чем готова пожертвовать Сеси, чтобы быть вместе с парнем?", + "answerA": "Своей семьей", + "answerB": "Своим волшебным даром", + "answerC": "Своей домашней кошкой", + "answerD": "Своей подругой Энн Лири", + "correct_answer": "B", + "choices": [ + "Томас и Шейла обнаружили, что они полностью обновились и стали другими людьми.", + "Зеленые холмы Африки", + "Своей подругой Энн Лири", + "Шейла отправилась в длительное путешествие.", + "Своей семьей", + "Были они смуглые и золотоглазые", + "Он убегает с деньгами", + "Черные, как ночь, звезды", + "Скроила и сшила пижаму", + "Своей домашней кошкой", + "Своим волшебным даром", + "Сшила игрушку-мышку" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nЧем готова пожертвовать Сеси, чтобы быть вместе с парнем?\nA. Томас и Шейла обнаружили, что они полностью обновились и стали другими людьми.\nB. Зеленые холмы Африки\nC. Своей подругой Энн Лири\nD. Шейла отправилась в длительное путешествие.\nE. Своей семьей\nF. Были они смуглые и золотоглазые\nG. Он убегает с деньгами\nH. Черные, как ночь, звезды\nI. Скроила и сшила пижаму\nJ. Своей домашней кошкой\nK. Своим волшебным даром\nL. Сшила игрушку-мышку\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 155, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.006606217008084059, + "B": 0.029607009142637253, + "C": 0.193061962723732, + "D": 0.06267803907394409, + "E": 0.026128096505999565, + "F": 0.03354913741350174, + "G": 0.17037658393383026, + "H": 0.023057961836457253, + "I": 0.002283047419041395, + "J": 0.012342037633061409, + "K": 0.3606872260570526, + "L": 0.0024302913807332516 + }, + "sample": { + "question": "Как называется рассказ Рэя Брэдбери о первой высадке на Марс?", + "answerA": "Черные, как ночь, звезды", + "answerB": "Были они смуглые и золотоглазые", + "answerC": "Марсианские хроники", + "answerD": "Зеленые холмы Земли", + "correct_answer": "B", + "choices": [ + "Он превращается в скелет", + "Зеленые холмы Земли", + "Шейла отправилась в длительное путешествие.", + "Сшила игрушку-мышку", + "Петр Семенович", + "Томас и Шейла обнаружили, что они полностью обновились и стали другими людьми.", + "Черные, как ночь, звезды", + "Скроила и сшила пижаму", + "Зеленые холмы Африки", + "Были они смуглые и золотоглазые", + "Марсианские хроники", + "Он убегает с деньгами" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКак называется рассказ Рэя Брэдбери о первой высадке на Марс?\nA. Он превращается в скелет\nB. Зеленые холмы Земли\nC. Шейла отправилась в длительное путешествие.\nD. Сшила игрушку-мышку\nE. Петр Семенович\nF. Томас и Шейла обнаружили, что они полностью обновились и стали другими людьми.\nG. Черные, как ночь, звезды\nH. Скроила и сшила пижаму\nI. Зеленые холмы Африки\nJ. Были они смуглые и золотоглазые\nK. Марсианские хроники\nL. Он убегает с деньгами\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 153, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0006596552557311952, + "B": 0.0015824309084564447, + "C": 0.001311881234869361, + "D": 0.01598198339343071, + "E": 0.006662281695753336, + "F": 0.0031470393296331167, + "G": 0.009693563915789127, + "H": 0.9288638234138489, + "I": 0.0016844887286424637, + "J": 0.0016844887286424637, + "K": 0.0007474873564206064, + "L": 0.014104051515460014 + }, + "sample": { + "question": "Что сделала Кэтрин для своего котёночка в рассказе 'Кошкина пижама' Рэя Брэдбери?", + "answerA": "Сшила игрушку-мышку", + "answerB": "Скроила и сшила пижаму", + "answerC": "Построила домик", + "answerD": "Купила новую миску", + "correct_answer": "B", + "choices": [ + "Петр Семенович", + "Зеленые холмы Африки", + "Он превращается в скелет", + "Чудесный костюм цвета сливочного мороженого", + "Построила домик", + "1920", + "Шейла отправилась в длительное путешествие.", + "Скроила и сшила пижаму", + "Томас и Шейла обнаружили, что они полностью обновились и стали другими людьми.", + "Он убегает с деньгами", + "Сшила игрушку-мышку", + "Купила новую миску" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nЧто сделала Кэтрин для своего котёночка в рассказе 'Кошкина пижама' Рэя Брэдбери?\nA. Петр Семенович\nB. Зеленые холмы Африки\nC. Он превращается в скелет\nD. Чудесный костюм цвета сливочного мороженого\nE. Построила домик\nF. 1920\nG. Шейла отправилась в длительное путешествие.\nH. Скроила и сшила пижаму\nI. Томас и Шейла обнаружили, что они полностью обновились и стали другими людьми.\nJ. Он убегает с деньгами\nK. Сшила игрушку-мышку\nL. Купила новую миску\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 159, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.030855683609843254, + "B": 0.1566980928182602, + "C": 0.7022721171379089, + "D": 0.05087242275476456, + "E": 0.007328867446631193, + "F": 0.005361913237720728, + "G": 0.00884030107408762, + "H": 0.0023793347645550966, + "I": 0.0002355860488023609, + "J": 0.0007256561075337231, + "K": 0.000565141555853188, + "L": 4.09387175750453e-05 + }, + "sample": { + "question": "Какое событие стало ключевым в рассказе 'По прошествии девяти лет' Рэя Брэдбери?", + "answerA": "Шейла отправилась в длительное путешествие.", + "answerB": "Томас и Шейла обнаружили, что они полностью обновились и стали другими людьми.", + "answerC": "Томас устроил романтический ужин, чтобы отпраздновать годовщину свадьбы.", + "answerD": "Шейла предложила развестись, чтобы начать жизнь с чистого листа.", + "correct_answer": "answerB", + "choices": [ + "Он убегает с деньгами", + "Он превращается в скелет", + "Томас и Шейла обнаружили, что они полностью обновились и стали другими людьми.", + "Чудесный костюм цвета сливочного мороженого", + "Михаил Алексеевич", + "Шейла предложила развестись, чтобы начать жизнь с чистого листа.", + "Зеленые холмы Африки", + "Томас устроил романтический ужин, чтобы отпраздновать годовщину свадьбы.", + "Шейла отправилась в длительное путешествие.", + "1905", + "1920", + "Петр Семенович" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКакое событие стало ключевым в рассказе 'По прошествии девяти лет' Рэя Брэдбери?\nA. Он убегает с деньгами\nB. Он превращается в скелет\nC. Томас и Шейла обнаружили, что они полностью обновились и стали другими людьми.\nD. Чудесный костюм цвета сливочного мороженого\nE. Михаил Алексеевич\nF. Шейла предложила развестись, чтобы начать жизнь с чистого листа.\nG. Зеленые холмы Африки\nH. Томас устроил романтический ужин, чтобы отпраздновать годовщину свадьбы.\nI. Шейла отправилась в длительное путешествие.\nJ. 1905\nK. 1920\nL. Петр Семенович\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 158, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.026054754853248596, + "B": 0.03790944442152977, + "C": 0.4075649678707123, + "D": 0.06250211596488953, + "E": 0.03345496952533722, + "F": 0.029523907229304314, + "G": 0.24720065295696259, + "H": 0.022993242368102074, + "I": 0.0033124908804893494, + "J": 0.006188546773046255, + "K": 0.022993242368102074, + "L": 0.0006943357875570655 + }, + "sample": { + "question": "Что происходит с мистером Куджером в конце рассказа \"Чёртово колесо\"?", + "answerA": "Он убегает с деньгами", + "answerB": "Он превращается в скелет", + "answerC": "Он отомстил мальчикам", + "answerD": "Он становится мэром города", + "correct_answer": "B", + "choices": [ + "1912", + "Михаил Алексеевич", + "Он отомстил мальчикам", + "Зеленые холмы Африки", + "Он становится мэром города", + "Он убегает с деньгами", + "Он превращается в скелет", + "1920", + "1923", + "Петр Семенович", + "Чудесный костюм цвета сливочного мороженого", + "1905" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nЧто происходит с мистером Куджером в конце рассказа \"Чёртово колесо\"?\nA. 1912\nB. Михаил Алексеевич\nC. Он отомстил мальчикам\nD. Зеленые холмы Африки\nE. Он становится мэром города\nF. Он убегает с деньгами\nG. Он превращается в скелет\nH. 1920\nI. 1923\nJ. Петр Семенович\nK. Чудесный костюм цвета сливочного мороженого\nL. 1905\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 134, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.1599043607711792, + "B": 0.021640701219439507, + "C": 0.024522127583622932, + "D": 0.03148703649640083, + "E": 0.04043015465140343, + "F": 0.007025707978755236, + "G": 0.009021186269819736, + "H": 0.009021186269819736, + "I": 0.6324340105056763, + "J": 0.021640701219439507, + "K": 0.0029287508223205805, + "L": 0.0008391010924242437 + }, + "sample": { + "question": "Как называется произведение Рэя Брэдбери, в котором один костюм смог изменить судьбы шести друзей?", + "answerA": "Зеленые холмы Африки", + "answerB": "Чудесный костюм цвета сливочного мороженого", + "answerC": "451° по Фаренгейту", + "answerD": "Марсианские хроники", + "correct_answer": "B", + "choices": [ + "1950", + "Михаил Алексеевич", + "1912", + "Марсианские хроники", + "Петр Семенович", + "1920", + "1895", + "451° по Фаренгейту", + "Чудесный костюм цвета сливочного мороженого", + "Зеленые холмы Африки", + "1923", + "1905" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКак называется произведение Рэя Брэдбери, в котором один костюм смог изменить судьбы шести друзей?\nA. 1950\nB. Михаил Алексеевич\nC. 1912\nD. Марсианские хроники\nE. Петр Семенович\nF. 1920\nG. 1895\nH. 451° по Фаренгейту\nI. Чудесный костюм цвета сливочного мороженого\nJ. Зеленые холмы Африки\nK. 1923\nL. 1905\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 135, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.02432936243712902, + "B": 0.040112338960170746, + "C": 0.2963923215866089, + "D": 0.07493971288204193, + "E": 0.03539901599287987, + "F": 0.051505256444215775, + "G": 0.15864738821983337, + "H": 0.03539901599287987, + "I": 0.01570821739733219, + "J": 0.020169749855995178, + "K": 0.040112338960170746, + "L": 0.003093131585046649 + }, + "sample": { + "question": "Как звали нового сторожа сада в имении из рассказа 'Божье дерево'?", + "answerA": "Петр Семенович", + "answerB": "Михаил Алексеевич", + "answerC": "Яков Демидыч Нечаев", + "answerD": "Владимир Иванович", + "correct_answer": "Яков Демидыч Нечаев", + "choices": [ + "1895", + "1920", + "Михаил Алексеевич", + "1923", + "1922", + "Петр Семенович", + "1905", + "1950", + "Потому что он всегда носил с собой кастрюлю", + "Владимир Иванович", + "Яков Демидыч Нечаев", + "1912" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКак звали нового сторожа сада в имении из рассказа 'Божье дерево'?\nA. 1895\nB. 1920\nC. Михаил Алексеевич\nD. 1923\nE. 1922\nF. Петр Семенович\nG. 1905\nH. 1950\nI. Потому что он всегда носил с собой кастрюлю\nJ. Владимир Иванович\nK. Яков Демидыч Нечаев\nL. 1912\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 128, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.05284199118614197, + "B": 0.09872184693813324, + "C": 0.3040846884250641, + "D": 0.07688464969396591, + "E": 0.04663290083408356, + "F": 0.04663290083408356, + "G": 0.18443669378757477, + "H": 0.04663290083408356, + "I": 0.005569505505263805, + "J": 0.010405206121504307, + "K": 0.0206932220607996, + "L": 0.0014990119962021708 + }, + "sample": { + "question": "В каком году происходят события рассказа 'В ночном море'?", + "answerA": "1920", + "answerB": "1923", + "answerC": "1900", + "answerD": "1917", + "correct_answer": "answerB", + "choices": [ + "Потому что он всегда носил с собой кастрюлю", + "1917", + "1922", + "1905", + "1900", + "1895", + "1903", + "Покупал землю", + "1920", + "1950", + "1923", + "1912" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nВ каком году происходят события рассказа 'В ночном море'?\nA. Потому что он всегда носил с собой кастрюлю\nB. 1917\nC. 1922\nD. 1905\nE. 1900\nF. 1895\nG. 1903\nH. Покупал землю\nI. 1920\nJ. 1950\nK. 1923\nL. 1912\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 129, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.03944716230034828, + "B": 0.33028703927993774, + "C": 0.13768413662910461, + "D": 0.37426427006721497, + "E": 0.016444023698568344, + "F": 0.011301801539957523, + "G": 0.018633520230650902, + "H": 0.008268574252724648, + "I": 0.0003011828230228275, + "J": 0.0056829024106264114, + "K": 0.005338592920452356, + "L": 0.0011190299410372972 + }, + "sample": { + "question": "В каком году Иван Бунин сделал запись о своих встречах с Толстым и Чеховым, ставшую основой для 'Воспоминаний'?", + "answerA": "1905", + "answerB": "1950", + "answerC": "1923", + "answerD": "1899", + "correct_answer": "B", + "choices": [ + "Потому что он всегда носил с собой кастрюлю", + "1903", + "1950", + "1923", + "1905", + "1912", + "1899", + "Покупал землю", + "Потому что он лучше всех умел готовить", + "Был больше замкнут и скрытен", + "1922", + "1895" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nВ каком году Иван Бунин сделал запись о своих встречах с Толстым и Чеховым, ставшую основой для 'Воспоминаний'?\nA. Потому что он всегда носил с собой кастрюлю\nB. 1903\nC. 1950\nD. 1923\nE. 1905\nF. 1912\nG. 1899\nH. Покупал землю\nI. Потому что он лучше всех умел готовить\nJ. Был больше замкнут и скрытен\nK. 1922\nL. 1895\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 146, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.23925940692424774, + "B": 0.022254589945077896, + "C": 0.06854896992444992, + "D": 0.08801862597465515, + "E": 0.07767615467309952, + "F": 0.025217754766345024, + "G": 0.16444042325019836, + "H": 0.06854896992444992, + "I": 0.03238023817539215, + "J": 0.05338599160313606, + "K": 0.06049425154924393, + "L": 0.0023456166964024305 + }, + "sample": { + "question": "В каком году был написан рассказ 'Далёкое' Ивана Бунина?", + "answerA": "1912", + "answerB": "1922", + "answerC": "1932", + "answerD": "1942", + "correct_answer": "B", + "choices": [ + "1932", + "Потому что он лучше всех умел готовить", + "Продавал лошадей", + "1942", + "1912", + "Покупал землю", + "1903", + "1895", + "Потому что он всегда носил с собой кастрюлю", + "Был больше замкнут и скрытен", + "1922", + "Антон Павлович Чехов" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nВ каком году был написан рассказ 'Далёкое' Ивана Бунина?\nA. 1932\nB. Потому что он лучше всех умел готовить\nC. Продавал лошадей\nD. 1942\nE. 1912\nF. Покупал землю\nG. 1903\nH. 1895\nI. Потому что он всегда носил с собой кастрюлю\nJ. Был больше замкнут и скрытен\nK. 1922\nL. Антон Павлович Чехов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 130, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.08232889324426651, + "B": 0.1057123914361, + "C": 0.08232889324426651, + "D": 0.253590852022171, + "E": 0.1057123914361, + "F": 0.06411781162023544, + "G": 0.08232889324426651, + "H": 0.056583769619464874, + "I": 0.008677401579916477, + "J": 0.030287109315395355, + "K": 0.01837006025016308, + "L": 0.0499349981546402 + }, + "sample": { + "question": "В каком году был опубликован рассказ Ивана Бунина 'Золотое дно'?", + "answerA": "1895", + "answerB": "1903", + "answerC": "1912", + "answerD": "1920", + "correct_answer": "B", + "choices": [ + "Покупал землю", + "1894", + "Имел особый талант к живописи", + "1912", + "1903", + "Антон Павлович Чехов", + "1920", + "Был больше замкнут и скрытен", + "Потому что он всегда носил с собой кастрюлю", + "Продавал лошадей", + "Потому что он лучше всех умел готовить", + "1895" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nВ каком году был опубликован рассказ Ивана Бунина 'Золотое дно'?\nA. Покупал землю\nB. 1894\nC. Имел особый талант к живописи\nD. 1912\nE. 1903\nF. Антон Павлович Чехов\nG. 1920\nH. Был больше замкнут и скрытен\nI. Потому что он всегда носил с собой кастрюлю\nJ. Продавал лошадей\nK. Потому что он лучше всех умел готовить\nL. 1895\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 130, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.062184128910303116, + "B": 0.01387515477836132, + "C": 0.010805981233716011, + "D": 0.025922201573848724, + "E": 0.04273848608136177, + "F": 0.022876262664794922, + "G": 0.017816051840782166, + "H": 0.013034502975642681, + "I": 0.6685423851013184, + "J": 0.0157226100564003, + "K": 0.0019989055581390858, + "L": 0.006157062482088804 + }, + "sample": { + "question": "Почему деда все в деревне звали Кастрюком?", + "answerA": "Потому что он всегда носил с собой кастрюлю", + "answerB": "Потому что он лучше всех умел готовить", + "answerC": "Потому что выпивший, он любил петь старинные весёлые прибаутки про Кастрюка", + "answerD": "Потому что его фамилия была Кастрюк", + "correct_answer": "Потому что выпивший, он любил петь старинные весёлые прибаутки про Кастрюка", + "choices": [ + "Потому что он всегда носил с собой кастрюлю", + "Был больше замкнут и скрытен", + "Потому что он лучше всех умел готовить", + "Потому что его фамилия была Кастрюк", + "Имел особый талант к живописи", + "Иван Алексеевич Бунин", + "1890", + "1894", + "Потому что выпивший, он любил петь старинные весёлые прибаутки про Кастрюка", + "Продавал лошадей", + "Покупал землю", + "Антон Павлович Чехов" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nПочему деда все в деревне звали Кастрюком?\nA. Потому что он всегда носил с собой кастрюлю\nB. Был больше замкнут и скрытен\nC. Потому что он лучше всех умел готовить\nD. Потому что его фамилия была Кастрюк\nE. Имел особый талант к живописи\nF. Иван Алексеевич Бунин\nG. 1890\nH. 1894\nI. Потому что выпивший, он любил петь старинные весёлые прибаутки про Кастрюка\nJ. Продавал лошадей\nK. Покупал землю\nL. Антон Павлович Чехов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 143, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0532502643764019, + "B": 0.07747868448495865, + "C": 0.21060886979103088, + "D": 0.09948459267616272, + "E": 0.06837469339370728, + "F": 0.0532502643764019, + "G": 0.11273081600666046, + "H": 0.09948459267616272, + "I": 0.019589675590395927, + "J": 0.02850281074643135, + "K": 0.019589675590395927, + "L": 0.01624041236937046 + }, + "sample": { + "question": "Чем занимался Лукьян Степанов при своем визите к помещице Никулиной?", + "answerA": "Покупал землю", + "answerB": "Продавал лошадей", + "answerC": "Похвастался своими деньгами", + "answerD": "Приглашал хозяйку на свадьбу", + "correct_answer": "Похвастался своими деньгами", + "choices": [ + "1894", + "Приглашал хозяйку на свадьбу", + "Был больше замкнут и скрытен", + "Антон Павлович Чехов", + "Имел особый талант к живописи", + "Продавал лошадей", + "1912", + "1901", + "Иван Алексеевич Бунин", + "1890", + "Похвастался своими деньгами", + "Покупал землю" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nЧем занимался Лукьян Степанов при своем визите к помещице Никулиной?\nA. 1894\nB. Приглашал хозяйку на свадьбу\nC. Был больше замкнут и скрытен\nD. Антон Павлович Чехов\nE. Имел особый талант к живописи\nF. Продавал лошадей\nG. 1912\nH. 1901\nI. Иван Алексеевич Бунин\nJ. 1890\nK. Похвастался своими деньгами\nL. Покупал землю\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 128, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.056860387325286865, + "B": 0.01845986768603325, + "C": 0.3272089660167694, + "D": 0.050179123878479004, + "E": 0.12037346512079239, + "F": 0.03448757156729698, + "G": 0.12037346512079239, + "H": 0.056860387325286865, + "I": 0.10622920095920563, + "J": 0.008719823323190212, + "K": 0.006379559636116028, + "L": 0.0009190627024509013 + }, + "sample": { + "question": "Как отличался лирник Родион от других слепцов в рассказе Бунина 'Лирник Родион'?", + "answerA": "Был больше замкнут и скрытен", + "answerB": "Имел особый талант к живописи", + "answerC": "Был простым, открытым и лёгким", + "answerD": "Никак не отличался, был типичным слепцом", + "correct_answer": "Был простым, открытым и лёгким", + "choices": [ + "Иван Алексеевич Бунин", + "1892", + "Был больше замкнут и скрытен", + "1894", + "1901", + "Рыбак", + "Никак не отличался, был типичным слепцом", + "Антон Павлович Чехов", + "Был простым, открытым и лёгким", + "1912", + "Имел особый талант к живописи", + "1890" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\n��ак отличался лирник Родион от других слепцов в рассказе Бунина 'Лирник Родион'?\nA. Иван Алексеевич Бунин\nB. 1892\nC. Был больше замкнут и скрытен\nD. 1894\nE. 1901\nF. Рыбак\nG. Никак не отличался, был типичным слепцом\nH. Антон Павлович Чехов\nI. Был простым, открытым и лёгким\nJ. 1912\nK. Имел особый талант к живописи\nL. 1890\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 138, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.11506401002407074, + "B": 0.21496786177158356, + "C": 0.11506401002407074, + "D": 0.03735581412911415, + "E": 0.0615893229842186, + "F": 0.03735581412911415, + "G": 0.24359050393104553, + "H": 0.012909824028611183, + "I": 0.0012782457051798701, + "J": 0.007355795707553625, + "K": 0.0023880773223936558, + "L": 0.002243391005322337 + }, + "sample": { + "question": "Кто является автором рассказа «Маленький роман»?", + "answerA": "Антон Павлович Чехов", + "answerB": "Иван Алексеевич Бунин", + "answerC": "Лев Николаевич Толстой", + "answerD": "Федор Михайлович Достоевский", + "correct_answer": "Иван Алексеевич Бунин", + "choices": [ + "1892", + "Федор Михайлович Достоевский", + "1912", + "Лев Николаевич Толстой", + "Рыбак", + "1910", + "Антон Павлович Чехов", + "1923", + "Иван Алексеевич Бунин", + "1890", + "1894", + "1901" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКто является автором рассказа «Маленький роман»?\nA. 1892\nB. Федор Михайлович Достоевский\nC. 1912\nD. Лев Николаевич Толстой\nE. Рыбак\nF. 1910\nG. Антон Павлович Чехов\nH. 1923\nI. Иван Алексеевич Бунин\nJ. 1890\nK. 1894\nL. 1901\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 113, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.02745802327990532, + "B": 0.10859858989715576, + "C": 0.08457667380571365, + "D": 0.2299032062292099, + "E": 0.10859858989715576, + "F": 0.08457667380571365, + "G": 0.058128632605075836, + "H": 0.04527062177658081, + "I": 0.012970251962542534, + "J": 0.13944335281848907, + "K": 0.024231618270277977, + "L": 0.005079223308712244 + }, + "sample": { + "question": "В каком году был написан рассказ 'На хуторе' Ивана Бунина?", + "answerA": "1890", + "answerB": "1892", + "answerC": "1894", + "answerD": "1901", + "correct_answer": "answerB", + "choices": [ + "1890", + "1906", + "1901", + "1912", + "Будила", + "Директор цирка", + "Рыбак", + "1910", + "Розали и Матильда", + "1923", + "1892", + "1894" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nВ каком году был написан рассказ 'На хуторе' Ивана Бунина?\nA. 1890\nB. 1906\nC. 1901\nD. 1912\nE. Будила\nF. Директор цирка\nG. Рыбак\nH. 1910\nI. Розали и Матильда\nJ. 1923\nK. 1892\nL. 1894\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 122, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.10561402887105942, + "B": 0.08225228637456894, + "C": 0.15366749465465546, + "D": 0.07258739322423935, + "E": 0.19731298089027405, + "F": 0.038853224366903305, + "G": 0.08225228637456894, + "H": 0.04988853260874748, + "I": 0.04402647539973259, + "J": 0.04402647539973259, + "K": 0.011131636798381805, + "L": 0.0029960391111671925 + }, + "sample": { + "question": "В каком году был написан рассказ 'Огнь пожирающий' Ивана Бунина?", + "answerA": "1912", + "answerB": "1923", + "answerC": "1934", + "answerD": "1945", + "correct_answer": "B", + "choices": [ + "Рыбак", + "1910", + "1906", + "Гимназиста Колю", + "1912", + "Будила", + "Том и Мэри Энн", + "1945", + "1934", + "Директор цирка", + "1923", + "Розали и Матильда" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nВ каком году был написан рассказ 'Огнь пожирающий' Ивана Бунина?\nA. Рыбак\nB. 1910\nC. 1906\nD. Гимназиста Колю\nE. 1912\nF. Будила\nG. Том и Мэри Энн\nH. 1945\nI. 1934\nJ. Директор цирка\nK. 1923\nL. Розали и Матильда\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 123, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.1476896107196808, + "B": 0.3126588761806488, + "C": 0.1673542559146881, + "D": 0.07905254513025284, + "E": 0.032954003661870956, + "F": 0.02264893427491188, + "G": 0.04231378063559532, + "H": 0.032954003661870956, + "I": 0.004189631436020136, + "J": 0.032954003661870956, + "K": 0.01290497463196516, + "L": 0.0032628884073346853 + }, + "sample": { + "question": "Кто из персонажей повести 'Сотников' первым раскрыл свою сущность при допросе, дав понять, что не будет сотрудничать с врагом?", + "answerA": "Рыбак", + "answerB": "Будила", + "answerC": "Портнов", + "answerD": "Сотников", + "correct_answer": "Сотников", + "choices": [ + "1906", + "Сотников", + "Сторож цирка", + "Том и Мэри Энн", + "1910", + "Директор цирка", + "Рыбак", + "Будила", + "Розали и Матильда", + "Гимназиста Колю", + "Её украл полицейский.", + "Портнов" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКто из персонажей повести 'Сотников' первым раскрыл свою сущность при допросе, дав понять, что не будет сотрудничать с врагом?\nA. 1906\nB. Сотников\nC. Сторож цирка\nD. Том и Мэри Энн\nE. 1910\nF. Директор цирка\nG. Рыбак\nH. Будила\nI. Розали и Матильда\nJ. Гимназиста Колю\nK. Её украл полицейский.\nL. Портнов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 125, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.025067802518606186, + "B": 0.03218769654631615, + "C": 0.5035002827644348, + "D": 0.046832822263240814, + "E": 0.03647344186902046, + "F": 0.03647344186902046, + "G": 0.14425525069236755, + "H": 0.02840554527938366, + "I": 0.0052544972859323025, + "J": 0.007645247969776392, + "K": 0.014283204451203346, + "L": 0.0002784781390801072 + }, + "sample": { + "question": "В каком году было написано стихотворение «Незнакомка» Александра Блока?", + "answerA": "1910", + "answerB": "1906", + "answerC": "1912", + "answerD": "1904", + "correct_answer": "answerB", + "choices": [ + "Гимназиста Колю", + "Её украл полицейский.", + "1910", + "Сторож цирка", + "Директор цирка", + "Розали и Матильда", + "1904", + "Гавриил Олексин", + "Циркового артиста", + "1906", + "1912", + "Том и Мэри Энн" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nВ каком году было написано стихотворение «Незнакомка» Александра Блока?\nA. Гимназиста Колю\nB. Её украл полицейский.\nC. 1910\nD. Сторож цирка\nE. Директор цирка\nF. Розали и Матильда\nG. 1904\nH. Гавриил Олексин\nI. Циркового артиста\nJ. 1906\nK. 1912\nL. Том и Мэри Энн\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 126, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.10112161934375763, + "B": 0.147131085395813, + "C": 0.3529491126537323, + "D": 0.06133335456252098, + "E": 0.03720056265592575, + "F": 0.03282938152551651, + "G": 0.06949979811906815, + "H": 0.03720056265592575, + "I": 0.003920910879969597, + "J": 0.014567950740456581, + "K": 0.0060728248208761215, + "L": 0.0006400710553862154 + }, + "sample": { + "question": "Как звали детей первой семьи, в которой работала Агнес Грей в качестве гувернантки?", + "answerA": "Розали и Матильда", + "answerB": "Том и Мэри Энн", + "answerC": "Джон и Чарльз", + "answerD": "Элизабет и Эдвард", + "correct_answer": "B", + "choices": [ + "Циркового артиста", + "Были и небыли. Первая кровь", + "Розали и Матильда", + "Её украл полицейский.", + "Сторож цирка", + "Она была потеряна навсегда после революции.", + "Директор цирка", + "Гимназиста Колю", + "Том и Мэри Энн", + "Элизабет и Эдвард", + "Гавриил Олексин", + "Джон и Чарльз" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКак звали детей первой семьи, в которой работала Агнес Грей в качестве гувернантки?\nA. Циркового артиста\nB. Были и небыли. Первая кровь\nC. Розали и Матильда\nD. Её украл полицейский.\nE. Сторож цирка\nF. Она была потеряна навсегда после революции.\nG. Директор цирка\nH. Гимназиста Колю\nI. Том и Мэри Энн\nJ. Элизабет и Эдвард\nK. Гавриил Олексин\nL. Джон и Чарльз\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 131, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.22571542859077454, + "B": 0.08303607255220413, + "C": 0.07327906787395477, + "D": 0.15513178706169128, + "E": 0.09409218281507492, + "F": 0.03461458161473274, + "G": 0.039223454892635345, + "H": 0.039223454892635345, + "I": 0.01852785050868988, + "J": 0.026957863941788673, + "K": 0.016350770369172096, + "L": 0.0032196573447436094 + }, + "sample": { + "question": "Кто из персонажей фильма «Артёмка в цирке» научил Артёмку истинам жизни и дружбе?", + "answerA": "Директор цирка", + "answerB": "Сторож цирка", + "answerC": "Борец Пепс", + "answerD": "Циркачка Ляся", + "correct_answer": "C", + "choices": [ + "Гимназиста Колю", + "Директор цирка", + "Сторож цирка", + "Были и небыли. Первая кровь", + "Гавриил Олексин", + "Она была потеряна навсегда после революции.", + "Непобедимость духа перед болезнью", + "Василий Олексин", + "Борец Пепс", + "Циркачка Ляся", + "Её украл полицейский.", + "Циркового артиста" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКто из персонажей фильма «Артёмка в цирке» научил Артёмку истинам жизни и дружбе?\nA. Гимназиста Колю\nB. Директор цирка\nC. Сторож цирка\nD. Были и небыли. Первая кровь\nE. Гавриил Олексин\nF. Она была потеряна навсегда после революции.\nG. Непобедимость духа перед болезнью\nH. Василий Олексин\nI. Борец Пепс\nJ. Циркачка Ляся\nK. Её украл полицейский.\nL. Циркового артиста\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 140, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0824386328458786, + "B": 0.10585329681634903, + "C": 0.0824386328458786, + "D": 0.17452257871627808, + "E": 0.06420327723026276, + "F": 0.05665918439626694, + "G": 0.05665918439626694, + "H": 0.05000155791640282, + "I": 0.05665918439626694, + "J": 0.09341520816087723, + "K": 0.028490029275417328, + "L": 0.01187641080468893 + }, + "sample": { + "question": "Кого Артёмка Загоруйко встретил и с кем подружился, когда тот пришёл к нему починить обувь?", + "answerA": "Гимназиста Колю", + "answerB": "Циркового артиста", + "answerC": "Человека по фамилии Попов", + "answerD": "Начальника полиции", + "correct_answer": "Человека по фамилии Попов", + "choices": [ + "Искал работу в степи", + "Были и небыли. Первая кровь", + "Непобедимость духа перед болезнью", + "Человека по фамилии Попов", + "Начальника полиции", + "Её украл полицейский.", + "Циркового артиста", + "Она была потеряна навсегда после революции.", + "Гимназиста Колю", + "Гавриил Олексин", + "Были и небыли. Переправа", + "Василий Олексин" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКого Артёмка Загоруйко встретил и с кем подружился, когда тот пришёл к нему починить обувь?\nA. Искал работу в степи\nB. Были и небыли. Первая кровь\nC. Непобедимость духа перед болезнью\nD. Человека по фамилии Попов\nE. Начальника полиции\nF. Её украл полицейский.\nG. Циркового артиста\nH. Она была потеряна навсегда после революции.\nI. Гимназиста Колю\nJ. Гавриил Олексин\nK. Были и небыли. Переправа\nL. Василий Олексин\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 152, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.045369286090135574, + "B": 0.05825531855225563, + "C": 0.01669042743742466, + "D": 0.04829535633325577, + "E": 0.1397472470998764, + "F": 0.042620498687028885, + "G": 0.05825531855225563, + "H": 0.4877657890319824, + "I": 0.012998518534004688, + "J": 0.021430933848023415, + "K": 0.006957605481147766, + "L": 0.02585064060986042 + }, + "sample": { + "question": "Что случилось с волшебной шкатулкой в конце рассказа 'Волшебная шкатулка'?", + "answerA": "Её украл полицейский.", + "answerB": "Она была потеряна навсегда после революции.", + "answerC": "Её удалось починить и она заработала.", + "answerD": "Её закопали, чтобы полицейский не нашел.", + "correct_answer": "answerB", + "choices": [ + "Были и небыли. Первая кровь", + "Непобедимость духа перед болезнью", + "Гавриил Олексин", + "Жажду к познанию нового", + "Её украл полицейский.", + "Она была потеряна навсегда после революции.", + "Искал работу в степи", + "Её удалось починить и она заработала.", + "Её закопали, чтобы полицейский не нашел.", + "1895", + "Василий Олексин", + "Были и небыли. Переправа" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nЧто случилось с волшебной шкатулкой в конце рассказа 'Волшебная шкатулка'?\nA. Были и небыли. Первая кровь\nB. Непобедимость духа перед болезнью\nC. Гавриил Олексин\nD. Жажду к познанию нового\nE. Её украл полицейский.\nF. Она была потеряна навсегда после революции.\nG. Искал работу в степи\nH. Её удалось починить и она заработала.\nI. Её закопали, чтобы полицейский не нашел.\nJ. 1895\nK. Василий Олексин\nL. Были и небыли. Переправа\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 153, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.06345639377832413, + "B": 0.17249234020709991, + "C": 0.0923284962773323, + "D": 0.08147961646318436, + "E": 0.10462189465761185, + "F": 0.08147961646318436, + "G": 0.07190550118684769, + "H": 0.1343371719121933, + "I": 0.00973135232925415, + "J": 0.02334429882466793, + "K": 0.02484987862408161, + "L": 0.019353102892637253 + }, + "sample": { + "question": "Кто из членов семьи Олексиных посвящает свою жизнь народовольческому движению?", + "answerA": "Гавриил Олексин", + "answerB": "Василий Олексин", + "answerC": "Фёдор Олексин", + "answerD": "Иван Олексин", + "correct_answer": "B", + "choices": [ + "Искал работу в степи", + "Иван Олексин", + "Были и небыли. Переправа", + "Обманывал людей, продавая им \"святой припас\"", + "Были и небыли. Первая кровь", + "Гавриил Олексин", + "1895", + "Фёдор Олексин", + "Непобедимость духа перед болезнью", + "Жажду к познанию нового", + "Василий Олексин", + "1895" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКто из членов семьи Олексиных посвящает свою жизнь народовольческому движению?\nA. Искал работу в степи\nB. Иван Олексин\nC. Были и небыли. Переправа\nD. Обманывал людей, продавая им \"святой припас\"\nE. Были и небыли. Первая кровь\nF. Гавриил Олексин\nG. 1895\nH. Фёдор Олексин\nI. Непобедимость духа перед болезнью\nJ. Жажду к познанию нового\nK. Василий Олексин\nL. 1895\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 148, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.11519984900951385, + "B": 0.03739991784095764, + "C": 0.054416555911302567, + "D": 0.11519984900951385, + "E": 0.11519984900951385, + "F": 0.08971773833036423, + "G": 0.16761478781700134, + "H": 0.2438780814409256, + "I": 0.0061053684912621975, + "J": 0.003703092923387885, + "K": 0.0032679683063179255, + "L": 0.0032679683063179255 + }, + "sample": { + "question": "Как называется вторая книга серии, описывающая участие русской армии в войне с Турцией за свободу Болгарии?", + "answerA": "Были и небыли. Первая кровь", + "answerB": "Были и небыли. Переправа", + "answerC": "Были и небыли. Великое возвращение", + "answerD": "Были и небыли. Окончание борьбы", + "correct_answer": "answerB", + "choices": [ + "Были и небыли. Великое возвращение", + "Стать учителем", + "Были и небыли. Первая кровь", + "Были и небыли. Переправа", + "Искал работу в степи", + "Жажду к познанию нового", + "Обманывал людей, продавая им \"святой припас\"", + "Были и небыли. Окончание борьбы", + "1895", + "Непобедимость духа перед болезнью", + "1885", + "1895" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКак называется вторая книга серии, описывающая участие русской армии в войне с Турцией за свободу Болгарии?\nA. Были и небыли. Великое возвращение\nB. Стать учителем\nC. Были и небыли. Первая кровь\nD. Были и небыли. Переправа\nE. Искал работу в степи\nF. Жажду к познанию нового\nG. Обманывал людей, продавая им \"святой припас\"\nH. Были и небыли. Окончание борьбы\nI. 1895\nJ. Непобедимость духа перед болезнью\nK. 1885\nL. 1895\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 158, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0032847027759999037, + "B": 0.005764832720160484, + "C": 0.9694957733154297, + "D": 0.0021207635290920734, + "E": 0.001369267818517983, + "F": 0.0005037254886701703, + "G": 0.0007329162326641381, + "H": 0.00023794308071956038, + "I": 4.685376916313544e-05, + "J": 2.8418246074579656e-05, + "K": 4.685376916313544e-05, + "L": 5.5958844313863665e-06 + }, + "sample": { + "question": "Что символизирует слово 'Euthymia' в контексте фильма 'Euthymia'?", + "answerA": "Непобедимость духа перед болезнью", + "answerB": "Жажду к познанию нового", + "answerC": "Хорошее расположение духа", + "answerD": "Стремление к карьерному росту", + "correct_answer": "Хорошее расположение духа", + "choices": [ + "Дмитрий", + "Стремление к карьерному росту", + "Хорошее расположение духа", + "Обманывал людей, продавая им \"святой припас\"", + "Стать учителем", + "1900", + "1895", + "1885", + "1895", + "Искал работу в степи", + "Жажду к познанию нового", + "Непобедимость духа перед болезнью" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nЧто символизирует слово 'Euthymia' в контексте фильма 'Euthymia'?\nA. Дмитрий\nB. Стремление к карьерному росту\nC. Хорошее расположение духа\nD. Обманывал людей, продавая им \"святой припас\"\nE. Стать учителем\nF. 1900\nG. 1895\nH. 1885\nI. 1895\nJ. Искал работу в степи\nK. Жажду к познанию нового\nL. Непобедимость духа перед болезнью\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 136, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.26782119274139404, + "B": 0.1433543711900711, + "C": 0.06771580874919891, + "D": 0.02491125278174877, + "E": 0.11164448410272598, + "F": 0.11164448410272598, + "G": 0.08694881200790405, + "H": 0.0597589910030365, + "I": 0.01712123677134514, + "J": 0.03624565899372101, + "K": 0.004608118440955877, + "L": 0.0015925230691209435 + }, + "sample": { + "question": "Чем занимался странник, встретившийся с косарем в рассказе Викентия Вересаева \"В степи\"?", + "answerA": "Искал работу в степи", + "answerB": "Обманывал людей, продавая им \"святой припас\"", + "answerC": "Помогал людям, находясь в миссионерской службе", + "answerD": "Учил косаря косить без усилий", + "correct_answer": "B", + "choices": [ + "Учил косаря косить без усилий", + "Помогал людям, находясь в миссионерской службе", + "Живу хорошо и учусь много.", + "1895", + "1885", + "1895", + "Искал работу в степи", + "1900", + "Дмитрий", + "Работать кассиршей на товарной станции железной дороги", + "Стать учителем", + "Обманывал людей, продавая им \"святой припас\"" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nЧем занимался странник, встретившийся с косарем в рассказе Викентия Вересаева \"В степи\"?\nA. Учил косаря косить без усилий\nB. Помогал людям, находясь в миссионерской службе\nC. Живу хорошо и учусь много.\nD. 1895\nE. 1885\nF. 1895\nG. Искал работу в степи\nH. 1900\nI. Дмитрий\nJ. Работать кассиршей на товарной станции железной дороги\nK. Стать учителем\nL. Обманывал людей, продавая им \"святой припас\"\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 156, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.08808921277523041, + "B": 0.3947884440422058, + "C": 0.21131503582000732, + "D": 0.099818155169487, + "E": 0.03240621089935303, + "F": 0.03672104701399803, + "G": 0.03672104701399803, + "H": 0.025237981230020523, + "I": 0.0006725694984197617, + "J": 0.006381161045283079, + "K": 0.004119987599551678, + "L": 0.0009785827714949846 + }, + "sample": { + "question": "В каком году был написан рассказ Вересаева Викентия Викентьевича 'За права'?", + "answerA": "1895", + "answerB": "1885", + "answerC": "1905", + "answerD": "1875", + "correct_answer": "answerB", + "choices": [ + "Зарплата с работы", + "1905", + "1895", + "1885", + "Живу хорошо и учусь много.", + "Дмитрий", + "Работать кассиршей на товарной станции железной дороги", + "Игнат", + "1900", + "Стать учителем", + "Живу нормально, но скучно.", + "1875" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nВ каком году был написан рассказ Вересаева Викентия Викентьевича 'За права'?\nA. Зарплата с работы\nB. 1905\nC. 1895\nD. 1885\nE. Живу хорошо и учусь много.\nF. Дмитрий\nG. Работать кассиршей на товарной станции железной дороги\nH. Игнат\nI. 1900\nJ. Стать учителем\nK. Живу нормально, но скучно.\nL. 1875\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 133, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.1079135537147522, + "B": 0.2016090452671051, + "C": 0.2016090452671051, + "D": 0.1079135537147522, + "E": 0.12228206545114517, + "F": 0.04498505964875221, + "G": 0.05776195973157883, + "H": 0.027284815907478333, + "I": 0.007817231118679047, + "J": 0.03503439575433731, + "K": 0.007343608886003494, + "L": 0.0011261790059506893 + }, + "sample": { + "question": "В каком году был написан рассказ \"Загадка\" Викентия Вересаева, описывающий впечатления от неожиданной музыки?", + "answerA": "1895", + "answerB": "1900", + "answerC": "1897", + "answerD": "1892", + "correct_answer": "C", + "choices": [ + "1900", + "1897", + "Работать кассиршей на товарной станции железной дороги", + "Игнат", + "1895", + "Зарплата с работы", + "1892", + "Пища богатая углеводами", + "Дмитрий", + "Живу нормально, но скучно.", + "Живу хорошо и учусь много.", + "Стать учителем" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nВ каком году был написан рассказ \"Загадка\" Викентия Вересаева, описывающий впечатления от неожиданной музыки?\nA. 1900\nB. 1897\nC. Работать кассиршей на товарной станции железной дороги\nD. Игнат\nE. 1895\nF. Зарплата с работы\nG. 1892\nH. Пища богатая углеводами\nI. Дмитрий\nJ. Живу нормально, но скучно.\nK. Живу хорошо и учусь много.\nL. Стать учителем\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 140, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.08638688176870346, + "B": 0.0672781765460968, + "C": 0.20723137259483337, + "D": 0.0672781765460968, + "E": 0.0672781765460968, + "F": 0.052396293729543686, + "G": 0.08638688176870346, + "H": 0.059372782707214355, + "I": 0.052396293729543686, + "J": 0.059372782707214355, + "K": 0.029854509979486465, + "L": 0.0043009496293962 + }, + "sample": { + "question": "Чем пришлось заниматься Вале после возвращения к родителям в повести 'Миллионерша и дочь'?", + "answerA": "Стать учителем", + "answerB": "Работать кассиршей на товарной станции железной дороги", + "answerC": "Открыть собственный магазин", + "answerD": "Заниматься домашним хозяйством", + "correct_answer": "Работать кассиршей на товарной станции железной дороги", + "choices": [ + "Открыть собственный магазин", + "Игнат", + "Живу нормально, но скучно.", + "Стать учителем", + "Работать кассиршей на товарной станции железной дороги", + "Бог соединил", + "Заниматься домашним хозяйством", + "Пища богатая углеводами", + "Зарплата с работы", + "Живу хорошо и учусь много.", + "Пенсия за жандармского генерала", + "Дмитрий" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nЧем пришлось заниматься Вале после возвращения к родителям в повести 'Миллионерша и дочь'?\nA. Открыть собственный магазин\nB. Игнат\nC. Живу нормально, но скучно.\nD. Стать учителем\nE. Работать кассиршей на товарной станции железной дороги\nF. Бог соединил\nG. Заниматься домашним хозяйством\nH. Пища богатая углеводами\nI. Зарплата с работы\nJ. Живу хорошо и учусь много.\nK. Пенсия за жандармского генерала\nL. Дмитрий\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 131, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.009832853451371193, + "B": 0.014306717552244663, + "C": 0.6475715041160583, + "D": 0.017257194966077805, + "E": 0.014306717552244663, + "F": 0.017257194966077805, + "G": 0.07734138518571854, + "H": 0.028452305123209953, + "I": 0.0009735843050293624, + "J": 0.00040585032547824085, + "K": 0.0009735843050293624, + "L": 9.639790368964896e-05 + }, + "sample": { + "question": "Как звали хитровскую сутенёра, в которую влюбилась Татьяна, убийца старика?", + "answerA": "Дмитрий", + "answerB": "Игнат", + "answerC": "Александр", + "answerD": "Василий", + "correct_answer": "Игнат", + "choices": [ + "Живу нормально, но скучно.", + "Пища богатая углеводами", + "Прасковья Семёновна Ивановская", + "Увеличить физическую активность", + "Зарплата с работы", + "Александр", + "Василий", + "Бог соединил", + "Игнат", + "Пенсия за жандармского генерала", + "Живу хорошо и учусь много.", + "Дмитрий" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКак звали хитровскую сутенёра, в которую влюбилась Татьяна, убийца старика?\nA. Живу нормально, но скучно.\nB. Пища богатая углеводами\nC. Прасковья Семёновна Ивановская\nD. Увеличить физическую активность\nE. Зарплата с работы\nF. Александр\nG. Василий\nH. Бог соединил\nI. Игнат\nJ. Пенсия за жандармского генерала\nK. Живу хорошо и учусь много.\nL. Дмитрий\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 126, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.01770748384296894, + "B": 0.27699166536331177, + "C": 0.01770748384296894, + "D": 0.04813392832875252, + "E": 0.11546729505062103, + "F": 0.14826294779777527, + "G": 0.05454288795590401, + "H": 0.033081937581300735, + "I": 0.014680019579827785, + "J": 0.16800393164157867, + "K": 0.014680019579827785, + "L": 0.012955072335898876 + }, + "sample": { + "question": "Что мальчик Юра сказал о своей жизни?", + "answerA": "Живу хорошо и учусь много.", + "answerB": "Живу нормально, но скучно.", + "answerC": "Плохо. Очень много балуюсь.", + "answerD": "Отлично! Каждый день что-то новое.", + "correct_answer": "Плохо. Очень много балуюсь.", + "choices": [ + "Живу нормально, но скучно.", + "Живу хорошо и учусь много.", + "Великодушный", + "Плохо. Очень много балуюсь.", + "Прасковья Семёновна Ивановская", + "Он был награжден за мужество и решимость", + "Зарплата с работы", + "Бог соединил", + "Пища богатая углеводами", + "Отлично! Каждый день что-то новое.", + "Пенсия за жандармского генерала", + "Увеличить физическую активность" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nЧто мальчик Юра сказал о своей жизни?\nA. Живу нормально, но скучно.\nB. Живу хорошо и учусь много.\nC. Великодушный\nD. Плохо. Очень много балуюсь.\nE. Прасковья Семёновна Ивановская\nF. Он был награжден за мужество и решимость\nG. Зарплата с работы\nH. Бог соединил\nI. Пища богатая углеводами\nJ. Отлично! Каждый день что-то новое.\nK. Пенсия за жандармского генерала\nL. Увеличить физическую активность\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 138, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.009525206871330738, + "B": 0.31543153524398804, + "C": 0.010139530524611473, + "D": 0.0332462377846241, + "E": 0.048372991383075714, + "F": 0.19131888449192047, + "G": 0.020164862275123596, + "H": 0.03767292574048042, + "I": 0.007896673865616322, + "J": 0.14899930357933044, + "K": 0.01779543049633503, + "L": 0.079753577709198 + }, + "sample": { + "question": "Что главный источник доходов Анны Владимировны?", + "answerA": "Зарплата с работы", + "answerB": "Пенсия за жандармского генерала", + "answerC": "Доходы от аренды недвижимости", + "answerD": "Всевозможные пособия", + "correct_answer": "answerD", + "choices": [ + "Увеличить физическую активность", + "Доходы от аренды недвижимости", + "Посещать литературные вечера", + "Кэте Кольвиц", + "Он был награжден за мужество и решимость", + "Пенсия за жандармского генерала", + "Великодушный", + "Прасковья Семёновна Ивановская", + "Пища богатая углеводами", + "Зарплата с работы", + "Бог соединил", + "Всевозможные пособия" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nЧто главный источник доходов Анны Владимировны?\nA. Увеличить физическую активность\nB. Доходы от аренды недвижимости\nC. Посещать литературные вечера\nD. Кэте Кольвиц\nE. Он был награжден за мужество и решимость\nF. Пенсия за жандармского генерала\nG. Великодушный\nH. Прасковья Семёновна Ивановская\nI. Пища богатая углеводами\nJ. Зарплата с работы\nK. Бог соединил\nL. Всевозможные пособия\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 128, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.16172394156455994, + "B": 0.0980905294418335, + "C": 0.20765765011310577, + "D": 0.07639298588037491, + "E": 0.04089021310210228, + "F": 0.07639298588037491, + "G": 0.12595072388648987, + "H": 0.05949491262435913, + "I": 0.0038033826276659966, + "J": 0.009123840369284153, + "K": 0.009123840369284153, + "L": 0.0015854856465011835 + }, + "sample": { + "question": "Что было рекомендовано помещику после его посещения врача в Петербурге?", + "answerA": "Пища богатая углеводами", + "answerB": "Увеличить физическую активность", + "answerC": "Молоко с добавкой коньяка по двадцать капель", + "answerD": "Строгая диета без соли", + "correct_answer": "Молоко с добавкой коньяка по двадцать капель", + "choices": [ + "Строгая диета без соли", + "Он был отправлен в отставку за неподчинение", + "Молоко с добавкой коньяка по двадцать капель", + "Бог соединил", + "Великодушный", + "Кэте Кольвиц", + "Он был награжден за мужество и решимость", + "Увеличить физическую активность", + "Пожертвовала большую сумму денег на благотворительность", + "Прасковья Семёновна Ивановская", + "Пища богатая углеводами", + "Посещать литературные вечера" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nЧто было рекомендовано помещику после его посещения врача в Петербурге?\nA. Строгая диета без соли\nB. Он был отправлен в отставку за неподчинение\nC. Молоко с добавкой коньяка по двадцать капель\nD. Бог соединил\nE. Великодушный\nF. Кэте Кольвиц\nG. Он был награжден за мужество и решимость\nH. Увеличить физическую активность\nI. Пожертвовала большую сумму денег на благотворительность\nJ. Прасковья Семёновна Ивановская\nK. Пища богатая углеводами\nL. Посещать литературные вечера\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 144, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.17132467031478882, + "B": 0.09170348942279816, + "C": 0.24927590787410736, + "D": 0.09170348942279816, + "E": 0.023186270147562027, + "F": 0.049085333943367004, + "G": 0.10391365736722946, + "H": 0.02796798013150692, + "I": 0.004029169678688049, + "J": 0.0075274803675711155, + "K": 0.013211139477789402, + "L": 0.0009570117690600455 + }, + "sample": { + "question": "В каком рассказе из произведения \"Навыдуманные рассказы о прошлом. Часть IV\" рассказчик возвращает домой и обнаруживает измену своей жены?", + "answerA": "Бог соединил", + "answerB": "Великодушный", + "answerC": "Грех", + "answerD": "На пожарище", + "correct_answer": "Великодушный", + "choices": [ + "Кэте Кольвиц", + "Играть в \"железку\" и таким образом участвовать в доходе кружка", + "Грех", + "Бог соединил", + "Пожертвовала большую сумму денег на благотворительность", + "Любовь означает неудержимо потеть при встречах.", + "На пожарище", + "Посещать литературные вечера", + "Он был награжден за мужество и решимость", + "Он был отправлен в отставку за неподчинение", + "Великодушный", + "Прасковья Семёновна Ивановская" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nВ каком рассказе из произведения \"Навыдуманные рассказы о прошлом. Часть IV\" рассказчик возвращает домой и обнаруживает измену своей жены?\nA. Кэте Кольвиц\nB. Играть в \"железку\" и таким образом участвовать в доходе кружка\nC. Грех\nD. Бог соединил\nE. Пожертвовала большую сумму денег на благотворительность\nF. Любовь означает неудержимо потеть при встречах.\nG. На пожарище\nH. Посещать литературные вечера\nI. Он был награжден за мужество и решимость\nJ. Он был отправлен в отставку за неподчинение\nK. Великодушный\nL. Прасковья Семёновна Ивановская\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 162, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.11726131290197372, + "B": 0.1328744739294052, + "C": 0.10348274558782578, + "D": 0.11726131290197372, + "E": 0.07112258672714233, + "F": 0.07112258672714233, + "G": 0.10348274558782578, + "H": 0.08059244602918625, + "I": 0.013156355358660221, + "J": 0.03806917741894722, + "K": 0.020376961678266525, + "L": 0.010246179066598415 + }, + "sample": { + "question": "Кого из следующих лиц Вересаев Викентий Викентьевич упоминает в 'Навыдуманные рассказы о прошлом. Часть V' как человека, исполнившего фортепианные вещи Бетховена?", + "answerA": "Прасковья Семёновна Ивановская", + "answerB": "Кэте Кольвиц", + "answerC": "Баронесса Доротея Эртман", + "answerD": "Пётр Гермогенович Смидович", + "correct_answer": "Баронесса Доротея Эртман", + "choices": [ + "Пётр Гермогенович Смидович", + "Баронесса Доротея Эртман", + "Лев Толстой", + "Прасковья Семёновна Ивановская", + "Пожертвовала большую сумму денег на благотворительность", + "Любовь означает неудержимо потеть при встречах.", + "Играть в \"железку\" и таким образом участвовать в доходе кружка", + "Посещать литературные вечера", + "Согласилась влезть в ванну с тараканами", + "Он был награжден за мужество и решимость", + "Он был отправлен в отставку за неподчинение", + "Кэте Кольвиц" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКого из следующих лиц Вересаев Викентий Викентьевич упоминает в 'Навыдуманные рассказы о прошлом. Часть V' как человека, исполнившего фортепианные вещи Бетховена?\nA. Пётр Гермогенович Смидович\nB. Баронесса Доротея Эртман\nC. Лев Толстой\nD. Прасковья Семёновна Ивановская\nE. Пожертвовала большую сумму денег на благотворительность\nF. Любовь означает неудержимо потеть при встречах.\nG. Играть в \"железку\" и таким образом участвовать в доходе кружка\nH. Посещать литературные вечера\nI. Согласилась влезть в ванну с тараканами\nJ. Он был награжден за мужество и решимость\nK. Он был отправлен в отставку за неподчинение\nL. Кэте Кольвиц\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 196, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.4037221372127533, + "B": 0.013814612291753292, + "C": 0.012191352434456348, + "D": 0.0065255602821707726, + "E": 0.015654006972908974, + "F": 0.0006069716764613986, + "G": 0.0014560495037585497, + "H": 0.0022551734000444412, + "I": 0.4574771225452423, + "J": 0.001990183489397168, + "K": 0.0003681469534058124, + "L": 5.645716009894386e-05 + }, + "sample": { + "question": "Что произошло с капитаном Тиуновым после того, как солдаты отказались выполнять его команду на разгон толпы?", + "answerA": "Он был награжден за мужество и решимость", + "answerB": "Он был отправлен в отставку за неподчинение", + "answerC": "Он застрелился", + "answerD": "Он был повышен в звании", + "correct_answer": "Он застрелился", + "choices": [ + "На обоях клопов лучше не давить.", + "Он застрелился", + "Он был повышен в звании", + "Лев Толстой", + "Любовь означает неудержимо потеть при встречах.", + "Посещать литературные вечера", + "Самый величественный пейзаж", + "Пожертвовала большую сумму денег на благотворительность", + "Он был отправлен в отставку за неподчинение", + "Он был награжден за мужество и решимость", + "Играть в \"железку\" и таким образом участвовать в доходе кружка", + "Согласилась влезть в ванну с тараканами" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nЧто произошло с капитаном Тиуновым после того, как солдаты отказались выполнять его команду на разгон толпы?\nA. На обоях клопов лучше не давить.\nB. Он застрелился\nC. Он был повышен в звании\nD. Лев Толстой\nE. Любовь означает неудержимо потеть при встречах.\nF. Посещать литературные вечера\nG. Самый величественный пейзаж\nH. Пожертвовала большую сумму денег на благотворительность\nI. Он был отправлен в отставку за неподчинение\nJ. Он был награжден за мужество и решимость\nK. Играть в \"железку\" и таким образом участвовать в доходе кружка\nL. Согласилась влезть в ванну с тараканами\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 164, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.045729197561740875, + "B": 0.031429190188646317, + "C": 0.03345619514584541, + "D": 0.045729197561740875, + "E": 0.08543339371681213, + "F": 0.05181796848773956, + "G": 0.05181796848773956, + "H": 0.05181796848773956, + "I": 0.2631533741950989, + "J": 0.23223203420639038, + "K": 0.022994084283709526, + "L": 0.006587916053831577 + }, + "sample": { + "question": "Какая цель была у членов-соревнователей в Московском литературно-художественном кружке?", + "answerA": "Посещать литературные вечера", + "answerB": "Играть в \"железку\" и таким образом участвовать в доходе кружка", + "answerC": "Проводить доклады и презентации", + "answerD": "Заниматься благотворительностью", + "correct_answer": "B", + "choices": [ + "Посещать литературные вечера", + "Лев Толстой", + "Любовь означает неудержимо потеть при встречах.", + "Марсель Брукманн", + "Самый величественный пейзаж", + "Заниматься благотворительностью", + "Согласилась влезть в ванну с тараканами", + "Пожертвовала большую сумму денег на благотворительность", + "Проводить доклады и презентации", + "Играть в \"железку\" и таким образом участвовать в доходе кружка", + "Викентий Вересаев", + "На обоях клопов лучше не давить." + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКакая цель была у членов-соревнователей в Московском литературно-художественном кружке?\nA. Посещать литературные вечера\nB. Лев Толстой\nC. Любовь означает неудержимо потеть при встречах.\nD. Марсель Брукманн\nE. Самый величественный пейзаж\nF. Заниматься благотворительностью\nG. Согласилась влезть в ванну с тараканами\nH. Пожертвовала большую сумму денег на благотворительность\nI. Проводить доклады и презентации\nJ. Играть в \"железку\" и таким образом участвовать в доходе кружка\nK. Викентий Вересаев\nL. На обоях клопов лучше не давить.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 161, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.011328816413879395, + "B": 0.07387316972017288, + "C": 0.09485501796007156, + "D": 0.03954145684838295, + "E": 0.0448063388466835, + "F": 0.07387316972017288, + "G": 0.10748481750488281, + "H": 0.13801324367523193, + "I": 0.01064243819564581, + "J": 0.09485501796007156, + "K": 0.13801324367523193, + "L": 0.05077223852276802 + }, + "sample": { + "question": "Какой акт милосердия совершила Евгения Николаевна ради выздоровления и успехов своей дочери?", + "answerA": "Пожертвовала большую сумму денег на благотворительность", + "answerB": "Согласилась влезть в ванну с тараканами", + "answerC": "Отдала все свои ювелирные украшения", + "answerD": "Осуществила паломничество в святое место", + "correct_answer": "Согласилась влезть в ванну с тараканами", + "choices": [ + "Самый величественный пейзаж", + "Пожертвовала большую сумму денег на благотворительность", + "На обоях клопов лучше не давить.", + "Гигантский робот", + "Согласилась влезть в ванну с тараканами", + "Красоту женщины", + "Любовь означает неудержимо потеть при встречах.", + "Викентий Вересаев", + "Лев Толстой", + "Марсель Брукманн", + "Осуществила паломничество в святое место", + "Отдала все свои ювелирные украшения" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКакой акт милосердия совершила Евгения Николаевна ради выздоровления и успехов своей дочери?\nA. Самый величественный пейзаж\nB. Пожертвовала большую сумму денег на благотворительность\nC. На обоях клопов лучше не давить.\nD. Гигантский робот\nE. Согласилась влезть в ванну с тараканами\nF. Красоту женщины\nG. Любовь означает неудержимо потеть при встречах.\nH. Викентий Вересаев\nI. Лев Толстой\nJ. Марсель Брукманн\nK. Осуществила паломничество в святое место\nL. Отдала все свои ювелирные украшения\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 151, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.07801781594753265, + "B": 0.04732019826769829, + "C": 0.212074413895607, + "D": 0.03252266347408295, + "E": 0.30856645107269287, + "F": 0.03685300797224045, + "G": 0.06076033413410187, + "H": 0.053620804101228714, + "I": 0.0068171205930411816, + "J": 0.00991885270923376, + "K": 0.006016088649630547, + "L": 0.00036129416548646986 + }, + "sample": { + "question": "Какое утверждение звучит в 'Невыдуманные рассказы о прошлом. Часть IX' Вересаева Викентия Викентьевича?", + "answerA": "Любовь означает неудержимо потеть при встречах.", + "answerB": "На обоях клопов лучше не давить.", + "answerC": "Глупость человека большого ума - вершина дурости.", + "answerD": "От правды человек может прийти в бешенство.", + "correct_answer": "C", + "choices": [ + "На обоях клопов лучше не давить.", + "Любовь означает неудержимо потеть при встречах.", + "Глупость человека большого ума - вершина дурости.", + "Октав Сарассин", + "Викентий Вересаев", + "Самый величественный пейзаж", + "Моко", + "От правды человек может прийти в бешенство.", + "Лев Толстой", + "Марсель Брукманн", + "Красоту женщины", + "Гигантский робот" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКакое утверждение звучит в 'Невыдуманные рассказы о прошлом. Часть IX' Вересаева Викентия Викентьевича?\nA. На обоях клопов лучше не давить.\nB. Любовь означает неудержимо потеть при встречах.\nC. Глупость человека большого ума - вершина дурости.\nD. Октав Сарассин\nE. Викентий Вересаев\nF. Самый величественный пейзаж\nG. Моко\nH. От правды человек может прийти в бешенство.\nI. Лев Толстой\nJ. Марсель Брукманн\nK. Красоту женщины\nL. Гигантский робот\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 150, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.215737983584404, + "B": 0.08993297070264816, + "C": 0.14827440679073334, + "D": 0.1019074097275734, + "E": 0.0374896377325058, + "F": 0.07003986835479736, + "G": 0.11547622084617615, + "H": 0.04813764989376068, + "I": 0.005400894675403833, + "J": 0.008365069516003132, + "K": 0.00738214747980237, + "L": 0.0022514278534799814 + }, + "sample": { + "question": "Кто является автором произведения 'Паутина'?", + "answerA": "Лев Толстой", + "answerB": "Викентий Вересаев", + "answerC": "Антон Чехов", + "answerD": "Федор Достоевский", + "correct_answer": "B", + "choices": [ + "Октав Сарассин", + "Красоту женщины", + "Моко", + "Том Айртон", + "Гигантский робот", + "Викентий Вересаев", + "Лев Толстой", + "Федор Достоевский", + "Антон Чехов", + "Самый величественный пейзаж", + "Марсель Брукманн", + "Летающий город" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКто является автором произведения 'Паутина'?\nA. Октав Сарассин\nB. Красоту женщины\nC. Моко\nD. Том Айртон\nE. Гигантский робот\nF. Викентий Вересаев\nG. Лев Толстой\nH. Федор Достоевский\nI. Антон Чехов\nJ. Самый величественный пейзаж\nK. Марсель Брукманн\nL. Летающий город\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 106, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.13404051959514618, + "B": 0.07174671441316605, + "C": 0.2209954559803009, + "D": 0.09212460368871689, + "E": 0.06331625580787659, + "F": 0.05587640032172203, + "G": 0.09212460368871689, + "H": 0.03840324655175209, + "I": 0.01100271474570036, + "J": 0.02188151329755783, + "K": 0.02809641696512699, + "L": 0.0029613408260047436 + }, + "sample": { + "question": "Что должны были изобразить художники в состязании, чтобы победить?", + "answerA": "Самый величественный пейзаж", + "answerB": "Красоту женщины", + "answerC": "Битву героев", + "answerD": "Историческое событие", + "correct_answer": "answerB", + "choices": [ + "Мануэль Вальдез", + "Марсель Брукманн", + "Красоту женщины", + "Гигантский робот", + "Битву героев", + "Том Айртон", + "Гордон", + "Летающий город", + "Историческое событие", + "Моко", + "Октав Сарассин", + "Самый величественный пейзаж" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nЧто должны были изобразить художники в состязании, чтобы победить?\nA. Мануэль Вальдез\nB. Марсель Брукманн\nC. Красоту женщины\nD. Гигантский робот\nE. Битву героев\nF. Том Айртон\nG. Гордон\nH. Летающий город\nI. Историческое событие\nJ. Моко\nK. Октав Сарассин\nL. Самый величественный пейзаж\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 109, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.10824321210384369, + "B": 0.051130473613739014, + "C": 0.7058343887329102, + "D": 0.018809849396348, + "E": 0.007366043049842119, + "F": 0.00573668023571372, + "G": 0.006500509567558765, + "H": 0.004755874630063772, + "I": 0.0009968854719772935, + "J": 0.0007293369853869081, + "K": 0.001280026277527213, + "L": 6.372875941451639e-05 + }, + "sample": { + "question": "В романе 'Пятьсот миллионов бегумы' кто из персонажей является немецким ученым, мечтающим о стальной империи?", + "answerA": "Марсель Брукманн", + "answerB": "Октав Сарассин", + "answerC": "Профессор Шульц", + "answerD": "Индийская принцесса Бегум", + "correct_answer": "Профессор Шульц", + "choices": [ + "Марсель Брукманн", + "Том Айртон", + "Профессор Шульц", + "Пастух Фрик", + "Гордон", + "Индийская принцесса Бегум", + "Гигантский робот", + "Моко", + "Жак Паганель", + "Октав Сарассин", + "Летающий город", + "Мануэль Вальдез" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nВ романе 'Пятьсот миллионов бегумы' кто из персонажей является немецким ученым, мечтающим о стальной империи?\nA. Марсель Брукманн\nB. Том Айртон\nC. Профессор Шульц\nD. Пастух Фрик\nE. Гордон\nF. Индийская принцесса Бегум\nG. Гигантский робот\nH. Моко\nI. Жак Паганель\nJ. Октав Сарассин\nK. Летающий город\nL. Мануэль Вальдез\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 122, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.13810424506664276, + "B": 0.15649260580539703, + "C": 0.20094048976898193, + "D": 0.09491757303476334, + "E": 0.039567526429891586, + "F": 0.07392188161611557, + "G": 0.0837644562125206, + "H": 0.03081522323191166, + "I": 0.005030447151511908, + "J": 0.03491821885108948, + "K": 0.01206741388887167, + "L": 0.0034573720768094063 + }, + "sample": { + "question": "Как называется изобретение, созданное главным антагонистом в романе 'Властелин мира'?", + "answerA": "Гигантский робот", + "answerB": "Летающий город", + "answerC": "Транспорт-мультиамфибия 'Ужас'", + "answerD": "Подводная лодка-невидимка", + "correct_answer": "Транспорт-мультиамфибия 'Ужас'", + "choices": [ + "Подводная лодка-невидимка", + "Транспорт-мультиамфибия 'Ужас'", + "Гордон", + "Том Айртон", + "Торрес", + "Гигантский робот", + "Пастух Фрик", + "Мануэль Вальдез", + "Жак Паганель", + "Моко", + "Летающий город", + "Иван Иванович" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКак называется изобретение, созданное главным антагонистом в романе 'Властелин мира'?\nA. Подводная лодка-невидимка\nB. Транспорт-мультиамфибия 'Ужас'\nC. Гордон\nD. Том Айртон\nE. Торрес\nF. Гигантский робот\nG. Пастух Фрик\nH. Ман��эль Вальдез\nI. Жак Паганель\nJ. Моко\nK. Летающий город\nL. Иван Иванович\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 128, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.1206013634800911, + "B": 0.05696805194020271, + "C": 0.07314842194318771, + "D": 0.08288802206516266, + "E": 0.05696805194020271, + "F": 0.08288802206516266, + "G": 0.05696805194020271, + "H": 0.047228168696165085, + "I": 0.05696805194020271, + "J": 0.08288802206516266, + "K": 0.03915352746844292, + "L": 0.016321618109941483 + }, + "sample": { + "question": "Как звали индейца, который спас жизнь Роберту Гранту?", + "answerA": "Том Айртон", + "answerB": "Жак Паганель", + "answerC": "Талькав", + "answerD": "Майор Мак-Наббс", + "correct_answer": "Талькав", + "choices": [ + "Джо", + "Провести эксперимент с аргоном", + "Торрес", + "Талькав", + "Жак Паганель", + "Граф Франц фон Телек", + "Мануэль Вальдез", + "Пастух Фрик", + "Том Айртон", + "Майор Мак-Наббс", + "Иван Иванович", + "Николай Корпанов" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКак звали индейца, который спас жизнь Роберту Гранту?\nA. Джо\nB. Провести эксперимент с аргоном\nC. Торрес\nD. Талькав\nE. Жак Паганель\nF. Граф Франц фон Телек\nG. Мануэль Вальдез\nH. Пастух Фрик\nI. Том Айртон\nJ. Майор Мак-Наббс\nK. Иван Иванович\nL. Николай Корпанов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 115, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.3034652769565582, + "B": 0.16243326663970947, + "C": 0.09852074831724167, + "D": 0.08694425970315933, + "E": 0.03624375909566879, + "F": 0.04106955975294113, + "G": 0.04106955975294113, + "H": 0.0219829510897398, + "I": 0.019399885088205338, + "J": 0.01712034083902836, + "K": 0.003371194936335087, + "L": 0.0004026317910756916 + }, + "sample": { + "question": "Кто является главным персонажем, обвинённым в тяжком преступлении, в романе 'Жангада. Восемьсот льё по Амазонке'?", + "answerA": "Мануэль Вальдез", + "answerB": "Торрес", + "answerC": "Жоам Гарраль", + "answerD": "Фрагозо", + "correct_answer": "Жоам Гарраль", + "choices": [ + "Граф Франц фон Телек", + "Иван Иванович", + "Построить новый театр", + "Николай Корпанов", + "Торрес", + "Мануэль Вальдез", + "Фрагозо", + "Жоам Гарраль", + "Джо", + "Провести эксперимент с аргоном", + "Реактивные двигатели", + "Пастух Фрик" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКто является главным персонажем, обвинённым в тяжком преступлении, в романе 'Жангада. Восемьсот льё по Амазонке'?\nA. Граф Франц фон Телек\nB. Иван Иванович\nC. Построить новый театр\nD. Николай Корпанов\nE. Торрес\nF. Мануэль Вальдез\nG. Фрагозо\nH. Жоам Гарраль\nI. Джо\nJ. Провести эксперимент с аргоном\nK. Реактивные двигатели\nL. Пастух Фрик\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 136, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.06589677184820175, + "B": 0.03996841236948967, + "C": 0.03996841236948967, + "D": 0.4869149625301361, + "E": 0.03527200222015381, + "F": 0.03996841236948967, + "G": 0.07467082887887955, + "H": 0.02746986411511898, + "I": 0.011451142840087414, + "J": 0.03527200222015381, + "K": 0.05132045969367027, + "L": 0.00540913688018918 + }, + "sample": { + "question": "Кто отважился войти в Замок в Карпатах, чтобы спасти оперную диву?", + "answerA": "Пастух Фрик", + "answerB": "Граф Франц фон Телек", + "answerC": "Лесничий Ник Дек", + "answerD": "Солдат Ротцко", + "correct_answer": "B", + "choices": [ + "Николай Корпанов", + "После долгого пребывания на солнце", + "Построить новый театр", + "Доктор Самуэль Фергюсон", + "Провести эксперимент с аргоном", + "Пастух Фрик", + "Иван Иванович", + "Реактивные двигатели", + "Джо", + "Солдат Ротцко", + "Лесничий Ник Дек", + "Граф Франц фон Телек" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКто отважился войти в Замок в Карпатах, чтобы спасти оперную диву?\nA. Николай Корпанов\nB. После долгого пребывания на солнце\nC. Построить новый театр\nD. Доктор Самуэль Фергюсон\nE. Провести эксперимент с аргоном\nF. Пастух Фрик\nG. Иван Иванович\nH. Реактивные двигатели\nI. Джо\nJ. Солдат Ротцко\nK. Лесничий Ник Дек\nL. Граф Франц фон Телек\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 125, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.4297907054424286, + "B": 0.13953261077404022, + "C": 0.12313710898160934, + "D": 0.05816584825515747, + "E": 0.03997676447033882, + "F": 0.020101580768823624, + "G": 0.02424713410437107, + "H": 0.027475601062178612, + "I": 0.00949531327933073, + "J": 0.00892002135515213, + "K": 0.00421352032572031, + "L": 0.0008832017192617059 + }, + "sample": { + "question": "Какое подставное имя использовал Михаил Строгов во время своей миссии в Иркутск?", + "answerA": "Иван Иванович", + "answerB": "Николай Корпанов", + "answerC": "Алексей Петров", + "answerD": "Дмитрий Сергеев", + "correct_answer": "B", + "choices": [ + "Доктор Самуэль Фергюсон", + "Иван Иванович", + "Алексей Петров", + "Реактивные двигатели", + "Космонавта с Марса", + "Джо", + "Дмитрий Сергеев", + "Весла и паруса", + "Провести эксперимент с аргоном", + "Построить новый театр", + "После долгого пребывания на солнце", + "Николай Корпанов" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКакое подставное имя использовал Михаил Строгов во время своей миссии в Иркутск?\nA. Доктор Самуэль Фергюсон\nB. Иван Иванович\nC. Алексей Петров\nD. Реактивные двигатели\nE. Космонавта с Марса\nF. Джо\nG. Дмитрий Сергеев\nH. Весла и паруса\nI. Провести эксперимент с аргоном\nJ. Построить новый театр\nK. После долгого пребывания на солнце\nL. Николай Корпанов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 120, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0636356845498085, + "B": 0.0636356845498085, + "C": 0.2516840398311615, + "D": 0.09258938580751419, + "E": 0.0721086859703064, + "F": 0.0721086859703064, + "G": 0.11888711899518967, + "H": 0.0636356845498085, + "I": 0.01712731271982193, + "J": 0.038596998900175095, + "K": 0.02065948210656643, + "L": 0.006300786510109901 + }, + "sample": { + "question": "Что было обещано доктором Оксом жителям городка Кикандон?", + "answerA": "Провести эксперимент с аргоном", + "answerB": "Построить новый театр", + "answerC": "Осветить город оксигидрическим газом", + "answerD": "Открыть университет", + "correct_answer": "Осветить город оксигидрическим газом", + "choices": [ + "Анна Контарини", + "Космонавта с Марса", + "Построить новый театр", + "Весла и паруса", + "После долгого пребывания на солнце", + "Доктор Самуэль Фергюсон", + "Джо", + "Реактивные двигатели", + "Благодаря специальной химической обработке", + "Провести эксперимент с аргоном", + "Открыть университет", + "Осветить город оксигидрическим газом" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nЧто было обещано доктором Оксом жителям городка Кикандон?\nA. Анна Контарини\nB. Космонавта с Марса\nC. Построить новый театр\nD. Весла и паруса\nE. После долгого пребывания на солнце\nF. Доктор Самуэль Фергюсон\nG. Джо\nH. Реактивные двигатели\nI. Благодаря специальной химической обработке\nJ. Провести эксперимент с аргоном\nK. Открыть университет\nL. Осветить город оксигидрическим газом\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 130, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.14644956588745117, + "B": 0.3980911672115326, + "C": 0.24145449697971344, + "D": 0.047545209527015686, + "E": 0.02544911578297615, + "F": 0.008794979192316532, + "G": 0.008262118324637413, + "H": 0.007291294168680906, + "I": 0.0006371061899699271, + "J": 0.006044694688171148, + "K": 0.002519803587347269, + "L": 0.0002827141433954239 + }, + "sample": { + "question": "Кто из перечисленных персонажей является главным героем романа 'Пять недель на воздушном шаре'?", + "answerA": "Джо", + "answerB": "Доктор Самуэль Фергюсон", + "answerC": "Ричард Кеннеди", + "answerD": "Сэр Ричард Фрэнсис Бёртон", + "correct_answer": "Доктор Самуэль Фергюсон", + "choices": [ + "Космонавта с Марса", + "Сэр Ричард Фрэнсис Бёртон", + "Доктор Самуэль Фергюсон", + "Она выиграла в лотерею и решила начать новую жизнь.", + "Мальчика с другой планеты", + "Анна Контарини", + "После долгого пребывания на солнце", + "Джо", + "Ричард Кеннеди", + "Весла и паруса", + "Реактивные двигатели", + "Благодаря специальной химической обработке" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКто из перечисленных персонажей является главным героем романа 'Пять недель на воздушном шаре'?\nA. Космонавта с Марса\nB. Сэр Ричард Фрэнсис Бёртон\nC. Доктор Самуэль Фергюсон\nD. Она выиграла в лотерею и решила начать новую жизнь.\nE. Мальчика с другой планеты\nF. Анна Контарини\nG. После долгого пребывания на солнце\nH. Джо\nI. Ричард Кеннеди\nJ. Весла и паруса\nK. Реактивные двигатели\nL. Благодаря специальной химической обработке\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 133, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.004219317343086004, + "B": 0.004781113006174564, + "C": 0.0011356138857081532, + "D": 0.0037235345225781202, + "E": 0.006139070261269808, + "F": 0.002258437918499112, + "G": 0.004219317343086004, + "H": 0.024280494078993797, + "I": 0.13972459733486176, + "J": 0.035327911376953125, + "K": 0.005767123308032751, + "L": 0.7095800638198853 + }, + "sample": { + "question": "Что Робур применяет для управления своим дирижаблем \"Альбатрос\"?", + "answerA": "Реактивные двигатели", + "answerB": "Весла и паруса", + "answerC": "Винты спереди и сзади, а также роторы", + "answerD": "Волшебный артефакт", + "correct_answer": "Винты спереди и сзади, а также роторы", + "choices": [ + "Мария Волконская", + "Благодаря специальной химической обработке", + "После долгого пребывания на солнце", + "Весла и паруса", + "Она выиграла в лотерею и решила начать новую жизнь.", + "Космонавта с Марса", + "1936", + "Мальчика с другой планеты", + "Реактивные двигатели", + "Анна Контарини", + "Волшебный артефакт", + "Винты спереди и сзади, а также роторы" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nЧто Робур применяет для управления своим дирижаблем \"Альбатрос\"?\nA. Мария Волконская\nB. Благодаря специальной химической обработке\nC. После долгого пребывания на солнце\nD. Весла и паруса\nE. Она выиграла в лотерею и решила начать новую жизнь.\nF. Космонавта с Марса\nG. 1936\nH. Мальчика с другой планеты\nI. Реактивные двигатели\nJ. Анна Контарини\nK. Волшебный артефакт\nL. Винты спереди и сзади, а также роторы\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 136, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.014923779293894768, + "B": 0.09731526672840118, + "C": 0.027881290763616562, + "D": 0.6345752477645874, + "E": 0.021713970229029655, + "F": 0.11027263104915619, + "G": 0.03580028563737869, + "H": 0.011622651480138302, + "I": 0.0014776542084291577, + "J": 0.011622651480138302, + "K": 0.00662238709628582, + "L": 0.00798812322318554 + }, + "sample": { + "question": "Как алмаз «Южная звезда» поменял свой цвет в романе Жюля Верна?", + "answerA": "После долгого пребывания на солнце", + "answerB": "Благодаря специальной химической обработке", + "answerC": "Пролежав в желудке страуса", + "answerD": "В результате магического заклинания", + "correct_answer": "Пролежав в желудке страуса", + "choices": [ + "Космонавта с Марса", + "Пролежав в желудке страуса", + "Ей надоела жизнь в бедности и она захотела вернуться к роскоши.", + "В результате магического заклинания", + "Мария Волконская", + "Благодаря специальной химичес��ой обработке", + "Она выиграла в лотерею и решила начать новую жизнь.", + "Когда профессор Хьюитт отправил бутылку пива в будущее", + "1936", + "Мальчика с другой планеты", + "После долгого пребывания на солнце", + "Анна Контарини" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКак алмаз «Южная звезда» поменял свой цвет в романе Жюля Верна?\nA. Космонавта с Марса\nB. Пролежав в желудке страуса\nC. Ей надоела жизнь в бедности и она захотела вернуться к роскоши.\nD. В результате магического заклинания\nE. Мария Волконская\nF. Благодаря специальной химической обработке\nG. Она выиграла в лотерею и решила начать новую жизнь.\nH. Когда профессор Хьюитт отправил бутылку пива в будущее\nI. 1936\nJ. Мальчика с другой планеты\nK. После долгого пребывания на солнце\nL. Анна Контарини\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 155, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.018223578110337257, + "B": 0.05975280702114105, + "C": 0.041067466139793396, + "D": 0.08693983405828476, + "E": 0.08693983405828476, + "F": 0.04653553664684296, + "G": 0.08693983405828476, + "H": 0.05273166671395302, + "I": 0.05273166671395302, + "J": 0.303449809551239, + "K": 0.07672412693500519, + "L": 0.013332654722034931 + }, + "sample": { + "question": "Кого школьник Максим встречает в книге 'Гум-Гам'?", + "answerA": "Космонавта с Марса", + "answerB": "Мальчика с другой планеты", + "answerC": "Волшебного зверька", + "answerD": "Ребенка-гения", + "correct_answer": "answerB", + "choices": [ + "Она была впечатлена его богатством.", + "Когда профессор Хьюитт отправил бутылку пива в будущее", + "1945", + "Ей надоела жизнь в бедности и она захотела вернуться к роскоши.", + "Космонавта с Марса", + "1936", + "Волшебного зверька", + "Она выиграла в лотерею и решила начать новую жизнь.", + "Мальчика с другой планеты", + "Ребенка-гения", + "Анна Контарини", + "Мария Волконская" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКого школьник Максим встречает в книге 'Гум-Гам'?\nA. Она была впечатлена его богатством.\nB. Когда профессор Хьюитт отправил бутылку пива в будущее\nC. 1945\nD. Ей надоела жизнь в бедности и она захотела вернуться к роскоши.\nE. Космонавта с Марса\nF. 1936\nG. Волшебного зверька\nH. Она выиграла в лотерею и решила начать новую жизнь.\nI. Мальчика с другой планеты\nJ. Ребенка-гения\nK. Анна Контарини\nL. Мария Волконская\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 146, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.049046557396650314, + "B": 0.007521533872932196, + "C": 0.007521533872932196, + "D": 0.7672172784805298, + "E": 0.049046557396650314, + "F": 0.015923086553812027, + "G": 0.02974824234843254, + "H": 0.014052075333893299, + "I": 0.010943766683340073, + "J": 0.00852301437407732, + "K": 0.0062355706468224525, + "L": 0.0035529211163520813 + }, + "sample": { + "question": "Как звали русскую г��афиню, влюбленную в итальянского аристократа, в романе 'Истинная тигрица' Джованни Верга?", + "answerA": "Анна Контарини", + "answerB": "Мария Волконская", + "answerC": "Ната Конти", + "answerD": "Елизавета Александровна", + "correct_answer": "Ната Конти", + "choices": [ + "Когда Барни отправил сигару Л. М. Гриспэна в будущее и она исчезла на семь секунд", + "Она была впечатлена его богатством.", + "1936", + "Анна Контарини", + "Елизавета Александровна", + "Она выиграла в лотерею и решила начать новую жизнь.", + "Он выжил и вернулся в Покер-Флэт.", + "Ей надоела жизнь в бедности и она захотела вернуться к роскоши.", + "Ната Конти", + "1945", + "Когда профессор Хьюитт отправил бутылку пива в будущее", + "Мария Волконская" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКак звали русскую графиню, влюбленную в итальянского аристократа, в романе 'Истинная тигрица' Джованни Верга?\nA. Когда Барни отправил сигару Л. М. Гриспэна в будущее и она исчезла на семь секунд\nB. Она была впечатлена его богатством.\nC. 1936\nD. Анна Контарини\nE. Елизавета Александровна\nF. Она выиграла в лотерею и решила начать новую жизнь.\nG. Он выжил и вернулся в Покер-Флэт.\nH. Ей надоела жизнь в бедности и она захотела вернуться к роскоши.\nI. Ната Конти\nJ. 1945\nK. Когда профессор Хьюитт отправил бутылку пива в будущее\nL. Мария Волконская\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 181, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.027560532093048096, + "B": 0.027560532093048096, + "C": 0.48852208256721497, + "D": 0.04543963074684143, + "E": 0.0401003323495388, + "F": 0.027560532093048096, + "G": 0.07491728663444519, + "H": 0.01475208904594183, + "I": 0.0065461997874081135, + "J": 0.024322081357240677, + "K": 0.05148984491825104, + "L": 0.0011375588364899158 + }, + "sample": { + "question": "Что привело к решению Елены вернуться к своим родителям в фильме \"Муж Елены\"?", + "answerA": "Она выиграла в лотерею и решила начать новую жизнь.", + "answerB": "Ей надоела жизнь в бедности и она захотела вернуться к роскоши.", + "answerC": "Мужняя ревность и непрекращающееся давление со стороны барона.", + "answerD": "Ее муж в припадке ревности угрожал ей.", + "correct_answer": "D", + "choices": [ + "Когда профессор Хьюитт отправил бутылку пива в будущее", + "1936", + "Мужняя ревность и непрекращающееся давление со стороны барона.", + "В эпоху Великой депрессии", + "Когда Барни отправил сигару Л. М. Гриспэна в будущее и она исчезла на семь секунд", + "Он выжил и вернулся в Покер-Флэт.", + "Ее муж в припадке ревности угрожал ей.", + "1945", + "Она выиграла в лотерею и решила начать новую жизнь.", + "Она хотела покинуть Лапорт.", + "Ей надоела жизнь в бедности и она захотела вернуться к роскоши.", + "Она была впечатлена его богатством." + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nЧто ��ривело к решению Елены вернуться к своим родителям в фильме \"Муж Елены\"?\nA. Когда профессор Хьюитт отправил бутылку пива в будущее\nB. 1936\nC. Мужняя ревность и непрекращающееся давление со стороны барона.\nD. В эпоху Великой депрессии\nE. Когда Барни отправил сигару Л. М. Гриспэна в будущее и она исчезла на семь секунд\nF. Он выжил и вернулся в Покер-Флэт.\nG. Ее муж в припадке ревности угрожал ей.\nH. 1945\nI. Она выиграла в лотерею и решила начать новую жизнь.\nJ. Она хотела покинуть Лапорт.\nK. Ей надоела жизнь в бедности и она захотела вернуться к роскоши.\nL. Она была впечатлена его богатством.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 186, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.033665869385004044, + "B": 0.15087994933128357, + "C": 0.21952903270721436, + "D": 0.15087994933128357, + "E": 0.05550562962889671, + "F": 0.10369817167520523, + "G": 0.09151331335306168, + "H": 0.05550562962889671, + "I": 0.00622755941003561, + "J": 0.033665869385004044, + "K": 0.02313818782567978, + "L": 0.00906104501336813 + }, + "sample": { + "question": "В каком году был написан рассказ Аркадия Петровича Гайдара «Патроны»?", + "answerA": "1936", + "answerB": "1945", + "answerC": "1926", + "answerD": "1930", + "correct_answer": "answerC", + "choices": [ + "Она хотела покинуть Лапорт.", + "Когда профессор Хьюитт отправил бутылку пива в будущее", + "1926", + "1930", + "Был убит членами тайного общества.", + "1936", + "Он выжил и вернулся в Покер-Флэт.", + "1945", + "Магический ковер", + "Когда Барни отправил сигару Л. М. Гриспэна в будущее и она исчезла на семь секунд", + "Она была впечатлена его богатством.", + "В эпоху Великой депрессии" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nВ каком году был написан рассказ Аркадия Петровича Гайдара «Патроны»?\nA. Она хотела покинуть Лапорт.\nB. Когда профессор Хьюитт отправил бутылку пива в будущее\nC. 1926\nD. 1930\nE. Был убит членами тайного общества.\nF. 1936\nG. Он выжил и вернулся в Покер-Флэт.\nH. 1945\nI. Магический ковер\nJ. Когда Барни отправил сигару Л. М. Гриспэна в будущее и она исчезла на семь секунд\nK. Она была впечатлена его богатством.\nL. В эпоху Великой депрессии\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 163, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.07087285816669464, + "B": 0.02607266791164875, + "C": 0.05519583821296692, + "D": 0.03347796946763992, + "E": 0.407845139503479, + "F": 0.02607266791164875, + "G": 0.07087285816669464, + "H": 0.029544204473495483, + "I": 0.03793550655245781, + "J": 0.13240793347358704, + "K": 0.013955693691968918, + "L": 0.006592202931642532 + }, + "sample": { + "question": "Какое событие стало поворотным моментом, заставившим Л. М. Гриспэна поверить в возможность машины времени?", + "answerA": "Когда профессор Хьюитт отправил бутылку пива в будущее", + "answerB": "Когда Барни отправил сигару Л. М. Гриспэна в будущее и она исчезла на семь сек��нд", + "answerC": "Когда машина времени не смогла запуститься с первой попытки", + "answerD": "Когда викинг Оттар уехал в кузове грузовика", + "correct_answer": "B", + "choices": [ + "Он выжил и вернулся в Покер-Флэт.", + "Приезд в город незнакомца", + "Когда профессор Хьюитт отправил бутылку пива в будущее", + "Магический ковер", + "Когда Барни отправил сигару Л. М. Гриспэна в будущее и она исчезла на семь секунд", + "Она хотела покинуть Лапорт.", + "В эпоху Великой депрессии", + "Когда машина времени не смогла запуститься с первой попытки", + "Она была впечатлена его богатством.", + "Во времена золотой лихорадки", + "Был убит членами тайного общества.", + "Когда викинг Оттар уехал в кузове грузовика" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКакое событие стало поворотным моментом, заставившим Л. М. Гриспэна поверить в возможность машины времени?\nA. Он выжил и вернулся в Покер-Флэт.\nB. Приезд в город незнакомца\nC. Когда профессор Хьюитт отправил бутылку пива в будущее\nD. Магический ковер\nE. Когда Барни отправил сигару Л. М. Гриспэна в будущее и она исчезла на семь секунд\nF. Она хотела покинуть Лапорт.\nG. В эпоху Великой депрессии\nH. Когда машина времени не смогла запуститься с первой попытки\nI. Она была впечатлена его богатством.\nJ. Во времена золотой лихорадки\nK. Был убит членами тайного общества.\nL. Когда викинг Оттар уехал в кузове грузовика\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 184, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.04179005324840546, + "B": 0.025346947833895683, + "C": 0.01974022388458252, + "D": 0.025346947833895683, + "E": 0.34990382194519043, + "F": 0.025346947833895683, + "G": 0.04179005324840546, + "H": 0.025346947833895683, + "I": 0.1287224292755127, + "J": 0.1872900277376175, + "K": 0.03254612162709236, + "L": 0.008228949271142483 + }, + "sample": { + "question": "Какова была основная причина, по которой мисс Монморанси решила выйти замуж за Дж. Тротта?", + "answerA": "Она была впечатлена его богатством.", + "answerB": "Она хотела покинуть Лапорт.", + "answerC": "Благодарность за его действия и желание заботиться о нем.", + "answerD": "Желание отомстить своему бывшему любовнику.", + "correct_answer": "Благодарность за его действия и желание заботиться о нем.", + "choices": [ + "Желание отомстить своему бывшему любовнику.", + "Прутик", + "Драка на улице", + "Приезд в город незнакомца", + "Благодарность за его действия и желание заботиться о нем.", + "В эпоху Великой депрессии", + "Она хотела покинуть Лапорт.", + "Магический ковер", + "Был убит членами тайного общества.", + "Во времена золотой лихорадки", + "Она была впечатлена его богатством.", + "Он выжил и вернулся в Покер-Флэт." + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКакова была основная причина, по которой мисс Монморанси решила выйти замуж за Дж. Тротта?\nA. Желание отомстить своему бывшему любовнику.\nB. Прутик\nC. Драка на улице\nD. Приезд в город незнакомца\nE. Благодарность за его действия и желание заботиться о нем.\nF. В эпоху Великой депрессии\nG. Она хотела покинуть Лапорт.\nH. Магический ковер\nI. Был убит членами тайного общества.\nJ. Во времена золотой лихорадки\nK. Она была впечатлена его богатством.\nL. Он выжил и вернулся в Покер-Флэт.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 149, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.02802594006061554, + "B": 0.033805735409259796, + "C": 0.011682949028909206, + "D": 0.033805735409259796, + "E": 0.1256035417318344, + "F": 0.02802594006061554, + "G": 0.059330910444259644, + "H": 0.4967716336250305, + "I": 0.015968699008226395, + "J": 0.026327932253479958, + "K": 0.010310165584087372, + "L": 0.09782012552022934 + }, + "sample": { + "question": "Чем закончилась судьба Джона Оукхерста в произведении 'Изгнанники Покер-Флэта'?", + "answerA": "Он выжил и вернулся в Покер-Флэт.", + "answerB": "Был убит членами тайного общества.", + "answerC": "Кончил жизнь самоубийством.", + "answerD": "Вступил в законный брак с Циппи.", + "correct_answer": "C", + "choices": [ + "Вступил в законный брак с Циппи.", + "Приезд в город незнакомца", + "Прутик", + "Сборщик и продавщица", + "Он выжил и вернулся в Покер-Флэт.", + "Драка на улице", + "Магический ковер", + "Кончил жизнь самоубийством.", + "В эпоху Великой депрессии", + "Встреча с Панчитой", + "Во времена золотой лихорадки", + "Был убит членами тайного общества." + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nЧем закончилась судьба Джона Оукхерста в произведении 'Изгнанники Покер-Флэта'?\nA. Вступил в законный брак с Циппи.\nB. Приезд в город незнакомца\nC. Прутик\nD. Сборщик и продавщица\nE. Он выжил и вернулся в Покер-Флэт.\nF. Драка на улице\nG. Магический ковер\nH. Кончил жизнь самоубийством.\nI. В эпоху Великой депрессии\nJ. Встреча с Панчитой\nK. Во времена золотой лихорадки\nL. Был убит членами тайного общества.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 146, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.051746074110269547, + "B": 0.10954644531011581, + "C": 0.07529009878635406, + "D": 0.07529009878635406, + "E": 0.08531486243009567, + "F": 0.08531486243009567, + "G": 0.15938913822174072, + "H": 0.14066042006015778, + "I": 0.019036317244172096, + "J": 0.05863599106669426, + "K": 0.03138557821512222, + "L": 0.04029988497495651 + }, + "sample": { + "question": "Когда действие рассказа 'Счастье Ревущего Стана' происходит?", + "answerA": "В эпоху Великой депрессии", + "answerB": "Во времена золотой лихорадки", + "answerC": "В средневековье", + "answerD": "Во времена Второй мировой войны", + "correct_answer": "answerB", + "choices": [ + "Спасение девушки", + "В средневековье", + "В эпоху Великой депрессии", + "Вст��еча с Панчитой", + "Из-за её уникальных стенографических умений", + "Сборщик и продавщица", + "Прутик", + "Во времена золотой лихорадки", + "Во времена Второй мировой войны", + "Драка на улице", + "Приезд в город незнакомца", + "Магический ковер" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКогда действие рассказа 'Счастье Ревущего Стана' происходит?\nA. Спасение девушки\nB. В средневековье\nC. В эпоху Великой депрессии\nD. Встреча с Панчитой\nE. Из-за её уникальных стенографических умений\nF. Сборщик и продавщица\nG. Прутик\nH. Во времена золотой лихорадки\nI. Во времена Второй мировой войны\nJ. Драка на улице\nK. Приезд в город незнакомца\nL. Магический ковер\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 127, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.006854090839624405, + "B": 0.047576822340488434, + "C": 0.02247370034456253, + "D": 0.02247370034456253, + "E": 0.04198639467358589, + "F": 0.21322453022003174, + "G": 0.31023985147476196, + "H": 0.1293272078037262, + "I": 0.013630987145006657, + "J": 0.06922386586666107, + "K": 0.05391159653663635, + "L": 0.016442108899354935 + }, + "sample": { + "question": "Что лягушка-путешественница использовала, чтобы полететь с утками?", + "answerA": "Магический ковер", + "answerB": "Прутик", + "answerC": "Листок дерева", + "answerD": "Паутину", + "correct_answer": "B", + "choices": [ + "Аристократ и знатная леди", + "Из-за её уникальных стенографических умений", + "Спасение девушки", + "Драка на улице", + "Приезд в город незнакомца", + "Встреча с Панчитой", + "Магический ковер", + "Сборщик и продавщица", + "Прутик", + "Листок дерева", + "Ограбить банк в Буэнос-Тиерас", + "Паутину" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nЧто лягушка-путешественница использовала, чтобы полететь с утками?\nA. Аристократ и знатная леди\nB. Из-за её уникальных стенографических умений\nC. Спасение девушки\nD. Драка на улице\nE. Приезд в город незнакомца\nF. Встреча с Панчитой\nG. Магический ковер\nH. Сборщик и продавщица\nI. Прутик\nJ. Листок дерева\nK. Ограбить банк в Буэнос-Тиерас\nL. Паутину\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 135, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.10997263342142105, + "B": 0.06670177727937698, + "C": 0.058864109218120575, + "D": 0.08564677089452744, + "E": 0.08564677089452744, + "F": 0.06670177727937698, + "G": 0.14120765030384064, + "H": 0.08564677089452744, + "I": 0.08564677089452744, + "J": 0.07558301836252213, + "K": 0.035702887922525406, + "L": 0.021654896438121796 + }, + "sample": { + "question": "Что изменило отношение Джонсона Сухого Лога к жизни в рассказе «Бабье лето Джонсона Сухого Лога» О. Генри?", + "answerA": "Приезд в город незнакомца", + "answerB": "Встреча с Панчитой", + "answerC": "Посадка нового сорта клубники", + "answerD": "Получение наследства", + "correct_answer": "B", + "choices": [ + "Ида напоминала ей о потерянной дочери", + "Приезд в город незнакомца", + "Сборщик и продавщица", + "Драка на улице", + "Получение наследства", + "Все города говорят одно и то же.", + "Аристократ и знатная леди", + "Спасение девушки", + "Встреча с Панчитой", + "Ограбить банк в Буэнос-Тиерас", + "Посадка нового сорта клубники", + "Из-за её уникальных стенографических умений" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nЧто изменило отношение Джонсона Сухого Лога к жизни в рассказе «Бабье лето Джонсона Сухого Лога» О. Генри?\nA. Ида напоминала ей о потерянной дочери\nB. Приезд в город незнакомца\nC. Сборщик и продавщица\nD. Драка на улице\nE. Получение наследства\nF. Все города говорят одно и то же.\nG. Аристократ и знатная леди\nH. Спасение девушки\nI. Встреча с Панчитой\nJ. Ограбить банк в Буэнос-Тиерас\nK. Посадка нового сорта клубники\nL. Из-за её уникальных стенографических умений\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 161, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.016822272911667824, + "B": 0.0457276776432991, + "C": 0.03142814338207245, + "D": 0.0551581084728241, + "E": 0.05871550366282463, + "F": 0.1323174238204956, + "G": 0.08025458455085754, + "H": 0.21815454959869385, + "I": 0.02299332059919834, + "J": 0.1499352902173996, + "K": 0.04295717552304268, + "L": 0.09094034880399704 + }, + "sample": { + "question": "Какое событие привело к тому, что О'Рун и его отец помирились в фильме 'Бляха полицейского О’Руна'?", + "answerA": "Драка на улице", + "answerB": "Спасение девушки", + "answerC": "Удачное исполнение долга Рэмзеном вместо О’Руна", + "answerD": "Благодарность от графа за спасение лошадей", + "correct_answer": "Удачное исполнение долга Рэмзеном вместо О’Руна", + "choices": [ + "Сборщик и продавщица", + "Все города говорят одно и то же.", + "Благодарность от графа за спасение лошадей", + "Из-за её уникальных стенографических умений", + "Аристократ и знатная леди", + "Выдать главного героя за потерянного сына семьи Урикэ, чтобы украсть у них крупную сумму денег", + "Спасение девушки", + "Ида напоминала ей о потерянной дочери", + "Ограбить банк в Буэнос-Тиерас", + "Удачное исполнение долга Рэмзеном вместо О’Руна", + "Лу", + "Драка на улице" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКакое событие привело к тому, что О'Рун и его отец помирились в фильме 'Бляха полицейского О’Руна'?\nA. Сборщик и продавщица\nB. Все города говорят одно и то же.\nC. Благодарность от графа за спасение лошадей\nD. Из-за её уникальных стенографических умений\nE. Аристократ и знатная леди\nF. Выдать главного героя за потерянного сына семьи Урикэ, чтобы украсть у них крупную сумму денег\nG. Спасение девушки\nH. Ида напоминала ей о потерянной дочери\nI. Ограбить банк в Буэнос-Тиерас\nJ. Удачное испо��нение долга Рэмзеном вместо О’Руна\nK. Лу\nL. Драка на улице\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 183, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.010666047222912312, + "B": 0.054166652262210846, + "C": 0.31170758605003357, + "D": 0.21423329412937164, + "E": 0.037228163331747055, + "F": 0.11467082798480988, + "G": 0.12993904948234558, + "H": 0.01758534088730812, + "I": 0.003252960741519928, + "J": 0.01369547564536333, + "K": 0.019926799461245537, + "L": 0.0006017372361384332 + }, + "sample": { + "question": "Почему миссис Браун так полюбила Иду Бейтс?", + "answerA": "Из-за её уникальных стенографических умений", + "answerB": "Ида напоминала ей о потерянной дочери", + "answerC": "Ида была похожа на женскую головку на серебряном долларе", + "answerD": "Из-за её впечатляющего вкуса к моде", + "correct_answer": "Ида была похожа на женскую головку на серебряном долларе", + "choices": [ + "Нэнси", + "Из-за её впечатляющего вкуса к моде", + "Из-за её уникальных стенографических умений", + "Ида была похожа на женскую головку на серебряном долларе", + "Лу", + "Ограбить банк в Буэнос-Тиерас", + "Ида напоминала ей о потерянной дочери", + "Продает антиквариат", + "Голос Нью-Йорка - это шум толпы и автомобилей.", + "Все города говорят одно и то же.", + "Выдать главного героя за потерянного сына семьи Урикэ, чтобы украсть у них крупную сумму денег", + "Дороги, которые мы выбираем" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nПочему миссис Браун так полюбила Иду Бейтс?\nA. Нэнси\nB. Из-за её впечатляющего вкуса к моде\nC. Из-за её уникальных стенографических умений\nD. Ида была похожа на женскую головку на серебряном долларе\nE. Лу\nF. Ограбить банк в Буэнос-Тиерас\nG. Ида напоминала ей о потерянной дочери\nH. Продает антиквариат\nI. Голос Нью-Йорка - это шум толпы и автомобилей.\nJ. Все города говорят одно и то же.\nK. Выдать главного героя за потерянного сына семьи Урикэ, чтобы украсть у них крупную сумму денег\nL. Дороги, которые мы выбираем\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 170, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.022102663293480873, + "B": 0.05302153155207634, + "C": 0.8293963074684143, + "D": 0.022102663293480873, + "E": 0.006740931887179613, + "F": 0.004352272488176823, + "G": 0.0071756839752197266, + "H": 0.0017043743282556534, + "I": 0.00010895701416302472, + "J": 0.00027823145501315594, + "K": 0.00023066198627930135, + "L": 2.2838630684418604e-05 + }, + "sample": { + "question": "Какой план разработали главный герой и консул в рассказе «Гнусный обманщик» О. Генри?", + "answerA": "Ограбить банк в Буэнос-Тиерас", + "answerB": "Выдать главного героя за потерянного сына семьи Урикэ, чтобы украсть у них крупную сумму денег", + "answerC": "Проникнуть в игорный дом и обокрасть его", + "answerD": "Помешать свадьбе богатой наследницы", + "correct_answer": "answerB", + "choices": [ + "Пр��дает антиквариат", + "Ограбить банк в Буэнос-Тиерас", + "Выдать главного героя за потерянного сына семьи Урикэ, чтобы украсть у них крупную сумму денег", + "Помешать свадьбе богатой наследницы", + "Судья из Жёлтой Кирки", + "Лу", + "Голос Нью-Йорка - это шум толпы и автомобилей.", + "Дороги, которые мы выбираем", + "Нэнси", + "Проникнуть в игорный дом и обокрасть его", + "Продаёт настойку для воскрешения больных", + "Все города говорят одно и то же." + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКакой план разработали главный герой и консул в рассказе «Гнусный обманщик» О. Генри?\nA. Продает антиквариат\nB. Ограбить банк в Буэнос-Тиерас\nC. Выдать главного героя за потерянного сына семьи Урикэ, чтобы украсть у них крупную сумму денег\nD. Помешать свадьбе богатой наследницы\nE. Судья из Жёлтой Кирки\nF. Лу\nG. Голос Нью-Йорка - это шум толпы и автомобилей.\nH. Дороги, которые мы выбираем\nI. Нэнси\nJ. Проникнуть в игорный дом и обокрасть его\nK. Продаёт настойку для воскрешения больных\nL. Все города говорят одно и то же.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 176, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.005390468519181013, + "B": 0.03983047604560852, + "C": 0.17850781977176666, + "D": 0.2022758573293686, + "E": 0.008348921313881874, + "F": 0.008348921313881874, + "G": 0.008887381292879581, + "H": 0.007843085564672947, + "I": 0.0007765706395730376, + "J": 0.005738124251365662, + "K": 0.3779010474681854, + "L": 0.0006853211671113968 + }, + "sample": { + "question": "В рассказе 'Голос большого города' О. Генри, каким был окончательный вывод о Голосе Большого Города?", + "answerA": "Все города говорят одно и то же.", + "answerB": "Голос Нью-Йорка - это шум толпы и автомобилей.", + "answerC": "Голос Большого Города — это тишина и понимание между двумя людьми.", + "answerD": "Голос города невозможно услышать из-за постоянного шума.", + "correct_answer": "C", + "choices": [ + "Друг Телемак", + "Лу", + "Нэнси", + "Голос города невозможно услышать из-за постоянного шума.", + "Продает антиквариат", + "Продаёт настойку для воскрешения больных", + "Судья из Жёлтой Кирки", + "Все города говорят одно и то же.", + "Голос Нью-Йорка - это шум толпы и автомобилей.", + "1905", + "Голос Большого Города — это тишина и понимание между двумя людьми.", + "Дороги, которые мы выбираем" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nВ рассказе 'Голос большого города' О. Генри, каким был окончательный вывод о Голосе Большого Города?\nA. Друг Телемак\nB. Лу\nC. Нэнси\nD. Голос города невозможно услышать из-за постоянного шума.\nE. Продает антиквариат\nF. Продаёт настойку для воскрешения больных\nG. Судья из Жёлтой Кирки\nH. Все города говорят одно и то же.\nI. Голос Нью-Йорка - это шум толпы и автомобилей.\nJ. 1905\nK. Голос Большого Города — это тишина и пони��ание между двумя людьми.\nL. Дороги, которые мы выбираем\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 156, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.22941060364246368, + "B": 0.2599562704563141, + "C": 0.15767145156860352, + "D": 0.08439544588327408, + "E": 0.05118842050433159, + "F": 0.018831169232726097, + "G": 0.02739918790757656, + "H": 0.029166284948587418, + "I": 0.006927600130438805, + "J": 0.021338509395718575, + "K": 0.006927600130438805, + "L": 0.0016454491997137666 + }, + "sample": { + "question": "Кто из героинь рассказа 'Горящий светильник' в конце выходит замуж за Дэна?", + "answerA": "Лу", + "answerB": "Нэнси", + "answerC": "Шикарно одетая прохожая", + "answerD": "Девушка из прачечной", + "correct_answer": "answerB", + "choices": [ + "Чероки", + "Нэнси", + "Продаёт настойку для воскрешения больных", + "Судья из Жёлтой Кирки", + "Друг Телемак", + "Продает антиквариат", + "Девушка из прачечной", + "Шикарно одетая прохожая", + "Лу", + "Дороги, которые мы выбираем", + "1905", + "Буря на море" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКто из героинь рассказа 'Горящий светильник' в конце выходит замуж за Дэна?\nA. Чероки\nB. Нэнси\nC. Продаёт настойку для воскрешения больных\nD. Судья из Жёлтой Кирки\nE. Друг Телемак\nF. Продает антиквариат\nG. Девушка из прачечной\nH. Шикарно одетая прохожая\nI. Лу\nJ. Дороги, которые мы выбираем\nK. 1905\nL. Буря на море\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 133, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.007442966569215059, + "B": 0.03133606165647507, + "C": 0.20433679223060608, + "D": 0.0663384348154068, + "E": 0.017854750156402588, + "F": 0.027653977274894714, + "G": 0.0355084091424942, + "H": 0.021536938846111298, + "I": 0.005796588025987148, + "J": 0.027653977274894714, + "K": 0.3368943929672241, + "L": 0.004240874666720629 + }, + "sample": { + "question": "Чем занимается Джефф Питерс в посёлке в рассказе 'Джефф Питерс как персональный магнит'?", + "answerA": "Продает антиквариат", + "answerB": "Продаёт настойку для воскрешения больных", + "answerC": "Организовывает цирковые представления", + "answerD": "Устраивает пиротехническое шоу", + "correct_answer": "answerB", + "choices": [ + "Буря на море", + "Продаёт настойку для воскрешения больных", + "Дороги, которые мы выбираем", + "Организовывает цирковые представления", + "Чероки", + "1910", + "Друг Телемак", + "Судья из Жёлтой Кирки", + "Продает антиквариат", + "1905", + "Он стал лидером банды Бада Кинга.", + "Устраивает пиротехническое шоу" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nЧем занимается Джефф Питерс в посёлке в рассказе 'Джефф Питерс как персональный магнит'?\nA. Буря на море\nB. Продаёт настойку для воскрешения больных\nC. Дороги, которые мы выбираем\nD. Организовывает цирковые представления\nE. Чероки\nF. 1910\nG. Друг Телемак\nH. Судья из Жёлтой Кирки\nI. Продает антиквариат\nJ. 1905\nK. Он стал лидером банды Бада Кинга.\nL. Устраивает пиротехническое шоу\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 152, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.03216604143381119, + "B": 0.06396980583667755, + "C": 0.020767955109477043, + "D": 0.10546838492155075, + "E": 0.11951135098934174, + "F": 0.08213885873556137, + "G": 0.13542407751083374, + "H": 0.3248654901981354, + "I": 0.01183322537690401, + "J": 0.03216604143381119, + "K": 0.008132848888635635, + "L": 0.020767955109477043 + }, + "sample": { + "question": "В каком произведении О. Генри говорится о дружбе Телемака Хикса и Пейсли Фиша?", + "answerA": "Дороги, которые мы выбираем", + "answerB": "Друг Телемак", + "answerC": "Последний лист", + "answerD": "Подарки волхвов", + "correct_answer": "B", + "choices": [ + "Судья из Жёлтой Кирки", + "Чероки", + "Подарки волхвов", + "Утро в горах", + "1905", + "1910", + "Последний лист", + "Друг Телемак", + "Буря на море", + "Друзья убедили его провести больше времени с женой", + "Он стал лидером банды Бада Кинга.", + "Дороги, которые мы выбираем" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nВ каком произведении О. Генри говорится о дружбе Телемака Хикса и Пейсли Фиша?\nA. Судья из Жёлтой Кирки\nB. Чероки\nC. Подарки волхвов\nD. Утро в горах\nE. 1905\nF. 1910\nG. Последний лист\nH. Друг Телемак\nI. Буря на море\nJ. Друзья убедили его провести больше времени с женой\nK. Он стал лидером банды Бада Кинга.\nL. Дороги, которые мы выбираем\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 142, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.09956911951303482, + "B": 0.08786943554878235, + "C": 0.2107878178358078, + "D": 0.18601958453655243, + "E": 0.047033119946718216, + "F": 0.06843278557062149, + "G": 0.127849280834198, + "H": 0.06843278557062149, + "I": 0.005276970099657774, + "J": 0.012658792547881603, + "K": 0.007212762255221605, + "L": 0.0018236719770357013 + }, + "sample": { + "question": "Кто организовал Рождественский праздник для детей в рассказе 'Ёлка с сюрпризом'?", + "answerA": "Судья из Жёлтой Кирки", + "answerB": "Чероки", + "answerC": "Буфетчица с железнодорожной станции", + "answerD": "Бобби", + "correct_answer": "B", + "choices": [ + "1910", + "Он стал лидером банды Бада Кинга.", + "Он решил отказаться от жизни разбойника и вернуться к мирной жизни.", + "Буфетчица с железнодорожной станции", + "Чероки", + "Судья из Жёлтой Кирки", + "Бобби", + "Утро в горах", + "1905", + "Друзья убедили его провести больше времени с женой", + "Буря на море", + "1884" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКто организовал Рождественский праздник для детей в рассказе 'Ёлка с сюрпризом'?\nA. 1910\nB. Он стал лидером банды Бада Кинга.\nC. Он решил отказаться от жизни разбойника и вернуться к мирной жизни.\nD. Буфетчица с железнодорожной станции\nE. Чероки\nF. Судья из Жёлтой Кирки\nG. Бобби\nH. Утро в горах\nI. 1905\nJ. Друзья убедили его провести больше времени с женой\nK. Буря на море\nL. 1884\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 148, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.047147732228040695, + "B": 0.5068858861923218, + "C": 0.3074418604373932, + "D": 0.047147732228040695, + "E": 0.017344681546092033, + "F": 0.0049693346954882145, + "G": 0.017344681546092033, + "H": 0.007230339106172323, + "I": 0.00020510893955361098, + "J": 0.003208443522453308, + "K": 0.0013374782865867019, + "L": 0.0001409691758453846 + }, + "sample": { + "question": "В каком году был опубликован рассказ \"Заложники Момуса\" О. Генри?", + "answerA": "1905", + "answerB": "1910", + "answerC": "1908", + "answerD": "1899", + "correct_answer": "C", + "choices": [ + "Обед в самом дорогом ресторане Нью-Йорка", + "1908", + "1905", + "1899", + "Буря на море", + "Он стал лидером банды Бада Кинга.", + "Он решил отказаться от жизни разбойника и вернуться к мирной жизни.", + "Покупая ей цветы и подарки", + "1910", + "Утро в горах", + "Друзья убедили его провести больше времени с женой", + "1884" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nВ каком году был опубликован рассказ \"Заложники Момуса\" О. Генри?\nA. Обед в самом дорогом ресторане Нью-Йорка\nB. 1908\nC. 1905\nD. 1899\nE. Буря на море\nF. Он стал лидером банды Бада Кинга.\nG. Он решил отказаться от жизни разбойника и вернуться к мирной жизни.\nH. Покупая ей цветы и подарки\nI. 1910\nJ. Утро в горах\nK. Друзья убедили его провести больше времени с женой\nL. 1884\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 155, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.034952692687511444, + "B": 0.034952692687511444, + "C": 0.034952692687511444, + "D": 0.07399485260248184, + "E": 0.15664710104465485, + "F": 0.057627249509096146, + "G": 0.06530022621154785, + "H": 0.03960658609867096, + "I": 0.15664710104465485, + "J": 0.22792018949985504, + "K": 0.034952692687511444, + "L": 0.0022344510070979595 + }, + "sample": { + "question": "Какая картина вызвала споры в законодательном собрании в рассказе 'Искусство и ковбойский конь' О. Генри?", + "answerA": "Буря на море", + "answerB": "Утро в горах", + "answerC": "Ковбои на диком Западе", + "answerD": "Жизнь прерий", + "correct_answer": "Жизнь прерий", + "choices": [ + "Ковбои на диком Западе", + "Утро в горах", + "Буря на море", + "Друзья убедили его провести больше времени с женой", + "Он стал лидером банды Бада Кинга.", + "1884", + "Покупая ей цветы и подарки", + "1904", + "Жизнь прерий", + "Он решил отказаться от жизни разбойника и вернуться к мирной жизни.", + "Обед в самом дорогом ресторане Нью-Йорка", + "Представиться звездами сцены" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКакая картина вызвала споры в законодательном собрании в рассказе 'Искусство и ковбойский конь' О. Генри?\nA. Ковбои на диком Западе\nB. Утро в горах\nC. Буря на море\nD. Друзья убедили его провести больше времени с женой\nE. Он стал лидером банды Бада Кинга.\nF. 1884\nG. Покупая ей цветы и подарки\nH. 1904\nI. Жизнь прерий\nJ. Он решил отказаться от жизни разбойника и вернуться к мирной жизни.\nK. Обед в самом дорогом ресторане Нью-Йорка\nL. Представиться звездами сцены\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 160, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.06583787500858307, + "B": 0.01886286772787571, + "C": 0.035240475088357925, + "D": 0.03993269056081772, + "E": 0.17896589636802673, + "F": 0.01664642244577408, + "G": 0.03993269056081772, + "H": 0.08453749865293503, + "I": 0.4293168783187866, + "J": 0.024220403283834457, + "K": 0.003953871782869101, + "L": 0.0011328032705932856 + }, + "sample": { + "question": "Что произошло с Чёрным Орлом в истории О. Генри 'Исчезновение Чёрного Орла'?", + "answerA": "Он стал лидером банды Бада Кинга.", + "answerB": "Он решил отказаться от жизни разбойника и вернуться к мирной жизни.", + "answerC": "Он был пойман и отправлен в тюрьму.", + "answerD": "Он уехал на Запад, чтобы начать новую жизнь.", + "correct_answer": "Он решил отказаться от жизни разбойника и вернуться к мирной жизни.", + "choices": [ + "1884", + "Решил переехать в другую квартиру", + "Он был пойман и отправлен в тюрьму.", + "Он стал лидером банды Бада Кинга.", + "Покупая ей цветы и подарки", + "1904", + "Представиться звездами сцены", + "Он уехал на Запад, чтобы начать новую жизнь.", + "Он решил отказаться от жизни разбойника и вернуться к мирной жизни.", + "Приглашая ее на романтические свидания", + "Друзья убедили его провести больше времени с женой", + "Обед в самом дорогом ресторане Нью-Йорка" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nЧто произошло с Чёрным Орлом в истории О. Генри 'Исчезновение Чёрного Орла'?\nA. 1884\nB. Решил переехать в другую квартиру\nC. Он был пойман и отправлен в тюрьму.\nD. Он стал лидером банды Бада Кинга.\nE. Покупая ей цветы и подарки\nF. 1904\nG. Представиться звездами сцены\nH. Он уехал на Запад, чтобы начать новую жизнь.\nI. Он решил отказаться от жизни разбойника и вернуться к мирной жизни.\nJ. Приглашая ее на романтические свидания\nK. Друзья убедили его провести больше времени с женой\nL. Обед в самом дорогом ресторане Нью-Йорка\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 173, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.019516458734869957, + "B": 0.2098217010498047, + "C": 0.08746668696403503, + "D": 0.07718908041715622, + "E": 0.04131634160876274, + "F": 0.4441925287246704, + "G": 0.04131634160876274, + "H": 0.013413452543318272, + "I": 0.0005200959858484566, + "J": 0.013413452543318272, + "K": 0.004354710690677166, + "L": 0.0009716672357171774 + }, + "sample": { + "question": "Что изменило взгляд Доггерти на его жену в истории 'Как прозрел Доггерти'?", + "answerA": "Друзья убедили его провести больше времени с женой", + "answerB": "Обед в самом дорогом ресторане Нью-Йорка", + "answerC": "Потеря работы заставила его оценить семейные ценности", + "answerD": "Совместный отпуск в экзотической стране", + "correct_answer": "Обед в самом дорогом ресторане Нью-Йорка", + "choices": [ + "Последний лист", + "Сыграть роль лейтенанта и герцога", + "Друзья убедили его провести больше времени с женой", + "Решил переехать в другую квартиру", + "1884", + "Потеря работы заставила его оценить семейные ценности", + "Покупая ей цветы и подарки", + "1904", + "Представиться звездами сцены", + "Приглашая ее на романтические свидания", + "Обед в самом дорогом ресторане Нью-Йорка", + "Совместный отпуск в экзотической стране" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nЧто изменило взгляд Доггерти на его жену в истории 'Как прозрел Доггерти'?\nA. Последний лист\nB. Сыграть роль лейтенанта и герцога\nC. Друзья убедили его провести больше времени с женой\nD. Решил переехать в другую квартиру\nE. 1884\nF. Потеря работы заставила его оценить семейные ценности\nG. Покупая ей цветы и подарки\nH. 1904\nI. Представиться звездами сцены\nJ. Приглашая ее на романтические свидания\nK. Обед в самом дорогом ресторане Нью-Йорка\nL. Совместный отпуск в экзотической стране\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 159, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.042653728276491165, + "B": 0.7560553550720215, + "C": 0.07968764752149582, + "D": 0.048333000391721725, + "E": 0.017780717462301254, + "F": 0.009517332538962364, + "G": 0.009517332538962364, + "H": 0.005094260908663273, + "I": 0.0001357574510620907, + "J": 0.003967414144426584, + "K": 0.0015536617720499635, + "L": 0.00039282720535993576 + }, + "sample": { + "question": "В каком году была опубликована книга 'Короли и капуста' О. Генри?", + "answerA": "1884", + "answerB": "1904", + "answerC": "1924", + "answerD": "1944", + "correct_answer": "B", + "choices": [ + "Тильди ушла из закусочной вместе с мистером Сидерсом.", + "1924", + "Приглашая ее на романтические свидания", + "Последний лист", + "1884", + "Представиться звездами сцены", + "Запланировал больше работать и меньше видеться с друзьями", + "Решил переехать в другую квартиру", + "Сыграть роль лейтенанта и герцога", + "1944", + "Покупая ей цветы и подарки", + "1904" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nВ каком году была опубликована книга 'Короли и капуста' О. Генри?\nA. Тильди ушла из закусочной вместе с мистером Сидерсом.\nB. 1924\nC. Приглашая ее на романтические свидания\nD. Последний лист\nE. 1884\nF. Представиться звездами сцены\nG. Запланировал больше работать и меньше видеться с друзьями\nH. Решил переехать в другую квартиру\nI. Сыграть роль лейтенанта и герцога\nJ. 1944\nK. Покупая ей цветы и подарки\nL. 1904\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 150, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.046121302992105484, + "B": 0.05922092869877815, + "C": 0.14206363260746002, + "D": 0.11063925921916962, + "E": 0.03374306485056877, + "F": 0.12537071108818054, + "G": 0.26540979743003845, + "H": 0.03591930866241455, + "I": 0.0066444044932723045, + "J": 0.02797398529946804, + "K": 0.046121302992105484, + "L": 0.003341016126796603 + }, + "sample": { + "question": "Как Джефф Питерс пытался убедить Мэйми изменить свое мнение о мужчинах в 'Купидон порционно'?", + "answerA": "Покупая ей цветы и подарки", + "answerB": "Приглашая ее на романтические свидания", + "answerC": "Помогая ей в работе официанткой", + "answerD": "Показывая свой истинный аппетит и интерес к выставке Эдуардо Коллиери", + "correct_answer": "Показывая свой истинный аппетит и интерес к выставке Эдуардо Коллиери", + "choices": [ + "Помогая ей в работе официанткой", + "Представиться звездами сцены", + "Запланировал больше работать и меньше видеться с друзьями", + "Приглашая ее на романтические свидания", + "Обещание больше не появляться в Пимиенте", + "Тильди ушла из закусочной вместе с мистером Сидерсом.", + "Показывая свой истинный аппетит и интерес к выставке Эдуардо Коллиери", + "Дороги, которые мы выбираем", + "Покупая ей цветы и подарки", + "Решил переехать в другую квартиру", + "Сыграть роль лейтенанта и герцога", + "Последний лист" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКак Джефф Питерс пытался убедить Мэйми изменить свое мнение о мужчинах в 'Купидон порционно'?\nA. Помогая ей в работе официанткой\nB. Представиться звездами сцены\nC. Запланировал больше работать и меньше видеться с друзьями\nD. Приглашая ее на романтические свидания\nE. Обещание больше не появляться в Пимиенте\nF. Тильди ушла из закусочной вместе с мистером Сидерсом.\nG. Показывая свой истинный аппетит и интерес к выставке Эдуардо Коллиери\nH. Дороги, которые мы выбираем\nI. Покупая ей цветы и подарки\nJ. Решил переехать в другую квартиру\nK. Сыграть роль лейтенанта и герцога\nL. Последний лист\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 177, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.1206076443195343, + "B": 0.08289234340190887, + "C": 0.15486328303813934, + "D": 0.09392932802438736, + "E": 0.08289234340190887, + "F": 0.07315223664045334, + "G": 0.15486328303813934, + "H": 0.08289234340190887, + "I": 0.01968865469098091, + "J": 0.030494386330246925, + "K": 0.01849578134715557, + "L": 0.0034213752951472998 + }, + "sample": { + "question": "Какую роль предлагает Выкури-Вон Смизерс друзьям - Джефф Питерсу и Энди Таккеру?", + "answerA": "Представиться звездами сцены", + "answerB": "Сыграть роль лейтенанта и герцога", + "answerC": "Выдать себя за известных ученых", + "answerD": "Притвориться знатоками антиквариата", + "correct_answer": "Сыграть роль лейтенанта и герцога", + "choices": [ + "Последний лист", + "Мистер Сидерс признался в любви Тильди.", + "Выдать себя за известных ученых", + "Сыграть роль лейтенанта и герцога", + "Представиться звездами сцены", + "Притвориться знатоками антиквариата", + "Запланировал больше работать и меньше видеться с друзьями", + "Дороги, которые мы выбираем", + "Тильди ушла из закусочной вместе с мистером Сидерсом.", + "Недостачу в кассе", + "Решил переехать в другую квартиру", + "Обещание больше не появляться в Пимиенте" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКакую роль предлагает Выкури-Вон Смизерс друзьям - Джефф Питерсу и Энди Таккеру?\nA. Последний лист\nB. Мистер Сидерс признался в любви Тильди.\nC. Выдать себя за известных ученых\nD. Сыграть роль лейтенанта и герцога\nE. Представиться звездами сцены\nF. Притвориться знатоками антиквариата\nG. Запланировал больше работать и меньше видеться с друзьями\nH. Дороги, которые мы выбираем\nI. Тильди ушла из закусочной вместе с мистером Сидерсом.\nJ. Недостачу в кассе\nK. Решил переехать в другую квартиру\nL. Обещание больше не появляться в Пимиенте\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 174, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0026902055833488703, + "B": 0.06122879311442375, + "C": 0.00828641653060913, + "D": 0.028922434896230698, + "E": 0.022524816915392876, + "F": 0.030787773430347443, + "G": 0.03953228145837784, + "H": 0.04208189621567726, + "I": 0.003245007712393999, + "J": 0.16643713414669037, + "K": 0.18859797716140747, + "L": 0.3109455108642578 + }, + "sample": { + "question": "Как Джон Перкинс решил изменить свою жизнь после того, как его жена Кети уехала к заболевшей матери?", + "answerA": "Решил переехать в другую квартиру", + "answerB": "Запланировал больше работать и меньше видеться с друзьями", + "answerC": "Понял, что должен больше времени проводить с Кети и развлекать её", + "answerD": "Решил найти новое хобби для себя", + "correct_answer": "Понял, что должен больше времени проводить с Кети и развлекать её", + "choices": [ + "Плохие отзывы о её последнем спектакле", + "Запланировал больше работать и меньше видеться с друзьями", + "Обещание больше не появляться в Пимиенте", + "Денежное вознаграждение", + "Мистер Сидерс признался в любви Тильди.", + "Решил переехать в другую квартиру", + "Тильди ушла из закусочной вместе с мистером Сидерсом.", + "Решил найти новое хобби для себя", + "Недостачу в кассе", + "Последний лист", + "Дороги, которые мы выбираем", + "Понял, что должен больше времени проводить с Кети и развлекать её" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКак Джон Перкинс решил изменить свою жизнь после того, как его жена Кети уехала к заболевшей матери?\nA. Плохие отзывы о её последнем спектакле\nB. Запланировал больше работать и меньше видеться с друзьями\nC. Обещание больше не появляться в Пимиенте\nD. Денежное вознаграждение\nE. Мистер Сидерс признался в любви Тильди.\nF. Решил переехать в другую квартиру\nG. Тильди ушла из закусочной вместе с мистером Сидерсом.\nH. Решил найти новое хобби для себя\nI. Недостачу в кассе\nJ. Последний лист\nK. Дороги, которые мы выбираем\nL. Понял, что должен больше времени проводить с Кети и развлекать её\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 182, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.006744018755853176, + "B": 0.015197881497442722, + "C": 0.004934029653668404, + "D": 0.015197881497442722, + "E": 0.06811217963695526, + "F": 0.05304582044482231, + "G": 0.06811217963695526, + "H": 0.7322749495506287, + "I": 0.002811325481161475, + "J": 0.004635091871023178, + "K": 0.0018151282565668225, + "L": 0.004090454429388046 + }, + "sample": { + "question": "В каком произведении О. Генри главный герой ищет свою любимую, блуждая по меблированным комнатам?", + "answerA": "Последний лист", + "answerB": "Дороги, которые мы выбираем", + "answerC": "Меблированная комната", + "answerD": "Принц и нищий", + "correct_answer": "Меблированная комната", + "choices": [ + "Дороги, которые мы выбираем", + "Принц и нищий", + "Ссуду в десять тысяч долларов, выданную без обеспечения", + "Обещание больше не появляться в Пимиенте", + "Она оказалась известной актрисой", + "Последний лист", + "Недостачу в кассе", + "Меблированная комната", + "Мистер Сидерс признался в любви Тильди.", + "Тильди ушла из закусочной вместе с мистером Сидерсом.", + "Денежное вознаграждение", + "Плохие отзывы о её последнем спектакле" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nВ каком произведении О. Генри главный герой ищет свою любимую, блуждая по меблированным комнатам?\nA. Дороги, которые мы выбираем\nB. Принц и нищий\nC. Ссуду в десять тысяч долларов, выданную без обеспечения\nD. Обещание больше не появляться в Пимиенте\nE. Она оказалась известной актрисой\nF. Последний лист\nG. Недостачу в кассе\nH. Меблированная комната\nI. Мистер Сидерс признался в любви Тильди.\nJ. Тильди ушла из закусочной вместе с мистером Сидерсом.\nK. Денежное вознаграждение\nL. Плохие отзывы о её последнем спектакле\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 170, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0445341132581234, + "B": 0.1554393321275711, + "C": 0.10683178901672363, + "D": 0.0942787230014801, + "E": 0.06479675322771072, + "F": 0.12105627357959747, + "G": 0.13717472553253174, + "H": 0.0942787230014801, + "I": 0.009936903603374958, + "J": 0.06479675322771072, + "K": 0.02701130323112011, + "L": 0.00566187733784318 + }, + "sample": { + "question": "Чем закончился 'Недолгий триумф Тильди'?", + "answerA": "Тильди ушла из закусочной вместе с мистером Сидерсом.", + "answerB": "Мистер Сидерс признался в любви Тильди.", + "answerC": "Мистер Сидерс извинился перед Тильди, мотивируя свой поступок нетрезвым состоянием.", + "answerD": "Хозяин закусочной попросил Тильди больше не приходить на работу.", + "correct_answer": "Мистер Сидерс извинился перед Тильди, мотивируя свой поступок нетрезвым состоянием.", + "choices": [ + "Хозяин закусочной попросил Тильди больше не приходить на работу.", + "Мистер Сидерс извинился перед Тильди, мотивируя свой поступок нетрезвым состоянием.", + "Ссуду в десять тысяч долларов, выданную без обеспечения", + "Тильди ушла из закусочной вместе с мистером Сидерсом.", + "Недостачу в кассе", + "Денежное вознаграждение", + "1906", + "Она оказалась известной актрисой", + "Ностальгия по родной деревне", + "Мистер Сидерс признался в любви Тильди.", + "Обещание больше не появляться в Пимиенте", + "Плохие отзывы о её последнем спектакле" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nЧем закончился 'Недолгий триумф Тильди'?\nA. Хозяин закусочной попросил Тильди больше не приходить на работу.\nB. Мистер Сидерс извинился перед Тильди, мотивируя свой поступок нетрезвым состоянием.\nC. Ссуду в десять тысяч долларов, выданную без обеспечения\nD. Тильди ушла из закусочной вместе с мистером Сидерсом.\nE. Недостачу в кассе\nF. Денежное вознаграждение\nG. 1906\nH. Она оказалась известной актрисой\nI. Ностальгия по родной деревне\nJ. Мистер Сидерс признался в любви Тильди.\nK. Обещание больше не появляться в Пимиенте\nL. Плохие отзывы о её последнем спектакле\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 188, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.01682666689157486, + "B": 0.027742484584450722, + "C": 0.048689570277929306, + "D": 0.02953171916306019, + "E": 0.13235199451446533, + "F": 0.0625186562538147, + "G": 0.24726606905460358, + "H": 0.2801891565322876, + "I": 0.01310462225228548, + "J": 0.042968399822711945, + "K": 0.01906711235642433, + "L": 0.002746877958998084 + }, + "sample": { + "question": "Что Джед хотел получить от Джека Птицсона в обмен на оставление Уиллелы в покое?", + "answerA": "Обещание больше не появляться в Пимиенте", + "answerB": "Денежное вознаграждение", + "answerC": "Рецепт блинчиков, хранящийся в семье семьдесят пять лет", + "answerD": "Помощь в работе по ферме", + "correct_answer": "Рецепт блинчиков, хранящийся в семье семьдесят пять лет", + "choices": [ + "Помощь в работе по ферме", + "Плохие отзывы о её последнем спектакле", + "Она оказалась известной актрисой", + "1906", + "Она работала кассиршей в ресторане", + "Цветение первых весенних цветов", + "Денежное вознаграждение", + "Ссуду в десять тысяч долларов, выданную без обеспечения", + "Ностальгия по родной деревне", + "Обещание больше не появляться в Пимиенте", + "Рецепт блинчиков, хранящийся в семье семьдесят пять лет", + "Недостачу в кассе" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nЧто Джед хотел получить от Джека Птицсона в обмен на оставление Уиллелы в покое?\nA. Помощь в работе по ферме\nB. Плохие отзывы о её последнем спектакле\nC. Она оказалась известной актрисой\nD. 1906\nE. Она работала кассиршей в ресторане\nF. Цветение первых весенних цветов\nG. Денежное вознаграждение\nH. Ссуду в десять тысяч долларов, выданную без обеспечения\nI. Ностальгия по родной деревне\nJ. Обещание больше не появляться в Пимиенте\nK. Рецепт блинчиков, хранящийся в семье семьдесят пять лет\nL. Недостачу в кассе\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 165, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.018947819247841835, + "B": 0.054827336221933365, + "C": 0.014756578020751476, + "D": 0.03768223896622658, + "E": 0.062127504497766495, + "F": 0.029346957802772522, + "G": 0.033254459500312805, + "H": 0.1315239518880844, + "I": 0.012233631685376167, + "J": 0.1315239518880844, + "K": 0.04269957169890404, + "L": 0.35751911997795105 + }, + "sample": { + "question": "Что обнаружил ревизор в банке Длинного Билла Лонгли в рассказе О. Генри «По первому требованию»?", + "answerA": "Недостачу в кассе", + "answerB": "Ссуду в десять тысяч долларов, выданную без обеспечения", + "answerC": "Фальсификацию подписей", + "answerD": "Ошибку в расчётах процентов по ссудам", + "correct_answer": "B", + "choices": [ + "Она оказалась известной актрисой", + "Она работала кассиршей в ресторане", + "1906", + "Плохие отзывы о её последнем спектакле", + "Недостачу в кассе", + "Фальсификацию подписей", + "Цветение первых весенних цветов", + "Ошибку в расчётах процентов по ссудам", + "Ностальгия по родной деревне", + "1908", + "Юноша и девушка встретились на танцевальном вечере.", + "Ссуду в десять тысяч долларов, выданную без обеспечения" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nЧто обнаружил ревизор в банке Длинного Билла Лонгли в рассказе О. Генри «По первому требованию»?\nA. Она оказалась известной актрисой\nB. Она работала кассиршей в ресторане\nC. 1906\nD. Плохие отзывы о её последнем спектакле\nE. Недостачу в кассе\nF. Фальсификацию подписей\nG. Цветение первых весенних цветов\nH. Ошибку в расчётах процентов по ссудам\nI. Ностальгия по родной деревне\nJ. 1908\nK. Юноша и девушка встретились на танцевальном вечере.\nL. Ссуду в десять тысяч долларов, выданную без обеспечения\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 169, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.055513642728328705, + "B": 0.04899061471223831, + "C": 0.1937616467475891, + "D": 0.0629051998257637, + "E": 0.03367072716355324, + "F": 0.03367072716355324, + "G": 0.4648100435733795, + "H": 0.020422328263521194, + "I": 0.002152497647330165, + "J": 0.006228458136320114, + "K": 0.009646824561059475, + "L": 0.0001659827830735594 + }, + "sample": { + "question": "Что ��ривело к решению Мисс Пози Кэрингтон уехать жить в родную деревню в рассказе 'Погребок и Роза'?", + "answerA": "Плохие отзывы о её последнем спектакле", + "answerB": "Ностальгия по родной деревне", + "answerC": "Вступление в наследство", + "answerD": "Визит и рассказы мистера Хайсмита", + "correct_answer": "D", + "choices": [ + "Визит и рассказы мистера Хайсмита", + "Айди получает наследство, и оба друга уезжают путешествовать.", + "Она оказалась известной актрисой", + "1908", + "Вступление в наследство", + "1906", + "Ностальгия по родной деревне", + "Она работала кассиршей в ресторане", + "Плохие отзывы о её последнем спектакле", + "Цветение первых весенних цветов", + "Дафнис начинает искать свою Хлою", + "Юноша и девушка встретились на танцевальном вечере." + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nЧто привело к решению Мисс Пози Кэрингтон уехать жить в родную деревню в рассказе 'Погребок и Роза'?\nA. Визит и рассказы мистера Хайсмита\nB. Айди получает наследство, и оба друга уезжают путешествовать.\nC. Она оказалась известной актрисой\nD. 1908\nE. Вступление в наследство\nF. 1906\nG. Ностальгия по родной деревне\nH. Она работала кассиршей в ресторане\nI. Плохие отзывы о её последнем спектакле\nJ. Цветение первых весенних цветов\nK. Дафнис начинает искать свою Хлою\nL. Юноша и девушка встретились на танцевальном вечере.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 168, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.07486867904663086, + "B": 0.03536545857787132, + "C": 0.07486867904663086, + "D": 0.15849699079990387, + "E": 0.0961332842707634, + "F": 0.06607137620449066, + "G": 0.0961332842707634, + "H": 0.10893328487873077, + "I": 0.06607137620449066, + "J": 0.07486867904663086, + "K": 0.0454101487994194, + "L": 0.013010225258767605 + }, + "sample": { + "question": "Чем удивила девушка молодого человека в истории 'Пока ждёт автомобиль'?", + "answerA": "Она оказалась известной актрисой", + "answerB": "Она работала кассиршей в ресторане", + "answerC": "Она была иностранной шпионкой", + "answerD": "Она была дочерью мэра города", + "correct_answer": "answerB", + "choices": [ + "Цветение первых весенних цветов", + "1908", + "Она работала кассиршей в ресторане", + "Дафнис начинает искать свою Хлою", + "Она была иностранной шпионкой", + "1905", + "Она была дочерью мэра города", + "Она оказалась известной актрисой", + "Девушка застрелила льва, который напугал её и юношу.", + "Айди получает наследство, и оба друга уезжают путешествовать.", + "Юноша и девушка встретились на танцевальном вечере.", + "1906" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nЧем удивила девушка молодого человека в истории 'Пока ждёт автомобиль'?\nA. Цветение первых весенних цветов\nB. 1908\nC. Она работала кассиршей в ресторане\nD. Дафнис начинает искать свою Хлою\nE. Она была иностранной шпионкой\nF. 1905\nG. Она была дочерью мэра города\nH. Она оказалась известной актрисой\nI. Девушка застрелила льва, который напугал её и юношу.\nJ. Айди получает наследство, и оба друга уезжают путешествовать.\nK. Юноша и девушка встретились на танцевальном вечере.\nL. 1906\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 160, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.03561076894402504, + "B": 0.0277336947619915, + "C": 0.8104973435401917, + "D": 0.04572513327002525, + "E": 0.00900381337851286, + "F": 0.005130217410624027, + "G": 0.01310046948492527, + "H": 0.004819393157958984, + "I": 0.00032796384766697884, + "J": 0.001297122216783464, + "K": 0.002579635474830866, + "L": 5.3538624342763796e-05 + }, + "sample": { + "question": "В каком году была опубликована история «Поросячья этика» О. Генри?", + "answerA": "1906", + "answerB": "1908", + "answerC": "1910", + "answerD": "1912", + "correct_answer": "B", + "choices": [ + "Девушка застрелила льва, который напугал её и юношу.", + "Дафнис начинает искать свою Хлою", + "1906", + "1905", + "1912", + "1910", + "1908", + "Айди получает наследство, и оба друга уезжают путешествовать.", + "Вэленс получает наследство от своего дяди, а Айди остается без ничего.", + "Юноша и девушка встретились на танцевальном вечере.", + "Приготовила праздничный обед", + "Цветение первых весенних цветов" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nВ каком году была опубликована история «Поросячья этика» О. Генри?\nA. Девушка застрелила льва, который напугал её и юношу.\nB. Дафнис начинает искать свою Хлою\nC. 1906\nD. 1905\nE. 1912\nF. 1910\nG. 1908\nH. Айди получает наследство, и оба друга уезжают путешествовать.\nI. Вэленс получает наследство от своего дяди, а Айди остается без ничего.\nJ. Юноша и девушка встретились на танцевальном вечере.\nK. Приготовила праздничный обед\nL. Цветение первых весенних цветов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 171, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.01880917325615883, + "B": 0.25965261459350586, + "C": 0.031011084094643593, + "D": 0.020022260025143623, + "E": 0.09552086889743805, + "F": 0.05793633311986923, + "G": 0.25965261459350586, + "H": 0.07439172267913818, + "I": 0.003703745547682047, + "J": 0.08429685980081558, + "K": 0.012144114822149277, + "L": 0.001450407668016851 + }, + "sample": { + "question": "Что символизирует приход весны в рассказе 'Предвестник весны' О. Генри?", + "answerA": "Цветение первых весенних цветов", + "answerB": "Дафнис начинает искать свою Хлою", + "answerC": "Возвращение птиц с юга", + "answerD": "Таяние снега и льда", + "correct_answer": "B", + "choices": [ + "1908", + "Таяние снега и льда", + "Девушка застрелила льва, который напугал её и юношу.", + "Приготовила праздничный обед", + "Цветение первых весенних цветов", + "Айди получает наследство, и оба друга уезжают путешествовать.", + "Вэленс получает наследство от своего дяди, а Айди остается без ничего.", + "1895", + "Юноша и девушка встретились на танцевальном вечере.", + "Возвращение птиц с юга", + "1905", + "Дафнис начинает искать свою Хлою" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nЧто символизирует приход весны в рассказе 'Предвестник весны' О. Генри?\nA. 1908\nB. Таяние снега и льда\nC. Девушка застрелила льва, который напугал её и юношу.\nD. Приготовила праздничный обед\nE. Цветение первых весенних цветов\nF. Айди получает наследство, и оба друга уезжают путешествовать.\nG. Вэленс получает наследство от своего дяди, а Айди остается без ничего.\nH. 1895\nI. Юноша и девушка встретились на танцевальном вечере.\nJ. Возвращение птиц с юга\nK. 1905\nL. Дафнис начинает искать свою Хлою\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 170, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.06119922176003456, + "B": 0.013655392453074455, + "C": 0.03711920976638794, + "D": 0.657953679561615, + "E": 0.0693478062748909, + "F": 0.02251393534243107, + "G": 0.0540081262588501, + "H": 0.02251393534243107, + "I": 0.007309205364435911, + "J": 0.015473587438464165, + "K": 0.006866362877190113, + "L": 0.0005294770235195756 + }, + "sample": { + "question": "Какое событие стало поворотным моментом в рассказе «Принцесса и пума» О. Генри?", + "answerA": "Юноша и девушка встретились на танцевальном вечере.", + "answerB": "Девушка застрелила льва, который напугал её и юношу.", + "answerC": "Юноша спас девушку от наводнения.", + "answerD": "Девушка научилась всадить пять пуль из шести в жестянку на скаку.", + "correct_answer": "B", + "choices": [ + "Юноша и девушка встретились на танцевальном вечере.", + "Свой день рождения", + "1908", + "Вэленс получает наследство от своего дяди, а Айди остается без ничего.", + "Айди получает наследство, и оба друга уезжают путешествовать.", + "1905", + "1895", + "Юноша спас девушку от наводнения.", + "Девушка застрелила льва, который напугал её и юношу.", + "Приготовила праздничный обед", + "Девушка научилась всадить пять пуль из шести в жестянку на скаку.", + "Заплатила портному за платье Грейс" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКакое событие стало поворотным моментом в рассказе «Принцесса и пума» О. Генри?\nA. Юноша и девушка встретились на танцевальном вечере.\nB. Свой день рождения\nC. 1908\nD. Вэленс получает наследство от своего дяди, а Айди остается без ничего.\nE. Айди получает наследство, и оба друга уезжают путешествовать.\nF. 1905\nG. 1895\nH. Юноша спас девушку от наводнения.\nI. Девушка застрелила льва, который напугал её и юношу.\nJ. Приготовила праздничный обед\nK. Девушка научилась всадить пять пуль из шести в жестянку на скаку.\nL. Заплатила портному за платье Грейс\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 183, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.03161889687180519, + "B": 0.33993518352508545, + "C": 0.12505517899990082, + "D": 0.09739306569099426, + "E": 0.04059946909546852, + "F": 0.11036080121994019, + "G": 0.08594907820224762, + "H": 0.08594907820224762, + "I": 0.0006562293274328113, + "J": 0.009058966301381588, + "K": 0.005494540557265282, + "L": 0.001016387832351029 + }, + "sample": { + "question": "Как заканчивается история в рассказе «Прихоти Фортуны» О. Генри?", + "answerA": "Айди получает наследство, и оба друга уезжают путешествовать.", + "answerB": "Вэленс получает наследство от своего дяди, а Айди остается без ничего.", + "answerC": "Оба друга теряют свое наследство, но находят счастье в дружбе.", + "answerD": "Айди и Вэленс создают собственный бизнес и становятся успешными.", + "correct_answer": "B", + "choices": [ + "1895", + "Оба друга теряют свое наследство, но находят счастье в дружбе.", + "1908", + "1908", + "1905", + "Вэленс получает наследство от своего дяди, а Айди остается без ничего.", + "Айди получает наследство, и оба друга уезжают путешествовать.", + "Айди и Вэленс создают собственный бизнес и становятся успешными.", + "Шериф", + "Заплатила портному за платье Грейс", + "Свой день рождения", + "Приготовила праздничный обед" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКак заканчивается история в рассказе «Прихоти Фортуны» О. Генри?\nA. 1895\nB. Оба друга теряют свое наследство, но находят счастье в дружбе.\nC. 1908\nD. 1908\nE. 1905\nF. Вэленс получает наследство от своего дяди, а Айди остается без ничего.\nG. Айди получает наследство, и оба друга уезжают путешествовать.\nH. Айди и Вэленс создают собственный бизнес и становятся успешными.\nI. Шериф\nJ. Заплатила портному за платье Грейс\nK. Свой день рождения\nL. Приготовила праздничный обед\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 163, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.04087342694401741, + "B": 0.8209647536277771, + "C": 0.052482519298791885, + "D": 0.0318322591483593, + "E": 0.017038580030202866, + "F": 0.001313874265179038, + "G": 0.0033550953958183527, + "H": 0.0014888144796714187, + "I": 5.4230062232818455e-05, + "J": 0.0010892399586737156, + "K": 0.000214484054595232, + "L": 4.223442010697909e-05 + }, + "sample": { + "question": "В каком году был опубликован рассказ 'Простаки с Бродвея' О. Генри?", + "answerA": "1905", + "answerB": "1908", + "answerC": "1910", + "answerD": "1912", + "correct_answer": "1908", + "choices": [ + "Почтмейстер во Флориде", + "1908", + "Свой день рождения", + "1910", + "1912", + "1905", + "Важную встречу с клиентом", + "Приготовила праздничный обед", + "1895", + "Шериф", + "Заплатила портному за платье Грейс", + "Глотание медицинских препаратов" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nВ каком году был опубликован рассказ 'Простаки с Бродвея' О. Генри?\nA. Почтмейстер во Флориде\nB. 1908\nC. Свой день рожден��я\nD. 1910\nE. 1912\nF. 1905\nG. Важную встречу с клиентом\nH. Приготовила праздничный обед\nI. 1895\nJ. Шериф\nK. Заплатила портному за платье Грейс\nL. Глотание медицинских препаратов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 136, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.017696792259812355, + "B": 0.008359373547136784, + "C": 0.037464115768671036, + "D": 0.020053094252943993, + "E": 0.07931152731180191, + "F": 0.010733647271990776, + "G": 0.02917708083987236, + "H": 0.010733647271990776, + "I": 0.664067268371582, + "J": 0.022723132744431496, + "K": 0.0044744499027729034, + "L": 0.0008276900625787675 + }, + "sample": { + "question": "Что Мейда сделала для Грейс перед Днем благодарения в рассказе 'Пурпурное платье'?", + "answerA": "Приготовила праздничный обед", + "answerB": "Заплатила портному за платье Грейс", + "answerC": "Отдала деньги, накопленные на своё платье", + "answerD": "Подарила свое пурпурное платье", + "correct_answer": "C", + "choices": [ + "Свой день рождения", + "1895", + "Новое начало для ранчо Нопалито", + "Почтмейстер во Флориде", + "Глотание медицинских препаратов", + "Заплатила портному за платье Грейс", + "Приготовила праздничный обед", + "1908", + "Подарила свое пурпурное платье", + "Шериф", + "Отдала деньги, накопленные на своё платье", + "Важную встречу с клиентом" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nЧто Мейда сделала для Грейс перед Днем благодарения в рассказе 'Пурпурное платье'?\nA. Свой день рождения\nB. 1895\nC. Новое начало для ранчо Нопалито\nD. Почтмейстер во Флориде\nE. Глотание медицинских препаратов\nF. Заплатила портному за платье Грейс\nG. Приготовила праздничный обед\nH. 1908\nI. Подарила свое пурпурное платье\nJ. Шериф\nK. Отдала деньги, накопленные на своё платье\nL. Важную встречу с клиентом\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 149, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.14412981271743774, + "B": 0.053022392094135284, + "C": 0.07714713364839554, + "D": 0.5030624866485596, + "E": 0.060082245618104935, + "F": 0.015191170386970043, + "G": 0.025046005845069885, + "H": 0.022103022783994675, + "I": 0.025046005845069885, + "J": 0.028380844742059708, + "K": 0.004633045289665461, + "L": 0.002055901335552335 + }, + "sample": { + "question": "В каком году был написан рассказ О. Генри «Развлечения современной деревни»?", + "answerA": "1895", + "answerB": "1908", + "answerC": "1923", + "answerD": "1910", + "correct_answer": "answerB", + "choices": [ + "1895", + "Друг Кернера", + "Новое начало для ранчо Нопалито", + "1908", + "Шериф", + "Почтмейстер во Флориде", + "Свой день рождения", + "Постоянное нахождение в дыму", + "1923", + "1910", + "Глотание медицинских препаратов", + "Важную встречу с клиентом" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nВ каком году был написан рассказ О. Генри «Развлечения современной деревни»?\nA. 1895\nB. Друг Кернера\nC. Новое начало для ранчо Нопалито\nD. 1908\nE. Шериф\nF. Почтмейстер во Флориде\nG. Свой день рождения\nH. Постоянное нахождение в дыму\nI. 1923\nJ. 1910\nK. Глотание медицинских препаратов\nL. Важную встречу с клиентом\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 134, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.1267271190881729, + "B": 0.04662030562758446, + "C": 0.16272084414958954, + "D": 0.1267271190881729, + "E": 0.07686389237642288, + "F": 0.05986165627837181, + "G": 0.20893770456314087, + "H": 0.05986165627837181, + "I": 0.019434232264757156, + "J": 0.017150651663541794, + "K": 0.017150651663541794, + "L": 0.0026301376055926085 + }, + "sample": { + "question": "Что забыл Гарви Максуэлл из-за напряжённой работы на бирже в рассказе 'Роман биржевого маклера' О. Генри?", + "answerA": "Свой день рождения", + "answerB": "Важную встречу с клиентом", + "answerC": "Что он обвенчался с мисс Лесли", + "answerD": "Перевести деньги на другой счёт", + "correct_answer": "Что он обвенчался с мисс Лесли", + "choices": [ + "Постоянное нахождение в дыму", + "Знак примирения между Сантой и Уэбом", + "Новое начало для ранчо Нопалито", + "Друг Кернера", + "Шериф", + "Почтмейстер во Флориде", + "Перевести деньги на другой счёт", + "Обещание богатства и роскоши", + "Глотание медицинских препаратов", + "Важную встречу с клиентом", + "Свой день рождения", + "Что он обвенчался с мисс Лесли" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nЧто забыл Гарви Максуэлл из-за напряжённой работы на бирже в рассказе 'Роман биржевого маклера' О. Генри?\nA. Постоянное нахождение в дыму\nB. Знак примирения между Сантой и Уэбом\nC. Новое начало для ранчо Нопалито\nD. Друг Кернера\nE. Шериф\nF. Почтмейстер во Флориде\nG. Перевести деньги на другой счёт\nH. Обещание богатства и роскоши\nI. Глотание медицинских препаратов\nJ. Важную встречу с клиентом\nK. Свой день рождения\nL. Что он обвенчался с мисс Лесли\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 161, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0373661182820797, + "B": 0.10157164931297302, + "C": 0.2761003375053406, + "D": 0.06160631403326988, + "E": 0.03297548368573189, + "F": 0.042341358959674835, + "G": 0.0896366536617279, + "H": 0.04797904193401337, + "I": 0.004462746437638998, + "J": 0.021290572360157967, + "K": 0.10157164931297302, + "L": 0.0047505684196949005 + }, + "sample": { + "question": "В рассказе О. Генри 'Рука, терзающая весь мир', какую должность получает Билли благодаря помощи миссис Эвери?", + "answerA": "Шериф", + "answerB": "Почтмейстер во Флориде", + "answerC": "Сенатор", + "answerD": "Губернатор", + "correct_answer": "B", + "choices": [ + "Знак примирения между Сантой и Уэбом", + "Шериф", + "Друг Кернера", + "Сенатор", + "Губернатор", + "Глотание медицинских препаратов", + "Новое начало для ранчо Нопалито", + "Постоянное нахождение в дыму", + "Обещание богатства и роскоши", + "Строительные леса", + "Кернер", + "Почтмейстер во Флориде" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nВ рассказе О. Генри 'Рука, терзающая весь мир', какую должность получает Билли благодаря помощи миссис Эвери?\nA. Знак примирения между Сантой и Уэбом\nB. Шериф\nC. Друг Кернера\nD. Сенатор\nE. Губернатор\nF. Глотание медицинских препаратов\nG. Новое начало для ранчо Нопалито\nH. Постоянное нахождение в дыму\nI. Обещание богатства и роскоши\nJ. Строительные леса\nK. Кернер\nL. Почтмейстер во Флориде\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 137, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.3882262408733368, + "B": 0.08662498742341995, + "C": 0.0764462798833847, + "D": 0.046367015689611435, + "E": 0.11122868955135345, + "F": 0.06746359914541245, + "G": 0.06746359914541245, + "H": 0.05254070833325386, + "I": 0.015053165145218372, + "J": 0.015053165145218372, + "K": 0.006275092717260122, + "L": 0.002784555312246084 + }, + "sample": { + "question": "Какой метод лечения кашля Сверчка Макгуайра оказался наиболее эффективным в истории 'Санаторий на ранчо'?", + "answerA": "Глотание медицинских препаратов", + "answerB": "Постоянное нахождение в дыму", + "answerC": "Физическая работа и свежий воздух", + "answerD": "Медитативные практики", + "correct_answer": "Физическая работа и свежий воздух", + "choices": [ + "Физическая работа и свежий воздух", + "Обещание богатства и роскоши", + "Глотание медицинских препаратов", + "Обязанность защищать её интересы всегда", + "Новое начало для ранчо Нопалито", + "1905", + "Строительные леса", + "Друг Кернера", + "Постоянное нахождение в дыму", + "Медитативные практики", + "Знак примирения между Сантой и Уэбом", + "Кернер" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКакой метод лечения кашля Сверчка Макгуайра оказался наиболее эффективным в истории 'Санаторий на ранчо'?\nA. Физическая работа и свежий воздух\nB. Обещание богатства и роскоши\nC. Глотание медицинских препаратов\nD. Обязанность защищать её интересы всегда\nE. Новое начало для ранчо Нопалито\nF. 1905\nG. Строительные леса\nH. Друг Кернера\nI. Постоянное нахождение в дыму\nJ. Медитативные практики\nK. Знак примирения между Сантой и Уэбом\nL. Кернер\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 149, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.01724966987967491, + "B": 0.03887272998690605, + "C": 0.028439896181225777, + "D": 0.04137980565428734, + "E": 0.17421549558639526, + "F": 0.09325084090232849, + "G": 0.19741201400756836, + "H": 0.25348204374313354, + "I": 0.015222779475152493, + "J": 0.04404857009649277, + "K": 0.009828565642237663, + "L": 0.004642685875296593 + }, + "sample": { + "question": "Что символизирует клеймо с сердцем и крестом в рассказе О. Генри 'Сердце и крест'?", + "answerA": "Новое начало для ранчо Нопалито", + "answerB": "Знак примирения между Сантой и Уэбом", + "answerC": "Код для секретного сообщения", + "answerD": "Уникальный бренд скота ранчо", + "correct_answer": "B", + "choices": [ + "Строительные леса", + "Кернер", + "Код для секретного сообщения", + "Семена льна", + "Друг Кернера", + "1905", + "Новое начало для ранчо Нопалито", + "Уникальный бренд скота ранчо", + "Обязанность защищать её интересы всегда", + "Знак примирения между Сантой и Уэбом", + "Открыть ресторан", + "Обещание богатства и роскоши" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nЧто символизирует клеймо с сердцем и крестом в рассказе О. Генри 'Сердце и крест'?\nA. Строительные леса\nB. Кернер\nC. Код для секретного сообщения\nD. Семена льна\nE. Друг Кернера\nF. 1905\nG. Новое начало для ранчо Нопалито\nH. Уникальный бренд скота ранчо\nI. Обязанность защищать её интересы всегда\nJ. Знак примирения между Сантой и Уэбом\nK. Открыть ресторан\nL. Обещание богатства и роскоши\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 140, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.15520913898944855, + "B": 0.12087699770927429, + "C": 0.06470078974962234, + "D": 0.08307746797800064, + "E": 0.07331560552120209, + "F": 0.08307746797800064, + "G": 0.09413909912109375, + "H": 0.12087699770927429, + "I": 0.02100527286529541, + "J": 0.034631840884685516, + "K": 0.02380209229886532, + "L": 0.011968443170189857 + }, + "sample": { + "question": "Кто в рассказе «Смерть дуракам» О.Генри представлен символом наказания за глупость?", + "answerA": "Друг Кернера", + "answerB": "Кернер", + "answerC": "Старик в ресторане", + "answerD": "Девушка, в которую влюблён Кернер", + "correct_answer": "Старик в ресторане", + "choices": [ + "Друг Кернера", + "Старик в ресторане", + "1908", + "Открыть ресторан", + "Обязанность защищать её интересы всегда", + "Семена льна", + "Обещание богатства и роскоши", + "Строительные леса", + "Девушка, в которую влюблён Кернер", + "1905", + "1910", + "Кернер" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКто в рассказе «Смерть дуракам» О.Генри представлен символом наказания за глупость?\nA. Друг Кернера\nB. Старик в ресторане\nC. 1908\nD. Открыть ресторан\nE. Обязанность защищать её интересы всегда\nF. Семена льна\nG. Обещание богатства и роскоши\nH. Строительные леса\nI. Девушка, в которую влюблён Кернер\nJ. 1905\nK. 1910\nL. Кернер\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 129, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.019152596592903137, + "B": 0.1173238754272461, + "C": 0.013163373805582523, + "D": 0.04890786483883858, + "E": 0.1506468504667282, + "F": 0.4095005393028259, + "G": 0.038089483976364136, + "H": 0.06279894709587097, + "I": 0.0017814688617363572, + "J": 0.05541986972093582, + "K": 0.013163373805582523, + "L": 0.029664121568202972 + }, + "sample": { + "question": "Что символизирует венок из роз, который Гейнс надевает на Мери в рассказе «Сон в летнюю сушь» О. Генри?", + "answerA": "Обещание богатства и роскоши", + "answerB": "Обязанность защищать её интересы всегда", + "answerC": "Вечную любовь и преданность", + "answerD": "Желание выиграть соревнование за её внимание", + "correct_answer": "B", + "choices": [ + "Обещание богатства и роскоши", + "Строительные леса", + "Открыть ресторан", + "1905", + "Обязанность защищать её интересы всегда", + "Вечную любовь и преданность", + "1910", + "Желание выиграть соревнование за её внимание", + "Александр Сергеевич Пушкин", + "Запустить брачное объявление", + "Семена льна", + "1908" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nЧто символизирует венок из роз, который Гейнс надевает на Мери в рассказе «Сон в летнюю сушь» О. Генри?\nA. Обещание богатства и роскоши\nB. Строительные леса\nC. Открыть ресторан\nD. 1905\nE. Обязанность защищать её интересы всегда\nF. Вечную любовь и преданность\nG. 1910\nH. Желание выиграть соревнование за её внимание\nI. Александр Сергеевич Пушкин\nJ. Запустить брачное объявление\nK. Семена льна\nL. 1908\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 147, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.05144248157739639, + "B": 0.4307226240634918, + "C": 0.09610720723867416, + "D": 0.1584540158510208, + "E": 0.03535586595535278, + "F": 0.07484836131334305, + "G": 0.05144248157739639, + "H": 0.03535586595535278, + "I": 0.000885116751305759, + "J": 0.006961982697248459, + "K": 0.0037264807615429163, + "L": 0.0010029686382040381 + }, + "sample": { + "question": "Что использовал Патт для спасения миссис Сэмпсон из горящего дома в фильме 'Справочник Гименея'?", + "answerA": "Строительные леса", + "answerB": "Семена льна", + "answerC": "Длинную лестницу", + "answerD": "Ведро воды", + "correct_answer": "B", + "choices": [ + "Открыть ресторан", + "Ведро воды", + "Успех достигается благодаря сложным системным решениям.", + "Строительные леса", + "Александр Сергеевич Пушкин", + "Длинную лестницу", + "1907", + "Семена льна", + "1910", + "Запустить брачное объявление", + "1905", + "1908" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nЧто использовал Патт для спасения миссис Сэмпсон из горящего дома в фильме 'Справочник Гименея'?\nA. Открыть ресторан\nB. Ведро воды\nC. Успех достигается благодаря сложным системным решениям.\nD. Строительные леса\nE. Александр Сергеевич Пушкин\nF. Длинную лестницу\nG. 1907\nH. Семена льна\nI. 1910\nJ. Запустить брачное объявление\nK. 1905\nL. 1908\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 132, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.02441459149122238, + "B": 0.15920314192771912, + "C": 0.1804007887840271, + "D": 0.20442087948322296, + "E": 0.04025285318493843, + "F": 0.04025285318493843, + "G": 0.23163920640945435, + "H": 0.031348954886198044, + "I": 0.0020040718372911215, + "J": 0.010833910666406155, + "K": 0.013068189844489098, + "L": 0.00034825544571503997 + }, + "sample": { + "question": "В каком году был опубликован рассказ 'Стихший ветер' О. Генри?", + "answerA": "1905", + "answerB": "1908", + "answerC": "1910", + "answerD": "1912", + "correct_answer": "answerB", + "choices": [ + "Открыть ресторан", + "1905", + "Запустить брачное объявление", + "1908", + "Фёдор Михайлович Достоевский", + "1912", + "1907", + "Грузинский князь возвращается к рассказчику с деньгами.", + "Александр Сергеевич Пушкин", + "Успех достигается благодаря сложным системным решениям.", + "Ключ к успеху - в поиске и устранении главного конфликта процесса.", + "1910" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nВ каком году был опубликован рассказ 'Стихший ветер' О. Генри?\nA. Открыть ресторан\nB. 1905\nC. Запустить брачное объявление\nD. 1908\nE. Фёдор Михайлович Достоевский\nF. 1912\nG. 1907\nH. Грузинский князь возвращается к рассказчику с деньгами.\nI. Александр Сергеевич Пушкин\nJ. Успех достигается благодаря сложным системным решениям.\nK. Ключ к успеху - в поиске и устранении главного конфликта процесса.\nL. 1910\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 144, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.006615015212446451, + "B": 0.04591730982065201, + "C": 0.027850255370140076, + "D": 0.040521882474422455, + "E": 0.02616289258003235, + "F": 0.06680928170681, + "G": 0.08578483015298843, + "H": 0.07570483535528183, + "I": 0.00904165394604206, + "J": 0.07570483535528183, + "K": 0.3844609260559082, + "L": 0.0589589923620224 + }, + "sample": { + "question": "Что Джефф Питерс и его приятель Энди решают сделать, чтобы заработать деньги в 'Супружество как точная наука'?", + "answerA": "Открыть ресторан", + "answerB": "Запустить брачное объявление", + "answerC": "Написать книгу", + "answerD": "Стать актерами", + "correct_answer": "Запустить брачное объявление", + "choices": [ + "Написать книгу", + "Грузинский князь возвращается к рассказчику с деньгами.", + "1910", + "Павел Власов", + "Стать актерами", + "Открыть ресторан", + "1907", + "Запустить брачное объявление", + "Александр Сергеевич Пушкин", + "Фёдор Михайлович Достоевский", + "Успех достигается благодаря сложным системным решениям.", + "Ключ к успеху - в поиске и устранении главного конфликта процесса." + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nЧто Джефф Питерс и его приятель Энди решают сделать, чтобы заработать деньги в 'Супружество как точная наука'?\nA. Написать книгу\nB. Грузинский князь возвращается к рассказчику с деньгами.\nC. 1910\nD. Павел Власов\nE. Стать актерами\nF. Открыть ресторан\nG. 1907\nH. Запустить брачное объявление\nI. Александр Сергеевич Пушкин\nJ. Фёдор Михайлович Достоевский\nK. Успех достигается благодаря сложным системным решениям.\nL. Ключ к успеху - в поиске и устранении главного конфликта процесса.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 149, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.017863593995571136, + "B": 0.0623500719666481, + "C": 0.5220507383346558, + "D": 0.0623500719666481, + "E": 0.03337358683347702, + "F": 0.04285253584384918, + "G": 0.1319950968027115, + "H": 0.022937308996915817, + "I": 0.002271101111546159, + "J": 0.005448088515549898, + "K": 0.010178369469940662, + "L": 0.0007373185944743454 + }, + "sample": { + "question": "В каком году была опубликована история \"Чья вина?\" О. Генри?", + "answerA": "1910", + "answerB": "1907", + "answerC": "1901", + "answerD": "1899", + "correct_answer": "answerB", + "choices": [ + "Павел Власов", + "Грузинский князь возвращается к рассказчику с деньгами.", + "1901", + "Фёдор Михайлович Достоевский", + "Успех достигается благодаря сложным системным решениям.", + "1978", + "1907", + "1910", + "Александр Сергеевич Пушкин", + "Рассказчик и грузин становятся богатыми и успешными в Тифлисе.", + "1899", + "Ключ к успеху - в поиске и устранении главного конфликта процесса." + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nВ каком году была опубликована история \"Чья вина?\" О. Генри?\nA. Павел Власов\nB. Грузинский князь возвращается к рассказчику с деньгами.\nC. 1901\nD. Фёдор Михайлович Достоевский\nE. Успех достигается благодаря сложным системным решениям.\nF. 1978\nG. 1907\nH. 1910\nI. Александр Сергеевич Пушкин\nJ. Рассказчик и грузин становятся богатыми и успешными в Тифлисе.\nK. 1899\nL. Ключ к успеху - в поиске и устранении главного конфликта процесса.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 150, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.02090877667069435, + "B": 0.018451930955052376, + "C": 0.2886367738246918, + "D": 0.05015755072236061, + "E": 0.018451930955052376, + "F": 0.011913462541997433, + "G": 0.4199640154838562, + "H": 0.011913462541997433, + "I": 0.0005234410054981709, + "J": 0.0010409867390990257, + "K": 0.003012194763869047, + "L": 0.00013234661309979856 + }, + "sample": { + "question": "Кто является автором произведения 'Несколько слов о Пушкине'?", + "answerA": "Александр Сергеевич Пушкин", + "answerB": "Фёдор Михайлович Достоевский", + "answerC": "Лев Николаевич Толстой", + "answerD": "Гоголь Николай Васильевич", + "correct_answer": "answerD", + "choices": [ + "Рассказчик и грузин становятся богатыми и успешными в Тифлисе.", + "1978", + "Гоголь Николай Васильевич", + "Ключ к успеху - в поиске и устранении главного конфликта процесса.", + "Иван Гордеев", + "Фёдор Михайлович Достоевский", + "Александр Сергеевич Пушкин", + "Основал первый в России заповедник архитектуры", + "Павел Власов", + "Грузинский князь возвращается к рассказчику с деньгами.", + "Успех достигается благодаря сложным системным решениям.", + "Лев Никол��евич Толстой" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКто является автором произведения 'Несколько слов о Пушкине'?\nA. Рассказчик и грузин становятся богатыми и успешными в Тифлисе.\nB. 1978\nC. Гоголь Николай Васильевич\nD. Ключ к успеху - в поиске и устранении главного конфликта процесса.\nE. Иван Гордеев\nF. Фёдор Михайлович Достоевский\nG. Александр Сергеевич Пушкин\nH. Основал первый в России заповедник архитектуры\nI. Павел Власов\nJ. Грузинский князь возвращается к рассказчику с деньгами.\nK. Успех достигается благодаря сложным системным решениям.\nL. Лев Николаевич Толстой\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 146, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.029448194429278374, + "B": 0.03781222924590111, + "C": 0.5914828181266785, + "D": 0.07064255326986313, + "E": 0.029448194429278374, + "F": 0.03781222924590111, + "G": 0.09070683270692825, + "H": 0.029448194429278374, + "I": 0.001466139336116612, + "J": 0.004807285964488983, + "K": 0.008437048643827438, + "L": 0.0012938634026795626 + }, + "sample": { + "question": "Какое из утверждений отражает ключевую идею фильма 'Правила Голдратта'?", + "answerA": "Успех достигается благодаря сложным системным решениям.", + "answerB": "Ключ к успеху - в поиске и устранении главного конфликта процесса.", + "answerC": "Инновации могут быть достигнуты только через глобальное планирование.", + "answerD": "Постоянное обучение и развитие препятствуют успеху.", + "correct_answer": "B", + "choices": [ + "Литература должна давать четкие ответы на вопросы о будущем", + "Павел Власов", + "Ключ к успеху - в поиске и устранении главного конфликта процесса.", + "Успех достигается благодаря сложным системным решениям.", + "Основал первый в России заповедник архитектуры", + "Грузинский князь возвращается к рассказчику с деньгами.", + "Иван Гордеев", + "Инновации могут быть достигнуты только через глобальное планирование.", + "Постоянное обучение и развитие препятствуют успеху.", + "1978", + "1982", + "Рассказчик и грузин становятся богатыми и успешными в Тифлисе." + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКакое из утверждений отражает ключевую идею фильма 'Правила Голдратта'?\nA. Литература должна давать четкие ответы на вопросы о будущем\nB. Павел Власов\nC. Ключ к успеху - в поиске и устранении главного конфликта процесса.\nD. Успех достигается благодаря сложным системным решениям.\nE. Основал первый в России заповедник архитектуры\nF. Грузинский князь возвращается к рассказчику с деньгами.\nG. Иван Гордеев\nH. Инновации могут быть достигнуты только через глобальное планирование.\nI. Постоянное обучение и развитие препятствуют успеху.\nJ. 1978\nK. 1982\nL. Рассказчик и грузин становятся богатыми и успешными в Тифлисе.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 171, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0037288148887455463, + "B": 0.007893900386989117, + "C": 0.8571307063102722, + "D": 0.012226312421262264, + "E": 0.005096685141324997, + "F": 0.01078968308866024, + "G": 0.037659697234630585, + "H": 0.012226312421262264, + "I": 0.00025374905089847744, + "J": 0.0006897613639011979, + "K": 0.0005371866864152253, + "L": 2.6744952265289612e-05 + }, + "sample": { + "question": "Что происходит в конце рассказа \"Мой спутник\"?", + "answerA": "Грузинский князь возвращается к рассказчику с деньгами.", + "answerB": "Рассказчик и грузин становятся богатыми и успешными в Тифлисе.", + "answerC": "Грузинский князь Шакро Птадзе исчезает, больше рассказчик его не встречает.", + "answerD": "Рассказчик решает вернуться домой без своего спутника.", + "correct_answer": "answerC", + "choices": [ + "Основал первый в России заповедник архитектуры", + "Александр Солженицын", + "Грузинский князь Шакро Птадзе исчезает, больше рассказчик его не встречает.", + "Рассказчик решает вернуться домой без своего спутника.", + "Защитил Невский проспект от реконструкции", + "1982", + "Литература должна давать четкие ответы на вопросы о будущем", + "Павел Власов", + "Иван Гордеев", + "Рассказчик и грузин становятся богатыми и успешными в Тифлисе.", + "1978", + "Грузинский князь возвращается к рассказчику с деньгами." + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nЧто происходит в конце рассказа \"Мой спутник\"?\nA. Основал первый в России заповедник архитектуры\nB. Александр Солженицын\nC. Грузинский князь Шакро Птадзе исчезает, больше рассказчик его не встречает.\nD. Рассказчик решает вернуться домой без своего спутника.\nE. Защитил Невский проспект от реконструкции\nF. 1982\nG. Литература должна давать четкие ответы на вопросы о будущем\nH. Павел Власов\nI. Иван Гордеев\nJ. Рассказчик и грузин становятся богатыми и успешными в Тифлисе.\nK. 1978\nL. Грузинский князь возвращается к рассказчику с деньгами.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 156, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.08264098316431046, + "B": 0.10611312091350555, + "C": 0.13625195622444153, + "D": 0.2545521557331085, + "E": 0.050124287605285645, + "F": 0.030401920899748802, + "G": 0.17495097219944, + "H": 0.016272975131869316, + "I": 0.006372588686645031, + "J": 0.007686809170991182, + "K": 0.016272975131869316, + "L": 0.0011788104893639684 + }, + "sample": { + "question": "Кто является главным героем романа 'Фома Гордеев'?", + "answerA": "Павел Власов", + "answerB": "Иван Гордеев", + "answerC": "Алексей Пешков", + "answerD": "Михаил Кольцов", + "correct_answer": "Иван Гордеев", + "choices": [ + "Защитил Невский проспект от реконструкции", + "Михаил Кольцов", + "1978", + "Иван Гордеев", + "Основал первый в России заповедник архитектуры", + "Сила человека не может быть основана на вере", + "Александр Солженицын", + "Паве�� Власов", + "Алексей Пешков", + "Мода", + "Литература должна давать четкие ответы на вопросы о будущем", + "1982" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКто является главным героем романа 'Фома Гордеев'?\nA. Защитил Невский проспект от реконструкции\nB. Михаил Кольцов\nC. 1978\nD. Иван Гордеев\nE. Основал первый в России заповедник архитектуры\nF. Сила человека не может быть основана на вере\nG. Александр Солженицын\nH. Павел Власов\nI. Алексей Пешков\nJ. Мода\nK. Литература должна давать четкие ответы на вопросы о будущем\nL. 1982\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 126, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.04679901897907257, + "B": 0.09907352924346924, + "C": 0.07715854048728943, + "D": 0.14415113627910614, + "E": 0.08743207901716232, + "F": 0.07715854048728943, + "G": 0.06809217482805252, + "H": 0.09907352924346924, + "I": 0.015193416737020016, + "J": 0.06809217482805252, + "K": 0.060091130435466766, + "L": 0.08743207901716232 + }, + "sample": { + "question": "В каком году была опубликована книга гранина \"Будущее воспоминание\"?", + "answerA": "1978", + "answerB": "1982", + "answerC": "1985", + "answerD": "1990", + "correct_answer": "answerB", + "choices": [ + "1990", + "Защитил Невский проспект от реконструкции", + "Александр Солженицын", + "1978", + "Основал первый в России заповедник архитектуры", + "1985", + "Дмитрий Лихачёв", + "Нехватку исторической совести и ответственности.", + "1982", + "Сила человека не может быть основана на вере", + "Мода", + "Литература должна давать четкие ответы на вопросы о будущем" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nВ каком году была опубликована книга гранина \"Будущее воспоминание\"?\nA. 1990\nB. Защитил Невский проспект от реконструкции\nC. Александр Солженицын\nD. 1978\nE. Основал первый в России заповедник архитектуры\nF. 1985\nG. Дмитрий Лихачёв\nH. Нехватку исторической совести и ответственности.\nI. 1982\nJ. Сила человека не может быть основана на вере\nK. Мода\nL. Литература должна давать четкие ответы на вопросы о будущем\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 137, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.021297194063663483, + "B": 0.015581359155476093, + "C": 0.3775017559528351, + "D": 0.09544739127159119, + "E": 0.08423203229904175, + "F": 0.027346137911081314, + "G": 0.13887515664100647, + "H": 0.0655999630689621, + "I": 0.01463733147829771, + "J": 0.008340099826455116, + "K": 0.010060081258416176, + "L": 0.0009960829047486186 + }, + "sample": { + "question": "Какой вклад внес Дмитрий Сергеевич Лихачёв в защиту культурного наследия России в соответствии с книгой 'В служении Отечеству' Гранина?", + "answerA": "Основал первый в России заповедник архитектуры", + "answerB": "Защитил Невский проспект от реконструкции", + "answerC": "Ввел в учебные программы истории обязательное изучение древнерусского искусства", + "answerD": "Открыл музей древнерусской литературы и искусства", + "correct_answer": "answerB", + "choices": [ + "Мода", + "Сила человека не может быть основана на вере", + "Открыл музей древнерусской литературы и искусства", + "Основал первый в России заповедник архитектуры", + "Ввел в учебные программы истории обязательное изучение древнерусского искусства", + "Александр Солженицын", + "Защитил Невский проспект от реконструкции", + "Дмитрий Лихачёв", + "Искусству и креативности", + "Нехватку исторической совести и ответственности.", + "Литература должна давать четкие ответы на вопросы о будущем", + "Технологии" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКакой вклад внес Дмитрий Сергеевич Лихачёв в защиту культурного наследия России в соответствии с книгой 'В служении Отечеству' Гранина?\nA. Мода\nB. Сила человека не может быть основана на вере\nC. Открыл музей древнерусской литературы и искусства\nD. Основал первый в России заповедник архитектуры\nE. Ввел в учебные программы истории обязательное изучение древнерусского искусства\nF. Александр Солженицын\nG. Защитил Невский проспект от реконструкции\nH. Дмитрий Лихачёв\nI. Искусству и креативности\nJ. Нехватку исторической совести и ответственности.\nK. Литература должна давать четкие ответы на вопросы о будущем\nL. Технологии\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 167, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.01036176085472107, + "B": 0.823136568069458, + "C": 0.08675795793533325, + "D": 0.011741412803530693, + "E": 0.0024611339904367924, + "F": 0.000750603387132287, + "G": 0.00231202132999897, + "H": 0.0005845705163665116, + "I": 1.8790989997796714e-05, + "J": 0.0002761315554380417, + "K": 0.00011510876356624067, + "L": 8.338450243172701e-06 + }, + "sample": { + "question": "Какую идею выдвигает Даниил Александрович Гранин в своем произведении 'Во что я верю'?", + "answerA": "Литература должна давать четкие ответы на вопросы о будущем", + "answerB": "Сила человека не может быть основана на вере", + "answerC": "Основная проблема современности – отсутствие профессиональных политиков", + "answerD": "Веру в будущее стало трудно найти из-за непредсказуемости мира", + "correct_answer": "answerD", + "choices": [ + "Мода", + "Веру в будущее стало трудно найти из-за непредсказуемости мира", + "Нехватку исторической совести и ответственности.", + "Искусству и креативности", + "Технологии", + "Сила человека не может быть основана на вере", + "Дмитрий Лихачёв", + "Основная проблема современности – отсутствие профессиональных политиков", + "Отсутствие интереса к изучению космоса.", + "Трумвик", + "Литература должна давать четкие ответы на вопросы о будущем", + "Александр Солженицын" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКакую идею выдвигает Даниил Александрович Гранин в своем произведении 'Во что я верю'?\nA. Мода\nB. Веру в будущее стало трудно найти из-за непредсказуемости мира\nC. Нехватку исторической совести и ответственности.\nD. Искусству и креативности\nE. Технологии\nF. Сила человека не может быть основана на вере\nG. Дмитрий Лихачёв\nH. Основная проблема современности – отсутствие профессиональных политиков\nI. Отсутствие интереса к изучению космоса.\nJ. Трумвик\nK. Литература должна давать четкие ответы на вопросы о будущем\nL. Александр Солженицын\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 148, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.04611524939537048, + "B": 0.11062473058700562, + "C": 0.20667420327663422, + "D": 0.07603119313716888, + "E": 0.027970310300588608, + "F": 0.0359145887196064, + "G": 0.12535423040390015, + "H": 0.0359145887196064, + "I": 0.04611524939537048, + "J": 0.0976259782910347, + "K": 0.06709728389978409, + "L": 0.004029505420476198 + }, + "sample": { + "question": "В честь кого был назван микропересказ 'Он умер в день Веры, Надежды, Любви'?", + "answerA": "Александр Солженицын", + "answerB": "Дмитрий Лихачёв", + "answerC": "Иван Бунин", + "answerD": "Лев Толстой", + "correct_answer": "B", + "choices": [ + "Искусству и креативности", + "Лев Толстой", + "Нехватку исторической совести и ответственности.", + "Мода", + "Коллекцию диких рисунков", + "Этикету и вежливости", + "Отсутствие интереса к изучению космоса.", + "Технологии", + "Трумвик", + "Дмитрий Лихачёв", + "Александр Солженицын", + "Иван Бунин" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nВ честь кого был назван микропересказ 'Он умер в день Веры, Надежды, Любви'?\nA. Искусству и креативности\nB. Лев Толстой\nC. Нехватку исторической совести и ответственности.\nD. Мода\nE. Коллекцию диких рисунков\nF. Этикету и вежливости\nG. Отсутствие интереса к изучению космоса.\nH. Технологии\nI. Трумвик\nJ. Дмитрий Лихачёв\nK. Александр Солженицын\nL. Иван Бунин\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 128, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0041541410610079765, + "B": 0.007760957349091768, + "C": 0.12140180915594101, + "D": 0.027088403701782227, + "E": 0.012020406313240528, + "F": 0.0014356328174471855, + "G": 0.5440851449966431, + "H": 0.0072907451540231705, + "I": 0.0004113157046958804, + "J": 0.0005281397607177496, + "K": 0.00826149620115757, + "L": 4.0725772123550996e-05 + }, + "sample": { + "question": "Что остается неизменным в мире, где все быстро меняется, согласно произведению Даниила Гранина 'Точка опоры. Часть 1'?", + "answerA": "Мода", + "answerB": "Технологии", + "answerC": "Книги, картины, пластинки", + "answerD": "Социальные нормы", + "correct_answer": "Книги, картины, пластинки", + "choices": [ + "Социальные нормы", + "Книги, картины, пластинки", + "Мода", + "Пурпурные паруса", + "Технологии", + "Трумвик", + "Искусству и креативности", + "Отсутствие интереса к изучению космоса.", + "Гутан", + "Этикету и вежливости", + "Коллекцию диких рисунков", + "Нехватку исторической совести и ответственности." + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nЧто остается неизменным в мире, где все быстро меняется, согласно произведению Даниила Гранина 'Точка опоры. Часть 1'?\nA. Социальные нормы\nB. Книги, картины, пластинки\nC. Мода\nD. Пурпурные паруса\nE. Технологии\nF. Трумвик\nG. Искусству и креативности\nH. Отсутствие интереса к изучению космоса.\nI. Гутан\nJ. Этикету и вежливости\nK. Коллекцию диких рисунков\nL. Нехватку исторической совести и ответственности.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 138, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.020305544137954712, + "B": 0.033478181809186935, + "C": 0.01791958138346672, + "D": 0.10312005877494812, + "E": 0.31763213872909546, + "F": 0.010868774726986885, + "G": 0.029544390738010406, + "H": 0.033478181809186935, + "I": 0.03793575242161751, + "J": 0.1168503537774086, + "K": 0.020305544137954712, + "L": 0.02607283554971218 + }, + "sample": { + "question": "Чему, по мнению Гранина, следует учить с первых классов школы, чтобы воспитывать культуру личности?", + "answerA": "Искусству и креативности", + "answerB": "Этикету и вежливости", + "answerC": "Научным дисциплинам", + "answerD": "Трудовым навыкам", + "correct_answer": "B", + "choices": [ + "Картину, где женщина стояла спиной", + "Трумвик", + "Замбо Хабибро", + "Научным дисциплинам", + "Этикету и вежливости", + "Пурпурные паруса", + "Алые паруса", + "Трудовым навыкам", + "Гутан", + "1823", + "Коллекцию диких рисунков", + "Искусству и креативности" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nЧему, по мнению Гранина, следует учить с первых классов школы, чтобы воспитывать культуру личности?\nA. Картину, где женщина стояла спиной\nB. Трумвик\nC. Замбо Хабибро\nD. Научным дисциплинам\nE. Этикету и вежливости\nF. Пурпурные паруса\nG. Алые паруса\nH. Трудовым навыкам\nI. Гутан\nJ. 1823\nK. Коллекцию диких рисунков\nL. Искусству и креативности\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 134, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.11778574436903, + "B": 0.049100399017333984, + "C": 0.24935241043567657, + "D": 0.15123988687992096, + "E": 0.038239430636167526, + "F": 0.049100399017333984, + "G": 0.08095287531614304, + "H": 0.043330948799848557, + "I": 0.018063029274344444, + "J": 0.014974775724112988, + "K": 0.014974775724112988, + "L": 0.0012292044702917337 + }, + "sample": { + "question": "Какое настоящее имя главного героя романа \"Сто вёрст по реке\" Грина Александра Степановича?", + "answerA": "Трумвик", + "answerB": "Гутан", + "answerC": "Нок", + "answerD": "Иван", + "correct_answer": "C", + "choices": [ + "Трумвик", + "1823", + "Раск", + "Нок", + "Коллекцию диких рисунков", + "Иван", + "1520-е годы", + "Картину, где женщина стояла спиной", + "Алые паруса", + "Гутан", + "Пурпурные паруса", + "Замбо Хабибро" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКакое настоящее имя главного героя романа \"Сто вёрст по реке\" Грина Александра Степановича?\nA. Трумвик\nB. 1823\nC. Раск\nD. Нок\nE. Коллекцию диких рисунков\nF. Иван\nG. 1520-е годы\nH. Картину, где женщина стояла спиной\nI. Алые паруса\nJ. Гутан\nK. Пурпурные паруса\nL. Замбо Хабибро\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 125, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.13069075345993042, + "B": 0.06173393875360489, + "C": 0.24416247010231018, + "D": 0.10178206115961075, + "E": 0.06995372474193573, + "F": 0.06995372474193573, + "G": 0.10178206115961075, + "H": 0.06173393875360489, + "I": 0.018827788531780243, + "J": 0.025734534487128258, + "K": 0.01072775013744831, + "L": 0.003946518525481224 + }, + "sample": { + "question": "Какой подарок получил Аммон Кут от Доггера в конце истории 'Искатель приключений'?", + "answerA": "Коллекцию диких рисунков", + "answerB": "Картину, где женщина стояла спиной", + "answerC": "Портрет Эльмы", + "answerD": "Серию книг о приключениях", + "correct_answer": "answerB", + "choices": [ + "Замбо Хабибро", + "Картину, где женщина стояла спиной", + "Алые паруса", + "Портрет Эльмы", + "Раск", + "Пурпурные паруса", + "Сьер Клюбен", + "1834", + "Серию книг о приключениях", + "1520-е годы", + "1823", + "Коллекцию диких рисунков" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКакой подарок получил Аммон Кут от Доггера в конце истории 'Искатель приключений'?\nA. Замбо Хабибро\nB. Картину, где женщина стояла спиной\nC. Алые паруса\nD. Портрет Эльмы\nE. Раск\nF. Пурпурные паруса\nG. Сьер Клюбен\nH. 1834\nI. Серию книг о приключениях\nJ. 1520-е годы\nK. 1823\nL. Коллекцию диких рисунков\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 134, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.17722943425178528, + "B": 0.09486408531665802, + "C": 0.17722943425178528, + "D": 0.07388021796941757, + "E": 0.10749508440494537, + "F": 0.06519906967878342, + "G": 0.08371725678443909, + "H": 0.07388021796941757, + "I": 0.016484905034303665, + "J": 0.023985395208001137, + "K": 0.012060614302754402, + "L": 0.00999860092997551 + }, + "sample": { + "question": "В каком произведении Александра Грина фотографический эффект молнии на шее персонажа становится доказательством преступления?", + "answerA": "Пурпурные паруса", + "answerB": "Алые паруса", + "answerC": "Бегущая по волнам", + "answerD": "Зурбаган", + "correct_answer": "Зурбаган", + "choices": [ + "Сьер Клюбен", + "Замбо Хабибро", + "Зурбаган", + "1520-е годы", + "Раск", + "Бегущая по волнам", + "1834", + "1823", + "Нэвилл Ландлесс", + "Пурпурные паруса", + "1450-е годы", + "Алые паруса" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nВ каком произведении Александра Грина фотографический эффект молнии на шее персонажа становится доказательством преступления?\nA. Сьер Клюбен\nB. Замбо Хабибро\nC. Зурбаган\nD. 1520-е годы\nE. Раск\nF. Бегущая по волнам\nG. 1834\nH. 1823\nI. Нэвилл Ландлесс\nJ. Пурпурные паруса\nK. 1450-е годы\nL. Алые паруса\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 133, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.38708746433258057, + "B": 0.04079871624708176, + "C": 0.04623100534081459, + "D": 0.16136205196380615, + "E": 0.06726571172475815, + "F": 0.05238658934831619, + "G": 0.07622203230857849, + "H": 0.04623100534081459, + "I": 0.021837981417775154, + "J": 0.02051488310098648, + "K": 0.010980826802551746, + "L": 0.008551876060664654 + }, + "sample": { + "question": "Как зовут раба, который стал руководителем восстания в романе \"Бюг-Жаргаль\"?", + "answerA": "Замбо Хабибро", + "answerB": "Раск", + "answerC": "Пьеро", + "answerD": "Биас", + "correct_answer": "Пьеро", + "choices": [ + "Замбо Хабибро", + "Не мусорить на производстве", + "1520-е годы", + "Раск", + "Биас", + "Сьер Клюбен", + "1450-е годы", + "Нэвилл Ландлесс", + "Пьеро", + "1834", + "1823", + "Рантен" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКак зовут раба, который стал руководителем восстания в романе \"Бюг-Жаргаль\"?\nA. Замбо Хабибро\nB. Не мусорить на производстве\nC. 1520-е годы\nD. Раск\nE. Биас\nF. Сьер Клюбен\nG. 1450-е годы\nH. Нэвилл Ландлесс\nI. Пьеро\nJ. 1834\nK. 1823\nL. Рантен\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 130, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.05148237198591232, + "B": 0.01893930695950985, + "C": 0.6271836757659912, + "D": 0.1585768610239029, + "E": 0.03538328409194946, + "F": 0.014749947004020214, + "G": 0.04009450972080231, + "H": 0.008946293964982033, + "I": 0.0042259301990270615, + "J": 0.002904436783865094, + "K": 0.0019961881916970015, + "L": 0.0001539295190013945 + }, + "sample": { + "question": "В каком году был написан роман 'Клод Гё' Виктором Гюго?", + "answerA": "1823", + "answerB": "1834", + "answerC": "1845", + "answerD": "1850", + "correct_answer": "answerB", + "choices": [ + "Сьер Клюбен", + "Рантен", + "1850", + "1845", + "Джон Джаспер", + "Нанял детектива для поиска.", + "1450-е годы", + "1520-е годы", + "1823", + "Не мусорить на производстве", + "Нэвилл Ландлесс", + "1834" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nВ каком году был написан роман 'Клод Гё' Виктором Гюго?\nA. Сьер Клюбен\nB. Рантен\nC. 1850\nD. 1845\nE. Джон Джаспер\nF. Нанял детектива для поиска.\nG. 1450-е годы\nH. 1520-е годы\nI. 1823\nJ. Не мусорить на производстве\nK. Нэвилл Ландлесс\nL. 1834\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 136, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.2565784752368927, + "B": 0.08329883217811584, + "C": 0.1069578155875206, + "D": 0.12119908630847931, + "E": 0.08329883217811584, + "F": 0.05725039541721344, + "G": 0.07351095974445343, + "H": 0.04458664730191231, + "I": 0.018586482852697372, + "J": 0.023865513503551483, + "K": 0.012000334449112415, + "L": 0.0012648259289562702 + }, + "sample": { + "question": "Как звали главного героя в романе 'Труженики моря'?", + "answerA": "Сьер Клюбен", + "answerB": "Рантен", + "answerC": "Месс Летьери", + "answerD": "Жильят Лукавец", + "correct_answer": "D", + "choices": [ + "Сьер Клюбен", + "Татьяна", + "1978", + "Месс Летьери", + "Рантен", + "Жильят Лукавец", + "Не мусорить на производстве", + "Покупает настоящий автомобиль.", + "Джон Джаспер", + "Всегда говорить правду", + "Нанял детектива для поиска.", + "Нэвилл Ландлесс" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКак звали главного героя в романе 'Труженики моря'?\nA. Сьер Клюбен\nB. Татьяна\nC. 1978\nD. Месс Летьери\nE. Рантен\nF. Жильят Лукавец\nG. Не мусорить на производстве\nH. Покупает настоящий автомобиль.\nI. Джон Джаспер\nJ. Всегда говорить правду\nK. Нанял детектива для поиска.\nL. Нэвилл Ландлесс\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 122, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0636410266160965, + "B": 0.0721147358417511, + "C": 0.023412227630615234, + "D": 0.026529528200626373, + "E": 0.32319581508636475, + "F": 0.10492631793022156, + "G": 0.049563683569431305, + "H": 0.19602817296981812, + "I": 0.00670771487057209, + "J": 0.03406458720564842, + "K": 0.006301315501332283, + "L": 0.02199375070631504 + }, + "sample": { + "question": "Кто из персонажей романа 'Тайна Эдвина Друда' является опиумным курильщиком?", + "answerA": "Нэвилл Ландлесс", + "answerB": "Джон Джаспер", + "answerC": "Мистер Грюгиус", + "answerD": "Дик Дэтчери", + "correct_answer": "B", + "choices": [ + "Татьяна", + "Не мусорить на производстве", + "Покупает настоящий автомобиль.", + "1980", + "Мистер Грюгиус", + "Джон Джаспер", + "Всегда говорить правду", + "Дик Дэтчери", + "На велосипеде через город", + "Нанял детектива для поиска.", + "Нэвилл Ландлесс", + "1978" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКто из персонажей романа 'Тайна Эдвина Друда' является опиумным курильщиком?\nA. Татьяна\nB. Не мусорить на производстве\nC. Покупает настоящий автомобиль.\nD. 1980\nE. Мистер Грюгиус\nF. Джон Джаспер\nG. Всегда говорить правду\nH. Дик Дэтчери\nI. На велосипеде через город\nJ. Нанял детектива для поиска.\nK. Нэвилл Ландлесс\nL. 1978\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 134, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0046845413744449615, + "B": 0.08303547650575638, + "C": 0.15513069927692413, + "D": 0.19919176399707794, + "E": 0.026957672089338303, + "F": 0.19919176399707794, + "G": 0.08303547650575638, + "H": 0.05036356300115585, + "I": 0.0017233464168384671, + "J": 0.0077235023491084576, + "K": 0.05036356300115585, + "L": 0.0046845413744449615 + }, + "sample": { + "question": "Чему учил студентов бригадир на плодоовощной базе в рассказе Сергея Довлатова 'Виноград'?", + "answerA": "Не мусорить на производстве", + "answerB": "Всегда говорить правду", + "answerC": "Как украсть и не попасться", + "answerD": "Важности физического труда для формирования характера", + "correct_answer": "Как украсть и не попасться", + "choices": [ + "Покупает настоящий автомобиль.", + "Татьяна", + "Не мусорить на производстве", + "Всегда говорить правду", + "На велосипеде через город", + "Важности физического труда для формирования характера", + "Нанял детектива для поиска.", + "Как украсть и не попасться", + "Фаина", + "Ключ от сейфа", + "1978", + "1980" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nЧему учил студентов бригадир на плодоовощной базе в рассказе Сергея Довлатова 'Виноград'?\nA. Покупает настоящий автомобиль.\nB. Татьяна\nC. Не мусорить на производстве\nD. Всегда говорить правду\nE. На велосипеде через город\nF. Важности физического труда для формирования характера\nG. Нанял детектива для поиска.\nH. Как украсть и не попасться\nI. Фаина\nJ. Ключ от сейфа\nK. 1978\nL. 1980\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 135, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.020655076950788498, + "B": 0.028232144191861153, + "C": 0.02652164362370968, + "D": 0.07674292474985123, + "E": 0.07674292474985123, + "F": 0.056146323680877686, + "G": 0.08696113526821136, + "H": 0.08696113526821136, + "I": 0.07674292474985123, + "J": 0.23638485372066498, + "K": 0.07209330052137375, + "L": 0.0340544693171978 + }, + "sample": { + "question": "Как писатель решил уладить вопрос с пропавшей игрушкой в фильме 'Игрушка'?", + "answerA": "Нанял детектива для поиска.", + "answerB": "Покупает настоящий автомобиль.", + "answerC": "Он попросил помощи у соседей.", + "answerD": "Заказал новую игрушку онлайн.", + "correct_answer": "B", + "choices": [ + "Фаина", + "1978", + "Татьяна", + "Ключ от сейфа", + "Покупает настоящий автомобиль.", + "На велосипеде через город", + "1980", + "Заказал новую игрушку онлайн.", + "Он попросил помощи у соседей.", + "Нанял детектива для поиска.", + "1889", + "Пешком через поселок, торфяные болота и лес" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКак писатель решил уладить вопрос с пропавшей игрушкой в фильме 'Игрушка'?\nA. Фаина\nB. 1978\nC. Татьяна\nD. Ключ от сейфа\nE. Покупает настоящий автомобиль.\nF. На велосипеде через город\nG. 1980\nH. Заказал новую игрушку онлайн.\nI. Он попросил помощи у соседей.\nJ. Нанял детектива для поиска.\nK. 1889\nL. Пешком через поселок, торфяные болота и лес\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 139, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.047543417662382126, + "B": 0.047543417662382126, + "C": 0.0783858448266983, + "D": 0.047543417662382126, + "E": 0.3100220263004303, + "F": 0.0783858448266983, + "G": 0.1140507385134697, + "H": 0.06104695051908493, + "I": 0.028836539015173912, + "J": 0.04195691645145416, + "K": 0.006849278230220079, + "L": 0.003039349103346467 + }, + "sample": { + "question": "В каком году был написан рассказ 'Компромисс девятый' Сергеем Довлатовым?", + "answerA": "1978", + "answerB": "1980", + "answerC": "1981", + "answerD": "1983", + "correct_answer": "C", + "choices": [ + "На велосипеде через город", + "Татьяна", + "Ключ от сейфа", + "Фаина", + "1981", + "Пешком через поселок, торфяные болота и лес", + "1983", + "Достоевский Фёдор Михайлович", + "1978", + "Карточка с инициалами Д.В. и числом 341", + "1889", + "1980" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nВ каком году был написан рассказ 'Компромисс девятый' Сергеем Довлатовым?\nA. На велосипеде через город\nB. Татьяна\nC. Ключ от сейфа\nD. Фаина\nE. 1981\nF. Пешком через поселок, торфяные болота и лес\nG. 1983\nH. Достоевский Фёдор Михайлович\nI. 1978\nJ. Карточка с инициалами Д.В. и числом 341\nK. 1889\nL. 1980\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 144, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.12301414459943771, + "B": 0.13939328491687775, + "C": 0.051279932260513306, + "D": 0.09580351412296295, + "E": 0.12301414459943771, + "F": 0.0399368479847908, + "G": 0.08454630523920059, + "H": 0.051279932260513306, + "I": 0.12301414459943771, + "J": 0.031102849170565605, + "K": 0.003954283427447081, + "L": 0.0008288627723231912 + }, + "sample": { + "question": "Как зовут жену Вениамина в рассказе 'Мы и гинеколог Буданицкий'?", + "answerA": "Татьяна", + "answerB": "Фаина", + "answerC": "Анна", + "answerD": "Елена", + "correct_answer": "B", + "choices": [ + "1889", + "Татьяна", + "Достоевский Фёдор Михайлович", + "Мастер соленых огурцов", + "На велосипеде через город", + "Карточка с инициалами Д.В. и числом 341", + "Ключ от сейфа", + "Анна", + "Фаина", + "Пешком через поселок, торфяные болота и лес", + "1894", + "Елена" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКак зовут жену Вениамина в рассказе 'Мы и гинеколог Буданицкий'?\nA. 1889\nB. Татьяна\nC. Достоевский Фёдор Михайлович\nD. Мастер соленых огурцов\nE. На велосипеде через город\nF. Карточка с инициалами Д.В. и числом 341\nG. Ключ от сейфа\nH. Анна\nI. Фаина\nJ. Пешком через поселок, торфяные болота и лес\nK. 1894\nL. Елена\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 137, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.07982103526592255, + "B": 0.07982103526592255, + "C": 0.13160263001918793, + "D": 0.07044181227684021, + "E": 0.054860133677721024, + "F": 0.07044181227684021, + "G": 0.2786027789115906, + "H": 0.062164682894945145, + "I": 0.03327435627579689, + "J": 0.04272511973977089, + "K": 0.025914093479514122, + "L": 0.0037332794163376093 + }, + "sample": { + "question": "Чем герой отконвоировал зека Толика в лето 1963 года в рассказе 'Офицерский ремень' от Сергея Довлатова?", + "answerA": "На велосипеде через город", + "answerB": "Пешком через поселок, торфяные болота и лес", + "answerC": "На автобусе до ближайшей станции", + "answerD": "На служебном автомобиле через весь округ", + "correct_answer": "B", + "choices": [ + "Мастер соленых огурцов", + "Пешком через поселок, торфяные болота и лес", + "Достоевский Фёдор Михайлович", + "1894", + "1880", + "1889", + "На служебном автомобиле через весь округ", + "На велосипеде через город", + "Карточка с инициалами Д.В. и числом 341", + "На автобусе до ближайшей станции", + "Ее сын Джонни потерялся в Лондоне", + "Ключ от сейфа" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nЧем герой отконвоировал зека Толика в лето 1963 года в рассказе 'Офицерский ремень' от Сергея Довлатова?\nA. Мастер соленых огурцов\nB. Пешком через поселок, торфяные болота и лес\nC. Достоевский Фёдор Михайлович\nD. 1894\nE. 1880\nF. 1889\nG. На служебном автомобиле через весь округ\nH. На велосипеде через город\nI. Карточка с инициалами Д.В. и числом 341\nJ. На автобусе до ближайшей станции\nK. Ее сын Джонни потерялся в Лондоне\nL. Ключ от сейфа\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 173, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.08385457843542099, + "B": 0.034955788403749466, + "C": 0.15666097402572632, + "D": 0.5468005537986755, + "E": 0.024024739861488342, + "F": 0.024024739861488342, + "G": 0.04488411918282509, + "H": 0.010015001520514488, + "I": 0.002869345946237445, + "J": 0.004444130230695009, + "K": 0.0030544030014425516, + "L": 0.0002668907691258937 + }, + "sample": { + "question": "Что было обнаружено возле трупа в доме усадьбы Бирлстоун в романе «Долина ужаса»?", + "answerA": "Ключ от сейфа", + "answerB": "Карточка с инициалами Д.В. и числом 341", + "answerC": "Дневник жертвы", + "answerD": "Фотография неизвестного", + "correct_answer": "B", + "choices": [ + "Дневник жертвы", + "Фотография неизвестного", + "Ключ от сейфа", + "Карточка с инициалами Д.В. и числом 341", + "Гений сладких компотов", + "Ее сын Джонни потерялся в Лондоне", + "Герберт Уэллс", + "1894", + "Достоевский Фёдор Михайлович", + "1880", + "Мастер соленых огурцов", + "1889" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nЧто было обнаружено возле трупа в доме усадьбы Бирлстоун в романе «Долина ужаса»?\nA. Дневник жертвы\nB. Фотография неизвестного\nC. Ключ от сейфа\nD. Карточка с инициалами Д.В. и числом 341\nE. Гений сладких компотов\nF. Ее сын Джонни потерялся в Лондоне\nG. Герберт Уэллс\nH. 1894\nI. Достоевский Фёдор Михайлович\nJ. 1880\nK. Мастер соленых огурцов\nL. 1889\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 144, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.057005178183317184, + "B": 0.08294203877449036, + "C": 0.07319609075784683, + "D": 0.03917904570698738, + "E": 0.4212144613265991, + "F": 0.12067996710538864, + "G": 0.06459533423185349, + "H": 0.03917904570698738, + "I": 0.003021163633093238, + "J": 0.014413165859878063, + "K": 0.003216011915355921, + "L": 0.004981056787073612 + }, + "sample": { + "question": "В каком году был написан рассказ 'Отстал от жизни' Артуром Конаном Дойлом?", + "answerA": "1889", + "answerB": "1894", + "answerC": "1901", + "answerD": "1912", + "correct_answer": "B", + "choices": [ + "Герберт Уэллс", + "Мастер соленых огурцов", + "У ее сына Джонни воспалился аппендицит", + "Ее сын Джонни потерялся в Лондоне", + "1894", + "1889", + "1901", + "1936", + "Достоевский Фёдор Михайлович", + "1880", + "Гений сладких компотов", + "1912" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nВ каком году был написан рассказ 'Отстал от жизни' Артуром Конаном Дойлом?\nA. Герберт Уэллс\nB. Мастер соленых огурцов\nC. У ее сына Джонни воспалился аппендицит\nD. Ее сын Джонни потерялся в Лондоне\nE. 1894\nF. 1889\nG. 1901\nH. 1936\nI. Достоевский Фёдор Михайлович\nJ. 1880\nK. Гений сладких компотов\nL. 1912\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 143, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.01632462628185749, + "B": 0.020961234346032143, + "C": 0.17550626397132874, + "D": 0.09394173324108124, + "E": 0.023752188310027122, + "F": 0.03916073963046074, + "G": 0.37154674530029297, + "H": 0.008737942203879356, + "I": 0.0006737977382726967, + "J": 0.0009803699795156717, + "K": 0.01353358943015337, + "L": 0.00017036274948623031 + }, + "sample": { + "question": "Кого назвал Гоголь «явлением чрезвычайным» и возможно, «единственным явлением русского духа»?", + "answerA": "Достоевский Фёдор Михайлович", + "answerB": "1880", + "answerC": "Пушкин", + "answerD": "Великая тайна русского гения", + "correct_answer": "C", + "choices": [ + "Агата Кристи", + "Ее сын Джонни потерялся в Лондоне", + "Пушкин", + "Строил дома", + "Герберт Уэллс", + "Мастер соленых огурцов", + "Достоевский Фёдор Михайлович", + "1880", + "Великая тайна русского гения", + "У ее сына Джонни воспалился аппендицит", + "1936", + "Гений сладких компотов" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКого назвал Гоголь «явлением чрезвычайным» и возможно, «единственным явлением русского духа»?\nA. Агата Кристи\nB. Ее сын Джонни потерялся в Лондоне\nC. Пушкин\nD. Строил дома\nE. Герберт Уэллс\nF. Мастер соленых огурцов\nG. Достоевский Фёдор Михайлович\nH. 1880\nI. Великая тайна русского гения\nJ. У ее сына Джонни воспалился аппендицит\nK. 1936\nL. Гений сладких компотов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 136, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0976245179772377, + "B": 0.1106230616569519, + "C": 0.4375227093696594, + "D": 0.1106230616569519, + "E": 0.02468334324657917, + "F": 0.03591405227780342, + "G": 0.07603003829717636, + "H": 0.02468334324657917, + "I": 0.003785313107073307, + "J": 0.009080493822693825, + "K": 0.008013508282601833, + "L": 0.000580496562179178 + }, + "sample": { + "question": "Какое прозвище дал Денискин папа своему сыну в рассказе 'Профессор кислых щей'?", + "answerA": "Мастер соленых огурцов", + "answerB": "Гений сладких компотов", + "answerC": "Профессор кислых щей", + "answerD": "Доктор горьких лекарств", + "correct_answer": "Профессор кислых щей", + "choices": [ + "Ее сын Джонни потерялся в Лондоне", + "Профессор кислых щей", + "Гений сладких компотов", + "Мастер соленых огурцов", + "Агата Кристи", + "У ее сына Джонни воспалился аппендицит", + "Герберт Уэллс", + "1936", + "1941", + "Строил дома", + "Доктор горьких лекарств", + "Посещали местный музей" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКакое прозвище дал Денискин папа своему сыну в рассказе 'Профессор кислых щей'?\nA. Ее сын Джонни потерялся в Лондоне\nB. Профессор кислых щей\nC. Гений сладких компотов\nD. Мастер соленых огурцов\nE. Агата Кристи\nF. У ее сына Джонни воспалился аппендицит\nG. Герберт Уэллс\nH. 1936\nI. 1941\nJ. Строил дома\nK. Доктор горьких лекарств\nL. Посещали местный музей\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 140, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.21256431937217712, + "B": 0.0369381383061409, + "C": 0.028767449781298637, + "D": 0.02240411378443241, + "E": 0.27293798327445984, + "F": 0.08860998600721359, + "G": 0.041856396943330765, + "H": 0.21256431937217712, + "I": 0.006832868792116642, + "J": 0.009339423850178719, + "K": 0.00236137630417943, + "L": 0.0030320673249661922 + }, + "sample": { + "question": "Какая внезапная новость заставила Лауру срочно вернуться в Англию в фильме «А теперь не смотри»?", + "answerA": "Ее сын Джонни потерялся в Лондоне", + "answerB": "У ее сына Джонни воспалился аппендицит", + "answerC": "Ей нужно было вернуться на работу", + "answerD": "Она чувствовала, что ее жизни что-то угрожает", + "correct_answer": "B", + "choices": [ + "Она чувствовала, что ее жизни что-то угрожает", + "Чинил обувь", + "Ей нужно было вернуться на работу", + "Строил дома", + "У ее сына Джонни воспалился аппендицит", + "1936", + "Посещали местный музей", + "Ее сын Джонни потерялся в Лондоне", + "Герберт Уэллс", + "1941", + "Долго работал на солнце", + "Агата Кристи" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКакая внезапная новость заставила Лауру срочно вернуться в Англию в фильме «А теперь не смотри»?\nA. Она чувствовала, что ее жизни что-то угрожает\nB. Чинил обувь\nC. Ей нужно было вернуться на работу\nD. Строил дома\nE. У ее сына Джонни воспалился аппендицит\nF. 1936\nG. Посещали местный музей\nH. Ее сын Джонни потерялся в Лондоне\nI. Герберт Уэллс\nJ. 1941\nK. Долго работал на солнце\nL. Агата Кристи\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 142, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.09528344869613647, + "B": 0.6213260889053345, + "C": 0.12234635651111603, + "D": 0.05100155249238014, + "E": 0.011379984207451344, + "F": 0.006484119687229395, + "G": 0.008862740360200405, + "H": 0.007821341045200825, + "I": 0.0001432528515579179, + "J": 0.00306288106366992, + "K": 0.0011267709778621793, + "L": 0.00017279593157581985 + }, + "sample": { + "question": "Кто является автором романа 'Козёл отпущения'?", + "answerA": "Герберт Уэллс", + "answerB": "Агата Кристи", + "answerC": "Дафна Дюморье", + "answerD": "Джейн Остин", + "correct_answer": "C", + "choices": [ + "1945", + "Дафна Дюморье", + "Посещали местный музей", + "1941", + "Джейн Остин", + "Агата Кристи", + "Долго работал на солнце", + "Швыряли камешки и бросали палки в воду", + "1936", + "Строил дома", + "Герберт Уэллс", + "Чинил обувь" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКто является автором романа 'Козёл отпущения'?\nA. 1945\nB. Дафна Дюморье\nC. Посещали местный музей\nD. 1941\nE. Джейн Остин\nF. Агата Кристи\nG. Долго работал на солнце\nH. Швыряли камешки и бросали палки в воду\nI. 1936\nJ. Строил дома\nK. Герберт Уэллс\nL. Чинил обувь\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 128, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.13749662041664124, + "B": 0.05058218166232109, + "C": 0.06494880467653275, + "D": 0.1558040827512741, + "E": 0.08339592069387436, + "F": 0.030679641291499138, + "G": 0.22669360041618347, + "H": 0.05058218166232109, + "I": 0.01860814355313778, + "J": 0.06494880467653275, + "K": 0.04463861510157585, + "L": 0.005008313804864883 + }, + "sample": { + "question": "В каком году был написан роман 'Французова бухта'?", + "answerA": "1936", + "answerB": "1941", + "answerC": "1952", + "answerD": "1967", + "correct_answer": "B", + "choices": [ + "1941", + "Посещали местный музей", + "Перегрузки во время укладки сена", + "1982", + "1967", + "Швыряли камешки и бросали палки в воду", + "1952", + "1945", + "Долго работал на солнце", + "1936", + "Чинил обувь", + "Строил дома" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nВ каком году был написан роман 'Французова бухта'?\nA. 1941\nB. Посещали местный музей\nC. Перегрузки во время укладки сена\nD. 1982\nE. 1967\nF. Швыряли камешки и бросали палки в воду\nG. 1952\nH. 1945\nI. Долго работал на солнце\nJ. 1936\nK. Чинил обувь\nL. Строил дома\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 134, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.26735183596611023, + "B": 0.018193520605564117, + "C": 0.11144883185625076, + "D": 0.05965426191687584, + "E": 0.05965426191687584, + "F": 0.04099973663687706, + "G": 0.20821382105350494, + "H": 0.028178676962852478, + "I": 0.04099973663687706, + "J": 0.005212531425058842, + "K": 0.009738290682435036, + "L": 0.002462225267663598 + }, + "sample": { + "question": "Чем занимался Стёпа-глухой из рассказа \"Белая дорога\" Екимова Бориса Петровича?", + "answerA": "Строил дома", + "answerB": "Чинил обувь", + "answerC": "Выпекал хлеб", + "answerD": "Охотился", + "correct_answer": "answerB", + "choices": [ + "Швыряли камешки и бросали палки в воду", + "2015", + "Алик", + "Долго работал на солнце", + "Выпекал хлеб", + "Чинил обувь", + "Охотился", + "Посещали местный музей", + "Перегрузки во время укладки сена", + "1945", + "1982", + "Строил дома" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nЧем занимался Стёпа-глухой из рассказа \"Белая дорога\" Екимова Бориса Петровича?\nA. Швыряли камешки и бросали палки в воду\nB. 2015\nC. Алик\nD. Долго работал на солнце\nE. Выпекал хлеб\nF. Чинил обувь\nG. Охотился\nH. Посещали местный музей\nI. Перегрузки во время укладки сена\nJ. 1945\nK. 1982\nL. Строил дома\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 138, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.04731801897287369, + "B": 0.06075754389166832, + "C": 0.3961889147758484, + "D": 0.07801421731710434, + "E": 0.04175800457596779, + "F": 0.04731801897287369, + "G": 0.1001722514629364, + "H": 0.04731801897287369, + "I": 0.0099183963611722, + "J": 0.022351451218128204, + "K": 0.01972508430480957, + "L": 0.0034277059603482485 + }, + "sample": { + "question": "Что Борис Петрович и его внук Митя делали в посёлке Пятиморск?", + "answerA": "Посещали местный музей", + "answerB": "Швыряли камешки и бросали палки в воду", + "answerC": "Собирали грибы в лесу", + "answerD": "Катались на велосипедах", + "correct_answer": "B", + "choices": [ + "Юрий Ратнер", + "1945", + "Перегрузки во время укладки сена", + "1982", + "1985", + "Катались на велосипедах", + "Швыряли камешки и бросали палки в воду", + "Собирали грибы в лесу", + "Посещали местный музей", + "Алик", + "Долго работал на солнце", + "2015" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nЧто Борис Петрович и его внук Митя делали в посёлке Пятиморск?\nA. Юрий Ратнер\nB. 1945\nC. Перегрузки во время укладки сена\nD. 1982\nE. 1985\nF. Катались на велосипедах\nG. Швыряли камешки и бросали палки в воду\nH. Собирали грибы в лесу\nI. Посещали местный музей\nJ. Алик\nK. Долго работал на солнце\nL. 2015\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 140, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.3954596519470215, + "B": 0.03246130421757698, + "C": 0.2717951834201813, + "D": 0.028647001832723618, + "E": 0.04723092168569565, + "F": 0.02231030911207199, + "G": 0.06872057914733887, + "H": 0.02231030911207199, + "I": 0.028647001832723618, + "J": 0.006004737690091133, + "K": 0.002075181808322668, + "L": 0.00026382977375760674 + }, + "sample": { + "question": "Какое событие стало причиной временной слепоты старика в истории 'Сено спасал'?", + "answerA": "Долго работал на солнце", + "answerB": "Перегрузки во время укладки сена", + "answerC": "Сильный удар по голове", + "answerD": "Заболел глазной болезнью", + "correct_answer": "B", + "choices": [ + "Сильный удар по голове", + "Заболел глазной болезнью", + "Перегрузки во время укладки сена", + "Юрий Ратнер", + "Чифир", + "1945", + "1985", + "1941", + "Долго работал на солнце", + "1982", + "2015", + "Алик" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКакое событие стало причиной временной слепоты старика в истории 'Сено спасал'?\nA. Сильный удар по голове\nB. Заболел глазной болезнью\nC. Перегрузки во время укладки сена\nD. Юрий Ратнер\nE. Чифир\nF. 1945\nG. 1985\nH. 1941\nI. Долго работал на солнце\nJ. 1982\nK. 2015\nL. Алик\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 128, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.060252126306295395, + "B": 0.12755373120307922, + "C": 0.1637822389602661, + "D": 0.1445373147726059, + "E": 0.0682745948433876, + "F": 0.1637822389602661, + "G": 0.07736525684595108, + "H": 0.046924397349357605, + "I": 0.004100208170711994, + "J": 0.020822573453187943, + "K": 0.019561000168323517, + "L": 0.011864346452057362 + }, + "sample": { + "question": "В каком году произошли описанные события в рассказе 'На кургане' Бориса Екимова?", + "answerA": "1945", + "answerB": "2015", + "answerC": "1989", + "answerD": "2001", + "correct_answer": "2015", + "choices": [ + "Юрий Ратнер", + "2001", + "Екимов Борис Петрович", + "Алик", + "2015", + "1989", + "1941", + "Путешествовал по миру в качестве моряка", + "1945", + "Чифир", + "1985", + "1982" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nВ каком году произошли описанные события в рассказе 'На кургане' Бориса Екимова?\nA. Юрий Ратнер\nB. 2001\nC. Екимов Борис Петрович\nD. Алик\nE. 2015\nF. 1989\nG. 1941\nH. Путешествовал по миру в качестве моряка\nI. 1945\nJ. Чифир\nK. 1985\nL. 1982\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 131, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.07040069997310638, + "B": 0.054828111082315445, + "C": 0.07977443933486938, + "D": 0.3155140280723572, + "E": 0.07977443933486938, + "F": 0.07040069997310638, + "G": 0.07040069997310638, + "H": 0.07040069997310638, + "I": 0.037682779133319855, + "J": 0.06212839111685753, + "K": 0.022855760529637337, + "L": 0.025898968800902367 + }, + "sample": { + "question": "В каком году был выпущен фильм \"Озеро Дербень\"?", + "answerA": "1982", + "answerB": "1985", + "answerC": "1991", + "answerD": "1988", + "correct_answer": "answerB", + "choices": [ + "1941", + "Юрий Ратнер", + "Путешествовал по миру в качестве моряка", + "1955", + "Чифир", + "1991", + "Алик", + "Екимов Борис Петрович", + "1985", + "Возвращение её первой любви, Миши.", + "1988", + "1982" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nВ каком году был выпущен фильм \"Озеро Дербень\"?\nA. 1941\nB. Юрий Ратнер\nC. Путешествовал по миру в качестве моряка\nD. 1955\nE. Чифир\nF. 1991\nG. Алик\nH. Екимов Борис Петрович\nI. 1985\nJ. Возвращение её первой любви, Миши.\nK. 1988\nL. 1982\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 129, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.07668614387512207, + "B": 0.11157769709825516, + "C": 0.30329960584640503, + "D": 0.06767529249191284, + "E": 0.024896346032619476, + "F": 0.031967539340257645, + "G": 0.08689679205417633, + "H": 0.015100397169589996, + "I": 0.0029734447598457336, + "J": 0.009749550372362137, + "K": 0.031967539340257645, + "L": 0.001027595018967986 + }, + "sample": { + "question": "Кто является главным героем фильма \"Пастушья звезда\"?", + "answerA": "Алик", + "answerB": "Чифир", + "answerC": "Тимофей", + "answerD": "Зинаида", + "correct_answer": "answerC", + "choices": [ + "Работал великим изобретателем", + "Алик", + "Чифир", + "Зинаида", + "Юрий Ратнер", + "Екимов Борис Петрович", + "Тимофей", + "Путешествовал по миру в качестве моряка", + "1941", + "1955", + "Возвращение её первой любви, Миши.", + "Жорж Хамелин" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКто является главным героем фильма \"Пастушья звезда\"?\nA. Работал великим изобретателем\nB. Алик\nC. Чифир\nD. Зинаида\nE. Юрий Ратнер\nF. Екимов Борис Петрович\nG. Тимофей\nH. Путешествовал по миру в качестве моряка\nI. 1941\nJ. 1955\nK. Возвращение её первой любви, Миши.\nL. Жорж Хамелин\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 120, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.3212396204471588, + "B": 0.07167825102806091, + "C": 0.171947181224823, + "D": 0.04347505420446396, + "E": 0.05582307279109955, + "F": 0.029879938811063766, + "G": 0.09203669428825378, + "H": 0.03836660087108612, + "I": 0.008560745976865292, + "J": 0.008042076602578163, + "K": 0.005527232773602009, + "L": 0.0008476286311633885 + }, + "sample": { + "question": "Кто является автором рассказа 'Пеший переход'?", + "answerA": "Юрий Ратнер", + "answerB": "Екимов Борис Петрович", + "answerC": "Лев Толстой", + "answerD": "Антон Чехов", + "correct_answer": "B", + "choices": [ + "Екимов Борис Петрович", + "Путешествовал по миру в качестве моряка", + "Жорж Хамелин", + "1955", + "Утверждение новых правил приема в вузы по социальному статусу.", + "Жан", + "Возвращение её первой любви, Миши.", + "Лев Толстой", + "Антон Чехов", + "Работал великим изобретателем", + "Юрий Ратнер", + "1941" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКто является автором рассказа 'Пеший переход'?\nA. Екимов Борис Петрович\nB. Путешествовал по миру в качестве моряка\nC. Жорж Хамелин\nD. 1955\nE. Утверждение новых правил приема в вузы по социальному статусу.\nF. Жан\nG. Возвращение её первой любви, Миши.\nH. Лев Толстой\nI. Антон Чехов\nJ. Работал великим изобретателем\nK. Юрий Ратнер\nL. 1941\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 128, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.08752791583538055, + "B": 0.0991821214556694, + "C": 0.04987190291285515, + "D": 0.06015699729323387, + "E": 0.07724311202764511, + "F": 0.07256318628787994, + "G": 0.07724311202764511, + "H": 0.08752791583538055, + "I": 0.036487068980932236, + "J": 0.08752791583538055, + "K": 0.08752791583538055, + "L": 0.08752791583538055 + }, + "sample": { + "question": "В каком году происходят события фильма 'Провожаю'?", + "answerA": "1941", + "answerB": "1955", + "answerC": "2002", + "answerD": "1968", + "correct_answer": "2002", + "choices": [ + "1941", + "Утверждение новых правил приема в вузы по социальному статусу.", + "Работал великим изобретателем", + "Жорж Хамелин", + "Путешествовал по миру в качестве моряка", + "2002", + "1968", + "1878", + "1955", + "Эжен Ругон", + "Возвращение её первой любви, Миши.", + "Жан" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nВ каком году происходят события фильма 'Провожаю'?\nA. 1941\nB. Утверждение новых правил приема в вузы по социальному статусу.\nC. Работал великим изобретателем\nD. Жорж Хамелин\nE. Путешествовал по миру в качестве моряка\nF. 2002\nG. 1968\nH. 1878\nI. 1955\nJ. Эжен Ругон\nK. Возвращение её первой любви, Миши.\nL. Жан\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 137, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.17049142718315125, + "B": 0.0335717499256134, + "C": 0.0912574902176857, + "D": 0.0805344507098198, + "E": 0.10340827703475952, + "F": 0.029626965522766113, + "G": 0.06272029876708984, + "H": 0.07107140123844147, + "I": 0.17049142718315125, + "J": 0.0335717499256134, + "K": 0.026145707815885544, + "L": 0.010238805785775185 + }, + "sample": { + "question": "Чем занимался отец Саши в романе 'Солёный снег'?", + "answerA": "Путешествовал по миру в качестве моряка", + "answerB": "Работал великим изобретателем", + "answerC": "Изучал вулканы на Камчатке", + "answerD": "Вел экскурсии по горячим источникам", + "correct_answer": "Изучал вулканы на Камчатке", + "choices": [ + "Утверждение новых правил приема в вузы по социальному статусу.", + "В 18 веке", + "Лукас", + "Жорж Хамелин", + "Путешествовал по миру в качестве моряка", + "Вел экскурсии по горячим источникам", + "Возвращение её первой любви, Миши.", + "Эжен Ругон", + "Жан", + "Работал великим изобретателем", + "1878", + "Изучал вулканы на Камчатке" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nЧем занимался отец Саши в романе 'Солёный снег'?\nA. Утверждение новых правил приема в вузы по социальному статусу.\nB. В 18 веке\nC. Лукас\nD. Жорж Хамелин\nE. Путешествовал по миру в качестве моряка\nF. Вел экскурсии по горячим источникам\nG. Возвращение её первой любви, Миши.\nH. Эжен Ругон\nI. Жан\nJ. Работал великим изобретателем\nK. 1878\nL. Изучал вулканы на Камчатке\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 142, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0271906778216362, + "B": 0.039562199264764786, + "C": 0.6188569664955139, + "D": 0.044829849153757095, + "E": 0.023995688185095787, + "F": 0.023995688185095787, + "G": 0.05079887434840202, + "H": 0.018687861040234566, + "I": 0.003679857822135091, + "J": 0.006874880287796259, + "K": 0.012843966484069824, + "L": 0.0008740429184399545 + }, + "sample": { + "question": "Что явилось решающим фактом для принятия Варварой Столпаковой жизненно важного решения в фильме 'Мученики науки'?", + "answerA": "Возвращение её первой любви, Миши.", + "answerB": "Утверждение новых правил приема в вузы по социальному статусу.", + "answerC": "Приказ Якова Бордюка ставить самовар.", + "answerD": "Потеря всего состояния после революции.", + "correct_answer": "B", + "choices": [ + "Жорж Хамелин", + "1878", + "Приказ Якова Бордюка ставить самовар.", + "Эжен Ругон", + "Потеря всего состояния после революции.", + "Лукас", + "Утверждение новых правил приема в вузы по социальному статусу.", + "Путешествие в горные районы", + "1880", + "Жан", + "В 18 веке", + "Возвращение её первой любви, Миши." + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nЧто явилось решающим фактом для принятия Варварой Столпаковой жизненно важного решения в фильме 'Мученики науки'?\nA. Жорж Хамелин\nB. 1878\nC. Приказ Якова Бордюка ставить самовар.\nD. Эжен Ругон\nE. Потеря всего состояния после революции.\nF. Лукас\nG. Утверждение новых правил приема в вузы по социальному статусу.\nH. Путешествие в горные районы\nI. 1880\nJ. Жан\nK. В 18 веке\nL. Возвращение её первой любви, Миши.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 146, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0700654685497284, + "B": 0.020074091851711273, + "C": 0.5866509675979614, + "D": 0.020074091851711273, + "E": 0.025775644928216934, + "F": 0.012175552546977997, + "G": 0.0700654685497284, + "H": 0.006517104338854551, + "I": 0.0021157937590032816, + "J": 0.0028919472824782133, + "K": 0.001454162411391735, + "L": 0.00014398158236872405 + }, + "sample": { + "question": "Кто является главным героем романа «Деньги» Эмиля Золя?", + "answerA": "Жорж Хамелин", + "answerB": "Эжен Ругон", + "answerC": "Аристид Саккар", + "answerD": "Гудерманн", + "correct_answer": "C", + "choices": [ + "Лукас", + "1878", + "Жюльетта Деберель", + "В 18 веке", + "1880", + "Аристид Саккар", + "Жан", + "Гудерманн", + "Эжен Ругон", + "Жорж Хамелин", + "Путешествие в горные районы", + "В 19 веке" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКто является главным героем романа «Деньги» Эмиля Золя?\nA. Лукас\nB. 1878\nC. Жюльетта Деберель\nD. В 18 веке\nE. 1880\nF. Аристид Саккар\nG. Жан\nH. Гудерманн\nI. Эжен Ругон\nJ. Жорж Хамелин\nK. Путешествие в горные районы\nL. В 19 веке\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 117, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.03311128541827202, + "B": 0.17899790406227112, + "C": 0.05811211094260216, + "D": 0.0746174305677414, + "E": 0.03311128541827202, + "F": 0.051283761858940125, + "G": 0.09581068158149719, + "H": 0.051283761858940125, + "I": 0.009486541152000427, + "J": 0.09581068158149719, + "K": 0.12302334606647491, + "L": 0.011442952789366245 + }, + "sample": { + "question": "Как звали первого любовника Мадлен, который оказался лучшим другом её мужа?", + "answerA": "Жан", + "answerB": "Лукас", + "answerC": "Жак", + "answerD": "Пьер", + "correct_answer": "Жак", + "choices": [ + "Путешествие в горные районы", + "Жак", + "Жерминал", + "Лукас", + "1878", + "Жан", + "Поедание морепродуктов по совету доктора", + "1880", + "В 18 веке", + "Жюльетта Деберель", + "В 19 веке", + "Пьер" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКак звали первого любовника Мадлен, который оказался лучшим другом её мужа?\nA. Путешествие в горные районы\nB. Жак\nC. Жерминал\nD. Лукас\nE. 1878\nF. Жан\nG. Поедание морепродуктов по совету доктора\nH. 1880\nI. В 18 веке\nJ. Жюльетта Деберель\nK. В 19 веке\nL. Пьер\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0841531902551651, + "B": 0.4842681884765625, + "C": 0.22875210642814636, + "D": 0.03975115343928337, + "E": 0.045043956488370895, + "F": 0.008332294411957264, + "G": 0.021277260035276413, + "H": 0.012905309908092022, + "I": 0.0006035894039086998, + "J": 0.005053792614489794, + "K": 0.0025412063114345074, + "L": 0.0006035894039086998 + }, + "sample": { + "question": "В каком году был опубликован роман 'Накипь' Эмиля Золя?", + "answerA": "1878", + "answerB": "1880", + "answerC": "1882", + "answerD": "1884", + "correct_answer": "C", + "choices": [ + "Большое наследство", + "1882", + "1880", + "Элен Гранжан", + "1884", + "Жюльетта Деберель", + "1878", + "Путешествие в горные районы", + "Поедание морепродуктов по совету доктора", + "В 18 веке", + "В 19 веке", + "Жерминал" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nВ каком году был опубликован роман 'Накипь' Эмиля Золя?\nA. Большое наследство\nB. 1882\nC. 1880\nD. Элен Гранжан\nE. 1884\nF. Жюльетта Деберель\nG. 1878\nH. Путешествие в горные районы\nI. Поедание морепродуктов по совету доктора\nJ. В 18 веке\nK. В 19 веке\nL. Жерминал\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 130, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.002874036319553852, + "B": 0.006084334570914507, + "C": 0.6606455445289612, + "D": 0.042233653366565704, + "E": 0.009423602372407913, + "F": 0.00445139454677701, + "G": 0.16703735291957855, + "H": 0.0026999074034392834, + "I": 0.00025113049196079373, + "J": 0.0004691735375672579, + "K": 0.006084334570914507, + "L": 4.099592479178682e-05 + }, + "sample": { + "question": "В каком веке происходит сюжет романа \"Радость жизни\" Эмиля Золя?", + "answerA": "В 18 веке", + "answerB": "В 19 веке", + "answerC": "В 20 веке", + "answerD": "В 17 веке", + "correct_answer": "answerB", + "choices": [ + "В 17 веке", + "В 20 веке", + "В 18 веке", + "Элен Гранжан", + "Большое наследство", + "Путешествие в горные районы", + "В 19 веке", + "Константин Петрович", + "Человек-зверь", + "Жюльетта Деберель", + "Поедание морепродуктов по совету доктора", + "Жерминал" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nВ каком веке происходит сюжет романа \"Радость жизни\" Эмиля Золя?\nA. В 17 веке\nB. В 20 веке\nC. В 18 веке\nD. Элен Гранжан\nE. Большое наследство\nF. Путешествие в горные районы\nG. В 19 веке\nH. Константин Петрович\nI. Человек-зверь\nJ. Жюльетта Деберель\nK. Поедание морепродуктов по совету доктора\nL. Жерминал\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 126, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.01978033035993576, + "B": 0.036954522132873535, + "C": 0.5780659914016724, + "D": 0.06904013454914093, + "E": 0.036954522132873535, + "F": 0.041874960064888, + "G": 0.06904013454914093, + "H": 0.01978033035993576, + "I": 0.011997376568615437, + "J": 0.008777468465268612, + "K": 0.006032660137861967, + "L": 0.0007204985013231635 + }, + "sample": { + "question": "Что стало решением проблемы месье Шабра в рассказе 'Ракушки месье Шабра'?", + "answerA": "Путешествие в горные районы", + "answerB": "Поедание морепродуктов по совету доктора", + "answerC": "Переезд в другую страну", + "answerD": "Занятия спортом", + "correct_answer": "B", + "choices": [ + "Занятия спортом", + "Большое наследство", + "Высшее образование отца и за бесценок купленная земля", + "Константин Петрович", + "Человек-зверь", + "1925", + "Элен Гранжан", + "Жюльетта Деберель", + "Жерминал", + "Путешествие в горные районы", + "Поедание морепродуктов по совету доктора", + "Переезд в другую страну" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nЧто стало решением проблемы месье Шабра в рассказе 'Ракушки месье Шабра'?\nA. Занятия спортом\nB. Большое наследство\nC. Высшее образование отца и за бесценок купленная земля\nD. Константин Петрович\nE. Человек-зверь\nF. 1925\nG. Элен Гранжан\nH. Жюльетта Деберель\nI. Жерминал\nJ. Путешествие в горные районы\nK. Поедание морепродуктов по совету доктора\nL. Переезд в другую страну\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 137, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.36384183168411255, + "B": 0.19475051760673523, + "C": 0.10424243658781052, + "D": 0.10424243658781052, + "E": 0.03384256362915039, + "F": 0.01701711118221283, + "G": 0.01701711118221283, + "H": 0.005189924966543913, + "I": 0.0014869384467601776, + "J": 0.0026096580550074577, + "K": 0.0014869384467601776, + "L": 0.00016682986461091787 + }, + "sample": { + "question": "Кто является главной героиней романа \"Страница любви\"?", + "answerA": "Жюльетта Деберель", + "answerB": "Элен Гранжан", + "answerC": "Полина Малиньон", + "answerD": "Тётушка Фэтю", + "correct_answer": "B", + "choices": [ + "Полина Малиньон", + "Элен Гранжан", + "Человек-зверь", + "Константин Петрович", + "Василий Петрович Волосатов", + "Былинкин переехал в другую страну.", + "Тётушка Фэтю", + "Жерминал", + "Высшее образование отца и за бесценок купленная земля", + "Жюльетта Деберель", + "1925", + "Большое наследство" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКто является главной героиней романа \"Страница любви\"?\nA. Полина Малиньон\nB. Элен Гранжан\nC. Человек-зверь\nD. Константин Петрович\nE. Василий Петрович Волосатов\nF. Былинкин переехал в другую страну.\nG. Тётушка Фэтю\nH. Жерминал\nI. Высшее образование отца и за бесценок купленная земля\nJ. Жюльетта Деберель\nK. 1925\nL. Большое наследство\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 126, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.02790241688489914, + "B": 0.0460033118724823, + "C": 0.12504996359348297, + "D": 0.12504996359348297, + "E": 0.03582741692662239, + "F": 0.0460033118724823, + "G": 0.12504996359348297, + "H": 0.05212858319282532, + "I": 0.01692367158830166, + "J": 0.031617581844329834, + "K": 0.16056734323501587, + "L": 0.01801515556871891 + }, + "sample": { + "question": "В каком романе описывается история машиниста локомотива, который испытывает желание убить женщину?", + "answerA": "Жерминал", + "answerB": "Человек-зверь", + "answerC": "Земля", + "answerD": "Труд", + "correct_answer": "Человек-зверь", + "choices": [ + "Неосторожное обращение с огнем", + "Большое наследство", + "1925", + "Жерминал", + "Земля", + "Человек-зверь", + "Труд", + "1927", + "Былинкин переехал в другую страну.", + "Константин Петрович", + "Василий Петрович Волосатов", + "Высшее образование отца и за бесценок купленная земля" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nВ каком романе описывается история машиниста локомотива, который испытывает желание убить женщину?\nA. Неосторожное обращение с огнем\nB. Большое наследство\nC. 1925\nD. Жерминал\nE. Земля\nF. Человек-зверь\nG. Труд\nH. 1927\nI. Былинкин переехал в другую страну.\nJ. Константин Петрович\nK. Василий Петрович Волосатов\nL. Высшее образование отца и за бесценок купленная земля\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 121, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.03219214081764221, + "B": 0.08750732243061066, + "C": 0.06815076619386673, + "D": 0.036478474736213684, + "E": 0.04133552312850952, + "F": 0.03219214081764221, + "G": 0.06815076619386673, + "H": 0.02212531305849552, + "I": 0.1123616173863411, + "J": 0.237869530916214, + "K": 0.14427517354488373, + "L": 0.011125306598842144 + }, + "sample": { + "question": "Какой секрет успеха семьи Фроманов в романе «Плодовитость» Эмиля Золя?", + "answerA": "Большое наследство", + "answerB": "Высшее образование отца и за бесценок купленная земля", + "answerC": "Влиятельные друзья", + "answerD": "Победа в лотерею", + "correct_answer": "B", + "choices": [ + "Большое наследство", + "Старец Гермон", + "Комод, который не отдали молодым.", + "1925", + "Василий Петрович Волосатов", + "Константин Петрович", + "Неосторожное обращение с огнем", + "1927", + "Влиятельные друзья", + "Высшее образов��ние отца и за бесценок купленная земля", + "Былинкин переехал в другую страну.", + "Победа в лотерею" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКакой секрет успеха семьи Фроманов в романе «Плодовитость» Эмиля Золя?\nA. Большое наследство\nB. Старец Гермон\nC. Комод, который не отдали молодым.\nD. 1925\nE. Василий Петрович Волосатов\nF. Константин Петрович\nG. Неосторожное обращение с огнем\nH. 1927\nI. Влиятельные друзья\nJ. Высшее образование отца и за бесценок купленная земля\nK. Былинкин переехал в другую страну.\nL. Победа в лотерею\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 138, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.05219251289963722, + "B": 0.06701650470495224, + "C": 0.720495343208313, + "D": 0.031656358391046524, + "E": 0.0070634884759783745, + "F": 0.004284221678972244, + "G": 0.010277314111590385, + "H": 0.003134403843432665, + "I": 0.0006570067489519715, + "J": 0.00022705546871293336, + "K": 0.0005116773536428809, + "L": 5.066292214905843e-05 + }, + "sample": { + "question": "Как звали главного героя повести 'Возвращённая молодость'?", + "answerA": "Константин Петрович", + "answerB": "Василий Петрович Волосатов", + "answerC": "Александр Иванович", + "answerD": "Дмитрий Васильевич", + "correct_answer": "B", + "choices": [ + "1703", + "Комод, который не отдали молодым.", + "Василий Петрович Волосатов", + "Александр Иванович", + "Дмитрий Васильевич", + "Старец Гермон", + "Неосторожное обращение с огнем", + "Константин Петрович", + "Былинкин переехал в другую страну.", + "1927", + "1925", + "Короткое замыкание" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКак звали главного героя повести 'Возвращённая молодость'?\nA. 1703\nB. Комод, который не отдали молодым.\nC. Василий Петрович Волосатов\nD. Александр Иванович\nE. Дмитрий Васильевич\nF. Старец Гермон\nG. Неосторожное обращение с огнем\nH. Константин Петрович\nI. Былинкин переехал в другую страну.\nJ. 1927\nK. 1925\nL. Короткое замыкание\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 120, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.07695597410202026, + "B": 0.3043667674064636, + "C": 0.1437726765871048, + "D": 0.3448927402496338, + "E": 0.024983946233987808, + "F": 0.024983946233987808, + "G": 0.022048253566026688, + "H": 0.011801579967141151, + "I": 0.0005519672995433211, + "J": 0.003831412410363555, + "K": 0.0021830727346241474, + "L": 0.0006254608160816133 + }, + "sample": { + "question": "В каком году был написан рассказ 'Несчастный случай' Михаила Зощенко?", + "answerA": "1925", + "answerB": "1927", + "answerC": "1930", + "answerD": "1945", + "correct_answer": "answerB", + "choices": [ + "Неосторожное обращение с огнем", + "1945", + "Поздей", + "1925", + "Короткое замыкание", + "1930", + "1703", + "Комод, который не отдали молодым.", + "Старец Гермон", + "Песня", + "Былинкин переехал в другую страну.", + "1927" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nВ каком году был написан рассказ 'Несчастный случай' Михаила Зощенко?\nA. Неосторожное обращение с огнем\nB. 1945\nC. Поздей\nD. 1925\nE. Короткое замыкание\nF. 1930\nG. 1703\nH. Комод, который не отдали молодым.\nI. Старец Гермон\nJ. Песня\nK. Былинкин переехал в другую страну.\nL. 1927\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 130, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.15727606415748596, + "B": 0.0397656187415123, + "C": 0.10809416323900223, + "D": 0.09539276361465454, + "E": 0.05785863474011421, + "F": 0.04506034776568413, + "G": 0.17821714282035828, + "H": 0.0397656187415123, + "I": 0.024119066074490547, + "J": 0.012910006567835808, + "K": 0.015572439879179, + "L": 0.0014484627172350883 + }, + "sample": { + "question": "Кто помог Осташе спасаться от смерти, когда Ипат собирался его убить на золотоносной реке?", + "answerA": "Старец Гермон", + "answerB": "Поздей", + "answerC": "Бакир", + "answerD": "Дырник Веденей", + "correct_answer": "Дырник Веденей", + "choices": [ + "Командир Кривенко", + "1703", + "Бакир", + "Буран", + "Песня", + "Пушкин Александр Сергеевич", + "Искандер Фазиль Абдулович", + "Дырник Веденей", + "Холодная вода на голову", + "Старец Гермон", + "1714", + "Поздей" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКто помог Осташе спасаться от смерти, когда Ипат собирался его убить на золотоносной реке?\nA. Командир Кривенко\nB. 1703\nC. Бакир\nD. Буран\nE. Песня\nF. Пушкин Александр Сергеевич\nG. Искандер Фазиль Абдулович\nH. Дырник Веденей\nI. Холодная вода на голову\nJ. Старец Гермон\nK. 1714\nL. Поздей\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 123, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.12901689112186432, + "B": 0.16566097736358643, + "C": 0.3094954192638397, + "D": 0.14619529247283936, + "E": 0.041885651648044586, + "F": 0.028787558898329735, + "G": 0.06905776262283325, + "H": 0.022419774904847145, + "I": 0.0022198581136763096, + "J": 0.006034200545400381, + "K": 0.0030341865494847298, + "L": 0.000495317333843559 + }, + "sample": { + "question": "В каком году происходит начало действия романа 'Мало избранных'?", + "answerA": "1703", + "answerB": "1714", + "answerC": "1700", + "answerD": "1722", + "correct_answer": "B", + "choices": [ + "Искандер Фазиль Абдулович", + "1722", + "1703", + "1714", + "1700", + "Пушкин Александр Сергеевич", + "Буран", + "Арапка", + "Два капитана", + "Песня", + "Командир Кривенко", + "Холодная вода на голову" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nВ каком году происходит начало действия романа 'Мало избранных'?\nA. Искандер Фазиль Абдулович\nB. 1722\nC. 1703\nD. 1714\nE. 1700\nF. Пушкин Александр Сергеевич\nG. Буран\nH. Арапка\nI. Два капитана\nJ. Песня\nK. Командир Кривенко\nL. Холодная вода на голову\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 117, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.02587078884243965, + "B": 0.054768458008766174, + "C": 0.10232096910476685, + "D": 0.09029792994260788, + "E": 0.10232096910476685, + "F": 0.062060799449682236, + "G": 0.27813720703125, + "H": 0.07968764752149582, + "I": 0.014740731567144394, + "J": 0.024303356185555458, + "K": 0.03321875259280205, + "L": 0.005772553384304047 + }, + "sample": { + "question": "Чему, согласно рассказу Фазиля Искандера, могла успокоить дядю Колю?", + "answerA": "Песня", + "answerB": "Холодная вода на голову", + "answerC": "Сладости", + "answerD": "Прогулка на свежем воздухе", + "correct_answer": "B", + "choices": [ + "Пушкин", + "Арапка", + "Пушкин Александр Сергеевич", + "Два капитана", + "Песня", + "Буран", + "Холодная вода на голову", + "Прогулка на свежем воздухе", + "Командир Кривенко", + "Искандер Фазиль Абдулович", + "Сладости", + "Галина Бартошевская" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nЧему, согласно рассказу Фазиля Искандера, могла успокоить дядю Колю?\nA. Пушкин\nB. Арапка\nC. Пушкин Александр Сергеевич\nD. Два капитана\nE. Песня\nF. Буран\nG. Холодная вода на голову\nH. Прогулка на свежем воздухе\nI. Командир Кривенко\nJ. Искандер Фазиль Абдулович\nK. Сладости\nL. Галина Бартошевская\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 118, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.12862475216388702, + "B": 0.07801485806703568, + "C": 0.11351094394922256, + "D": 0.06884787231683731, + "E": 0.06884787231683731, + "F": 0.0884024128317833, + "G": 0.11351094394922256, + "H": 0.05361877381801605, + "I": 0.02696121297776699, + "J": 0.023793186992406845, + "K": 0.015362036414444447, + "L": 0.009918476454913616 + }, + "sample": { + "question": "Кто является автором психологической версии отравления Моцарта в произведении 'Моцарт и Сальери'?", + "answerA": "Пушкин Александр Сергеевич", + "answerB": "Искандер Фазиль Абдулович", + "answerC": "Толстой Лев Николаевич", + "answerD": "Достоевский Федор Михайлович", + "correct_answer": "answerB", + "choices": [ + "Воскресение", + "Два капитана", + "Буран", + "Дед Мороз", + "Толстой Лев Николаевич", + "Галина Бартошевская", + "Достоевский Федор Михайлович", + "Пушкин", + "Пушкин Александр Сергеевич", + "Арапка", + "Командир Кривенко", + "Искандер Фазиль Абдулович" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКто является автором психологической версии отравления Моцарта в произведении 'Моцарт и Сальери'?\nA. Воскресение\nB. Два капитана\nC. Буран\nD. Дед Мороз\nE. Толстой Лев Николаевич\nF. Галина Бартошевская\nG. Достоевский Федор Михайлович\nH. Пушкин\nI. Пушкин Александр Сергеевич\nJ. Арапка\nK. Командир Кривенко\nL. Искандер Фазиль Абдулович\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 110, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.04292410612106323, + "B": 0.040323466062545776, + "C": 0.08536477386951447, + "D": 0.058670297265052795, + "E": 0.06648215651512146, + "F": 0.08536477386951447, + "G": 0.26294201612472534, + "H": 0.06648215651512146, + "I": 0.007007167674601078, + "J": 0.005457187537103891, + "K": 0.020275913178920746, + "L": 0.0027440465055406094 + }, + "sample": { + "question": "Как звали ослика, сопровождавшего мальчика в его первом взрослом деле в рассказе 'Первое дело'?", + "answerA": "Буран", + "answerB": "Арапка", + "answerC": "Плотва", + "answerD": "Ветерок", + "correct_answer": "B", + "choices": [ + "Командир Кривенко", + "Галина Бартошевская", + "Два капитана", + "Дед Мороз", + "Воскресение", + "Буран", + "Арапка", + "Плотва", + "Пушкин", + "Ветерок", + "Смерть Вазир-Мухтара", + "Жизнь не стоит ничего без постоянной борьбы." + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКак звали ослика, сопровождавшего мальчика в его первом взрослом деле в рассказе 'Первое дело'?\nA. Командир Кривенко\nB. Галина Бартошевская\nC. Два капитана\nD. Дед Мороз\nE. Воскресение\nF. Буран\nG. Арапка\nH. Плотва\nI. Пушкин\nJ. Ветерок\nK. Смерть Вазир-Мухтара\nL. Жизнь не стоит ничего без постоянной борьбы.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 116, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.03908134996891022, + "B": 0.07301357388496399, + "C": 0.056863028556108475, + "D": 0.056863028556108475, + "E": 0.07301357388496399, + "F": 0.09375128149986267, + "G": 0.07301357388496399, + "H": 0.12037903070449829, + "I": 0.04428497701883316, + "J": 0.04428497701883316, + "K": 0.056863028556108475, + "L": 0.09375128149986267 + }, + "sample": { + "question": "Кто спасает Шахова от смертного приговора в романе 'Девять десятых судьбы'?", + "answerA": "Командир Кривенко", + "answerB": "Галина Бартошевская", + "answerC": "Писарь военно-полевого суда Главецкий", + "answerD": "Раевский, взявший другую фамилию", + "correct_answer": "Раевский, взявший другую фамилию", + "choices": [ + "Жизнь не стоит ничего без постоянной борьбы.", + "Пушкин", + "Командир Кривенко", + "Секретарь министерства", + "Дед Мороз", + "Писарь военно-полевого суда Главецкий", + "Галина Бартошевская", + "Воскресение", + "Два капитана", + "Смерть Вазир-Мухтара", + "Звезда", + "Раевский, взявший другую фамилию" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКто спасает Шахова от смертного приговора в романе 'Девять десятых судьбы'?\nA. Жизнь не стоит ничего без постоянной борьбы.\nB. Пушкин\nC. Командир Кривенко\nD. Секретарь министерства\nE. Дед Мороз\nF. Писарь военно-полевого суда Главецкий\nG. Галина Бартошевская\nH. Воскресение\nI. Два капитана\nJ. Смерть Вазир-Мухтара\nK. Звезда\nL. Раевский, взявший другую фамилию\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 124, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.1606946438550949, + "B": 0.07590678334236145, + "C": 0.12514911592006683, + "D": 0.20633602142333984, + "E": 0.05911625921726227, + "F": 0.07590678334236145, + "G": 0.12514911592006683, + "H": 0.05216991528868675, + "I": 0.014946931041777134, + "J": 0.010935408063232899, + "K": 0.011640681885182858, + "L": 0.00313304690644145 + }, + "sample": { + "question": "Какой роман Юрия Тынянова рассказывает о жизни и судьбе писателя и революционера, ожившего перед читателем во всей правде его чувств?", + "answerA": "Пушкин", + "answerB": "Смерть Вазир-Мухтара", + "answerC": "Кюхля", + "answerD": "Подпоручик Киже", + "correct_answer": "Кюхля", + "choices": [ + "Секретарь министерства", + "Кюхля", + "Начало нового дня и приключений", + "Смерть Вазир-Мухтара", + "Доктор наук", + "Двух капитанов", + "Жизнь не стоит ничего без постоянной борьбы.", + "Подпоручик Киже", + "Звезда", + "Пушкин", + "Дед Мороз", + "Все кончится хорошо, потому что жизнь прекрасна." + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКакой роман Юрия Тынянова рассказывает о жизни и судьбе писателя и революционера, ожившего перед читателем во всей правде его чувств?\nA. Секретарь министерства\nB. Кюхля\nC. Начало нового дня и приключений\nD. Смерть Вазир-Мухтара\nE. Доктор наук\nF. Двух капитанов\nG. Жизнь не стоит ничего без постоянной борьбы.\nH. Подпоручик Киже\nI. Звезда\nJ. Пушкин\nK. Дед Мороз\nL. Все кончится хорошо, потому что жизнь прекрасна.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 131, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.034147314727306366, + "B": 0.11918583512306213, + "C": 0.2859119772911072, + "D": 0.08191515505313873, + "E": 0.034147314727306366, + "F": 0.034147314727306366, + "G": 0.22266846895217896, + "H": 0.034147314727306366, + "I": 0.002050705486908555, + "J": 0.009190625511109829, + "K": 0.020711394026875496, + "L": 0.0010976636549457908 + }, + "sample": { + "question": "Кто превратил снежную бабу в девочку в рассказе 'Лёгкие шаги'?", + "answerA": "Дед Мороз", + "answerB": "Секретарь министерства", + "answerC": "Волшебник", + "answerD": "Дядя Костя", + "correct_answer": "C", + "choices": [ + "Все кончится хорошо, потому что жизнь прекрасна.", + "Дед Мороз", + "Доктор филологических наук", + "Начало нового дня и приключений", + "Доктор наук", + "Двух капитанов", + "Волшебник", + "С теплыми пожеланиями", + "Звезда", + "Секретарь министерства", + "Дядя Костя", + "Жизнь не стоит ничего без постоянной борьбы." + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКто превратил снежную бабу в девочку в рассказе 'Лёгкие шаги'?\nA. Все кончится хорошо, потому что жизнь прекрасна.\nB. Дед Мороз\nC. Доктор филологических наук\nD. Начало нового дня и приключений\nE. Доктор наук\nF. Двух капитанов\nG. Волшебник\nH. С теплыми пожеланиями\nI. Звезда\nJ. Секретарь министерства\nK. Дядя Костя\nL. Жизнь не стоит ничего без постоянной борьбы.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 121, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.715067446231842, + "B": 0.058696310967206955, + "C": 0.040341347455978394, + "D": 0.045712731778621674, + "E": 0.040341347455978394, + "F": 0.009001371450722218, + "G": 0.006585543509572744, + "H": 0.010199889540672302, + "I": 0.006186545826494694, + "J": 0.0042519462294876575, + "K": 0.0017724750796332955, + "L": 0.0002253449201816693 + }, + "sample": { + "question": "Какая главная идея выразилась в романе Хемингуэя «По ком звонит колокол» согласно В. Каверину?", + "answerA": "Жизнь не стоит ничего без постоянной борьбы.", + "answerB": "Все кончится хорошо, потому что жизнь прекрасна.", + "answerC": "Страх перед смертью является движущей силой.", + "answerD": "Любовь спасет мир несмотря на все.", + "correct_answer": "B", + "choices": [ + "Жизнь не стоит ничего без постоянной борьбы.", + "Все кончится хорошо, потому что жизнь прекрасна.", + "С теплыми пожеланиями", + "Внезапный страх перед неизвестностью", + "Двух капитанов", + "Начало нового дня и приключений", + "Доктор филологических наук", + "1955", + "Доктор наук", + "Страх перед смертью является движущей силой.", + "Любовь спасет мир несмотря на все.", + "Звезда" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКакая главная идея выразилась в романе Хемингуэя «По ком звонит колокол» согласно В. Каверину?\nA. Жизнь не стоит ничего без постоянной борьбы.\nB. Все кончится хорошо, потому что жизнь прекрасна.\nC. С теплыми пожеланиями\nD. Внезапный страх перед неизвестностью\nE. Двух капитанов\nF. Начало нового дня и приключений\nG. Доктор филологических наук\nH. 1955\nI. Доктор наук\nJ. Страх перед смертью является движущей силой.\nK. Любовь спасет мир несмотря на все.\nL. Звезда\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 142, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.05310474708676338, + "B": 0.06818784028291702, + "C": 0.346286416053772, + "D": 0.07726694643497467, + "E": 0.0875549241900444, + "F": 0.046864770352840424, + "G": 0.12739166617393494, + "H": 0.07726694643497467, + "I": 0.00595818692818284, + "J": 0.009228220209479332, + "K": 0.00675151078030467, + "L": 0.0019343402236700058 + }, + "sample": { + "question": "В каком произведении Вениамин Каверин рассказывает о жизни и творчестве Эммануила Казакевича?", + "answerA": "Звезда", + "answerB": "Двух капитанов", + "answerC": "В окопах Сталинграда", + "answerD": "Двое в степи", + "correct_answer": "Двух капитанов", + "choices": [ + "Начало нового дня и приключений", + "Двух капитанов", + "Пусть этот мёртвый отпечаток напомнит образ мой живой", + "1955", + "В окопах Сталинграда", + "Доктор наук", + "Внезапный страх перед неизвестностью", + "Звезда", + "Доктор филологических наук", + "Приключения в дикой природе", + "С теплыми пожеланиями", + "Двое в степи" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nВ каком произведении Вениамин Каверин рассказывает о жизни и творчестве Эммануила Казакевича?\nA. Начало нового дня и приключений\nB. Двух капитанов\nC. Пусть этот мёртвый отпечаток напомнит образ мой живой\nD. 1955\nE. В окопах Сталинграда\nF. Доктор наук\nG. Внезапный страх перед неизвестностью\nH. Звезда\nI. Доктор филологических наук\nJ. Приключения в дикой природе\nK. С теплыми пожеланиями\nL. Двое в степи\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 132, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0035028071142733097, + "B": 0.02284117229282856, + "C": 0.006966164335608482, + "D": 0.14894315600395203, + "E": 0.03323370963335037, + "F": 0.018935997039079666, + "G": 0.062088742852211, + "H": 0.2782624363899231, + "I": 0.03537709638476372, + "J": 0.19124679267406464, + "K": 0.11599703878164291, + "L": 0.037658724933862686 + }, + "sample": { + "question": "Какое звание было присвоено Корнею Ивановичу Чуковскому Оксфордским университетом?", + "answerA": "Доктор наук", + "answerB": "Доктор филологических наук", + "answerC": "Доктор литературоведения", + "answerD": "Доктор философии", + "correct_answer": "Доктор филологических наук", + "choices": [ + "Александр Солженицын", + "Внезапный страх перед неизвестностью", + "1961", + "Доктор наук", + "Начало нового дня и приключений", + "Пусть этот мёртвый отпечаток напомнит образ мой живой", + "1955", + "Доктор филологических наук", + "Приключения в дикой природе", + "Доктор литературоведения", + "Доктор философии", + "С теплыми пожеланиями" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакое звание было присвоено Корнею Ивановичу Чуковскому Оксфордским университетом?\nA. Александр Солженицын\nB. Внезапный страх перед неизвестностью\nC. 1961\nD. Доктор наук\nE. Начало нового дня и приключений\nF. Пусть этот мёртвый отпечаток напомнит образ мой живой\nG. 1955\nH. Доктор филологических наук\nI. Приключения в дикой природе\nJ. Доктор литературоведения\nK. Доктор философии\nL. С теплыми пожеланиями\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 129, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.06633620709180832, + "B": 0.005115299019962549, + "C": 0.003983799368143082, + "D": 0.002914609620347619, + "E": 0.7131814956665039, + "F": 0.004240731708705425, + "G": 0.007922731339931488, + "H": 0.01480160839855671, + "I": 0.040234945714473724, + "J": 0.013062374666333199, + "K": 0.0010072621516883373, + "L": 0.0008889057789929211 + }, + "sample": { + "question": "Что символизирует встреча главного героя с бегущей собакой в рассвете в рассказе 'Вот бежит собака'?", + "answerA": "Начало нового дня и приключений", + "answerB": "Внезапный страх перед неизвестностью", + "answerC": "Мимолетный момент счастья, о котором потом будет сожаление", + "answerD": "Предвестник несчастья или потери", + "correct_answer": "C", + "choices": [ + "Предвестник несчастья или потери", + "Долан обманул Робинсона в казино.", + "Приключения в дикой природе", + "1961", + "Начало нового дня и приключений", + "1955", + "Мимолетный момент счастья, о котором потом будет сожаление", + "Пусть этот мёртвый отпечаток напомнит образ мой живой", + "Внезапный страх перед неизвестностью", + "Александр Солженицын", + "Романтическая любовь", + "С теплыми пожеланиями" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nЧто символизирует встреча главного героя с бегущей собакой в рассвете в рассказе 'Вот бежит собака'?\nA. Предвестник несчастья или потери\nB. Долан обманул Робинсона в казино.\nC. Приключения в дикой природе\nD. 1961\nE. Начало нового дня и приключений\nF. 1955\nG. Мимолетный момент счастья, о котором потом будет сожаление\nH. Пусть этот мёртвый отпечаток напомнит образ мой живой\nI. Внезапный страх перед неизвестностью\nJ. Александр Солженицын\nK. Романтическая любовь\nL. С теплыми пожеланиями\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 148, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.03517341613769531, + "B": 0.051177017390728, + "C": 0.06995068490505219, + "D": 0.051177017390728, + "E": 0.03517341613769531, + "F": 0.057991161942481995, + "G": 0.4025384485721588, + "H": 0.05447765439748764, + "I": 0.0065064276568591595, + "J": 0.025733420625329018, + "K": 0.08981847018003464, + "L": 0.02004120871424675 + }, + "sample": { + "question": "Что советовал Серёга Саше написать на фото, чтобы поразить девушку?", + "answerA": "С теплыми пожеланиями", + "answerB": "Пусть этот мёртвый отпечаток напомнит образ мой живой", + "answerC": "На память о встрече", + "answerD": "Всегда твой", + "correct_answer": "B", + "choices": [ + "Долан обманул Робинсона в казино.", + "Приключения в дикой природе", + "С теплыми пожеланиями", + "1984", + "Всегда твой", + "Романтическая любовь", + "Пусть этот мёртвый отпечаток напомнит образ мой живой", + "1961", + "1955", + "На память о встрече", + "Александр Солженицын", + "Лев Кассиль" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nЧто советовал Серёга Саше написать на фото, чтобы поразить девушку?\nA. Долан обманул Робинсона в казино.\nB. Приключения в дикой природе\nC. С теплыми пожеланиями\nD. 1984\nE. Всегда твой\nF. Романтическая любовь\nG. Пусть этот мёртвый отпечаток напомнит образ мой живой\nH. 1961\nI. 1955\nJ. На память о встрече\nK. Александр Солженицын\nL. Лев Кассиль\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 128, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.030520707368850708, + "B": 0.05032014101743698, + "C": 0.05032014101743698, + "D": 0.6130247712135315, + "E": 0.08296388387680054, + "F": 0.030520707368850708, + "G": 0.04440736770629883, + "H": 0.04440736770629883, + "I": 0.004130528774112463, + "J": 0.005645763128995895, + "K": 0.006397488061338663, + "L": 0.004982369020581245 + }, + "sample": { + "question": "В каком году был написан рассказ 'Осень в дубовых лесах' Юрия Павловича Казакова?", + "answerA": "1955", + "answerB": "1961", + "answerC": "1970", + "answerD": "1982", + "correct_answer": "answerB", + "choices": [ + "Александр Солженицын", + "Долан уничтожил дом Робинсона.", + "1984", + "1955", + "1970", + "1982", + "1985", + "1961", + "Романтическая любовь", + "Приключения в дикой природе", + "Долан обманул Робинсона в казино.", + "Лев Кассиль" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nВ каком году был написан рассказ 'Осень в дубовых лесах' Юрия Павловича Казакова?\nA. Александр Солженицын\nB. Долан уничтожил дом Робинсона.\nC. 1984\nD. 1955\nE. 1970\nF. 1982\nG. 1985\nH. 1961\nI. Романтическая любовь\nJ. Приключения в дикой природе\nK. Долан обманул Робинсона в казино.\nL. Лев Кассиль\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 129, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.010748094879090786, + "B": 0.03524164482951164, + "C": 0.12300542742013931, + "D": 0.06584006547927856, + "E": 0.031100643798708916, + "F": 0.0213751383125782, + "G": 0.5512720942497253, + "H": 0.027446219697594643, + "I": 0.0023982240818440914, + "J": 0.008910482749342918, + "K": 0.031100643798708916, + "L": 0.0007314169779419899 + }, + "sample": { + "question": "Какой главный мотив повествования в рассказе 'Свечечка' Казакова Юрия Павловича?", + "answerA": "Приключения в дикой природе", + "answerB": "Романтическая любовь", + "answerC": "Ответственность и радости отцовства", + "answerD": "Поиск сокровищ", + "correct_answer": "Ответственность и радости отцовства", + "choices": [ + "1985", + "Долан обманул Робинсона в казино.", + "Александр Солженицын", + "Поиск сокровищ", + "Долан уничтожил дом Робинсона.", + "1984", + "Ответственность и радости отцовства", + "1985", + "Романтическая любовь", + "Чтобы люди исполняли для них музыку", + "Приключения в дикой природе", + "Лев Кассиль" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКакой главный мотив повествования в рассказе 'Свечечка' Казакова Юрия Павловича?\nA. 1985\nB. Долан обманул Робинсона в казино.\nC. Александр Солженицын\nD. Поиск сокровищ\nE. Долан уничтожил дом Робинсона.\nF. 1984\nG. Ответственность и радости отцовства\nH. 1985\nI. Романтическая любовь\nJ. Чтобы люди исполняли для них музыку\nK. Приключения в дикой природе\nL. Лев Кассиль\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 127, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.32274600863456726, + "B": 0.11873164027929306, + "C": 0.043678924441337585, + "D": 0.07201437652111053, + "E": 0.07201437652111053, + "F": 0.05608484521508217, + "G": 0.07201437652111053, + "H": 0.034017179161310196, + "I": 0.07201437652111053, + "J": 0.05608484521508217, + "K": 0.0029723879415541887, + "L": 0.0015910046640783548 + }, + "sample": { + "question": "Кто является автором романа «Великое противостояние»?", + "answerA": "Александр Солженицын", + "answerB": "Лев Кассиль", + "answerC": "Борис Пастернак", + "answerD": "Михаил Шолохов", + "correct_answer": "B", + "choices": [ + "Чтобы люди исполняли для них музыку", + "Борис Пастернак", + "Долан уничтожил дом Робинсона.", + "Долан обманул Робинсона в казино.", + "1985", + "Малахи", + "1984", + "1985", + "Александр Солженицын", + "Лев Кассиль", + "Михаил Шолохов", + "1983" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКто является автором романа «Великое противостояние»?\nA. Чтобы люди исполняли для них музыку\nB. Борис Пастернак\nC. Долан уничтожил дом Робинсона.\nD. Долан обманул Робинсона в казино.\nE. 1985\nF. Малахи\nG. 1984\nH. 1985\nI. Александр Солженицын\nJ. Лев Кассиль\nK. Михаил Шолохов\nL. 1983\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 116, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.15398064255714417, + "B": 0.11992024630308151, + "C": 0.15398064255714417, + "D": 0.07273530960083008, + "E": 0.09339398145675659, + "F": 0.04999019578099251, + "G": 0.11992024630308151, + "H": 0.09339398145675659, + "I": 0.026757821440696716, + "J": 0.044116195291280746, + "K": 0.018390364944934845, + "L": 0.006765437312424183 + }, + "sample": { + "question": "Какое событие стало поворотным моментом для Робинсона, чтобы начать мстить Долану в рассказе «Кадиллак» Долана?", + "answerA": "Долан обманул Робинсона в казино.", + "answerB": "Долан уничтожил дом Робинсона.", + "answerC": "Долан приказал убить жену Робинсона.", + "answerD": "Долан подставил Робинсона перед правоохранительными органами.", + "correct_answer": "Долан приказал убить жену Робинсона.", + "choices": [ + "1985", + "Долан приказал убить жену Робинсона.", + "Долан уничтожил дом Робинсона.", + "Чтобы люди качали им топливо", + "1983", + "Чтобы люди исполняли для них музыку", + "1985", + "Малахи", + "Долан подставил Робинсона перед правоохранительными органами.", + "Долан обманул Робинсона в казино.", + "1984", + "1985" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКакое событие стало поворотным моментом для Робинсона, чтобы начать мстить Долану в рассказе «Кадиллак» Долана?\nA. 1985\nB. Долан приказал убить жену Робинсона.\nC. Долан уничтожил дом Робинсона.\nD. Чтобы люди качали им топливо\nE. 1983\nF. Чтобы люди исполняли для них музыку\nG. 1985\nH. Малахи\nI. Долан подставил Робинсона перед правоохранительными органами.\nJ. Долан обманул Робинсона в казино.\nK. 1984\nL. 1985\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 155, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.1976557821035385, + "B": 0.04410296306014061, + "C": 0.41843727231025696, + "D": 0.056629326194524765, + "E": 0.030311496928334236, + "F": 0.009840701706707478, + "G": 0.15393449366092682, + "H": 0.008684388361871243, + "I": 0.004366785287857056, + "J": 0.002488118829205632, + "K": 0.010475372895598412, + "L": 0.0002791592269204557 + }, + "sample": { + "question": "В каком году был опубликован рассказ Стивена Кинга 'Бабуля'?", + "answerA": "1984", + "answerB": "1985", + "answerC": "1986", + "answerD": "1987", + "correct_answer": "B", + "choices": [ + "1984", + "Чтобы люди качали им топливо", + "1985", + "Исаак", + "1987", + "Статья в газете с упоминанием 'Тень Попрыгунчика Джека'", + "1983", + "Чтобы люди исполняли для них музыку", + "1986", + "Малахи", + "Фотография колледжа Нью-Шарон", + "1989" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nВ каком году был опубликован рассказ Стивена Кинга 'Бабуля'?\nA. 1984\nB. Чтобы люди качали им топливо\nC. 1985\nD. Исаак\nE. 1987\nF. Статья в газете с упоминанием 'Тень Попрыгунчика Джека'\nG. 1983\nH. Чтобы люди исполняли для них музыку\nI. 1986\nJ. Малахи\nK. Фотография колледжа Нью-Шарон\nL. 1989\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 140, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.09661795198917389, + "B": 0.08526503294706345, + "C": 0.1405782848596573, + "D": 0.2626347839832306, + "E": 0.10948246717453003, + "F": 0.04563908278942108, + "G": 0.09661795198917389, + "H": 0.024428840726614, + "I": 0.013075816445052624, + "J": 0.05171585455536842, + "K": 0.021558377891778946, + "L": 0.011539367958903313 + }, + "sample": { + "question": "В каком году был опубликован рассказ 'Всемогущий текст-процессор' Стивена Кинга?", + "answerA": "1985", + "answerB": "1983", + "answerC": "1990", + "answerD": "1987", + "correct_answer": "answerB", + "choices": [ + "1990", + "1978", + "Исаак", + "1983", + "1985", + "Малахи", + "Чтобы люди исполняли для них музыку", + "Чтобы люди качали им топливо", + "Статья в газете с упоминанием 'Тень Попрыгунчика Джека'", + "Фотография колледжа Нью-Шарон", + "1987", + "1989" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nВ каком году был опубликован рассказ 'Всемогущий текст-процессор' Стивена Кинга?\nA. 1990\nB. 1978\nC. Исаак\nD. 1983\nE. 1985\nF. Малахи\nG. Чтобы люди исполняли для них музыку\nH. Чтобы люди качали им топливо\nI. Статья в газете с упоминанием 'Тень Попрыгунчика Джека'\nJ. Фотография колледжа Нью-Шарон\nK. 1987\nL. 1989\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 144, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.07973415404558182, + "B": 0.11601252108812332, + "C": 0.1912723034620285, + "D": 0.11601252108812332, + "E": 0.04836121201515198, + "F": 0.07036515325307846, + "G": 0.09035064280033112, + "H": 0.06209702417254448, + "I": 0.01779109425842762, + "J": 0.06209702417254448, + "K": 0.04267862066626549, + "L": 0.01301624346524477 + }, + "sample": { + "question": "Что грузовики требуют от людей в рассказе «Грузовики» Стивена Кинга?", + "answerA": "Чтобы люди исполняли для них музыку", + "answerB": "Чтобы люди качали им топливо", + "answerC": "Чтобы люди отремонтировали их", + "answerD": "Чтобы люди разбирали на части неработающие машины", + "correct_answer": "Чтобы люди качали им топливо", + "choices": [ + "Стратфорд, штат Коннектикут", + "Чтобы люди исполняли для них музыку", + "Чтобы люди разбирали на части неработающие машины", + "Чтобы люди отремонтировали их", + "Исаак", + "1985", + "1989", + "Фотография колледжа Нью-Шарон", + "Статья в газете с упоминанием 'Тень Попрыгунчика Джека'", + "1983", + "Чтобы люди качали им топливо", + "Малахи" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nЧто грузовики требуют от людей в рассказе «Грузовики» Стивена Кинга?\nA. Стратфорд, штат Коннектикут\nB. Чтобы люди исполняли для них музыку\nC. Чтобы люди разбирали на части неработающие машины\nD. Чтобы люди отремонтировали их\nE. Исаак\nF. 1985\nG. 1989\nH. Фотография колледжа Нью-Шарон\nI. Статья в газете с упоминанием 'Тень Попрыгунчика Джека'\nJ. 1983\nK. Чтобы люди качали им топливо\nL. Малахи\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 153, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.09450224041938782, + "B": 0.29108738899230957, + "C": 0.15580786764621735, + "D": 0.12134327739477158, + "E": 0.050583403557538986, + "F": 0.050583403557538986, + "G": 0.03939439728856087, + "H": 0.044639699161052704, + "I": 0.006041326094418764, + "J": 0.03476543352007866, + "K": 0.012014612555503845, + "L": 0.0032336891163140535 + }, + "sample": { + "question": "Как зовут 9-летнего лидера детей в фильме 'Дети кукурузы'?", + "answerA": "Малахи", + "answerB": "Исаак", + "answerC": "Джон", + "answerD": "Элайджа", + "correct_answer": "Исаак", + "choices": [ + "1978", + "Исаак", + "Стратфорд, штат Коннектикут", + "Элайджа", + "Малахи", + "1985", + "1989", + "Лас-Вегас", + "Статья в газете с упоминанием 'Тень Попрыгунчика Джека'", + "Фотография колледжа Нью-Шарон", + "1983", + "Джон" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКак зовут 9-летнего лидера детей в фильме 'Дети кукурузы'?\nA. 1978\nB. Исаак\nC. Стратфорд, штат Коннектикут\nD. Элайджа\nE. Малахи\nF. 1985\nG. 1989\nH. Лас-Вегас\nI. Статья в газете с упоминанием 'Тень Попрыгунчика Джека'\nJ. Фотография колледжа Нью-Шарон\nK. 1983\nL. Джон\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 133, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.08265232294797897, + "B": 0.0729404091835022, + "C": 0.03904218599200249, + "D": 0.03904218599200249, + "E": 0.22467228770256042, + "F": 0.09365733712911606, + "G": 0.12025841325521469, + "H": 0.08265232294797897, + "I": 0.044240593910217285, + "J": 0.10612767934799194, + "K": 0.020897777751088142, + "L": 0.005624561104923487 + }, + "sample": { + "question": "В каком году был опубликован рассказ Стивена Кинга 'Домашние роды'?", + "answerA": "1985", + "answerB": "1989", + "answerC": "1992", + "answerD": "1995", + "correct_answer": "B", + "choices": [ + "1989", + "Статья в газете с упоминанием 'Тень Попрыгунчика Джека'", + "Дерри, штат Мэн", + "Она будет обязана прекратить с ��им общение.", + "Фотография колледжа Нью-Шарон", + "1995", + "Стратфорд, штат Коннектикут", + "1983", + "1992", + "1978", + "Лас-Вегас", + "1985" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nВ каком году был опубликован рассказ Стивена Кинга 'Домашние роды'?\nA. 1989\nB. Статья в газете с упоминанием 'Тень Попрыгунчика Джека'\nC. Дерри, штат Мэн\nD. Она будет обязана прекратить с ним общение.\nE. Фотография колледжа Нью-Шарон\nF. 1995\nG. Стратфорд, штат Коннектикут\nH. 1983\nI. 1992\nJ. 1978\nK. Лас-Вегас\nL. 1985\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 150, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.1706312894821167, + "B": 0.091332346200943, + "C": 0.13288778066635132, + "D": 0.04314234480261803, + "E": 0.13288778066635132, + "F": 0.091332346200943, + "G": 0.1034931093454361, + "H": 0.08060051500797272, + "I": 0.020379001274704933, + "J": 0.02965126931667328, + "K": 0.011611605063080788, + "L": 0.002147930907085538 + }, + "sample": { + "question": "Что пробуждает в рассказчике воспоминания о земляничной весне в рассказе Стивена Кинга?", + "answerA": "Фотография колледжа Нью-Шарон", + "answerB": "Статья в газете с упоминанием 'Тень Попрыгунчика Джека'", + "answerC": "Приезд старого друга", + "answerD": "Внезапно найденный студенческий билет", + "correct_answer": "Статья в газете с упоминанием 'Тень Попрыгунчика Джека'", + "choices": [ + "Статья в газете с упоминанием 'Тень Попрыгунчика Джека'", + "Стратфорд, штат Коннектикут", + "Дерри, штат Мэн", + "Нью-Йорк", + "Приезд старого друга", + "Она будет обязана прекратить с ним общение.", + "Ключи от его машины", + "1978", + "Лас-Вегас", + "Внезапно найденный студенческий билет", + "Фотография колледжа Нью-Шарон", + "1983" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nЧто пробуждает в рассказчике воспоминания о земляничной весне в рассказе Стивена Кинга?\nA. Статья в газете с упоминанием 'Тень Попрыгунчика Джека'\nB. Стратфорд, штат Коннектикут\nC. Дерри, штат Мэн\nD. Нью-Йорк\nE. Приезд старого друга\nF. Она будет обязана прекратить с ним общение.\nG. Ключи от его машины\nH. 1978\nI. Лас-Вегас\nJ. Внезапно найденный студенческий билет\nK. Фотография колледжа Нью-Шарон\nL. 1983\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 150, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.08041646331548691, + "B": 0.03352256864309311, + "C": 0.5243812203407288, + "D": 0.05526937171816826, + "E": 0.07096727937459946, + "F": 0.02610740251839161, + "G": 0.08041646331548691, + "H": 0.02610740251839161, + "I": 0.017943337559700012, + "J": 0.00960437674075365, + "K": 0.005472409073263407, + "L": 0.0010775811970233917 + }, + "sample": { + "question": "В каком году был написан рассказ «И пришёл бука» Стивена Кинга?", + "answerA": "1983", + "answerB": "1978", + "answerC": "1980", + "answerD": "1975", + "correct_answer": "B", + "choices": [ + "Она будет обязана прекратить с ним общение.", + "Лас-Вегас", + "1975", + "Стратфорд, штат Коннектикут", + "1983", + "1980", + "Ключи от его машины", + "Брайан Энгл", + "1978", + "Дерри, штат Мэн", + "Нью-Йорк", + "Ей придется пройти курс лечения от ожирения." + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nВ каком году был написан рассказ «И пришёл бука» Стивена Кинга?\nA. Она будет обязана прекратить с ним общение.\nB. Лас-Вегас\nC. 1975\nD. Стратфорд, штат Коннектикут\nE. 1983\nF. 1980\nG. Ключи от его машины\nH. Брайан Энгл\nI. 1978\nJ. Дерри, штат Мэн\nK. Нью-Йорк\nL. Ей придется пройти курс лечения от ожирения.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 137, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.03464556112885475, + "B": 0.06472643464803696, + "C": 0.42206934094429016, + "D": 0.03925856202840805, + "E": 0.019740447402000427, + "F": 0.021013595163822174, + "G": 0.0733446478843689, + "H": 0.03925856202840805, + "I": 0.004137822426855564, + "J": 0.018544433638453484, + "K": 0.04448578134179115, + "L": 0.0030272952280938625 + }, + "sample": { + "question": "В каком городе было обнаружено химическое вещество, уникальное для городского водоснабжения, уменьшающее агрессивные тенденции в рассказе 'Конец всей этой гадости' Стивена Кинга?", + "answerA": "Лас-Вегас", + "answerB": "Нью-Йорк", + "answerC": "Ла-Плата", + "answerD": "Москва", + "correct_answer": "Ла-Плата", + "choices": [ + "Стратегическая игра 'Военное время'", + "Лас-Вегас", + "Ник Хоупвелл", + "Она будет обязана прекратить с ним общение.", + "Жену и 20 000 долларов", + "Брайан Энгл", + "Нью-Йорк", + "Ей придется пройти курс лечения от ожирения.", + "Ключи от его машины", + "1984", + "Москва", + "Ла-Плата" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nВ каком городе было обнаружено химическое вещество, уникальное для городского водоснабжения, уменьшающее агрессивные тенденции в рассказе 'Конец всей этой гадости' Стивена Кинга?\nA. Стратегическая игра 'Военное время'\nB. Лас-Вегас\nC. Ник Хоупвелл\nD. Она будет обязана прекратить с ним общение.\nE. Жену и 20 000 долларов\nF. Брайан Энгл\nG. Нью-Йорк\nH. Ей придется пройти курс лечения от ожирения.\nI. Ключи от его машины\nJ. 1984\nK. Москва\nL. Ла-Плата\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 152, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.003467997070401907, + "B": 0.0165448896586895, + "C": 0.10788623243570328, + "D": 0.17787432670593262, + "E": 0.011371125467121601, + "F": 0.02124406024813652, + "G": 0.011371125467121601, + "H": 0.007815252058207989, + "I": 0.0027008787728846073, + "J": 0.03968912735581398, + "K": 0.37655994296073914, + "L": 0.005371339153498411 + }, + "sample": { + "question": "Что произойдет с женой Дика Моррисона, если он превысит установленную корпорацией 'Бросайте курить' норму веса?", + "answerA": "Она будет обязана прекратить с ним общение.", + "answerB": "Ей придется ��ройти курс лечения от ожирения.", + "answerC": "Ей отрежут мизинец.", + "answerD": "Она будет отправлена на принудительные занятия спортом.", + "correct_answer": "Ей отрежут мизинец.", + "choices": [ + "Ей отрежут мизинец.", + "1978", + "Она будет обязана прекратить с ним общение.", + "Она будет отправлена на принудительные занятия спортом.", + "1984", + "Стратегическая игра 'Военное время'", + "Ник Хоупвелл", + "Ключи от его машины", + "Брайан Энгл", + "1980", + "Ей придется пройти курс лечения от ожирения.", + "Жену и 20 000 долларов" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nЧто произойдет с женой Дика Моррисона, если он превысит установленную корпорацией 'Бросайте курить' норму веса?\nA. Ей отрежут мизинец.\nB. 1978\nC. Она будет обязана прекратить с ним общение.\nD. Она будет отправлена на принудительные занятия спортом.\nE. 1984\nF. Стратегическая игра 'Военное время'\nG. Ник Хоупвелл\nH. Ключи от его машины\nI. Брайан Энгл\nJ. 1980\nK. Ей придется пройти курс лечения от ожирения.\nL. Жену и 20 000 долларов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 160, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.16864950954914093, + "B": 0.07030357420444489, + "C": 0.10229109972715378, + "D": 0.07030357420444489, + "E": 0.09027158468961716, + "F": 0.14883267879486084, + "G": 0.09027158468961716, + "H": 0.10229109972715378, + "I": 0.0166985634714365, + "J": 0.04264127463102341, + "K": 0.012216930277645588, + "L": 0.015686847269535065 + }, + "sample": { + "question": "В рассказе Кинга 'Карниз', что Кресснер предложил Норрису за успешное преодоление карниза?", + "answerA": "Ключи от его машины", + "answerB": "Жену и 20 000 долларов", + "answerC": "Постоянную работу", + "answerD": "Свободу из тюрьмы", + "correct_answer": "B", + "choices": [ + "Комикс 'Авантюры военных стратегий'", + "Постоянную работу", + "Стратегическая игра 'Военное время'", + "1984", + "Библию", + "Жену и 20 000 долларов", + "Ник Хоупвелл", + "Ключи от его машины", + "Свободу из тюрьмы", + "1980", + "Брайан Энгл", + "1978" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nВ рассказе Кинга 'Карниз', что Кресснер предложил Норрису за успешное преодоление карниза?\nA. Комикс 'Авантюры военных стратегий'\nB. Постоянную работу\nC. Стратегическая игра 'Военное время'\nD. 1984\nE. Библию\nF. Жену и 20 000 долларов\nG. Ник Хоупвелл\nH. Ключи от его машины\nI. Свободу из тюрьмы\nJ. 1980\nK. Брайан Энгл\nL. 1978\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 141, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.06470604240894318, + "B": 0.094146728515625, + "C": 0.17588923871517181, + "D": 0.094146728515625, + "E": 0.06470604240894318, + "F": 0.05039311200380325, + "G": 0.12088678777217865, + "H": 0.06470604240894318, + "I": 0.006819965783506632, + "J": 0.047339946031570435, + "K": 0.03253623843193054, + "L": 0.00565395038574934 + }, + "sample": { + "question": "Кто убеждает Крейга Тооми, что на взлетно-посадочной полосе проходит важное заседание совета директоров, что в конечном итоге приводит к его встрече с лангольерами?", + "answerA": "Брайан Энгл", + "answerB": "Ник Хоупвелл", + "answerC": "Дина", + "answerD": "Боб Дженкинс", + "correct_answer": "Дина", + "choices": [ + "Библию", + "Ник Хоупвелл", + "Дина", + "1978", + "1980", + "1978", + "Комикс 'Авантюры военных стратегий'", + "1987", + "1984", + "Брайан Энгл", + "Стратегическая игра 'Военное время'", + "Боб Дженкинс" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКто убеждает Крейга Тооми, что на взлетно-посадочной полосе проходит важное заседание совета директоров, что в конечном итоге приводит к его встрече с лангольерами?\nA. Библию\nB. Ник Хоупвелл\nC. Дина\nD. 1978\nE. 1980\nF. 1978\nG. Комикс 'Авантюры военных стратегий'\nH. 1987\nI. 1984\nJ. Брайан Энгл\nK. Стратегическая игра 'Военное время'\nL. Боб Дженкинс\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 144, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.10777968913316727, + "B": 0.1383918672800064, + "C": 0.17769865691661835, + "D": 0.10777968913316727, + "E": 0.050911519676446915, + "F": 0.04492925852537155, + "G": 0.20135895907878876, + "H": 0.06537168473005295, + "I": 0.006890124641358852, + "J": 0.01759454980492592, + "K": 0.018729301169514656, + "L": 0.004179071635007858 + }, + "sample": { + "question": "В каком году был написан рассказ «Ночная смена» Стивена Кинга, входящий в одноименный цикл?", + "answerA": "1984", + "answerB": "1978", + "answerC": "1970", + "answerD": "1981", + "correct_answer": "B", + "choices": [ + "1970", + "1984", + "Геологический молоток", + "1992", + "Комикс 'Авантюры военных стратегий'", + "Помогает Рейни написать новый рассказ", + "1981", + "1980", + "Стратегическая игра 'Военное время'", + "1987", + "Библию", + "1978" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nВ каком году был написан рассказ «Ночная смена» Стивена Кинга, входящий в одноименный цикл?\nA. 1970\nB. 1984\nC. Геологический молоток\nD. 1992\nE. Комикс 'Авантюры военных стратегий'\nF. Помогает Рейни написать новый рассказ\nG. 1981\nH. 1980\nI. Стратегическая игра 'Военное время'\nJ. 1987\nK. Библию\nL. 1978\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 142, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.005791372153908014, + "B": 0.10927516967058182, + "C": 0.02021387405693531, + "D": 0.040200088173151016, + "E": 0.06627874076366425, + "F": 0.4321916699409485, + "G": 0.0851035788655281, + "H": 0.06627874076366425, + "I": 0.0010712961666285992, + "J": 0.04555266723036766, + "K": 0.0215175561606884, + "L": 0.05161793529987335 + }, + "sample": { + "question": "Как называется предмет, отправленный Реншоу матерью убитого им производителя игрушек в фильме \"Поле боя\" (1972)?", + "answerA": "Стратегическая игра 'Военное время'", + "answerB": "Комикс 'Авантюры военных стр��тегий'", + "answerC": "Игрушечный 'Вьетнамский сундучок американского солдата Джо'", + "answerD": "Сборник рассказов 'Боевые искусства'", + "correct_answer": "Игрушечный 'Вьетнамский сундучок американского солдата Джо'", + "choices": [ + "1978", + "Комикс 'Авантюры военных стратегий'", + "Библию", + "1987", + "Геологический молоток", + "Игрушечный 'Вьетнамский сундучок американского солдата Джо'", + "Стратегическая игра 'Военное время'", + "1992", + "Помогает Рейни написать новый рассказ", + "1980", + "Сборник рассказов 'Боевые искусства'", + "Укус паука" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКак называется предмет, отправленный Реншоу матерью убитого им производителя игрушек в фильме \"Поле боя\" (1972)?\nA. 1978\nB. Комикс 'Авантюры военных стратегий'\nC. Библию\nD. 1987\nE. Геологический молоток\nF. Игрушечный 'Вьетнамский сундучок американского солдата Джо'\nG. Стратегическая игра 'Военное время'\nH. 1992\nI. Помогает Рейни написать новый рассказ\nJ. 1980\nK. Сборник рассказов 'Боевые искусства'\nL. Укус паука\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 155, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.247646763920784, + "B": 0.08039913326501846, + "C": 0.1928674876689911, + "D": 0.09110415726900101, + "E": 0.09110415726900101, + "F": 0.06261490285396576, + "G": 0.09110415726900101, + "H": 0.055257461965084076, + "I": 0.007960592396557331, + "J": 0.013971274718642235, + "K": 0.012329605408012867, + "L": 0.0017762481002137065 + }, + "sample": { + "question": "В каком году был написан рассказ 'Последняя перекладина' Стивена Кинга?", + "answerA": "1980", + "answerB": "1978", + "answerC": "1985", + "answerD": "1990", + "correct_answer": "B", + "choices": [ + "1985", + "Брайан Энгл", + "Ник Хоупвелл", + "Она будет обязана прекратить с ним общение.", + "Ей придется пройти курс лечения от ожирения.", + "1978", + "1984", + "Жену и 20 000 долларов", + "1980", + "Стратегическая игра 'Военное время'", + "Ключи от его машины", + "1990" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nВ каком году был написан рассказ 'Последняя перекладина' Стивена Кинга?\nA. 1985\nB. Брайан Энгл\nC. Ник Хоупвелл\nD. Она будет обязана прекратить с ним общение.\nE. Ей придется пройти курс лечения от ожирения.\nF. 1978\nG. 1984\nH. Жену и 20 000 долларов\nI. 1980\nJ. Стратегическая игра 'Военное время'\nK. Ключи от его машины\nL. 1990\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 144, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.17277830839157104, + "B": 0.05609290674328804, + "C": 0.19578348100185394, + "D": 0.19578348100185394, + "E": 0.04950181767344475, + "F": 0.04950181767344475, + "G": 0.10479535162448883, + "H": 0.03402206674218178, + "I": 0.011757711879909039, + "J": 0.021966297179460526, + "K": 0.012516018934547901, + "L": 0.0031645451672375202 + }, + "sample": { + "question": "Какой предмет Энди Дюфресн попросил у Рэда, чтобы начать работу, которая впоследствии повлияла на всю его судьбу в тюрьме Шоушенк?", + "answerA": "Библию", + "answerB": "Геологический молоток", + "answerC": "Плакат с изображением Риты Хейуорт", + "answerD": "Пачку бумаги и ручку", + "correct_answer": "answerB", + "choices": [ + "Геологический молоток", + "1980", + "Жену и 20 000 долларов", + "Плакат с изображением Риты Хейуорт", + "Библию", + "Ключи от его машины", + "Пачку бумаги и ручку", + "Брайан Энгл", + "1984", + "Ник Хоупвелл", + "1978", + "Стратегическая игра 'Военное время'" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКакой предмет Энди Дюфресн попросил у Рэда, чтобы начать работу, которая впоследствии повлияла на всю его судьбу в тюрьме Шоушенк?\nA. Геологический молоток\nB. 1980\nC. Жену и 20 000 долларов\nD. Плакат с изображением Риты Хейуорт\nE. Библию\nF. Ключи от его машины\nG. Пачку бумаги и ручку\nH. Брайан Энгл\nI. 1984\nJ. Ник Хоупвелл\nK. 1978\nL. Стратегическая игра 'Военное время'\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 153, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.09155789017677307, + "B": 0.3621184825897217, + "C": 0.24888016283512115, + "D": 0.04900740832090378, + "E": 0.10374868661165237, + "F": 0.023149458691477776, + "G": 0.033682264387607574, + "H": 0.014946416020393372, + "I": 0.0007441381458193064, + "J": 0.012391013093292713, + "K": 0.002439935225993395, + "L": 0.0007441381458193064 + }, + "sample": { + "question": "В каком году произведение 'Рок-н-ролльные небеса' от Кинга Стивена было опубликовано?", + "answerA": "1987", + "answerB": "1992", + "answerC": "2001", + "answerD": "2010", + "correct_answer": "answerB", + "choices": [ + "Брайан Энгл", + "1984", + "1980", + "Библию", + "1978", + "2010", + "Комикс 'Авантюры военных стратегий'", + "Стратегическая игра 'Военное время'", + "1992", + "2001", + "Ник Хоупвелл", + "1987" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nВ каком году произведение 'Рок-н-ролльные небеса' от Кинга Стивена было опубликовано?\nA. Брайан Энгл\nB. 1984\nC. 1980\nD. Библию\nE. 1978\nF. 2010\nG. Комикс 'Авантюры военных стратегий'\nH. Стратегическая игра 'Военное время'\nI. 1992\nJ. 2001\nK. Ник Хоупвелл\nL. 1987\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 137, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.014674398116767406, + "B": 0.12286722660064697, + "C": 0.051218677312135696, + "D": 0.09568909555673599, + "E": 0.12286722660064697, + "F": 0.294743150472641, + "G": 0.07452274113893509, + "H": 0.08444533497095108, + "I": 0.002114047296345234, + "J": 0.03520205244421959, + "K": 0.010736019350588322, + "L": 0.021351123228669167 + }, + "sample": { + "question": "Что делает странный человек в черной шляпе, обвинивший Рейни в плагиате?", + "answerA": "Помогает Рейни написать новый рассказ", + "answerB": "Ожидает, что Рейни подпишет с ним договор", + "answerC": "Просит Рейни найти копию журнала для доказательства", + "answerD": "Становится лучшим другом Рейни", + "correct_answer": "C", + "choices": [ + "Становится лучшим другом Рейни", + "Помогает Рейни написать новый рассказ", + "1978", + "1978", + "Библию", + "Просит Рейни найти копию журнала для доказательства", + "Комикс 'Авантюры военных стратегий'", + "Ожидает, что Рейни подпишет с ним договор", + "1984", + "1987", + "1980", + "Стратегическая игра 'Военное время'" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nЧто делает странный человек в черной шляпе, обвинивший Рейни в плагиате?\nA. Становится лучшим другом Рейни\nB. Помогает Рейни написать новый рассказ\nC. 1978\nD. 1978\nE. Библию\nF. Просит Рейни найти копию журнала для доказательства\nG. Комикс 'Авантюры военных стратегий'\nH. Ожидает, что Рейни подпишет с ним договор\nI. 1984\nJ. 1987\nK. 1980\nL. Стратегическая игра 'Военное время'\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 151, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.17018020153045654, + "B": 0.06260579824447632, + "C": 0.24761073291301727, + "D": 0.055249422788619995, + "E": 0.07094166427850723, + "F": 0.06260579824447632, + "G": 0.13253648579120636, + "H": 0.048757441341876984, + "I": 0.02609797939658165, + "J": 0.023031385615468025, + "K": 0.012327812612056732, + "L": 0.0018905311590060592 + }, + "sample": { + "question": "Что вызвало смертельный паралич у Говарда Коттрелла в рассказе 'Секционный зал номер четыре'?", + "answerA": "Укус паука", + "answerB": "Удар молнии", + "answerC": "Укус редкой змеи", + "answerD": "Автомобильная авария", + "correct_answer": "Укус редкой змеи", + "choices": [ + "Укус редкой змеи", + "Автомобильная авария", + "Комикс 'Авантюры военных стратегий'", + "1978", + "Стратегическая игра 'Военное время'", + "1987", + "Удар молнии", + "Библию", + "1980", + "Укус паука", + "Помогает Рейни написать новый рассказ", + "Геологический молоток" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nЧто вызвало смертельный паралич у Говарда Коттрелла в рассказе 'Секционный зал номер четыре'?\nA. Укус редкой змеи\nB. Автомобильная авария\nC. Комикс 'Авантюры военных стратегий'\nD. 1978\nE. Стратегическая игра 'Военное время'\nF. 1987\nG. Удар молнии\nH. Библию\nI. 1980\nJ. Укус паука\nK. Помогает Рейни написать новый рассказ\nL. Геологический молоток\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 137, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +}