diff --git "a/llmtf_eval/shlepa_movie_mc.jsonl" "b/llmtf_eval/shlepa_movie_mc.jsonl" new file mode 100644--- /dev/null +++ "b/llmtf_eval/shlepa_movie_mc.jsonl" @@ -0,0 +1,21600 @@ +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.07544511556625366, + "B": 0.06658007949590683, + "C": 0.03347856551408768, + "D": 0.05185261741280556, + "E": 0.18098342418670654, + "F": 0.06658007949590683, + "G": 0.1409500390291214, + "H": 0.26332932710647583, + "I": 0.002748088212683797, + "J": 0.013110394589602947, + "K": 0.0035286149941384792, + "L": 0.004823044873774052 + }, + "sample": { + "question": "Кто режиссер фильма 'Побег из Шоушенка'?", + "answerA": "Квентин Тарантино", + "answerB": "Стивен Спилберг", + "answerC": "Фрэнк Дарабонт", + "answerD": "Кристофер Нолан", + "correct_answer": "Фрэнк Дарабонт", + "choices": [ + "Квентин Тарантино", + "Джозеф Гордон-Левитт", + "Омар Си", + "Леонардо ДиКаприо", + "Том Хэнкс", + "Питер Джексон", + "Том Круз", + "Стивен Спилберг", + "Франсуа Клюзе", + "Фрэнк Дарабонт", + "Брэд Питт", + "Кристофер Нолан" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Побег из Шоушенка'?\nA. Квентин Тарантино\nB. Джозеф Гордон-Левитт\nC. Омар Си\nD. Леонардо ДиКаприо\nE. Том Хэнкс\nF. Питер Джексон\nG. Том Круз\nH. Стивен Спилберг\nI. Франсуа Клюзе\nJ. Фрэнк Дарабонт\nK. Брэд Питт\nL. Кристофер Нолан\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 113, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.03673972561955452, + "B": 0.04717474430799484, + "C": 0.014387484639883041, + "D": 0.03673972561955452, + "E": 0.04163156822323799, + "F": 0.012696909718215466, + "G": 0.03242269903421402, + "H": 0.01966535858809948, + "I": 0.025250820443034172, + "J": 0.5747060179710388, + "K": 0.04717474430799484, + "L": 0.007701065391302109 + }, + "sample": { + "question": "[\"Кто режиссер фильма 'Побег из Шоушенка'?\"]", + "answerA": "Стивен Спилберг", + "answerB": "Фрэнк Дарабонт", + "answerC": "Кристофер Нолан", + "answerD": "Квентин Тарантино", + "correct_answer": "Фрэнк Дарабонт", + "choices": [ + "Фрэнк Дарабонт", + "Омар Си", + "Том Круз", + "Брэд Питт", + "Франсуа Клюзе", + "Леонардо ДиКаприо", + "Квентин Тарантино", + "Джозеф Гордон-Левитт", + "Кристофер Нолан", + "Стивен Спилберг", + "Гари Олдман", + "Питер Джексон" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\n[\"Кто режиссер фильма 'Побег из Шоушенка'?\"]\nA. Фрэнк Дарабонт\nB. Омар Си\nC. Том Круз\nD. Брэд Питт\nE. Франсуа Клюзе\nF. Леонардо ДиКаприо\nG. Квентин Тарантино\nH. Джозеф Гордон-Левитт\nI. Кристофер Нолан\nJ. Стивен Спилберг\nK. Гари Олдман\nL. Питер Джексон\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 114, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.06968138366937637, + "B": 0.015548016875982285, + "C": 0.025634346529841423, + "D": 0.019964048638939857, + "E": 0.02125162072479725, + "F": 0.0176182109862566, + "G": 0.58343505859375, + "H": 0.025634346529841423, + "I": 0.004741877783089876, + "J": 0.015548016875982285, + "K": 0.012889758683741093, + "L": 0.0008240147144533694 + }, + "sample": { + "question": "Кто сыграл главную роль в фильме 'Форрест Гамп'?", + "answerA": "Брэд Питт", + "answerB": "Том Круз", + "answerC": "Том Хэнкс", + "answerD": "Леонардо ДиКаприо", + "correct_answer": "Том Хэнкс", + "choices": [ + "Джозеф Гордон-Левитт", + "Леонардо ДиКаприо", + "Питер Джексон", + "Муфаса", + "Брэд Питт", + "Натали Портман", + "Том Хэнкс", + "Квентин Тарантино", + "Гари Олдман", + "Франсуа Клюзе", + "Омар Си", + "Том Круз" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКто сыграл главную роль в фильме 'Форрест Гамп'?\nA. Джозеф Гордон-Левитт\nB. Леонардо ДиКаприо\nC. Питер Джексон\nD. Муфаса\nE. Брэд Питт\nF. Натали Портман\nG. Том Хэнкс\nH. Квентин Тарантино\nI. Гари Олдман\nJ. Франсуа Клюзе\nK. Омар Си\nL. Том Круз\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 113, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.06985888630151749, + "B": 0.02912151627242565, + "C": 0.5849213004112244, + "D": 0.02569964900612831, + "E": 0.032999005168676376, + "F": 0.006497889291495085, + "G": 0.0897005945444107, + "H": 0.0053869388066232204, + "I": 0.0006433781236410141, + "J": 0.0028834205586463213, + "K": 0.0013620314421132207, + "L": 0.00011901298421435058 + }, + "sample": { + "question": "Кто является режиссером фильма 'Список Шиндлера'?", + "answerA": "Квентин Тарантино", + "answerB": "Питер Джексон", + "answerC": "Стивен Спилберг", + "answerD": "Ридли Скотт", + "correct_answer": "Стивен Спилберг", + "choices": [ + "Питер Джексон", + "Джозеф Гордон-Левитт", + "Ридли Скотт", + "Квентин Тарантино", + "Муфаса", + "Франсуа Клюзе", + "Гари Олдман", + "Том Круз", + "Стивен Спилберг", + "Леонардо ДиКаприо", + "Натали Портман", + "Омар Си" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Список Шиндлера'?\nA. Питер Джексон\nB. Джозеф Гордон-Левитт\nC. Ридли Скотт\nD. Квентин Тарантино\nE. Муфаса\nF. Франсуа Клюзе\nG. Гари Олдман\nH. Том Круз\nI. Стивен Спилберг\nJ. Леонардо ДиКаприо\nK. Натали Портман\nL. Омар Си\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 114, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.07356984168291092, + "B": 0.09446555376052856, + "C": 0.1764848828315735, + "D": 0.09446555376052856, + "E": 0.05729625001549721, + "F": 0.05729625001549721, + "G": 0.10704348981380463, + "H": 0.10704348981380463, + "I": 0.018601369112730026, + "J": 0.041918836534023285, + "K": 0.0306684710085392, + "L": 0.014486760832369328 + }, + "sample": { + "question": "Кто из перечисленных актёров сыграл роль Филиппа в фильме '1+1'?", + "answerA": "Омар Си", + "answerB": "Франсуа Клюзе", + "answerC": "Жозефин де Мо", + "answerD": "Анн Ле Ни", + "correct_answer": "Франсуа Клюзе", + "choices": [ + "Том Круз", + "Муфаса", + "Гари Олдман", + "Жозефин де Мо", + "Омар Си", + "Франсуа Клюзе", + "Натали Портман", + "1970", + "Симба", + "Леонардо ДиКаприо", + "Анн Ле Ни", + "Джозеф Гордон-Левитт" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКто из перечисленных актёров сыграл роль Филиппа в фильме '1+1'?\nA. Том Круз\nB. Муфаса\nC. Гари Олдман\nD. Жозефин де Мо\nE. Омар Си\nF. Франсуа Клюзе\nG. Натали Портман\nH. 1970\nI. Симба\nJ. Леонардо ДиКаприо\nK. Анн Ле Ни\nL. Джозеф Гордон-Левитт\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 117, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.09371010959148407, + "B": 0.08269888162612915, + "C": 0.05015940964221954, + "D": 0.07298150658607483, + "E": 0.028579967096447945, + "F": 0.08269888162612915, + "G": 0.10618746280670166, + "H": 0.13634739816188812, + "I": 0.023693623021245003, + "J": 0.12032615393400192, + "K": 0.07298150658607483, + "L": 0.041583605110645294 + }, + "sample": { + "question": "Кто сыграл роль профессионального убийцы Леона в фильме 1994 года?", + "answerA": "Гари Олдман", + "answerB": "Натали Портман", + "answerC": "Жан Рено", + "answerD": "Дэнни Айелло", + "correct_answer": "Жан Рено", + "choices": [ + "Гари Олдман", + "Симба", + "1971", + "Жан Рено", + "1970", + "Муфаса", + "Джорджио Кантарини", + "Том Круз", + "Натали Портман", + "Леонардо ДиКаприо", + "Дэнни Айелло", + "Тиль Швайгер" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКто сыграл роль профессионального убийцы Леона в фильме 1994 года?\nA. Гари Олдман\nB. Симба\nC. 1971\nD. Жан Рено\nE. 1970\nF. Муфаса\nG. Джорджио Кантарини\nH. Том Круз\nI. Натали Портман\nJ. Леонардо ДиКаприо\nK. Дэнни Айелло\nL. Тиль Швайгер\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 120, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.04567767679691315, + "B": 0.09669964015483856, + "C": 0.382454514503479, + "D": 0.08533713966608047, + "E": 0.03139377757906914, + "F": 0.07530975341796875, + "G": 0.15943075716495514, + "H": 0.027704913169145584, + "I": 0.0018853428773581982, + "J": 0.010849399492144585, + "K": 0.008994468487799168, + "L": 0.0005749971023760736 + }, + "sample": { + "question": "Кто является злодеем в фильме Король Лев?", + "answerA": "Муфаса", + "answerB": "Симба", + "answerC": "Шрам", + "answerD": "Тимон", + "correct_answer": "C", + "choices": [ + "Стэнли Кубрик", + "Шрам", + "Тимон", + "Симба", + "Том Круз", + "Джорджио Кантарини", + "1970", + "Серджио Бини Бустрик", + "1971", + "Тиль Швайгер", + "Леонардо ДиКаприо", + "Муфаса" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКто является злодеем в фильме Король Лев?\nA. Стэнли Кубрик\nB. Шрам\nC. Тимон\nD. Симба\nE. Том Круз\nF. Джорджио Кантарини\nG. 1970\nH. Серджио Бини Бустрик\nI. 1971\nJ. Тиль Швайгер\nK. Леонардо ДиКаприо\nL. Муфаса\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 112, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.1454947143793106, + "B": 0.1454947143793106, + "C": 0.06065122038125992, + "D": 0.11331140249967575, + "E": 0.06872684508562088, + "F": 0.0778777152299881, + "G": 0.12839864194393158, + "H": 0.09999696165323257, + "I": 0.03246426209807396, + "J": 0.05352452024817467, + "K": 0.011219347827136517, + "L": 0.011942933313548565 + }, + "sample": { + "question": "Кто сыграл главную роль Тайлера Дёрдена в фильме 'Бойцовский клуб'?", + "answerA": "Том Круз", + "answerB": "Леонардо ДиКаприо", + "answerC": "Брэд Питт", + "answerD": "Джонни Депп", + "correct_answer": "answerC", + "choices": [ + "1970", + "Джонни Депп", + "1971", + "Брэд Питт", + "Серджио Бини Бустрик", + "Леонардо ДиКаприо", + "Стэнли Кубрик", + "Сэмюэл Л. Джексон", + "Тиль Швайгер", + "Том Круз", + "Джорджио Кантарини", + "Ян Йозеф Лиферс" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКто сыграл главную роль Тайлера Дёрдена в фильме 'Бойцовский клуб'?\nA. 1970\nB. Джонни Депп\nC. 1971\nD. Брэд Питт\nE. Серджио Бини Бустрик\nF. Леонардо ДиКаприо\nG. Стэнли Кубрик\nH. Сэмюэл Л. Джексон\nI. Тиль Швайгер\nJ. Том Круз\nK. Джорджио Кантарини\nL. Ян Йозеф Лиферс\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 128, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.5516870021820068, + "B": 0.1394883096218109, + "C": 0.0581473782658577, + "D": 0.0746627151966095, + "E": 0.051314882934093475, + "F": 0.0311240516602993, + "G": 0.016659503802657127, + "H": 0.014701959677040577, + "I": 0.010104499757289886, + "J": 0.011449897661805153, + "K": 0.0019896940793842077, + "L": 0.0027195890434086323 + }, + "sample": { + "question": "В каком году был выпущен фильм 'Иван Васильевич меняет профессию'?", + "answerA": "1970", + "answerB": "1971", + "answerC": "1973", + "answerD": "1975", + "correct_answer": "1973", + "choices": [ + "1973", + "1971", + "Сэмюэл Л. Джексон", + "Смелый", + "Джорджио Кантарини", + "1970", + "Стевен Спилберг", + "Тиль Швайгер", + "1975", + "Серджио Бини Бустрик", + "Стэнли Кубрик", + "Ян Йозеф Лиферс" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nВ каком году был выпущен фильм 'Иван Васильевич меняет профессию'?\nA. 1973\nB. 1971\nC. Сэмюэл Л. Джексон\nD. Смелый\nE. Джорджио Кантарини\nF. 1970\nG. Стевен Спилберг\nH. Тиль Швайгер\nI. 1975\nJ. Серджио Бини Бустрик\nK. Стэнли Кубрик\nL. Ян Йозеф Лиферс\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 127, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.16233348846435547, + "B": 0.12642545998096466, + "C": 0.1115700751543045, + "D": 0.03622150048613548, + "E": 0.09846024215221405, + "F": 0.031965360045433044, + "G": 0.05270196869969368, + "H": 0.07668091356754303, + "I": 0.011046933010220528, + "J": 0.024894649162888527, + "K": 0.011759399436414242, + "L": 0.14325881004333496 + }, + "sample": { + "question": "Кто сыграл главную мужскую роль в фильме 'Жизнь прекрасна'?", + "answerA": "Джорджио Кантарини", + "answerB": "Серджио Бини Бустрик", + "answerC": "Роберто Бениньи", + "answerD": "Джустино Дурано", + "correct_answer": "Роберто Бениньи", + "choices": [ + "Тиль Швайгер", + "Джустино Дурано", + "Сэмюэл Л. Джексон", + "Стевен Спилберг", + "Серджио Бини Бустрик", + "Стэнли Кубрик", + "Ян Йозеф Лиферс", + "Кристиан Бэйл", + "Джорджио Кантарини", + "Смелый", + "Роберто Бениньи", + "Брюс Уиллис" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКто сыграл главную мужскую роль в фильме 'Жизнь прекрасна'?\nA. Тиль Швайгер\nB. Джустино Дурано\nC. Сэмюэл Л. Джексон\nD. Стевен Спилберг\nE. Серджио Бини Бустрик\nF. Стэнли Кубрик\nG. Ян Йозеф Лиферс\nH. Кристиан Бэйл\nI. Джорджио Кантарини\nJ. Смелый\nK. Роберто Бениньи\nL. Брюс Уиллис\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 127, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.057483743876218796, + "B": 0.028904639184474945, + "C": 0.2576242685317993, + "D": 0.044768378138542175, + "E": 0.07381058484315872, + "F": 0.02396278828382492, + "G": 0.2576242685317993, + "H": 0.07381058484315872, + "I": 0.025508256629109383, + "J": 0.010633423924446106, + "K": 0.007308237720280886, + "L": 0.0011207545176148415 + }, + "sample": { + "question": "Кто режиссёр фильма 'Крестный отец'?", + "answerA": "Стэнли Кубрик", + "answerB": "Стевен Спилберг", + "answerC": "Фрэнсис Форд Коппола", + "answerD": "Мартин Скорсезе", + "correct_answer": "Фрэнсис Форд Коппола", + "choices": [ + "Сэмюэл Л. Джексон", + "Брюс Уиллис", + "Мартин Скорсезе", + "Балбес", + "Мэттью МакКонахи", + "Кристиан Бэйл", + "Смелый", + "Стевен Спилберг", + "Фрэнсис Форд Коппола", + "Стэнли Кубрик", + "Том Хэнкс", + "Майкл Кейн" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКто режиссёр фильма 'Крестный отец'?\nA. Сэмюэл Л. Джексон\nB. Брюс Уиллис\nC. Мартин Скорсезе\nD. Балбес\nE. Мэттью МакКонахи\nF. Кристиан Бэйл\nG. Смелый\nH. Стевен Спилберг\nI. Фрэнсис Форд Коппола\nJ. Стэнли Кубрик\nK. Том Хэнкс\nL. Майкл Кейн\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 116, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.2405436635017395, + "B": 0.1002735123038292, + "C": 0.068916916847229, + "D": 0.05367254838347435, + "E": 0.07809308916330338, + "F": 0.06081896275281906, + "G": 0.07809308916330338, + "H": 0.07809308916330338, + "I": 0.014445769600570202, + "J": 0.05042069032788277, + "K": 0.010568751022219658, + "L": 0.068916916847229 + }, + "sample": { + "question": "Кто из актеров сыграл роль Винсента Вега в фильме 'Криминальное чтиво'?", + "answerA": "Сэмюэл Л. Джексон", + "answerB": "Брюс Уиллис", + "answerC": "Джон Траволта", + "answerD": "Винг Реймз", + "correct_answer": "Джон Траволта", + "choices": [ + "Брюс Уиллис", + "Элайджа Вуд", + "Смелый", + "Балбес", + "Майкл Кейн", + "Сэмюэл Л. Джексон", + "Кристиан Бэйл", + "Винг Реймз", + "Мэттью МакКонахи", + "Рассел Кроу", + "Джон Траволта", + "Том Хэнкс" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКто из актеров сыграл роль Винсента Вега в фильме 'Криминальное чтиво'?\nA. Брюс Уиллис\nB. Элайджа Вуд\nC. Смелый\nD. Балбес\nE. Майк�� Кейн\nF. Сэмюэл Л. Джексон\nG. Кристиан Бэйл\nH. Винг Реймз\nI. Мэттью МакКонахи\nJ. Рассел Кроу\nK. Джон Траволта\nL. Том Хэнкс\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 121, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.11647487431764603, + "B": 0.08005193620920181, + "C": 0.09071072190999985, + "D": 0.0550188310444355, + "E": 0.08005193620920181, + "F": 0.09071072190999985, + "G": 0.1694699376821518, + "H": 0.07064557820558548, + "I": 0.01901399902999401, + "J": 0.06636537611484528, + "K": 0.029449457302689552, + "L": 0.013910939916968346 + }, + "sample": { + "question": "Какое прозвище имел один из злодеев в новелле «Операция «Ы»?", + "answerA": "Смелый", + "answerB": "Балбес", + "answerC": "Мудрец", + "answerD": "Затейник", + "correct_answer": "B", + "choices": [ + "Рассел Кроу", + "Мэттью МакКонахи", + "Стивен Спилберг", + "Энн Хэтэуэй", + "Майкл Кейн", + "Том Хэнкс", + "Затейник", + "Смелый", + "Мудрец", + "Кристиан Бэйл", + "Элайджа Вуд", + "Балбес" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКакое прозвище имел один из злодеев в новелле «Операция «Ы»?\nA. Рассел Кроу\nB. Мэттью МакКонахи\nC. Стивен Спилберг\nD. Энн Хэтэуэй\nE. Майкл Кейн\nF. Том Хэнкс\nG. Затейник\nH. Смелый\nI. Мудрец\nJ. Кристиан Бэйл\nK. Элайджа Вуд\nL. Балбес\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.10329016298055649, + "B": 0.05528723821043968, + "C": 0.05528723821043968, + "D": 0.019106756895780563, + "E": 0.36051806807518005, + "F": 0.048790816217660904, + "G": 0.10329016298055649, + "H": 0.048790816217660904, + "I": 0.010886702686548233, + "J": 0.09115324169397354, + "K": 0.007482313551008701, + "L": 0.0066031189635396 + }, + "sample": { + "question": "Кто из актеров играет роль Роберта Энжьера в фильме \"Престиж\"?", + "answerA": "Кристиан Бэйл", + "answerB": "Майкл Кейн", + "answerC": "Хью Джекман", + "answerD": "Ребекка Холл", + "correct_answer": "answerC", + "choices": [ + "Вигго Мортенсен", + "Том Хэнкс", + "Энн Хэтэуэй", + "1955", + "Мэттью МакКонахи", + "Ребекка Холл", + "Хью Джекман", + "Майкл Кейн", + "Стивен Спилберг", + "Кристиан Бэйл", + "Элайджа Вуд", + "Рассел Кроу" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКто из актеров играет роль Роберта Энжьера в фильме \"Престиж\"?\nA. Вигго Мортенсен\nB. Том Хэнкс\nC. Энн Хэтэуэй\nD. 1955\nE. Мэттью МакКонахи\nF. Ребекка Холл\nG. Хью Джекман\nH. Майкл Кейн\nI. Стивен Спилберг\nJ. Кристиан Бэйл\nK. Элайджа Вуд\nL. Рассел Кроу\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 123, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.07159372419118881, + "B": 0.018101727589964867, + "C": 0.043423786759376526, + "D": 0.0383213609457016, + "E": 0.0383213609457016, + "F": 0.029844705015420914, + "G": 0.6792623400688171, + "H": 0.018101727589964867, + "I": 0.0037943285424262285, + "J": 0.0031456088181585073, + "K": 0.006659253966063261, + "L": 0.00022786713088862598 + }, + "sample": { + "question": "Кто сыграл главную роль в фильме 'Игры разума'?", + "answerA": "Том Хэнкс", + "answerB": "Рассел Кроу", + "answerC": "Брэд Питт", + "answerD": "Джонни Депп", + "correct_answer": "Рассел Кроу", + "choices": [ + "Вигго Мортенсен", + "Питер Джексон", + "Дэниел Крейг", + "Брэд Питт", + "Джонни Депп", + "Стивен Спилберг", + "Мэттью МакКонахи", + "Рассел Кроу", + "1955", + "Том Хэнкс", + "Энн Хэтэуэй", + "Элайджа Вуд" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКто сыграл главную роль в фильме 'Игры разума'?\nA. Вигго Мортенсен\nB. Питер Джексон\nC. Дэниел Крейг\nD. Брэд Питт\nE. Джонни Депп\nF. Стивен Спилберг\nG. Мэттью МакКонахи\nH. Рассел Кроу\nI. 1955\nJ. Том Хэнкс\nK. Энн Хэтэуэй\nL. Элайджа Вуд\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 117, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.061660781502723694, + "B": 0.03739915043115616, + "C": 0.11519750952720642, + "D": 0.21521727740764618, + "E": 0.08971590548753738, + "F": 0.05441544950008392, + "G": 0.1479165256023407, + "H": 0.05441544950008392, + "I": 0.03300463780760765, + "J": 0.06987081468105316, + "K": 0.03739915043115616, + "L": 0.0034786632750183344 + }, + "sample": { + "question": "Кто из актёров сыграл роль Арагорна в фильме 'Властелин колец: Возвращение Короля'?", + "answerA": "Элайджа Вуд", + "answerB": "Вигго Мортенсен", + "answerC": "Шон Эстин", + "answerD": "Иэн Маккеллен", + "correct_answer": "Вигго Мортенсен", + "choices": [ + "1965", + "1955", + "Элайджа Вуд", + "Питер Джексон", + "Вигго Мортенсен", + "Лоренс Фишбёрн", + "Стивен Спилберг", + "Ник Моран", + "Шон Эстин", + "Иэн Маккеллен", + "Юрий Никулин", + "Дэниел Крейг" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКто из актёров сыграл роль Арагорна в фильме 'Властелин колец: Возвращение Короля'?\nA. 1965\nB. 1955\nC. Элайджа Вуд\nD. Питер Джексон\nE. Вигго Мортенсен\nF. Лоренс Фишбёрн\nG. Стивен Спилберг\nH. Ник Моран\nI. Шон Эстин\nJ. Иэн Маккеллен\nK. Юрий Никулин\nL. Дэниел Крейг\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 128, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.02549515850841999, + "B": 0.03273643180727959, + "C": 0.003672925755381584, + "D": 0.006055631674826145, + "E": 0.14671452343463898, + "F": 0.11426138877868652, + "G": 0.02249939925968647, + "H": 0.11426138877868652, + "I": 0.01646091230213642, + "J": 0.3105946183204651, + "K": 0.01452670432627201, + "L": 0.14671452343463898 + }, + "sample": { + "question": "Кто режиссер фильма 'Гладиатор'?", + "answerA": "Стивен Спилберг", + "answerB": "Питер Джексон", + "answerC": "Ридли Скотт", + "answerD": "Квентин Тарантино", + "correct_answer": "answerC", + "choices": [ + "Квентин Тарантино", + "Ник Моран", + "Питер Джексон", + "1955", + "Стивен Спилберг", + "Юрий Никулин", + "Дэниел Крейг", + "Л��онардо ДиКаприо", + "Лоренс Фишбёрн", + "Ридли Скотт", + "Киану Ривз", + "1965" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Гладиатор'?\nA. Квентин Тарантино\nB. Ник Моран\nC. Питер Джексон\nD. 1955\nE. Стивен Спилберг\nF. Юрий Никулин\nG. Дэниел Крейг\nH. Леонардо ДиКаприо\nI. Лоренс Фишбёрн\nJ. Ридли Скотт\nK. Киану Ривз\nL. 1965\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 112, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.10660728812217712, + "B": 0.06466059386730194, + "C": 0.0940806046128273, + "D": 0.05360550805926323, + "E": 0.10660728812217712, + "F": 0.0732700452208519, + "G": 0.0732700452208519, + "H": 0.0940806046128273, + "I": 0.03251338750123978, + "J": 0.13688646256923676, + "K": 0.0209922194480896, + "L": 0.02532145008444786 + }, + "sample": { + "question": "Кто из актеров сыграл в фильме 'Карты; деньги; два ствола'?", + "answerA": "Дэниел Крейг", + "answerB": "Ник Моран", + "answerC": "Роберт Дауни-мл.", + "answerD": "Хью Грант", + "correct_answer": "answerB", + "choices": [ + "Мэтт Дэймон", + "Хью Грант", + "Роберт Дауни-мл.", + "Леонардо ДиКаприо", + "Юрий Никулин", + "Ник Моран", + "Андрей Миронов", + "Лоренс Фишбёрн", + "Леонардо ДиКаприо", + "Стивен Спилберг", + "Дэниел Крейг", + "Киану Ривз" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКто из актеров сыграл в фильме 'Карты; деньги; два ствола'?\nA. Мэтт Дэймон\nB. Хью Грант\nC. Роберт Дауни-мл.\nD. Леонардо ДиКаприо\nE. Юрий Никулин\nF. Ник Моран\nG. Андрей Миронов\nH. Лоренс Фишбёрн\nI. Леонардо ДиКаприо\nJ. Стивен Спилберг\nK. Дэниел Крейг\nL. Киану Ривз\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.32540202140808105, + "B": 0.022143885493278503, + "C": 0.034297119826078415, + "D": 0.025092311203479767, + "E": 0.10564257204532623, + "F": 0.07260701060295105, + "G": 0.17417515814304352, + "H": 0.0932292491197586, + "I": 0.026710625737905502, + "J": 0.032219164073467255, + "K": 0.010460032150149345, + "L": 0.005598851013928652 + }, + "sample": { + "question": "Кто из актеров сыграл роль Нео в фильме 'Матрица'?", + "answerA": "Лоренс Фишбёрн", + "answerB": "Киану Ривз", + "answerC": "Хьюго Уивинг", + "answerD": "Глория Фостер", + "correct_answer": "Киану Ривз", + "choices": [ + "Киану Ривз", + "Стивен Спилберг", + "Леонардо ДиКаприо", + "Хьюго Уивинг", + "Том Хэнкс", + "Глория Фостер", + "Андрей Миронов", + "Лоренс Фишбёрн", + "Юрий Никулин", + "Леонардо ДиКаприо", + "Мэтт Дэймон", + "Элайджа Вуд" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКто из актеров сыграл роль Нео в фильме 'Матрица'?\nA. Киану Ривз\nB. Стивен Спилберг\nC. Леонардо ДиКаприо\nD. Хьюго Уивинг\nE. Том Хэнкс\nF. Глория Фостер\nG. Андрей Миронов\nH. Лоренс Фишбёрн\nI. Юрий Никулин\nJ. Леонардо ДиКаприо\nK. Мэтт Дэймон\nL. Элайджа Вуд\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.20096269249916077, + "B": 0.057576775550842285, + "C": 0.20096269249916077, + "D": 0.12189003825187683, + "E": 0.057576775550842285, + "F": 0.06524303555488586, + "G": 0.12189003825187683, + "H": 0.034922078251838684, + "I": 0.019898001104593277, + "J": 0.01206874754279852, + "K": 0.008829684928059578, + "L": 0.0010545554105192423 + }, + "sample": { + "question": "Кто из актеров сыграл агента мафии в рядах правоохранительных органов в фильме 'Отступники'?", + "answerA": "Леонардо ДиКаприо", + "answerB": "Мэтт Дэймон", + "answerC": "Джек Николсон", + "answerD": "Марк Уолберг", + "correct_answer": "Мэтт Дэймон", + "choices": [ + "Иэн Маккеллен", + "Леонардо ДиКаприо", + "Бен Бертт", + "Джек Николсон", + "Стивен Спилберг", + "Марк Уолберг", + "Том Хэнкс", + "1973", + "Мэтт Дэймон", + "1970", + "Элайджа Вуд", + "Квентин Тарантино" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКто из актеров сыграл агента мафии в рядах правоохранительных органов в фильме 'Отступники'?\nA. Иэн Маккеллен\nB. Леонардо ДиКаприо\nC. Бен Бертт\nD. Джек Николсон\nE. Стивен Спилберг\nF. Марк Уолберг\nG. Том Хэнкс\nH. 1973\nI. Мэтт Дэймон\nJ. 1970\nK. Элайджа Вуд\nL. Квентин Тарантино\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 123, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.17313170433044434, + "B": 0.0926707312464714, + "C": 0.17313170433044434, + "D": 0.17313170433044434, + "E": 0.06369160115718842, + "F": 0.049603067338466644, + "G": 0.10500968992710114, + "H": 0.049603067338466644, + "I": 0.019424838945269585, + "J": 0.03008577786386013, + "K": 0.01106793899089098, + "L": 0.0029788955580443144 + }, + "sample": { + "question": "Кто сыграл агента ФБР Карла Хэнрэтти в фильме 'Поймай меня, если сможешь' 2002 года?", + "answerA": "Леонардо ДиКаприо", + "answerB": "Том Хэнкс", + "answerC": "Кристофер Уокен", + "answerD": "Мартин Шин", + "correct_answer": "B", + "choices": [ + "Леонардо ДиКаприо", + "Эрнесто де ла Крус", + "Элайджа Вуд", + "Бен Бертт", + "Иэн Маккеллен", + "Стивен Спилберг", + "Квентин Тарантино", + "1970", + "Том Хэнкс", + "1973", + "Мартин Шин", + "Кристофер Уокен" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКто сыграл агента ФБР Карла Хэнрэтти в фильме 'Поймай меня, если сможешь' 2002 года?\nA. Леонардо ДиКаприо\nB. Эрнесто де ла Крус\nC. Элайджа Вуд\nD. Бен Бертт\nE. Иэн Маккеллен\nF. Стивен Спилберг\nG. Квентин Тарантино\nH. 1970\nI. Том Хэнкс\nJ. 1973\nK. Мартин Шин\nL. Кристофер Уокен\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 133, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.026981264352798462, + "B": 0.04178939759731293, + "C": 0.015373460948467255, + "D": 0.10671296715736389, + "E": 0.15526644885540009, + "F": 0.03687901422381401, + "G": 0.12092163413763046, + "H": 0.3724648654460907, + "I": 0.009925851598381996, + "J": 0.013567031361162663, + "K": 0.011247464455664158, + "L": 0.0473535880446434 + }, + "sample": { + "question": "Кто снял фильм 'Пианист'?", + "answerA": "Стивен Спилберг", + "answerB": "Квентин Тарантино", + "answerC": "Роман Полански", + "answerD": "Мартин Скорсезе", + "correct_answer": "C", + "choices": [ + "Стивен Спилберг", + "1973", + "Квентин Тарантино", + "Элисса Найт", + "Том Харди", + "Элайджа Вуд", + "Эрнесто де ла Крус", + "Мартин Скорсезе", + "1970", + "Роман Полански", + "Бен Бертт", + "Иэн Маккеллен" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКто снял фильм 'Пианист'?\nA. Стивен Спилберг\nB. 1973\nC. Квентин Тарантино\nD. Элисса Найт\nE. Том Харди\nF. Элайджа Вуд\nG. Эрнесто де ла Крус\nH. Мартин Скорсезе\nI. 1970\nJ. Роман Полански\nK. Бен Бертт\nL. Иэн Маккеллен\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 117, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.15510594844818115, + "B": 0.07326686382293701, + "C": 0.12079664319753647, + "D": 0.08302222937345505, + "E": 0.07326686382293701, + "F": 0.011235837824642658, + "G": 0.05706029385328293, + "H": 0.0174024049192667, + "I": 0.25572648644447327, + "J": 0.023786267265677452, + "K": 0.007722270675003529, + "L": 0.0008139213896356523 + }, + "sample": { + "question": "Кто из перечисленных актёров сыграл Гэндальфа в фильме 'Властелин колец: Братство кольца'?", + "answerA": "Элайджа Вуд", + "answerB": "Иэн Маккеллен", + "answerC": "Шон Эстин", + "answerD": "Вигго Мортенсен", + "correct_answer": "answerB", + "choices": [ + "Элайджа Вуд", + "Том Харди", + "Джейсон Стэйтем", + "Иэн Маккеллен", + "Бен Бертт", + "Гектор", + "1970", + "Элисса Найт", + "Вигго Мортенсен", + "Эрнесто де ла Крус", + "Шон Эстин", + "1973" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКто из перечисленных актёров сыграл Гэндальфа в фильме 'Властелин колец: Братство кольца'?\nA. Элайджа Вуд\nB. Том Харди\nC. Джейсон Стэйтем\nD. Иэн Маккеллен\nE. Бен Бертт\nF. Гектор\nG. 1970\nH. Элисса Найт\nI. Вигго Мортенсен\nJ. Эрнесто де ла Крус\nK. Шон Эстин\nL. 1973\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 130, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.156852588057518, + "B": 0.05770284682512283, + "C": 0.07409191876649857, + "D": 0.08395714312791824, + "E": 0.1078031063079834, + "F": 0.07409191876649857, + "G": 0.156852588057518, + "H": 0.12215691804885864, + "I": 0.02405412308871746, + "J": 0.02405412308871746, + "K": 0.02405412308871746, + "L": 0.02405412308871746 + }, + "sample": { + "question": "В каком году вышел фильм «В бой идут одни «старики»»?", + "answerA": "1970", + "answerB": "1973", + "answerC": "1975", + "answerD": "1968", + "correct_answer": "1973", + "choices": [ + "1973", + "Джейсон Стэйтем", + "Вигго Мортенсен", + "Том Харди", + "1968", + "Гектор", + "1975", + "1970", + "Квентин Тарантино", + "Эрнесто де ла Крус", + "Элисса Найт", + "Бен Бертт" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nВ каком году вышел фильм «В бой идут одни «старики»»?\nA. 1973\nB. Джейсон Стэйтем\nC. Вигго Мортенсен\nD. Том Харди\nE. 1968\nF. Гектор\nG. 1975\nH. 1970\nI. Квентин Тарантино\nJ. Эрнесто де ла Крус\nK. Элисса Найт\nL. Бен Бертт\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 125, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.11676952242851257, + "B": 0.06250222027301788, + "C": 0.1499350368976593, + "D": 0.10304874926805496, + "E": 0.042957108467817307, + "F": 0.045727599412202835, + "G": 0.1499350368976593, + "H": 0.06250222027301788, + "I": 0.010203206911683083, + "J": 0.022993283346295357, + "K": 0.022993283346295357, + "L": 0.005461383610963821 + }, + "sample": { + "question": "Кто является проводником Мигеля в Стране Мёртвых в фильме 'Тайна Коко'?", + "answerA": "Эрнесто де ла Крус", + "answerB": "Гектор", + "answerC": "Прапрабабка Мигеля", + "answerD": "Ли Анкрич", + "correct_answer": "B", + "choices": [ + "Элайджа Вуд", + "Джейсон Стэйтем", + "Ли Анкрич", + "Гектор", + "Джонни Депп", + "Квентин Тарантино", + "Прапрабабка Мигеля", + "Эрнесто де ла Крус", + "Том Харди", + "Стивен Спилберг", + "Вигго Мортенсен", + "Картина «Черный квадрат»" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКто является проводником Мигеля в Стране Мёртвых в фильме 'Тайна Коко'?\nA. Элайджа Вуд\nB. Джейсон Стэйтем\nC. Ли Анкрич\nD. Гектор\nE. Джонни Депп\nF. Квентин Тарантино\nG. Прапрабабка Мигеля\nH. Эрнесто де ла Крус\nI. Том Харди\nJ. Стивен Спилберг\nK. Вигго Мортенсен\nL. Картина «Черный квадрат»\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 132, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.14514032006263733, + "B": 0.07768802344799042, + "C": 0.16446553170681, + "D": 0.03447384759783745, + "E": 0.0880320593714714, + "F": 0.04712016507983208, + "G": 0.14514032006263733, + "H": 0.02369350753724575, + "I": 0.002497277222573757, + "J": 0.014370838180184364, + "K": 0.010513929650187492, + "L": 0.0005572178633883595 + }, + "sample": { + "question": "Кто из перечисленных актеров сыграл в фильме 'Большой куш'?", + "answerA": "Том Харди", + "answerB": "Джейсон Стэйтем", + "answerC": "Леонардо Ди Каприо", + "answerD": "Кристиан Бэйл", + "correct_answer": "Джейсон Стэйтем", + "choices": [ + "Джонни Депп", + "Джейсон Стэйтем", + "Том Харди", + "Картина «Черный квадрат»", + "Квентин Тарантино", + "Элайджа Вуд", + "Кристиан Бэйл", + "Квентин Тарантино", + "Вигго Мортенсен", + "Стивен Спилберг", + "Леонардо Ди Каприо", + "Диадема Романовых" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКто из перечисленных актеров сыграл в фильме 'Большой куш'?\nA. Джонни Депп\nB. Джейсон Стэйтем\nC. Том Харди\nD. Картина «Черный квадрат»\nE. Квентин Тарантино\nF. Элайджа Вуд\nG. Кристиан Бэйл\nH. Квентин Тарантино\nI. Вигго Мортенсен\nJ. Стивен Спилберг\nK. Лео��ардо Ди Каприо\nL. Диадема Романовых\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 120, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.013439121656119823, + "B": 0.020814917981624603, + "C": 0.30587300658226013, + "D": 0.14448417723178864, + "E": 0.05315275490283966, + "F": 0.023586394265294075, + "G": 0.11252439767122269, + "H": 0.019553806632757187, + "I": 0.02510758489370346, + "J": 0.011141423135995865, + "K": 0.09930242598056793, + "L": 0.0014164730673655868 + }, + "sample": { + "question": "Кто из актеров сыграл Фродо Бэггинса в фильме 'Властелин колец: Две крепости'?", + "answerA": "Вигго Мортенсен", + "answerB": "Элайджа Вуд", + "answerC": "Иэн Маккеллен", + "answerD": "Лив Тайлер", + "correct_answer": "Элайджа Вуд", + "choices": [ + "Квентин Тарантино", + "Картина «Черный квадрат»", + "Иэн Маккеллен", + "Джеффри Раш", + "Элайджа Вуд", + "Диадема Романовых", + "Квентин Тарантино", + "Лив Тайлер", + "Кристиан Бэйл", + "Джонни Депп", + "Вигго Мортенсен", + "Стивен Спилберг" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКто из актеров сыграл Фродо Бэггинса в фильме 'Властелин колец: Две крепости'?\nA. Квентин Тарантино\nB. Картина «Черный квадрат»\nC. Иэн Маккеллен\nD. Джеффри Раш\nE. Элайджа Вуд\nF. Диадема Романовых\nG. Квентин Тарантино\nH. Лив Тайлер\nI. Кристиан Бэйл\nJ. Джонни Депп\nK. Вигго Мортенсен\nL. Стивен Спилберг\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 129, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.09446827322244644, + "B": 0.07357197254896164, + "C": 0.05729791149497032, + "D": 0.04462365433573723, + "E": 0.09446827322244644, + "F": 0.15575185418128967, + "G": 0.0833679661154747, + "H": 0.0833679661154747, + "I": 0.015421522781252861, + "J": 0.09446827322244644, + "K": 0.02542579174041748, + "L": 0.05056522414088249 + }, + "sample": { + "question": "Кто режиссер фильма 'Американская история X'?", + "answerA": "Квентин Тарантино", + "answerB": "Стивен Спилберг", + "answerC": "Тони Кэй", + "answerD": "Кристофер Нолан", + "correct_answer": "C", + "choices": [ + "Стивен Спилберг", + "Диадема Романовых", + "Аарон Экхарт", + "Картина «Черный квадрат»", + "Джонни Депп", + "Джеффри Раш", + "Кристиан Бэйл", + "Кристофер Нолан", + "Роберт Де Ниро", + "Квентин Тарантино", + "Аль Пачино", + "Тони Кэй" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Американская история X'?\nA. Стивен Спилберг\nB. Диадема Романовых\nC. Аарон Экхарт\nD. Картина «Черный квадрат»\nE. Джонни Депп\nF. Джеффри Раш\nG. Кристиан Бэйл\nH. Кристофер Нолан\nI. Роберт Де Ниро\nJ. Квентин Тарантино\nK. Аль Пачино\nL. Тони Кэй\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 111, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.10132052004337311, + "B": 0.03727373480796814, + "C": 0.04223667457699776, + "D": 0.05423296242952347, + "E": 0.1300981193780899, + "F": 0.0696365088224411, + "G": 0.0696365088224411, + "H": 0.10132052004337311, + "I": 0.039677683264017105, + "J": 0.11481118202209473, + "K": 0.03501543402671814, + "L": 0.089415043592453 + }, + "sample": { + "question": "Какой уникальный предмет был похищен в фильме «Джентльмены удачи»?", + "answerA": "Картина «Черный квадрат»", + "answerB": "Диадема Романовых", + "answerC": "Шлем Александра Македонского", + "answerD": "Золотая монета Юлия Цезаря", + "correct_answer": "C", + "choices": [ + "Джеффри Раш", + "Стивен Спилберг", + "Кристиан Бэйл", + "Джонни Депп", + "Золотая монета Юлия Цезаря", + "Шлем Александра Македонского", + "Аарон Экхарт", + "Аль Пачино", + "Картина «Черный квадрат»", + "Билли Зейн", + "Квентин Тарантино", + "Диадема Романовых" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКакой уникальный предмет был похищен в фильме «Джентльмены удачи»?\nA. Джеффри Раш\nB. Стивен Спилберг\nC. Кристиан Бэйл\nD. Джонни Депп\nE. Золотая монета Юлия Цезаря\nF. Шлем Александра Македонского\nG. Аарон Экхарт\nH. Аль Пачино\nI. Картина «Черный квадрат»\nJ. Билли Зейн\nK. Квентин Тарантино\nL. Диадема Романовых\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 122, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.061905503273010254, + "B": 0.05132146552205086, + "C": 0.02747040055692196, + "D": 0.07014812529087067, + "E": 0.14850358664989471, + "F": 0.061905503273010254, + "G": 0.1682765930891037, + "H": 0.27744120359420776, + "I": 0.004212722182273865, + "J": 0.020097773522138596, + "K": 0.0057581085711717606, + "L": 0.02924208715558052 + }, + "sample": { + "question": "Кто режиссер фильма 'Остров проклятых'?", + "answerA": "Квентин Тарантино", + "answerB": "Стивен Спилберг", + "answerC": "Мартин Скорсезе", + "answerD": "Кристофер Нолан", + "correct_answer": "Мартин Скорсезе", + "choices": [ + "Кристофер Нолан", + "Стивен Спилберг", + "Билли Зейн", + "Аль Пачино", + "Джеймс Кэмерон", + "Стэнли Кубрик", + "Кристиан Бэйл", + "Мартин Скорсезе", + "Роберт Де Ниро", + "Крис О’Доннелл", + "Квентин Тарантино", + "Аарон Экхарт" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Остров проклятых'?\nA. Кристофер Нолан\nB. Стивен Спилберг\nC. Билли Зейн\nD. Аль Пачино\nE. Джеймс Кэмерон\nF. Стэнли Кубрик\nG. Кристиан Бэйл\nH. Мартин Скорсезе\nI. Роберт Де Ниро\nJ. Крис О’Доннелл\nK. Квентин Тарантино\nL. Аарон Экхарт\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 111, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.00882540363818407, + "B": 0.006873230915516615, + "C": 0.006873230915516615, + "D": 0.9002156257629395, + "E": 0.010000493377447128, + "F": 0.006456802599132061, + "G": 0.018683379516005516, + "H": 0.004723898135125637, + "I": 0.0004978951765224338, + "J": 0.0012714199256151915, + "K": 0.012062896974384785, + "L": 0.0007244332227855921 + }, + "sample": { + "question": "Кто сыграл роль Джокера в фильме 'Темный рыцарь' 2008 года?", + "answerA": "Кристиан Бэйл", + "answerB": "Аарон Экхарт", + "answerC": "Хит Леджер", + "answerD": "Гари Олдман", + "correct_answer": "Хит Леджер", + "choices": [ + "Билли Зейн", + "Стивен Спилберг", + "Стэнли Кубрик", + "Крис О’Доннелл", + "Хит Леджер", + "Аль Пачино", + "Роберт Де Ниро", + "Кристиан Бэйл", + "Джеймс Кэмерон", + "Мартин Скорсезе", + "Гари Олдман", + "Аарон Экхарт" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКто сыграл роль Джокера в фильме 'Темный рыцарь' 2008 года?\nA. Билли Зейн\nB. Стивен Спилберг\nC. Стэнли Кубрик\nD. Крис О’Доннелл\nE. Хит Леджер\nF. Аль Пачино\nG. Роберт Де Ниро\nH. Кристиан Бэйл\nI. Джеймс Кэмерон\nJ. Мартин Скорсезе\nK. Гари Олдман\nL. Аарон Экхарт\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 122, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.22681334614753723, + "B": 0.08343997597694397, + "C": 0.06498311460018158, + "D": 0.05734739452600479, + "E": 0.08343997597694397, + "F": 0.0736355111002922, + "G": 0.15588638186454773, + "H": 0.13756924867630005, + "I": 0.006849169731140137, + "J": 0.025447750464081764, + "K": 0.007290903478860855, + "L": 0.00936170481145382 + }, + "sample": { + "question": "Кто сыграл главную роль в фильме 'Пролетая над гнездом кукушки' 1975 года?", + "answerA": "Аль Пачино", + "answerB": "Роберт Де Ниро", + "answerC": "Джек Николсон", + "answerD": "Дастин Хоффман", + "correct_answer": "Джек Николсон", + "choices": [ + "Билли Зейн", + "Мартин Скорсезе", + "Аль Пачино", + "Стивен Спилберг", + "Крис О’Доннелл", + "Стэнли Кубрик", + "Роберт Де Ниро", + "Джеймс Ребхорн", + "Дастин Хоффман", + "Джек Николсон", + "Альфред Хичкок", + "Джеймс Кэмерон" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКто сыграл главную роль в фильме 'Пролетая над гнездом кукушки' 1975 года?\nA. Билли Зейн\nB. Мартин Скорсезе\nC. Аль Пачино\nD. Стивен Спилберг\nE. Крис О’Доннелл\nF. Стэнли Кубрик\nG. Роберт Де Ниро\nH. Джеймс Ребхорн\nI. Дастин Хоффман\nJ. Джек Николсон\nK. Альфред Хичкок\nL. Джеймс Кэмерон\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 126, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.31087276339530945, + "B": 0.017538242042064667, + "C": 0.061214473098516464, + "D": 0.02891566976904869, + "E": 0.08906654268503189, + "F": 0.015477443113923073, + "G": 0.31087276339530945, + "H": 0.017538242042064667, + "I": 0.01987343095242977, + "J": 0.01987343095242977, + "K": 0.032765746116638184, + "L": 0.00041245989268645644 + }, + "sample": { + "question": "Кто из следующих актёров сыграл главную мужскую роль в фильме 'Титаник' 1997 года?", + "answerA": "Билли Зейн", + "answerB": "Джеймс Кэмерон", + "answerC": "Леонардо ДиКаприо", + "answerD": "Кэти Бейтс", + "correct_answer": "Леонардо ДиКаприо", + "choices": [ + "Леонардо ДиКаприо", + "Альфред Хичкок", + "Кэти Бейтс", + "США", + "Стивен Спилберг", + "Билли Зейн", + "Крис О’Доннелл", + "Джеймс Ребхорн", + "Пенни Маршалл", + "Стэнли Кубрик", + "Джеймс Кэмерон", + "Мартин Скорсезе" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКто из следующих актёров сыграл главную мужскую роль в фильме 'Титаник' 1997 года?\nA. Леонардо ДиКаприо\nB. Альфред Хичкок\nC. Кэти Бейтс\nD. США\nE. Стивен Спилберг\nF. Билли Зейн\nG. Крис О’Доннелл\nH. Джеймс Ребхорн\nI. Пенни Маршалл\nJ. Стэнли Кубрик\nK. Джеймс Кэмерон\nL. Мартин Скорсезе\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 120, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.14207664132118225, + "B": 0.07604814320802689, + "C": 0.03170158341526985, + "D": 0.024689218029379845, + "E": 0.30077624320983887, + "F": 0.08617383986711502, + "G": 0.04070563614368439, + "H": 0.027976548299193382, + "I": 0.05226707085967064, + "J": 0.1253821849822998, + "K": 0.005175141151994467, + "L": 0.004567045718431473 + }, + "sample": { + "question": "Кто является режиссером фильма '12 разгневанных мужчин'?", + "answerA": "Мартин Скорсезе", + "answerB": "Стэнли Кубрик", + "answerC": "Сидни Люмет", + "answerD": "Альфред Хичкок", + "correct_answer": "Сидни Люмет", + "choices": [ + "Стивен Спилберг", + "Стивен Спилберг", + "Крис О’Доннелл", + "США", + "Мартин Скорсезе", + "Сидни Люмет", + "Аль Пачино", + "Альфред Хичкок", + "Стэнли Кубрик", + "Джеймс Ребхорн", + "Пенни Маршалл", + "Япония" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма '12 разгневанных мужчин'?\nA. Стивен Спилберг\nB. Стивен Спилберг\nC. Крис О’Доннелл\nD. США\nE. Мартин Скорсезе\nF. Сидни Люмет\nG. Аль Пачино\nH. Альфред Хичкок\nI. Стэнли Кубрик\nJ. Джеймс Ребхорн\nK. Пенни Маршалл\nL. Япония\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 110, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.17251379787921906, + "B": 0.08148974925279617, + "C": 0.1954837441444397, + "D": 0.056007035076618195, + "E": 0.10463491827249527, + "F": 0.056007035076618195, + "G": 0.17251379787921906, + "H": 0.03191184625029564, + "I": 0.008068578317761421, + "J": 0.024852968752384186, + "K": 0.004893840290606022, + "L": 0.0010258045513182878 + }, + "sample": { + "question": "Кто сыграл отставного полковника разведки Фрэнка Слэйда в фильме 'Запах женщины'?", + "answerA": "Крис О’Доннелл", + "answerB": "Джеймс Ребхорн", + "answerC": "Аль Пачино", + "answerD": "Филип Сеймур Хоффман", + "correct_answer": "Аль Пачино", + "choices": [ + "Крис О’Доннелл", + "Джеймс Ребхорн", + "Филип Сеймур Хоффман", + "Япония", + "Стивен Спилберг", + "Акира Куросава", + "США", + "Стэнли Кубрик", + "Стивен Спилберг", + "Аль Пачино", + "Пенни Маршалл", + "Альфред Хичкок" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКто сыграл отставного полковника разведки Фрэнка Слэй��а в фильме 'Запах женщины'?\nA. Крис О’Доннелл\nB. Джеймс Ребхорн\nC. Филип Сеймур Хоффман\nD. Япония\nE. Стивен Спилберг\nF. Акира Куросава\nG. США\nH. Стэнли Кубрик\nI. Стивен Спилберг\nJ. Аль Пачино\nK. Пенни Маршалл\nL. Альфред Хичкок\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.09581582993268967, + "B": 0.06585319340229034, + "C": 0.05811523646116257, + "D": 0.09581582993268967, + "E": 0.1085735559463501, + "F": 0.07462144643068314, + "G": 0.13941119611263275, + "H": 0.06585319340229034, + "I": 0.02922217547893524, + "J": 0.12302995473146439, + "K": 0.01886725425720215, + "L": 0.006940874736756086 + }, + "sample": { + "question": "Кто режиссер фильма 'Пробуждение' 1990 года?", + "answerA": "Стивен Спилберг", + "answerB": "Пенни Маршалл", + "answerC": "Мартин Скорсезе", + "answerD": "Квентин Тарантино", + "correct_answer": "B", + "choices": [ + "Стэнли Кубрик", + "Квентин Тарантино", + "Альфред Хичкок", + "Пенни Маршалл", + "Стивен Спилберг", + "Акира Куросава", + "Альфред Хичкок", + "Наталья Варлей", + "Макото Синкай", + "Мартин Скорсезе", + "США", + "Япония" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Пробуждение' 1990 года?\nA. Стэнли Кубрик\nB. Квентин Тарантино\nC. Альфред Хичкок\nD. Пенни Маршалл\nE. Стивен Спилберг\nF. Акира Куросава\nG. Альфред Хичкок\nH. Наталья Варлей\nI. Макото Синкай\nJ. Мартин Скорсезе\nK. США\nL. Япония\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 112, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.056481558829545975, + "B": 0.06400198489427567, + "C": 0.017225902527570724, + "D": 0.056481558829545975, + "E": 0.056481558829545975, + "F": 0.043987881392240524, + "G": 0.2233888953924179, + "H": 0.3683060109615326, + "I": 0.006337055005133152, + "J": 0.013415546156466007, + "K": 0.005253603216260672, + "L": 0.010448037646710873 + }, + "sample": { + "question": "Кто режиссер фильма 'В джазе только девушки' 1959 года?", + "answerA": "Альфред Хичкок", + "answerB": "Стэнли Кубрик", + "answerC": "Билли Уайлдер", + "answerD": "Стивен Спилберг", + "correct_answer": "Билли Уайлдер", + "choices": [ + "Андрей Тарковский", + "Юрий Никулин", + "Альфред Хичкок", + "Акира Куросава", + "Стэнли Кубрик", + "Стивен Спилберг", + "Макото Синкай", + "Сергей Бондарчук", + "Билли Уайлдер", + "Наталья Варлей", + "Япония", + "США" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'В джазе только девушки' 1959 года?\nA. Андрей Тарковский\nB. Юрий Никулин\nC. Альфред Хичкок\nD. Акира Куросава\nE. Стэнли Кубрик\nF. Стивен Спилберг\nG. Макото Синкай\nH. Сергей Бондарчук\nI. Билли Уайлдер\nJ. Наталья Варлей\nK. Япония\nL. США\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 111, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.1338304877281189, + "B": 0.026352785527706146, + "C": 0.10422728210687637, + "D": 0.529309868812561, + "E": 0.02986162155866623, + "F": 0.01811198703944683, + "G": 0.03834307938814163, + "H": 0.011693977750837803, + "I": 0.03383764624595642, + "J": 0.008555497042834759, + "K": 0.010319899767637253, + "L": 0.0033503808081150055 + }, + "sample": { + "question": "В какой стране был снят фильм Хатико: Самый верный друг?", + "answerA": "США", + "answerB": "Япония", + "answerC": "Великобритания", + "answerD": "Канада", + "correct_answer": "Великобритания", + "choices": [ + "Макото Синкай", + "Наталья Варлей", + "Стивен Спилберг", + "Япония", + "Альфред Хичкок", + "Канада", + "Сергей Бондарчук", + "Юрий Никулин", + "Акира Куросава", + "Великобритания", + "США", + "Альфред Хичкок" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nВ какой стране был снят фильм Хатико: Самый верный друг?\nA. Макото Синкай\nB. Наталья Варлей\nC. Стивен Спилберг\nD. Япония\nE. Альфред Хичкок\nF. Канада\nG. Сергей Бондарчук\nH. Юрий Никулин\nI. Акира Куросава\nJ. Великобритания\nK. США\nL. Альфред Хичкок\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 102, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0646369531750679, + "B": 0.19909583032131195, + "C": 0.0646369531750679, + "D": 0.0940462127327919, + "E": 0.03920429199934006, + "F": 0.10656832158565521, + "G": 0.10656832158565521, + "H": 0.10656832158565521, + "I": 0.0049842665903270245, + "J": 0.03920429199934006, + "K": 0.022337932139635086, + "L": 0.016342781484127045 + }, + "sample": { + "question": "Кто является режиссером фильма 'Огни большого города'?", + "answerA": "Стивен Спилберг", + "answerB": "Альфред Хичкок", + "answerC": "Чарльз Чаплин", + "answerD": "Мартин Скорсезе", + "correct_answer": "Чарльз Чаплин", + "choices": [ + "1972", + "Наталья Варлей", + "Чарльз Чаплин", + "Акира Куросава", + "Стивен Спилберг", + "Сергей Бондарчук", + "Мартин Скорсезе", + "Андрей Тарковский", + "Юрий Никулин", + "Альфред Хичкок", + "Макото Синкай", + "1966" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Огни большого города'?\nA. 1972\nB. Наталья Варлей\nC. Чарльз Чаплин\nD. Акира Куросава\nE. Стивен Спилберг\nF. Сергей Бондарчук\nG. Мартин Скорсезе\nH. Андрей Тарковский\nI. Юрий Никулин\nJ. Альфред Хичкок\nK. Макото Синкай\nL. 1966\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 113, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.2333267331123352, + "B": 0.2643938362598419, + "C": 0.2059101164340973, + "D": 0.03157734125852585, + "E": 0.04594475403428078, + "F": 0.011616653762757778, + "G": 0.03578181192278862, + "H": 0.02170276641845703, + "I": 0.0007426278898492455, + "J": 0.002592026023194194, + "K": 0.0013874114956706762, + "L": 0.000309573340928182 + }, + "sample": { + "question": "Кто режиссер фильма 'Унесённые призраками'?", + "answerA": "Акира Куросава", + "answerB": "Макото Синкай", + "answerC": "Хаяо Миядзаки", + "answerD": "Исао Такахата", + "correct_answer": "Хаяо Миядзаки", + "choices": [ + "Андрей Тарковский", + "Сергей Бондарчук", + "Макото Синкай", + "1995", + "Наталья Варлей", + "1966", + "Акира Куросава", + "Стивен Спилберг", + "Исао Такахата", + "Хаяо Миядзаки", + "Альфред Хичкок", + "Юрий Никулин" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Унесённые призраками'?\nA. Андрей Тарковский\nB. Сергей Бондарчук\nC. Макото Синкай\nD. 1995\nE. Наталья Варлей\nF. 1966\nG. Акира Куросава\nH. Стивен Спилберг\nI. Исао Такахата\nJ. Хаяо Миядзаки\nK. Альфред Хичкок\nL. Юрий Никулин\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0952703133225441, + "B": 0.17798836529254913, + "C": 0.25897154211997986, + "D": 0.13861748576164246, + "E": 0.04500250145792961, + "F": 0.039714571088552475, + "G": 0.08407574892044067, + "H": 0.030929740518331528, + "I": 0.007346457336097956, + "J": 0.011378414928913116, + "K": 0.008324626833200455, + "L": 0.001857475028373301 + }, + "sample": { + "question": "Кто из актеров играл роль студента Шурика в фильме 'Кавказская пленница; или Новые приключения Шурика'?", + "answerA": "Наталья Варлей", + "answerB": "Юрий Никулин", + "answerC": "Александр Демьяненко", + "answerD": "Георгий Вицин", + "correct_answer": "Александр Демьяненко", + "choices": [ + "Стивен Спилберг", + "Георгий Вицин", + "Сергей Бондарчук", + "Юрий Никулин", + "1972", + "Наталья Варлей", + "1995", + "Альфред Хичкок", + "Александр Демьяненко", + "1966", + "Андрей Тарковский", + "Виталий Соломин" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКто из актеров играл роль студента Шурика в фильме 'Кавказская пленница; или Новые приключения Шурика'?\nA. Стивен Спилберг\nB. Георгий Вицин\nC. Сергей Бондарчук\nD. Юрий Никулин\nE. 1972\nF. Наталья Варлей\nG. 1995\nH. Альфред Хичкок\nI. Александр Демьяненко\nJ. 1966\nK. Андрей Тарковский\nL. Виталий Соломин\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 122, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.10163912177085876, + "B": 0.03299739211797714, + "C": 0.020013928413391113, + "D": 0.40199053287506104, + "E": 0.06164724752306938, + "F": 0.03299739211797714, + "G": 0.24381957948207855, + "H": 0.027355797588825226, + "I": 0.003267184365540743, + "J": 0.003940976690500975, + "K": 0.0025444854982197285, + "L": 0.001449804287403822 + }, + "sample": { + "question": "Кто является режиссером фильма '...А зори здесь тихие'?", + "answerA": "Сергей Бондарчук", + "answerB": "Андрей Тарковский", + "answerC": "Станислав Ростоцкий", + "answerD": "Никита Михалков", + "correct_answer": "Станислав Ростоцкий", + "choices": [ + "Станислав Ростоцкий", + "Альфред Хичкок", + "2004", + "Сергей Бондарчук", + "Стивен Спилберг", + "Брэд Питт", + "Никита Михалков", + "Андрей Тарковский", + "1966", + "Виталий Соломин", + "1995", + "1972" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма '...А зори здесь тихие'?\nA. Станислав Ростоцкий\nB. Альфред Хичкок\nC. 2004\nD. Сергей Бондарчук\nE. Стивен Спилберг\nF. Брэд Питт\nG. Никита Михалков\nH. Андрей Тарковский\nI. 1966\nJ. Виталий Соломин\nK. 1995\nL. 1972\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 116, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.24604687094688416, + "B": 0.07987972348928452, + "C": 0.04275653138756752, + "D": 0.13169941306114197, + "E": 0.048449497669935226, + "F": 0.07987972348928452, + "G": 0.10256759822368622, + "H": 0.1691053807735443, + "I": 0.005106539931148291, + "J": 0.010810545645654202, + "K": 0.005786467809230089, + "L": 0.020196758210659027 + }, + "sample": { + "question": "Кто является режиссером фильма 'Эта замечательная жизнь'?", + "answerA": "Альфред Хичкок", + "answerB": "Стивен Спилберг", + "answerC": "Фрэнк Капра", + "answerD": "Квентин Тарантино", + "correct_answer": "Фрэнк Капра", + "choices": [ + "Олег Янковский", + "Квентин Тарантино", + "Фрэнк Капра", + "Альфред Хичкок", + "2004", + "1995", + "1972", + "Виталий Соломин", + "Скотт Гленн", + "1966", + "Брэд Питт", + "Стивен Спилберг" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Эта замечательная жизнь'?\nA. Олег Янковский\nB. Квентин Тарантино\nC. Фрэнк Капра\nD. Альфред Хичкок\nE. 2004\nF. 1995\nG. 1972\nH. Виталий Соломин\nI. Скотт Гленн\nJ. 1966\nK. Брэд Питт\nL. Стивен Спилберг\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 115, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.025221053510904312, + "B": 0.08269665390253067, + "C": 0.09370758384466171, + "D": 0.09370758384466171, + "E": 0.06440421938896179, + "F": 0.13634373247623444, + "G": 0.2886396646499634, + "H": 0.10618461668491364, + "I": 0.004117223899811506, + "J": 0.020908989012241364, + "K": 0.01268194243311882, + "L": 0.007691986858844757 + }, + "sample": { + "question": "В каком году вышел фильм \"Хористы\"?", + "answerA": "1995", + "answerB": "2004", + "answerC": "1989", + "answerD": "2012", + "correct_answer": "answerB", + "choices": [ + "Стивен Спилберг", + "Морган Фриман", + "Энтони Хопкинс", + "Скотт Гленн", + "Виталий Соломин", + "2012", + "2004", + "Олег Янковский", + "Стоик", + "1995", + "Брэд Питт", + "1989" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nВ каком году вышел фильм \"Хористы\"?\nA. Стивен Спилберг\nB. Морган Фриман\nC. Энтони Хопкинс\nD. Скотт Гленн\nE. Виталий Соломин\nF. 2012\nG. 2004\nH. Олег Янковский\nI. Стоик\nJ. 1995\nK. Брэд Питт\nL. 1989\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 111, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.1775151789188385, + "B": 0.08385223150253296, + "C": 0.08385223150253296, + "D": 0.13824895024299622, + "E": 0.12200427800416946, + "F": 0.06530418992042542, + "G": 0.0739993304014206, + "H": 0.0739993304014206, + "I": 0.03960898891091347, + "J": 0.03960898891091347, + "K": 0.006465989630669355, + "L": 0.012859156355261803 + }, + "sample": { + "question": "Кто сыграл Шерлока Холмса в фильме 'Приключения Шерлока Холмса и доктора Ватсона: Собака Баскервилей' 1981 года?", + "answerA": "Виталий Соломин", + "answerB": "Олег Янковский", + "answerC": "Василий Ливанов", + "answerD": "Никита Михалков", + "correct_answer": "Василий Ливанов", + "choices": [ + "Иккинг", + "Виталий Соломин", + "Стивен Спилберг", + "Брэд Питт", + "Олег Янковский", + "Стивен Спилберг", + "Стоик", + "Никита Михалков", + "Энтони Хопкинс", + "Василий Ливанов", + "Скотт Гленн", + "Морган Фриман" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКто сыграл Шерлока Холмса в фильме 'Приключения Шерлока Холмса и доктора Ватсона: Собака Баскервилей' 1981 года?\nA. Иккинг\nB. Виталий Соломин\nC. Стивен Спилберг\nD. Брэд Питт\nE. Олег Янковский\nF. Стивен Спилберг\nG. Стоик\nH. Никита Михалков\nI. Энтони Хопкинс\nJ. Василий Ливанов\nK. Скотт Гленн\nL. Морган Фриман\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 127, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.05973445996642113, + "B": 0.03856746852397919, + "C": 0.06768801808357239, + "D": 0.08691313117742538, + "E": 0.08691313117742538, + "F": 0.0527154803276062, + "G": 0.07670056819915771, + "H": 0.0527154803276062, + "I": 0.04652124643325806, + "J": 0.1839950978755951, + "K": 0.05973445996642113, + "L": 0.014188178814947605 + }, + "sample": { + "question": "Кто сыграл роль убийцы в фильме \"Семь\"?", + "answerA": "Брэд Питт", + "answerB": "Морган Фриман", + "answerC": "Гвинет Пэлтроу", + "answerD": "Кевин Спейси", + "correct_answer": "Кевин Спейси", + "choices": [ + "Брэд Питт", + "Стивен Спилберг", + "Стивен Спилберг", + "Гвинет Пэлтроу", + "Квентин Тарантино", + "Стоик", + "Иккинг", + "Морган Фриман", + "Скотт Гленн", + "Энтони Хопкинс", + "Мартин Скорсезе", + "Кевин Спейси" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКто сыграл роль убийцы в фильме \"Семь\"?\nA. Брэд Питт\nB. Стивен Спилберг\nC. Стивен Спилберг\nD. Гвинет Пэлтроу\nE. Квентин Тарантино\nF. Стоик\nG. Иккинг\nH. Морган Фриман\nI. Скотт Гленн\nJ. Энтони Хопкинс\nK. Мартин Скорсезе\nL. Кевин Спейси\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 113, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.05669771879911423, + "B": 0.05669771879911423, + "C": 0.25410154461860657, + "D": 0.0934787467122078, + "E": 0.07280131429433823, + "F": 0.038967736065387726, + "G": 0.19789448380470276, + "H": 0.04415622353553772, + "I": 0.0043720584362745285, + "J": 0.023635124787688255, + "K": 0.005975895561277866, + "L": 0.0009164332877844572 + }, + "sample": { + "question": "Кто из актеров сыграл роль доктора Ганнибала Лектера в фильме \"Молчание ягнят\"?", + "answerA": "Скотт Гленн", + "answerB": "Энтони Хопкинс", + "answerC": "Тед Левайн", + "answerD": "Джоди Фостер", + "correct_answer": "answerB", + "choices": [ + "Стивен Спилберг", + "Джоди Фостер", + "Энтони Хопкинс", + "Стивен Спилберг", + "Мартин Скорсезе", + "Аль Пачино", + "Тед Левайн", + "Скотт Гленн", + "Квентин Тарантино", + "Иккинг", + "Стоик", + "Джеймс Кэмерон" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКто из актеров сыграл роль доктора Ганнибала Лектера в фильме \"Молчание ягнят\"?\nA. Стивен Спилберг\nB. Джоди Фостер\nC. Энтони Хопкинс\nD. Стивен Спилберг\nE. Мартин Скорсезе\nF. Аль Пачино\nG. Тед Левайн\nH. Скотт Гленн\nI. Квентин Тарантино\nJ. Иккинг\nK. Стоик\nL. Джеймс Кэмерон\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 124, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.34775200486183167, + "B": 0.04706311598420143, + "C": 0.06043023243546486, + "D": 0.05332949757575989, + "E": 0.07759395986795425, + "F": 0.08792547881603241, + "G": 0.12793081998825073, + "H": 0.041533052921295166, + "I": 0.06043023243546486, + "J": 0.01527915708720684, + "K": 0.006369300186634064, + "L": 0.00220117112621665 + }, + "sample": { + "question": "Как зовут главного героя фильма 'Как приручить дракона' 2010 года?", + "answerA": "Стоик", + "answerB": "Иккинг", + "answerC": "Гоббер", + "answerD": "Астрит", + "correct_answer": "answerB", + "choices": [ + "Гоббер", + "Джеймс Кэмерон", + "Стоик", + "Квентин Тарантино", + "Открыть новый магазин игрушек", + "Астрит", + "Стивен Спилберг", + "Мартин Скорсезе", + "Иккинг", + "Аль Пачино", + "Станли Кубрик", + "Стивен Спилберг" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКак зовут главного героя фильма 'Как приручить дракона' 2010 года?\nA. Гоббер\nB. Джеймс Кэмерон\nC. Стоик\nD. Квентин Тарантино\nE. Открыть новый магазин игрушек\nF. Астрит\nG. Стивен Спилберг\nH. Мартин Скорсезе\nI. Иккинг\nJ. Аль Пачино\nK. Станли Кубрик\nL. Стивен Спилберг\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 118, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.03136707842350006, + "B": 0.05171556770801544, + "C": 0.05171556770801544, + "D": 0.49066367745399475, + "E": 0.024428704753518105, + "F": 0.01787242293357849, + "G": 0.12405920773744583, + "H": 0.022948646917939186, + "I": 0.006176544353365898, + "J": 0.022948646917939186, + "K": 0.03554355725646019, + "L": 0.0027408250607550144 + }, + "sample": { + "question": "Кто является режиссером фильма 'Шоу Трумана'?", + "answerA": "Стивен Спилберг", + "answerB": "Квентин Тарантино", + "answerC": "Питер Уир", + "answerD": "Кристофер Нолан", + "correct_answer": "Питер Уир", + "choices": [ + "Аль Пачино", + "Квентин Тарантино", + "Джеймс Кэмерон", + "Мартин Скорсезе", + "Открыть новый магазин игрушек", + "Организовать фестиваль для примирения кланов", + "Стивен Спилберг", + "Питер Уир", + "Станли Кубрик", + "Кристофер Нолан", + "Роберт Де Ниро", + "Профессор Анатолий Алексеевич Пребендовский" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Шоу Трумана'?\nA. Аль Пачино\nB. Квентин Тарантино\nC. Джеймс Кэмерон\nD. Мартин Скорсезе\nE. Открыть новый магазин игрушек\nF. Организовать фестиваль для примирения кланов\nG. Стивен Спилберг\nH. Питер Уир\nI. Станли Кубрик\nJ. Кристофер Нолан\nK. Роберт Де Ниро\nL. Профессор Анатолий Алексеевич Пребендовский\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 120, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.007258111611008644, + "B": 0.155185267329216, + "C": 0.03462650999426842, + "D": 0.1369505077600479, + "E": 0.07330432534217834, + "F": 0.10665716975927353, + "G": 0.07330432534217834, + "H": 0.009319599717855453, + "I": 0.0014292069245129824, + "J": 0.04446132108569145, + "K": 0.17584794759750366, + "L": 0.04446132108569145 + }, + "sample": { + "question": "Кто режиссер фильма 'Терминатор 2: Судный день'?", + "answerA": "Стивен Спилберг", + "answerB": "Джеймс Кэмерон", + "answerC": "Майкл Бэй", + "answerD": "Ридли Скотт", + "correct_answer": "answerB", + "choices": [ + "Аль Пачино", + "Майкл Бэй", + "Кристофер Нолан", + "Стивен Спилберг", + "Организовать фестиваль для примирения кланов", + "Ридли Скотт", + "Станли Кубрик", + "Роберт Де Ниро", + "Профессор Анатолий Алексеевич Пребендовский", + "Открыть новый магазин игрушек", + "Джеймс Кэмерон", + "Мартин Скорсезе" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Терминатор 2: Судный день'?\nA. Аль Пачино\nB. Майкл Бэй\nC. Кристофер Нолан\nD. Стивен Спилберг\nE. Организовать фестиваль для примирения кланов\nF. Ридли Скотт\nG. Станли Кубрик\nH. Роберт Де Ниро\nI. Профессор Анатолий Алексеевич Пребендовский\nJ. Открыть новый магазин игрушек\nK. Джеймс Кэмерон\nL. Мартин Скорсезе\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 121, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.03823430836200714, + "B": 0.03374166041612625, + "C": 0.1713542938232422, + "D": 0.2200232744216919, + "E": 0.029776910319924355, + "F": 0.021785253658890724, + "G": 0.07143109291791916, + "H": 0.013213424012064934, + "I": 0.02627803198993206, + "J": 0.0490938276052475, + "K": 0.11776997148990631, + "L": 0.002296149032190442 + }, + "sample": { + "question": "Кто режиссер фильма 'Джанго освобожденный'?", + "answerA": "Мартин Скорсезе", + "answerB": "Станли Кубрик", + "answerC": "Квентин Тарантино", + "answerD": "Стивен Спилберг", + "correct_answer": "Квентин Тарантино", + "choices": [ + "Кристофер Нолан", + "1995", + "Доктор Алексей Иванович Борменталь", + "Стивен Спилберг", + "Открыть новый магазин игрушек", + "Аль Пачино", + "Квентин Тарантино", + "Роберт Де Ниро", + "Профессор Анатолий Алексеевич Пребендовский", + "Организовать фестиваль для примирения кланов", + "Мартин Скорсезе", + "Станли Кубрик" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Джанго освобожденный'?\nA. Кристофер Нолан\nB. 1995\nC. Доктор Алексей Иванович Борменталь\nD. Стивен Спилберг\nE. Открыть новый магазин игрушек\nF. Аль Пачино\nG. Квентин Тарантино\nH. Роберт Де Ниро\nI. Профессор Анатолий Алексеевич Пребендовский\nJ. Организовать фестиваль для примирения кланов\nK. Мартин Скорсезе\nL. Станли Кубрик\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 126, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.14527243375778198, + "B": 0.04430558532476425, + "C": 0.12820246815681458, + "D": 0.11313828825950623, + "E": 0.09984418749809265, + "F": 0.03673062473535538, + "G": 0.14527243375778198, + "H": 0.017350317910313606, + "I": 0.017350317910313606, + "J": 0.03673062473535538, + "K": 0.023715073242783546, + "L": 0.00249955034814775 + }, + "sample": { + "question": "Кто из актеров сыграл молодого Вито Корлеоне в фильме 'Крестный отец 2'?", + "answerA": "Аль Пачино", + "answerB": "Роберт Де Ниро", + "answerC": "Дайан Китон", + "answerD": "Роберт Дювалл", + "correct_answer": "Роберт Де Ниро", + "choices": [ + "Кристофер Нолан", + "Стивен Спилберг", + "1995", + "Профессор Анатолий Алексеевич Пребендовский", + "Аль Пачино", + "Дайан Китон", + "Роберт Де Ниро", + "Организовать фестиваль для примирения кланов", + "Роберт Дювалл", + "Открыть новый магазин игрушек", + "Мартин Скорсезе", + "Доктор Алексей Иванович Борменталь" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКто из актеров сыграл молодого Вито Корлеоне в фильме 'Крестный отец 2'?\nA. Кристофер Нолан\nB. Стивен Спилберг\nC. 1995\nD. Профессор Анатолий Алексеевич Пребендовский\nE. Аль Пачино\nF. Дайан Китон\nG. Роберт Де Ниро\nH. Организовать фестиваль для примирения кланов\nI. Роберт Дювалл\nJ. Открыть новый магазин игрушек\nK. Мартин Скорсезе\nL. Доктор Алексей Иванович Борменталь\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 135, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.41470009088516235, + "B": 0.05612355098128319, + "C": 0.038573116064071655, + "D": 0.07206406444311142, + "E": 0.08165927976369858, + "F": 0.15255965292453766, + "G": 0.03004077449440956, + "H": 0.04370906576514244, + "I": 0.023395778611302376, + "J": 0.03004077449440956, + "K": 0.00759549718350172, + "L": 0.004904021043330431 + }, + "sample": { + "question": "Какова основная цель задания, которое получил Джеспер в городе Смиренсбург в фильме 'Клаус'?", + "answerA": "Открыть новый магазин игрушек", + "answerB": "Организовать фестиваль для примирения кланов", + "answerC": "Организовать почтовое отделение и обработать не менее 6000 писем за год", + "answerD": "Найти и убедить Клауса вернуться в родной город", + "correct_answer": "Организовать почтовое отделение и обработать не менее 6000 писем за год", + "choices": [ + "Найти и убедить Клауса вернуться в родной город", + "Профессор Анатолий Алексеевич Пребендовский", + "Стивен Спилберг", + "Доктор Алексей Иванович Борменталь", + "Кристофер Нолан", + "Организовать фестиваль для примирения кланов", + "Открыть новый магазин игрушек", + "Василий Ливанов", + "Мартин Скорсезе", + "Организовать почтовое отделение и обработать не менее 6000 писем за год", + "1995", + "1997" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКакова основная цель задания, которое получил Джеспер в городе Смиренсбург в фильме 'Клаус'?\nA. Найти и убедить Клауса вернуться в родной город\nB. Профессор Анатолий Алексеевич Пребендовский\nC. Стивен Спилберг\nD. Доктор Алексей Иванович Борменталь\nE. Кристофер Нолан\nF. Организовать фестиваль для примирения кланов\nG. Открыть новый магазин игрушек\nH. Василий Ливанов\nI. Мартин Скорсезе\nJ. Организовать почтовое отделение и обработать не менее 6000 писем за год\nK. 1995\nL. 1997\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 159, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.007563591934740543, + "B": 0.008570672012865543, + "C": 0.014130649156868458, + "D": 0.7715072631835938, + "E": 0.026399526745080948, + "F": 0.012470253743231297, + "G": 0.038411084562540054, + "H": 0.014130649156868458, + "I": 0.016012122854590416, + "J": 0.00971184391528368, + "K": 0.03389766439795494, + "L": 0.0010896386811509728 + }, + "sample": { + "question": "Как звали профессора, который превратил пса Шарика в человека в фильме 'Собачье сердце'?", + "answerA": "Профессор Анатолий Алексеевич Пребендовский", + "answerB": "Доктор Алексей Иванович Борменталь", + "answerC": "Профессор Филипп Филиппович Преображенский", + "answerD": "Доктор Юрий Валентинович Снегирёв", + "correct_answer": "Профессор Филипп Филиппович Преображенский", + "choices": [ + "Стивен Спилберг", + "Мартин Скорсезе", + "1997", + "Профессор Филипп Филиппович Преображенский", + "Доктор Алексей Иванович Борменталь", + "Василий Ливанов", + "Кристофер Нолан", + "Квентин Тарантино", + "Доктор Юрий Валентинович Снегирёв", + "Людмила", + "Профессор Анатолий Алексеевич Пребендовский", + "1995" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКак звали профессора, который превратил пса Шарика в человека в фильме 'Собачье сердце'?\nA. Стивен Спилберг\nB. Мартин Скорсезе\nC. 1997\nD. Профессор Филипп Филиппович Преображенский\nE. Доктор Алексей Иванович Борменталь\nF. Василий Ливанов\nG. Кристофер Нолан\nH. Квентин Тарантино\nI. Доктор Юрий Валентинович Снегирёв\nJ. Людмила\nK. Профессор Анатолий Алексеевич Пребендовский\nL. 1995\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 136, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.6296241283416748, + "B": 0.058564163744449615, + "C": 0.04560982063412666, + "D": 0.03552096337080002, + "E": 0.040250521153211594, + "F": 0.051682695746421814, + "G": 0.02766375243663788, + "H": 0.005447315983474255, + "I": 0.006570717785507441, + "J": 0.007445597555488348, + "K": 0.003743881592527032, + "L": 0.0016613375628367066 + }, + "sample": { + "question": "Кто режиссер фильма 'Нокдаун' 2005 года?", + "answerA": "Кристофер Нолан", + "answerB": "Мартин Скорсезе", + "answerC": "Рон Ховард", + "answerD": "Стивен Спилберг", + "correct_answer": "Рон Ховард", + "choices": [ + "Квентин Тарантино", + "Виталий Соломин", + "Рон Ховард", + "Людмила", + "Антонина", + "Мартин Скорсезе", + "Стивен Спилберг", + "1995", + "Василий Ливанов", + "1997", + "Кристофер Нолан", + "Квентин Тарантино" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Нокдаун' 2005 года?\nA. Квентин Тарантино\nB. Виталий Соломин\nC. Рон Ховард\nD. Людмила\nE. Антонина\nF. Мартин Скорсезе\nG. Стивен Спилберг\nH. 1995\nI. Василий Ливанов\nJ. 1997\nK. Кристофер Нолан\nL. Квентин Тарантино\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 115, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.03298803046345711, + "B": 0.04799730330705643, + "C": 0.2762054204940796, + "D": 0.06983566284179688, + "E": 0.0291118361055851, + "F": 0.061629753559827805, + "G": 0.3546547591686249, + "H": 0.025691106915473938, + "I": 0.0019810853991657495, + "J": 0.0034769130870699883, + "K": 0.006102172192186117, + "L": 0.00032340327743440866 + }, + "sample": { + "question": "В каком году вышел фильм 'Игра'?", + "answerA": "1995", + "answerB": "1997", + "answerC": "2000", + "answerD": "1992", + "correct_answer": "answerB", + "choices": [ + "Людмила", + "Виталий Соломин", + "2000", + "Кристофер Нолан", + "Квентин Тарантино", + "Квентин Тарантино", + "1997", + "Антонина", + "Стивен Спилберг", + "1995", + "1992", + "Василий Ливанов" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nВ каком году вышел фильм 'Игра'?\nA. Людмила\nB. Виталий Соломин\nC. 2000\nD. Кристофер Нолан\nE. Квентин Тарантино\nF. Квентин Тарантино\nG. 1997\nH. Антонина\nI. Стивен Спилберг\nJ. 1995\nK. 1992\nL. Василий Ливанов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 111, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.2002345323562622, + "B": 0.06500663608312607, + "C": 0.0834701731801033, + "D": 0.10717783123254776, + "E": 0.050627220422029495, + "F": 0.03942851349711418, + "G": 0.12144838273525238, + "H": 0.09458409994840622, + "I": 0.0736621767282486, + "J": 0.01061204168945551, + "K": 0.009365093894302845, + "L": 0.0015288094291463494 + }, + "sample": { + "question": "Кто режиссер фильма 'Храброе сердце'?", + "answerA": "Стивен Спилберг", + "answerB": "Квентин Тарантино", + "answerC": "Мэл Гибсон", + "answerD": "Ридли Скотт", + "correct_answer": "Мэл Гибсон", + "choices": [ + "Мэл Гибсон", + "Василий Ливанов", + "Стивен Спилберг", + "Ридли Скотт", + "Людмила", + "Кристофер Нолан", + "Квентин Тарантино", + "Дэмьен Шазелл", + "Виталий Соломин", + "Антонина", + "Кристофер Нолан", + "Рина Зеленая" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Храброе сердце'?\nA. Мэл Гибсон\nB. Василий Ливанов\nC. Стивен Спилберг\nD. Ридли Скотт\nE. Людмила\nF. Кристофер Нолан\nG. Квентин Тарантино\nH. Дэмьен Шазелл\nI. Виталий Соломин\nJ. Антонина\nK. Кристофер Нолан\nL. Рина Зеленая\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 107, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.18800821900367737, + "B": 0.04753592237830162, + "C": 0.08880879729986191, + "D": 0.10063355416059494, + "E": 0.06916436553001404, + "F": 0.078373484313488, + "G": 0.078373484313488, + "H": 0.06916436553001404, + "I": 0.04195030406117439, + "J": 0.04195030406117439, + "K": 0.019815919920802116, + "L": 0.0034434907138347626 + }, + "sample": { + "question": "Как звали главную героиню фильма \"Москва слезам не верит\", которая сделала блестящую карьеру?", + "answerA": "Людмила", + "answerB": "Антонина", + "answerC": "Катерина", + "answerD": "Раиса", + "correct_answer": "Катерина", + "choices": [ + "Минни", + "Стивен Спилберг", + "Антонина", + "Дэмьен Шазелл", + "Людмила", + "Раиса", + "Кристофер Нолан", + "Дастин Хоффман", + "Квентин Тарантино", + "Кристофер Нолан", + "Катерина", + "Квентин Тарантино" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКак звали главную героиню фильма \"Москва слезам не верит\", которая сделала блестящую карьеру?\nA. Минни\nB. Стивен Спилберг\nC. Антонина\nD. Дэмьен Шазелл\nE. Людмила\nF. Раиса\nG. Кристофер Нолан\nH. Дастин Хоффман\nI. Квентин Тарантино\nJ. Кристофер Нолан\nK. Катерина\nL. Квентин Тарантино\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 117, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.2641710937023163, + "B": 0.05894453823566437, + "C": 0.09718312323093414, + "D": 0.08576378971338272, + "E": 0.09718312323093414, + "F": 0.035751666873693466, + "G": 0.08576378971338272, + "H": 0.06679291278123856, + "I": 0.027843426913022995, + "J": 0.03155073896050453, + "K": 0.008491765707731247, + "L": 0.008491765707731247 + }, + "sample": { + "question": "Кто является главным режиссером фильма 'Джентльмены' 2019 года?", + "answerA": "Кристофер Нолан", + "answerB": "Квентин Тарантино", + "answerC": "Ридли Скотт", + "answerD": "Гай Ричи", + "correct_answer": "answerD", + "choices": [ + "Ридли Скотт", + "Дастин Хоффман", + "Квентин Тарантино", + "Кристофер Нолан", + "Джон Миллер", + "Минни", + "Дэмьен Шазелл", + "Стивен Спилберг", + "Гай Ричи", + "Чак Ноланд", + "Скитер", + "Том Круз" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКто является главным режиссером фильма 'Джентльмены' 2019 года?\nA. Ридли Скотт\nB. Дастин Хоффман\nC. Квентин Тарантино\nD. Кристофер Нолан\nE. Джон Миллер\nF. Минни\nG. Дэмьен Шазелл\nH. Стивен Спилберг\nI. Гай Ричи\nJ. Чак Ноланд\nK. Скитер\nL. Том Круз\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 118, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.46100595593452454, + "B": 0.062390368431806564, + "C": 0.07069755345582962, + "D": 0.07069755345582962, + "E": 0.05505931004881859, + "F": 0.04858966916799545, + "G": 0.05505931004881859, + "H": 0.029471123591065407, + "I": 0.013077732175588608, + "J": 0.014819012954831123, + "K": 0.003306568367406726, + "L": 0.002005535177886486 + }, + "sample": { + "question": "Кто является режиссером фильма 'Гран Торино'?", + "answerA": "Квентин Тарантино", + "answerB": "Стивен Спилберг", + "answerC": "Клинт Иствуд", + "answerD": "Мартин Скорсезе", + "correct_answer": "Клинт Иствуд", + "choices": [ + "Мартин Скорсезе", + "Кристофер Нолан", + "Андрей Тарковский", + "Скитер", + "Том Круз", + "Квентин Тарантино", + "Стивен Спилберг", + "Клинт Иствуд", + "Дэмьен Шазелл", + "Джон Миллер", + "Дастин Хоффман", + "Минни" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Гран Торино'?\nA. Мартин Скорсезе\nB. Кристофер Нолан\nC. Андрей Тарковский\nD. Скитер\nE. Том Круз\nF. Квентин Тарантино\nG. Стивен Спилберг\nH. Клинт Иствуд\nI. Дэмьен Шазелл\nJ. Джон Миллер\nK. Дастин Хоффман\nL. Минни\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 113, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.2555461823940277, + "B": 0.06461219489574432, + "C": 0.08296369761228561, + "D": 0.08296369761228561, + "E": 0.06461219489574432, + "F": 0.06461219489574432, + "G": 0.08296369761228561, + "H": 0.08296369761228561, + "I": 0.015346741303801537, + "J": 0.039189279079437256, + "K": 0.009308269247412682, + "L": 0.012722894549369812 + }, + "sample": { + "question": "Кто является режиссером фильма \"Одержимость\"?", + "answerA": "Кристофер Нолан", + "answerB": "Дэмьен Шазелл", + "answerC": "Стивен Спилберг", + "answerD": "Квентин Тарантино", + "correct_answer": "B", + "choices": [ + "Кристофер Нолан", + "Минни", + "Дастин Хоффман", + "Скитер", + "Андрей Тарковский", + "Дэмьен Шазелл", + "Стивен Спилберг", + "Чак Ноланд", + "Сергей Эйзенштейн", + "Джон Миллер", + "Квентин Тарантино", + "Том Круз" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма \"Одержимость\"?\nA. Кристофер Нолан\nB. Минни\nC. Дастин Хоффман\nD. Скитер\nE. Андрей Тарковский\nF. Дэмьен Шазелл\nG. Стивен Спилберг\nH. Чак Ноланд\nI. Сергей Эйзенштейн\nJ. Джон Миллер\nK. Квентин Тарантино\nL. Том Круз\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 111, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.08139407634735107, + "B": 0.07183002680540085, + "C": 0.19525423645973206, + "D": 0.17231126129627228, + "E": 0.026424787938594818, + "F": 0.07183002680540085, + "G": 0.10451206564903259, + "H": 0.05594127997756004, + "I": 0.006681232713162899, + "J": 0.023319793865084648, + "K": 0.014144170098006725, + "L": 0.002785152057185769 + }, + "sample": { + "question": "Кто из персонажей является мечтающей стать писательницей в фильме 'Прислуга'?", + "answerA": "Минни", + "answerB": "Скитер", + "answerC": "Эйбилин", + "answerD": "Хилли", + "correct_answer": "B", + "choices": [ + "Дастин Хоффман", + "Том Круз", + "Хилли", + "Эйбилин", + "Чак Ноланд", + "Минни", + "Сергей Эйзенштейн", + "Клыкхаузер", + "Джон Миллер", + "Скитер", + "Стивен Спилберг", + "Андрей Тарковский" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКто из персонажей является мечтающей стать писательницей в фильме 'Прислуга'?\nA. Дастин Хоффман\nB. Том Круз\nC. Хилли\nD. Эйбилин\nE. Чак Ноланд\nF. Минни\nG. Сергей Эйзенштейн\nH. Клыкхаузер\nI. Джон Миллер\nJ. Скитер\nK. Стивен Спилберг\nL. Андрей Тарковский\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 111, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.21523578464984894, + "B": 0.020020045340061188, + "C": 0.020020045340061188, + "D": 0.07918080687522888, + "E": 0.04802558943629265, + "F": 0.022685682401061058, + "G": 0.04802558943629265, + "H": 0.022685682401061058, + "I": 0.455654114484787, + "J": 0.015591626986861229, + "K": 0.0037033362314105034, + "L": 0.0013623811537399888 + }, + "sample": { + "question": "Как звали героя фильма 'Изгой', сыгранного Томом Хэнксом?", + "answerA": "Джон Миллер", + "answerB": "Чак Ноланд", + "answerC": "Форрест Гамп", + "answerD": "Вуди", + "correct_answer": "B", + "choices": [ + "Сергей Эйзенштейн", + "Чак Ноланд", + "1969", + "Том Хэнкс", + "Андрей Тарковский", + "М. Найт Шьямалан", + "Стивен Спилберг", + "Вуди", + "Форрест Гамп", + "Ник Уайлд", + "Клыкхаузер", + "Джон Миллер" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКак звали героя фильма 'Изгой', сыгранного Томом Хэнксом?\nA. Сергей Эйзенштейн\nB. Чак Ноланд\nC. 1969\nD. Том Хэнкс\nE. Андрей Тарковский\nF. М. Найт Шьямалан\nG. Стивен Спилберг\nH. Вуди\nI. Форрест Гамп\nJ. Ник Уайлд\nK. Клыкхаузер\nL. Джон Миллер\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 121, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.09180790185928345, + "B": 0.15136563777923584, + "C": 0.0407395102083683, + "D": 0.10403198003768921, + "E": 0.06309858709573746, + "F": 0.07150007039308548, + "G": 0.13357970118522644, + "H": 0.07150007039308548, + "I": 0.0066505419090390205, + "J": 0.06309858709573746, + "K": 0.0382712259888649, + "L": 0.02799982950091362 + }, + "sample": { + "question": "Кто является режиссером фильма 'Летят журавли'?", + "answerA": "Андрей Тарковский", + "answerB": "Сергей Эйзенштейн", + "answerC": "Михаил Калатозов", + "answerD": "Никита Михалков", + "correct_answer": "Михаил Калатозов", + "choices": [ + "М. Найт Шьямалан", + "Ник Уайлд", + "1969", + "Клыкхаузер", + "Чарльз Чаплин", + "Никита Михалков", + "Михаил Калатозов", + "1971", + "Том Хэнкс", + "Сергей Эйзенштейн", + "Стивен Спилберг", + "Андрей Тарковский" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Летят журавли'?\nA. М. Найт Шьямалан\nB. Ник Уайлд\nC. 1969\nD. Клыкхаузер\nE. Чарльз Чаплин\nF. Никита Михалков\nG. Михаил Калатозов\nH. 1971\nI. Том Хэнкс\nJ. Сергей Эйзенштейн\nK. Стивен Спилберг\nL. Андрей Тарковский\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 117, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.25295528769493103, + "B": 0.11948762089014053, + "C": 0.22323225438594818, + "D": 0.056441955268383026, + "E": 0.07247290760278702, + "F": 0.04980984702706337, + "G": 0.0930570587515831, + "H": 0.026661289855837822, + "I": 0.00524991936981678, + "J": 0.01721382327377796, + "K": 0.00524991936981678, + "L": 0.0009122992632910609 + }, + "sample": { + "question": "Кто режиссер фильма 'Шестое чувство'?", + "answerA": "Стивен Спилберг", + "answerB": "М. Найт Шьямалан", + "answerC": "Джеймс Кэмерон", + "answerD": "Кристофер Нолан", + "correct_answer": "М. Найт Шьямалан", + "choices": [ + "М. Найт Шьямалан", + "Джеймс Кэмерон", + "Элден Хенсон", + "Кристофер Нолан", + "Клыкхаузер", + "Том Сайзмор", + "Том Хэнкс", + "Чарльз Чаплин", + "Стивен Спилберг", + "Ник Уайлд", + "1971", + "1969" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Шестое чувство'?\nA. М. Найт Шьямалан\nB. Джеймс Кэмерон\nC. Элден Хенсон\nD. Кристофер Нолан\nE. Клыкхаузер\nF. Том Сайзмор\nG. Том Хэнкс\nH. Чарльз Чаплин\nI. Стивен Спилберг\nJ. Ник Уайлд\nK. 1971\nL. 1969\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 114, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.24203383922576904, + "B": 0.0611957348883152, + "C": 0.06934385746717453, + "D": 0.06934385746717453, + "E": 0.07857687771320343, + "F": 0.05400504916906357, + "G": 0.08903928101062775, + "H": 0.07857687771320343, + "I": 0.034868281334638596, + "J": 0.06934385746717453, + "K": 0.030771145597100258, + "L": 0.013654614798724651 + }, + "sample": { + "question": "Кто является партнером Джуди Хоппс в фильме 'Зверополис'?", + "answerA": "Клыкхаузер", + "answerB": "Ник Уайлд", + "answerC": "Персиваль Булевар", + "answerD": "Финник", + "correct_answer": "answerB", + "choices": [ + "Персиваль Булевар", + "1969", + "1971", + "Клыкхаузер", + "Элден Хенсон", + "Том Сайзмор", + "Карл Миллер", + "Финник", + "Чарльз Чаплин", + "Том Хэнкс", + "Джейден Смит", + "Ник Уайлд" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКто является партнером Джуди Хоппс в фильме 'Зверополис'?\nA. Персиваль Булевар\nB. 1969\nC. 1971\nD. Клыкхаузер\nE. Элден Хенсон\nF. Том Сайзмор\nG. Карл Миллер\nH. Финник\nI. Чарльз Чаплин\nJ. Том Хэнкс\nK. Джейден Смит\nL. Ник Уайлд\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 115, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.37107107043266296, + "B": 0.1752815693616867, + "C": 0.07306822389364243, + "D": 0.12046913802623749, + "E": 0.050219010561704636, + "F": 0.050219010561704636, + "G": 0.03451498597860336, + "H": 0.030459368601441383, + "I": 0.002833162434399128, + "J": 0.014387986622750759, + "K": 0.005634416826069355, + "L": 0.03451498597860336 + }, + "sample": { + "question": "В каком году был выпущен фильм 'Офицеры'?", + "answerA": "1969", + "answerB": "1971", + "answerC": "1975", + "answerD": "1980", + "correct_answer": "answerB", + "choices": [ + "1971", + "1969", + "Том Хэнкс", + "1980", + "Элден Хенсон", + "Чарльз Чаплин", + "Брайан Хау", + "Эми Смарт", + "Джейден Смит", + "Карл Миллер", + "Том Сайзмор", + "1975" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nВ каком году был выпущен фильм 'Офицеры'?\nA. 1971\nB. 1969\nC. Том Хэнкс\nD. 1980\nE. Элден Хенсон\nF. Чарльз Чаплин\nG. Брайан Хау\nH. Эми Смарт\nI. Джейден Смит\nJ. Карл Миллер\nK. Том Сайзмор\nL. 1975\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 112, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.10181018710136414, + "B": 0.3135974705219269, + "C": 0.3135974705219269, + "D": 0.061750996857881546, + "E": 0.02574164792895317, + "F": 0.018832990899682045, + "G": 0.03745387867093086, + "H": 0.029169106855988503, + "I": 0.0003240395162720233, + "J": 0.004761725664138794, + "K": 0.0019849827513098717, + "L": 0.0004714747192338109 + }, + "sample": { + "question": "Кто сыграл главную роль Малыша в фильме «Малыш» 1921 года?", + "answerA": "Чарльз Чаплин", + "answerB": "Карл Миллер", + "answerC": "Джеки Куган", + "answerD": "Альберт Остин", + "correct_answer": "Джеки Куган", + "choices": [ + "1971", + "Брайан Хау", + "Андрей Тарковский", + "Джейден Смит", + "Джеки Куган", + "Элден Хенсон", + "1976", + "Карл Миллер", + "Чарльз Чаплин", + "Эми Смарт", + "Альберт Остин", + "Робби Бенсон" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКто сыграл главную роль Малыша в фильме «Малыш» 1921 года?\nA. 1971\nB. Брайан Хау\nC. Андрей Тарковский\nD. Джейден Смит\nE. Джеки Куган\nF. Элден Хенсон\nG. 1976\nH. Карл Миллер\nI. Чарльз Чаплин\nJ. Эми Смарт\nK. Альберт Остин\nL. Робби Бенсон\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 115, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.16381999850273132, + "B": 0.049962274730205536, + "C": 0.23835669457912445, + "D": 0.0682903379201889, + "E": 0.08768653124570847, + "F": 0.030303649604320526, + "G": 0.11259172856807709, + "H": 0.07738308608531952, + "I": 0.017266500741243362, + "J": 0.034338537603616714, + "K": 0.017266500741243362, + "L": 0.007661963347345591 + }, + "sample": { + "question": "Кто из актеров сыграл главную роль в фильме 'Эффект бабочки' 2003 года?", + "answerA": "Элден Хенсон", + "answerB": "Эми Смарт", + "answerC": "Эштон Кутчер", + "answerD": "Джон Патрик Амедори", + "correct_answer": "answerC", + "choices": [ + "Джейден Смит", + "1976", + "Джон Патрик Амедори", + "Робби Бенсон", + "Эштон Кутчер", + "Андрей Тарковский", + "1985", + "Леонид Гайдай", + "Эми Смарт", + "Элден Хенсон", + "1971", + "Брайан Хау" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКто из актеров сыграл главную роль в фильме 'Эффект бабочки' 2003 года?\nA. Джейден Смит\nB. 1976\nC. Джон Патрик Амедори\nD. Робби Бенсон\nE. Эштон Кутчер\nF. Андрей Тарковский\nG. 1985\nH. Леонид Гайдай\nI. Эми Смарт\nJ. Элден Хенсон\nK. 1971\nL. Брайан Хау\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 121, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.05671699717640877, + "B": 0.10596129298210144, + "C": 0.06426876783370972, + "D": 0.15417276322841644, + "E": 0.08252273499965668, + "F": 0.10596129298210144, + "G": 0.10596129298210144, + "H": 0.10596129298210144, + "I": 0.008170857094228268, + "J": 0.050052568316459656, + "K": 0.026791207492351532, + "L": 0.06426876783370972 + }, + "sample": { + "question": "Кто сыграл главную роль Криса Гарднера в фильме 'В погоне за счастьем'?", + "answerA": "Джейден Смит", + "answerB": "Брайан Хау", + "answerC": "Уилл Смит", + "answerD": "Джеймс Карен", + "correct_answer": "Уилл Смит", + "choices": [ + "Андрей Тарковский", + "Леонид Гайдай", + "1976", + "Джесси Корти", + "Робби Бенсон", + "Брайан Хау", + "Джеймс Карен", + "Джулия Робертс", + "1971", + "1985", + "Джейден Смит", + "Уилл Смит" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКто сыграл главную роль Криса Гарднера в фильме 'В погоне за счастьем'?\nA. Андрей Тарковский\nB. Леонид Гайдай\nC. 1976\nD. Джесси Корти\nE. Робби Бенсон\nF. Брайан Хау\nG. Джеймс Карен\nH. Джулия Робертс\nI. 1971\nJ. 1985\nK. Джейден Смит\nL. Уилл Смит\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 116, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.1860089898109436, + "B": 0.06038827449083328, + "C": 0.0775400772690773, + "D": 0.0684288889169693, + "E": 0.1641523540019989, + "F": 0.053292468190193176, + "G": 0.127841979265213, + "H": 0.11282015591859818, + "I": 0.03232351318001747, + "J": 0.01841738447546959, + "K": 0.011170707643032074, + "L": 0.025173578411340714 + }, + "sample": { + "question": "В каком году был выпущен фильм 'Белый Бим Черное ухо'?", + "answerA": "1971", + "answerB": "1976", + "answerC": "1983", + "answerD": "1988", + "correct_answer": "B", + "choices": [ + "1971", + "Джесси Корти", + "1983", + "2015", + "1988", + "Робби Бенсон", + "Андрей Тарковский", + "1985", + "1976", + "1975", + "Джулия Робертс", + "Леонид Гайдай" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nВ каком году был выпущен фильм 'Белый Бим Черное ухо'?\nA. 1971\nB. Джесси Корти\nC. 1983\nD. 2015\nE. 1988\nF. Робби Бенсон\nG. Андрей Тарковский\nH. 1985\nI. 1976\nJ. 1975\nK. Джулия Робертс\nL. Леонид Гайдай\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 122, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.10061980038881302, + "B": 0.21301211416721344, + "C": 0.053857896476984024, + "D": 0.08879666030406952, + "E": 0.053857896476984024, + "F": 0.14640094339847565, + "G": 0.12919838726520538, + "H": 0.08879666030406952, + "I": 0.0017312593990936875, + "J": 0.01861279085278511, + "K": 0.00775896618142724, + "L": 0.0008705318323336542 + }, + "sample": { + "question": "Кто является режиссером фильма 'Судьба человека' 1959 года?", + "answerA": "Андрей Тарковский", + "answerB": "Леонид Гайдай", + "answerC": "Сергей Бондарчук", + "answerD": "Владимир Меньшов", + "correct_answer": "Сергей Бондарчук", + "choices": [ + "Владимир Меньшов", + "Сергей Бондарчук", + "Джесси Корти", + "Рэйчел МакАдамс", + "Мартин Скорсезе", + "Робби Бенсон", + "1975", + "Андрей Тарковский", + "Джулия Робертс", + "Леонид Гайдай", + "2015", + "1985" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Судьба человека' 1959 года?\nA. Владимир Меньшов\nB. Сергей Бондарчук\nC. Джесси Корти\nD. Рэйчел МакАдамс\nE. Мартин Скорсезе\nF. Робби Бенсон\nG. 1975\nH. Андрей Тарковский\nI. Джулия Робертс\nJ. Леонид Гайдай\nK. 2015\nL. 1985\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 122, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.09718117117881775, + "B": 0.03575095161795616, + "C": 0.07568477094173431, + "D": 0.2641657888889313, + "E": 0.09718117117881775, + "F": 0.058943357318639755, + "G": 0.09718117117881775, + "H": 0.04590512812137604, + "I": 0.06679157167673111, + "J": 0.058943357318639755, + "K": 0.027842868119478226, + "L": 0.010242818854749203 + }, + "sample": { + "question": "Кто озвучил Белль в анимационном фильме 'Красавица и чудовище' 1991 года?", + "answerA": "Робби Бенсон", + "answerB": "Джесси Корти", + "answerC": "Анджела Лэнсбери", + "answerD": "Пейдж О’Хара", + "correct_answer": "Пейдж О’Хара", + "choices": [ + "2015", + "Стэнли Кубрик", + "1985", + "Анджела Лэнсбери", + "Рэйчел МакАдамс", + "1980", + "Джулия Робертс", + "1975", + "Пейдж О’Хара", + "Робби Бенсон", + "Мартин Скорсезе", + "Джесси Корти" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКто озвучил Белль в анимационном фильме 'Красавица и чудовище' 1991 года?\nA. 2015\nB. Стэнли Кубрик\nC. 1985\nD. Анджела Лэнсбери\nE. Рэйчел МакАдамс\nF. 1980\nG. Джулия Робертс\nH. 1975\nI. Пейдж О’Хара\nJ. Робби Бенсон\nK. Мартин Скорсезе\nL. Джесси Корти\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 136, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.060993798077106476, + "B": 0.10056176781654358, + "C": 0.21288926899433136, + "D": 0.08874545991420746, + "E": 0.06911502778530121, + "F": 0.07831759005784988, + "G": 0.24123515188694, + "H": 0.04750201478600502, + "I": 0.006428699009120464, + "J": 0.025425996631383896, + "K": 0.01860205829143524, + "L": 0.003899203147739172 + }, + "sample": { + "question": "В каком году Марти и Док приземляются в будущем в фильме 'Назад в будущее 2'?", + "answerA": "1985", + "answerB": "2015", + "answerC": "2025", + "answerD": "1955", + "correct_answer": "answerB", + "choices": [ + "Рэйчел МакАдамс", + "1985", + "1975", + "1955", + "Вивьен Ли", + "Мартин Скорсезе", + "2025", + "Стэнли Кубрик", + "Джулия Робертс", + "1980", + "Стивен Спилберг", + "2015" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nВ каком году Марти и Док приземляются в будущем в фильме 'Назад в будущее 2'?\nA. Рэйчел МакАдамс\nB. 1985\nC. 1975\nD. 1955\nE. Вивьен Ли\nF. Мартин Скорсезе\nG. 2025\nH. Стэнли Кубрик\nI. Джулия Робертс\nJ. 1980\nK. Стивен Спилберг\nL. 2015\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 133, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.5608376264572144, + "B": 0.04062694311141968, + "C": 0.07590111345052719, + "D": 0.024641485884785652, + "E": 0.06698250025510788, + "F": 0.03585314750671387, + "G": 0.07590111345052719, + "H": 0.031640294939279556, + "I": 0.027922458946704865, + "J": 0.006632165517657995, + "K": 0.0016768741188570857, + "L": 0.00013764621689915657 + }, + "sample": { + "question": "Кто сыграл главную роль Элли в фильме \"Дневник памяти\" 2004 года?", + "answerA": "Джулия Робертс", + "answerB": "Рэйчел МакАдамс", + "answerC": "Скарлетт Йоханссон", + "answerD": "Кирстен Данст", + "correct_answer": "B", + "choices": [ + "Кирстен Данст", + "Мартин Скорсезе", + "Джулия Робертс", + "1975", + "1980", + "Фрэнк Капра", + "Вивьен Ли", + "Рэйчел МакАдамс", + "Скарлетт Йоханссон", + "Стивен Спилберг", + "Андрей Тарковский", + "Стэнли Кубрик" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКто сыграл главную роль Элли в фильме \"Дневник памяти\" 2004 года?\nA. Кирстен Данст\nB. Мартин Скорсезе\nC. Джулия Робертс\nD. 1975\nE. 1980\nF. Фрэнк Капра\nG. Вивьен Ли\nH. Рэйчел МакАдамс\nI. Скарлетт Йоханссон\nJ. Стивен Спилберг\nK. Андрей Тарковский\nL. Стэнли Кубрик\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 127, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.08517930656671524, + "B": 0.14043693244457245, + "C": 0.09652079641819, + "D": 0.05854281783103943, + "E": 0.0663377121090889, + "F": 0.0663377121090889, + "G": 0.29730498790740967, + "H": 0.0663377121090889, + "I": 0.02765366993844509, + "J": 0.02765366993844509, + "K": 0.0069919428788125515, + "L": 0.001881855889223516 + }, + "sample": { + "question": "В каком году был выпущен итальянский фильм 'Укрощение строптивого'?", + "answerA": "1975", + "answerB": "1980", + "answerC": "1985", + "answerD": "1990", + "correct_answer": "1980", + "choices": [ + "Стэнли Кубрик", + "1985", + "Андрей Тарковский", + "1990", + "Вивьен Ли", + "Боб Хоскинс", + "1980", + "Кларк Гейбл", + "1975", + "Мартин Скорсезе", + "Стивен Спилберг", + "Фрэнк Капра" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nВ каком году был выпущен итальянский фильм 'Укрощение строптивого'?\nA. Стэнли Кубрик\nB. 1985\nC. Андрей Тарковский\nD. 1990\nE. Вивьен Ли\nF. Боб Хоскинс\nG. 1980\nH. Кларк Гейбл\nI. 1975\nJ. Мартин Скорсезе\nK. Стивен Спилберг\nL. Фрэнк Капра\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 120, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.04767690971493721, + "B": 0.45234593749046326, + "C": 0.05402502045035362, + "D": 0.06936950236558914, + "E": 0.06936950236558914, + "F": 0.04767690971493721, + "G": 0.03276783227920532, + "H": 0.025519613176584244, + "I": 0.005694195162504911, + "J": 0.12959928810596466, + "K": 0.007783041801303625, + "L": 0.004720653872936964 + }, + "sample": { + "question": "Кто режиссер фильма 'Однажды в Америке'?", + "answerA": "Мартин Скорсезе", + "answerB": "Стивен Спилберг", + "answerC": "Серджио Леоне", + "answerD": "Фрэнсис Форд Коппола", + "correct_answer": "C", + "choices": [ + "Никита Михалков", + "Мартин Скорсезе", + "Кевин Бейкон", + "Вивьен Ли", + "Фрэнсис Форд Коппола", + "Боб Хоскинс", + "Стэнли Кубрик", + "Кларк Гейбл", + "Фрэнк Капра", + "Стивен Спилберг", + "Андрей Тарковский", + "Серджио Леоне" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Однажды в Америке'?\nA. Никита Михалков\nB. Мартин Скорсезе\nC. Кевин Бейкон\nD. Вивьен Ли\nE. Фрэнсис Форд Коппола\nF. Боб Хоскинс\nG. Стэнли Кубрик\nH. Кларк Гейбл\nI. Фрэнк Капра\nJ. Стивен Спилберг\nK. Андрей Тарковский\nL. Серджио Леоне\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 107, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.06279090791940689, + "B": 0.1706833690404892, + "C": 0.05541277304291725, + "D": 0.13292834162712097, + "E": 0.05541277304291725, + "F": 0.09136022627353668, + "G": 0.09136022627353668, + "H": 0.08062511682510376, + "I": 0.014010543935000896, + "J": 0.13292834162712097, + "K": 0.020385220646858215, + "L": 0.010911421850323677 + }, + "sample": { + "question": "Кто режиссер фильма 'Римские каникулы'?", + "answerA": "Стэнли Кубрик", + "answerB": "Фрэнк Капра", + "answerC": "Уильям Уайлер", + "answerD": "Альфред Хичкок", + "correct_answer": "Уильям Уайлер", + "choices": [ + "Кларк Гейбл", + "Андрей Тарковский", + "Альфред Хичкок", + "Вим Вендерс", + "Вивьен Ли", + "Кевин Бейкон", + "Стивен Спилберг", + "Боб Хоскинс", + "Уильям Уайлер", + "Никита Михалков", + "Фрэнк Капра", + "Стэнли Кубрик" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Римские каникулы'?\nA. Кларк Гейбл\nB. Андрей Тарковский\nC. Альфред Хичкок\nD. Вим Вендерс\nE. Вивьен Ли\nF. Кевин Бейкон\nG. Стивен Спилберг\nH. Боб Хоскинс\nI. Уильям Уайлер\nJ. Никита Михалков\nK. Фрэнк Капра\nL. Стэнли Кубрик\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 108, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.10939709097146988, + "B": 0.10939709097146988, + "C": 0.0851985439658165, + "D": 0.15917181968688965, + "E": 0.045603491365909576, + "F": 0.06635268777608871, + "G": 0.06635268777608871, + "H": 0.10939709097146988, + "I": 0.008979860693216324, + "J": 0.025984086096286774, + "K": 0.016776585951447487, + "L": 0.0851985439658165 + }, + "sample": { + "question": "Кто является режиссером фильма Служебный роман?", + "answerA": "Андрей Тарковский", + "answerB": "Никита Михалков", + "answerC": "Эльдар Рязанов", + "answerD": "Леонид Гайдай", + "correct_answer": "Эльдар Рязанов", + "choices": [ + "Вим Вендерс", + "Стивен Спилберг", + "Никита Михалков", + "Флориан Хенкель фон Доннерсмарк", + "Андрей Тарковский", + "Киану Ривз", + "Леонид Гайдай", + "Эльдар Рязанов", + "Брюс Уиллис", + "Кевин Бейкон", + "Боб Хоскинс", + "Мартин Скорсезе" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма Служебный роман?\nA. Вим Вендерс\nB. Стивен Спилберг\nC. Никита Михалков\nD. Флориан Хенкель фон Доннерсмарк\nE. Андрей Тарковский\nF. Киану Ривз\nG. Леонид Гайдай\nH. Эльдар Рязанов\nI. Брюс Уиллис\nJ. Кевин Бейкон\nK. Боб Хоскинс\nL. Мартин Скорсезе\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.12392399460077286, + "B": 0.045589085668325424, + "C": 0.23152048885822296, + "D": 0.12392399460077286, + "E": 0.07516369968652725, + "F": 0.05165920779109001, + "G": 0.10936254262924194, + "H": 0.07516369968652725, + "I": 0.035504817962646484, + "J": 0.020230034366250038, + "K": 0.007442214526236057, + "L": 0.0018816865049302578 + }, + "sample": { + "question": "Кто озвучил главного героя, Балто, в американском анимационном фильме 1995 года?", + "answerA": "Боб Хоскинс", + "answerB": "Кевин Бейкон", + "answerC": "Джим Каммингс", + "answerD": "Фил Коллинз", + "correct_answer": "B", + "choices": [ + "Брюс Уиллис", + "Киану Ривз", + "Флориан Хенкель фон Доннерсмарк", + "Джим Каммингс", + "Боб Хоскинс", + "Кевин Бейкон", + "Мартин Скорсезе", + "Морган Фриман", + "Вим Вендерс", + "Фил Коллинз", + "Стивен Спилберг", + "Вольфганг Амадей Моцарт" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКто озвучил главного героя, Балто, в американском анимационном фильме 1995 года?\nA. Брюс Уиллис\nB. Киану Ривз\nC. Флориан Хенкель фон Доннерсмарк\nD. Джим Каммингс\nE. Боб Хоскинс\nF. Кевин Бейкон\nG. Мартин Скорсезе\nH. Морган Фриман\nI. Вим Вендерс\nJ. Фил Коллинз\nK. Стивен Спилберг\nL. Вольфганг Амадей Моцарт\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 135, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.012123639695346355, + "B": 0.10805682092905045, + "C": 0.015567062422633171, + "D": 0.035080913454294205, + "E": 0.1781555861234665, + "F": 0.051042430102825165, + "G": 0.12244443595409393, + "H": 0.3328384459018707, + "I": 0.0030653360299766064, + "J": 0.01763979159295559, + "K": 0.004189817700535059, + "L": 0.057838644832372665 + }, + "sample": { + "question": "Кто является режиссером фильма 'Темный рыцарь: Возрождение легенды'?", + "answerA": "Стивен Спилберг", + "answerB": "Мартин Скорсезе", + "answerC": "Кристофер Нолан", + "answerD": "Ридли Скотт", + "correct_answer": "Кристофер Нолан", + "choices": [ + "Вольфганг Амадей Моцарт", + "Флориан Хенкель фон Доннерсмарк", + "Стивен Спилберг", + "Киану Ривз", + "Морган Фриман", + "Вигго Мортенсен", + "Вим Вендерс", + "Мартин Скорсезе", + "Кристофер Нолан", + "Аль Пачино", + "Ридли Скотт", + "Брюс Уиллис" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Темный рыцарь: Возрождение легенды'?\nA. Вольфганг Амадей Моцарт\nB. Флориан Хенкель фон Доннерсмарк\nC. Стивен Спилберг\nD. Киану Ривз\nE. Морган Фриман\nF. Вигго Мортенсен\nG. Вим Вендерс\nH. Мартин Скорсезе\nI. Кристофер Нолан\nJ. Аль Пачино\nK. Ридли Скотт\nL. Брюс Уиллис\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 134, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.06983853876590729, + "B": 0.061632297933101654, + "C": 0.10161447525024414, + "D": 0.0896744579076767, + "E": 0.020009076222777367, + "F": 0.04235921427607536, + "G": 0.13047556579113007, + "H": 0.04799927771091461, + "I": 0.01291883084923029, + "J": 0.06983853876590729, + "K": 0.16753393411636353, + "L": 0.006102423649281263 + }, + "sample": { + "question": "Кто является режиссером фильма 'Жизнь других'?", + "answerA": "Вим Вендерс", + "answerB": "Флориан Хенкель фон Доннерсмарк", + "answerC": "Роланд Эммерих", + "answerD": "Том Тыквер", + "correct_answer": "Флориан Хенкель фон Доннерсмарк", + "choices": [ + "Вим Вендерс", + "Роланд Эммерих", + "Киану Ривз", + "Морган Фриман", + "Лудвиг ван Бетховен", + "Вигго Мортенсен", + "Брюс Уиллис", + "Вольфганг Амадей Моцарт", + "Том Тыквер", + "Гай Ричи", + "Флориан Хенкель фон Доннерсмарк", + "Аль Пачино" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Жизнь других'?\nA. Вим Вендерс\nB. Роланд Эммерих\nC. Киану Ривз\nD. Морган Фриман\nE. Лудвиг ван Бетховен\nF. Вигго Мортенсен\nG. Брюс Уиллис\nH. Вольфганг Амадей Моцарт\nI. Том Тыквер\nJ. Гай Ричи\nK. Флориан Хенкель фон Доннерсмарк\nL. Аль Пачино\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 128, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.1875685751438141, + "B": 0.07819022238254547, + "C": 0.2125430405139923, + "D": 0.16552868485450745, + "E": 0.05373929813504219, + "F": 0.05373929813504219, + "G": 0.1003982275724411, + "H": 0.0418522022664547, + "I": 0.006832185201346874, + "J": 0.011264368891716003, + "K": 0.0034354382660239935, + "L": 0.0008159881690517068 + }, + "sample": { + "question": "Кто из актеров сыграл роль Слевина в фильме 'Счастливое число Слевина'?", + "answerA": "Брюс Уиллис", + "answerB": "Морган Фриман", + "answerC": "Джош Хартнетт", + "answerD": "Бен Кингсли", + "correct_answer": "Джош Хартнетт", + "choices": [ + "Бен Кингсли", + "Киану Ривз", + "Брюс Уиллис", + "Джош Хартнетт", + "Морган Фриман", + "Махершала Али", + "Вигго Мортенсен", + "Аль Пачино", + "1975", + "Лудвиг ван Бетховен", + "Вольфганг Амадей Моцарт", + "Гай Ричи" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКто из актеров сыграл роль Слевина в фильме 'Счастливое число Слевина'?\nA. Бен Кингсли\nB. Киану Ривз\nC. Брюс Уиллис\nD. Джош Хартнетт\nE. Морган Фриман\nF. Махершала Али\nG. Вигго Мортенсен\nH. Аль Пачино\nI. 1975\nJ. Лудвиг ван Бетховен\nK. Вольфганг Амадей Моцарт\nL. Гай Ричи\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 129, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.04052428901195526, + "B": 0.031560346484184265, + "C": 0.05896248668432236, + "D": 0.5594205260276794, + "E": 0.045920033007860184, + "F": 0.029648201540112495, + "G": 0.07570933550596237, + "H": 0.010906964540481567, + "I": 0.007496239617466927, + "J": 0.01914231665432453, + "K": 0.05203421041369438, + "L": 0.00904219038784504 + }, + "sample": { + "question": "Кто сыграл главного адвоката фирмы в фильме 'Адвокат дьявола'?", + "answerA": "Киану Ривз", + "answerB": "Аль Пачино", + "answerC": "Шарлиз Терон", + "answerD": "Джеффри Джонс", + "correct_answer": "Аль Пачино", + "choices": [ + "Лудвиг ван Бетховен", + "Вольфганг Амадей Моцарт", + "1975", + "Дэмиен О’Доннелл", + "Махершала Али", + "Аль Пачино", + "Киану Ривз", + "Шарлиз Терон", + "Вигго Мортенсен", + "1975", + "Джеффри Джонс", + "Гай Ричи" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКто сыграл главного адвоката фирмы в фильме 'Адвокат дьявола'?\nA. Лудвиг ван Бетховен\nB. Вольфганг Амадей Моцарт\nC. 1975\nD. Дэмиен О’Доннелл\nE. Махершала Али\nF. Аль Пачино\nG. Киану Ривз\nH. Шарлиз Терон\nI. Вигго Мортенсен\nJ. 1975\nK. Джеффри Джонс\nL. Гай Ричи\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 131, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.05194461718201637, + "B": 0.0755789652466774, + "C": 0.12460865825414658, + "D": 0.14120009541511536, + "E": 0.035700976848602295, + "F": 0.0755789652466774, + "G": 0.23279960453510284, + "H": 0.035700976848602295, + "I": 0.007029938977211714, + "J": 0.024536898359656334, + "K": 0.05194461718201637, + "L": 0.016863947734236717 + }, + "sample": { + "question": "Кто является придворным композитором при императоре Иосифе II в фильме 'Амадей'?", + "answerA": "Вольфганг Амадей Моцарт", + "answerB": "Лудвиг ван Бетховен", + "answerC": "Антонио Сальери", + "answerD": "Иоганн Себастьян Бах", + "correct_answer": "Антонио Сальери", + "choices": [ + "Антонио Сальери", + "Тиэко Байсё", + "Иоганн Себастьян Бах", + "Махершала Али", + "Гай Ричи", + "1975", + "Вольфганг Амадей Моцарт", + "1975", + "1965", + "Дэмиен О’Доннелл", + "Лудвиг ван Бетховен", + "Вигго Мортенсен" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКто является придворным композитором при императоре Иосифе II в фильме 'Амадей'?\nA. Антонио Сальери\nB. Тиэко Байсё\nC. Иоганн Себастьян Бах\nD. Махершала Али\nE. Гай Ричи\nF. 1975\nG. Вольфганг Амадей Моцарт\nH. 1975\nI. 1965\nJ. Дэмиен О’Доннелл\nK. Лудвиг ван Бетховен\nL. Вигго Мортенсен\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 136, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.133953258395195, + "B": 0.0812467485666275, + "C": 0.19490082561969757, + "D": 0.04927864670753479, + "E": 0.06327503174543381, + "F": 0.05584002286195755, + "G": 0.17199937999248505, + "H": 0.07170001417398453, + "I": 0.004045037552714348, + "J": 0.010329365730285645, + "K": 0.015029137954115868, + "L": 0.002959412755444646 + }, + "sample": { + "question": "Кто из актёров сыграл роль Дона Ширли в фильме 'Зеленая книга' 2018 года?", + "answerA": "Вигго Мортенсен", + "answerB": "Махершала Али", + "answerC": "Линда Карделлини", + "answerD": "Себастьян Манискалко", + "correct_answer": "answerB", + "choices": [ + "Тиэко Байсё", + "Себастьян Манискалко", + "Гай Ричи", + "1975", + "Джеймс Хант", + "1975", + "Дэмиен О’Доннелл", + "Вигго Мортенсен", + "1980", + "1965", + "Линда Карделлини", + "Махершала Али" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКто из актёров сыграл роль Дона Ширли в фильме 'Зеленая книга' 2018 года?\nA. Тиэко Байсё\nB. Себастьян Манискалко\nC. Гай Ричи\nD. 1975\nE. Джеймс Хант\nF. 1975\nG. Дэмиен О’Доннелл\nH. Вигго Мортенсен\nI. 1980\nJ. 1965\nK. Линда Карделлини\nL. Махершала Али\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 141, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.028900183737277985, + "B": 0.08362545818090439, + "C": 0.02250748500227928, + "D": 0.07379920035600662, + "E": 0.05072139576077461, + "F": 0.0611816868185997, + "G": 0.09476005285978317, + "H": 0.2918815016746521, + "I": 0.009987635537981987, + "J": 0.06512756645679474, + "K": 0.025504320859909058, + "L": 0.06512756645679474 + }, + "sample": { + "question": "Кто является режиссёром фильма '…А в душе я танцую'?", + "answerA": "Гай Ричи", + "answerB": "Дэмиен О’Доннелл", + "answerC": "Кристофер Нолан", + "answerD": "Стивен Спилберг", + "correct_answer": "B", + "choices": [ + "1975", + "Джеймс Хант", + "Москва", + "Гай Ричи", + "1975", + "1980", + "1965", + "Такуя Кимура", + "Стивен Спилберг", + "Дэмиен О’Доннелл", + "Кристофер Нолан", + "Тиэко Байсё" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКто является режиссёром фильма '…А в душе я танцую'?\nA. 1975\nB. Джеймс Хант\nC. Москва\nD. Гай Ричи\nE. 1975\nF. 1980\nG. 1965\nH. Такуя Кимура\nI. Стивен Спилберг\nJ. Дэмиен О’Доннелл\nK. Кристофер Нолан\nL. Тиэко Байсё\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 124, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.26433244347572327, + "B": 0.06683370471000671, + "C": 0.20586231350898743, + "D": 0.08581617474555969, + "E": 0.09724248200654984, + "F": 0.058980543166399, + "G": 0.058980543166399, + "H": 0.052050139755010605, + "I": 0.016898207366466522, + "J": 0.014912616461515427, + "K": 0.00661743339151144, + "L": 0.01914817839860916 + }, + "sample": { + "question": "В каком году вышел фильм 'Шер��ок Холмс и доктор Ватсон: Смертельная схватка'?", + "answerA": "1975", + "answerB": "1980", + "answerC": "1985", + "answerD": "1990", + "correct_answer": "answerB", + "choices": [ + "1975", + "Стивен Спилберг", + "1985", + "Ники Лауда", + "1980", + "Санкт-Петербург", + "Такуя Кимура", + "Москва", + "Джеймс Хант", + "1990", + "Тиэко Байсё", + "1955" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nВ каком году вышел фильм 'Шерлок Холмс и доктор Ватсон: Смертельная схватка'?\nA. 1975\nB. Стивен Спилберг\nC. 1985\nD. Ники Лауда\nE. 1980\nF. Санкт-Петербург\nG. Такуя Кимура\nH. Москва\nI. Джеймс Хант\nJ. 1990\nK. Тиэко Байсё\nL. 1955\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 124, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.12619030475616455, + "B": 0.028156861662864685, + "C": 0.006687840446829796, + "D": 0.018179437145590782, + "E": 0.12619030475616455, + "F": 0.019351908937096596, + "G": 0.0361541248857975, + "H": 0.5655456781387329, + "I": 0.005544415209442377, + "J": 0.006687840446829796, + "K": 0.0023112560156732798, + "L": 0.0052084955386817455 + }, + "sample": { + "question": "Кто озвучил персонажа Хаула в японской версии фильма 'Ходячий замок'?", + "answerA": "Тиэко Байсё", + "answerB": "Такуя Кимура", + "answerC": "Акихиро Мива", + "answerD": "Тацуя Гасюин", + "correct_answer": "Такуя Кимура", + "choices": [ + "Тиэко Байсё", + "Торин Дубощит", + "Стивен Спилберг", + "1959", + "Тацуя Гасюин", + "Санкт-Петербург", + "Москва", + "Акихиро Мива", + "Ники Лауда", + "1955", + "Такуя Кимура", + "Джеймс Хант" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКто озвучил персонажа Хаула в японской версии фильма 'Ходячий замок'?\nA. Тиэко Байсё\nB. Торин Дубощит\nC. Стивен Спилберг\nD. 1959\nE. Тацуя Гасюин\nF. Санкт-Петербург\nG. Москва\nH. Акихиро Мива\nI. Ники Лауда\nJ. 1955\nK. Такуя Кимура\nL. Джеймс Хант\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 121, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.07243691384792328, + "B": 0.03877268731594086, + "C": 0.0564139261841774, + "D": 0.09301085025072098, + "E": 0.08208177983760834, + "F": 0.07243691384792328, + "G": 0.17376713454723358, + "H": 0.2528296709060669, + "I": 0.013399481773376465, + "J": 0.015183602459728718, + "K": 0.01426367461681366, + "L": 0.004630737006664276 + }, + "sample": { + "question": "Кто из гонщиков был австриец в фильме \"Гонка\" 2013 года?", + "answerA": "Джеймс Хант", + "answerB": "Ники Лауда", + "answerC": "Пьерфранческо Фавино", + "answerD": "Крис Хемсворт", + "correct_answer": "B", + "choices": [ + "Пьерфранческо Фавино", + "1959", + "Джеймс Хант", + "Квентин Тарантино", + "Москва", + "1955", + "Крис Хемсворт", + "Торин Дубощит", + "Стивен Спилберг", + "Санкт-Петербург", + "Надежда Румянцева", + "Ники Лауда" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКто из гонщиков был австриец в фильме \"Гонка\" 2013 года?\nA. Пьерфранческо Фавино\nB. 1959\nC. Джеймс Хант\nD. Квентин Тарантино\nE. Москва\nF. 1955\nG. Крис Хемсворт\nH. Торин Дубощит\nI. Стивен Спилберг\nJ. Санкт-Петербург\nK. Надежда Румянцева\nL. Ники Лауда\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 126, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.12447863072156906, + "B": 0.3383679687976837, + "C": 0.1410527527332306, + "D": 0.08555281907320023, + "E": 0.0404122918844223, + "F": 0.07550010085105896, + "G": 0.05189041048288345, + "H": 0.0404122918844223, + "I": 0.0007879142067395151, + "J": 0.007022602949291468, + "K": 0.004534133244305849, + "L": 0.0048265596851706505 + }, + "sample": { + "question": "В каком городе происходят основные события фильма Брат (1997)?", + "answerA": "Москва", + "answerB": "Санкт-Петербург", + "answerC": "Екатеринбург", + "answerD": "Новосибирск", + "correct_answer": "answerB", + "choices": [ + "Стивен Спилберг", + "Москва", + "Тайрон Пауэр", + "Голлум", + "1955", + "Надежда Румянцева", + "Екатеринбург", + "Торин Дубощит", + "Новосибирск", + "Квентин Тарантино", + "1959", + "Санкт-Петербург" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nВ каком городе происходят основные события фильма Брат (1997)?\nA. Стивен Спилберг\nB. Москва\nC. Тайрон Пауэр\nD. Голлум\nE. 1955\nF. Надежда Румянцева\nG. Екатеринбург\nH. Торин Дубощит\nI. Новосибирск\nJ. Квентин Тарантино\nK. 1959\nL. Санкт-Петербург\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 109, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.43490171432495117, + "B": 0.04045215994119644, + "C": 0.15999141335487366, + "D": 0.06669434159994125, + "E": 0.04583830386400223, + "F": 0.03569890558719635, + "G": 0.07557458430528641, + "H": 0.05194160342216492, + "I": 0.004263626877218485, + "J": 0.0027528039645403624, + "K": 0.0021438859403133392, + "L": 0.0006960179307498038 + }, + "sample": { + "question": "В каком году был выпущен фильм 'Баллада о солдате'?", + "answerA": "1955", + "answerB": "1959", + "answerC": "1962", + "answerD": "1945", + "correct_answer": "B", + "choices": [ + "1959", + "Голлум", + "1955", + "1945", + "Квентин Тарантино", + "Виталий Соломин", + "Торин Дубощит", + "1962", + "Стивен Спилберг", + "Надежда Румянцева", + "Тайрон Пауэр", + "Николай Рыбников" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nВ каком году был выпущен фильм 'Баллада о солдате'?\nA. 1959\nB. Голлум\nC. 1955\nD. 1945\nE. Квентин Тарантино\nF. Виталий Соломин\nG. Торин Дубощит\nH. 1962\nI. Стивен Спилберг\nJ. Надежда Румянцева\nK. Тайрон Пауэр\nL. Николай Рыбников\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 120, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.056912604719400406, + "B": 0.12048397213220596, + "C": 0.0644904226064682, + "D": 0.1547044813632965, + "E": 0.050225190818309784, + "F": 0.0644904226064682, + "G": 0.1547044813632965, + "H": 0.1365262269973755, + "I": 0.0036383008118718863, + "J": 0.01735736057162285, + "K": 0.00929072592407465, + "L": 0.011929528787732124 + }, + "sample": { + "question": "Кто является режиссером фильма 'Малышка на миллион'?", + "answerA": "Стивен Спилберг", + "answerB": "Квентин Тарантино", + "answerC": "Клинт Иствуд", + "answerD": "Мартин Скорсезе", + "correct_answer": "C", + "choices": [ + "2005", + "Квентин Тарантино", + "Торин Дубощит", + "Виталий Соломин", + "Голлум", + "Марлен Дитрих", + "Стивен Спилберг", + "Мартин Скорсезе", + "Надежда Румянцева", + "Николай Рыбников", + "Клинт Иствуд", + "Тайрон Пауэр" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Малышка на миллион'?\nA. 2005\nB. Квентин Тарантино\nC. Торин Дубощит\nD. Виталий Соломин\nE. Голлум\nF. Марлен Дитрих\nG. Стивен Спилберг\nH. Мартин Скорсезе\nI. Надежда Румянцева\nJ. Николай Рыбников\nK. Клинт Иствуд\nL. Тайрон Пауэр\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 116, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.06001195311546326, + "B": 0.08731687068939209, + "C": 0.09894298762083054, + "D": 0.1848498284816742, + "E": 0.09894298762083054, + "F": 0.20946229994297028, + "G": 0.052960362285375595, + "H": 0.04673735797405243, + "I": 0.005941987968981266, + "J": 0.028347639366984367, + "K": 0.015173397958278656, + "L": 0.025016704574227333 + }, + "sample": { + "question": "Кто встречает Бильбо Бэггинса, изменяющего его жизнь навсегда, в фильме 'Хоббит: Нежданное путешествие'?", + "answerA": "Торин Дубощит", + "answerB": "Голлум", + "answerC": "Дракон Смауг", + "answerD": "Гэндальф Серый", + "correct_answer": "B", + "choices": [ + "Василий Ливанов", + "Виталий Соломин", + "Николай Рыбников", + "Дракон Смауг", + "2005", + "Голлум", + "Надежда Румянцева", + "Марлен Дитрих", + "Гэндальф Серый", + "Торин Дубощит", + "Мистер Перри", + "Тайрон Пауэр" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКто встречает Бильбо Бэггинса, изменяющего его жизнь навсегда, в фильме 'Хоббит: Нежданное путешествие'?\nA. Василий Ливанов\nB. Виталий Соломин\nC. Николай Рыбников\nD. Дракон Смауг\nE. 2005\nF. Голлум\nG. Надежда Румянцева\nH. Марлен Дитрих\nI. Гэндальф Серый\nJ. Торин Дубощит\nK. Мистер Перри\nL. Тайрон Пауэр\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 134, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.07322553545236588, + "B": 0.06070609763264656, + "C": 0.0687890276312828, + "D": 0.10654252767562866, + "E": 0.05702810734510422, + "F": 0.04727796092629433, + "G": 0.08297540247440338, + "H": 0.0779481753706932, + "I": 0.028675531968474388, + "J": 0.08297540247440338, + "K": 0.10654252767562866, + "L": 0.050327129662036896 + }, + "sample": { + "question": "Кто из актеров сыграл роль адвоката Сэра Уилфрида Робартса в фильме 'Свидетель обвинения' 1957 года?", + "answerA": "Тайрон Пауэр", + "answerB": "Марлен Дитрих", + "answerC": "Чарльз Лотон", + "answerD": "Эльза Ланчестер", + "correct_answer": "Чарльз Лотон", + "choices": [ + "Тайрон Пауэр", + "2005", + "2008", + "Виталий Соломин", + "Мистер Перри", + "Джон Китинг", + "Эльза Ланчестер", + "Корбен Даллас", + "Марлен Дитрих", + "Василий Ливанов", + "Джордж Клуни", + "Чарльз Лотон" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКто из актеров сыграл роль адвоката Сэра Уилфрида Робартса в фильме 'Свидетель обвинения' 1957 года?\nA. Тайрон Пауэр\nB. 2005\nC. 2008\nD. Виталий Соломин\nE. Мистер Перри\nF. Джон Китинг\nG. Эльза Ланчестер\nH. Корбен Даллас\nI. Марлен Дитрих\nJ. Василий Ливанов\nK. Джордж Клуни\nL. Чарльз Лотон\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 130, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.10194560885429382, + "B": 0.10194560885429382, + "C": 0.10194560885429382, + "D": 0.07939532399177551, + "E": 0.07006612420082092, + "F": 0.07006612420082092, + "G": 0.1680798977613449, + "H": 0.06183314323425293, + "I": 0.021368959918618202, + "J": 0.04249725118279457, + "K": 0.022747140377759933, + "L": 0.037503693252801895 + }, + "sample": { + "question": "Кто сыграл роль Шерлока Холмса в фильме 'Шерлок Холмс и доктор Ватсон: Кровавая надпись'?", + "answerA": "Виталий Соломин", + "answerB": "Василий Ливанов", + "answerC": "Борислав Брондуков", + "answerD": "Игорь Дмитриев", + "correct_answer": "B", + "choices": [ + "2008", + "2005", + "Мистер Перри", + "Василий Ливанов", + "Корбен Даллас", + "Жан-Батист Эмануэль Зорг", + "Джон Китинг", + "Кевин", + "Виталий Соломин", + "Борислав Брондуков", + "Игорь Дмитриев", + "Джордж Клуни" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКто сыграл роль Шерлока Холмса в фильме 'Шерлок Холмс и доктор Ватсон: Кровавая надпись'?\nA. 2008\nB. 2005\nC. Мистер Перри\nD. Василий Ливанов\nE. Корбен Даллас\nF. Жан-Батист Эмануэль Зорг\nG. Джон Китинг\nH. Кевин\nI. Виталий Соломин\nJ. Борислав Брондуков\nK. Игорь Дмитриев\nL. Джордж Клуни\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 130, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.04189355671405792, + "B": 0.05379239842295647, + "C": 0.2127530574798584, + "D": 0.10049743205308914, + "E": 0.1138785108923912, + "F": 0.08868866413831711, + "G": 0.14622290432453156, + "H": 0.14622290432453156, + "I": 0.009950593113899231, + "J": 0.012002706527709961, + "K": 0.0072800093330442905, + "L": 0.010592350736260414 + }, + "sample": { + "question": "В каком году был выпущен фильм 'Мальчик в полосатой пижаме'?", + "answerA": "2005", + "answerB": "2008", + "answerC": "2010", + "answerD": "2012", + "correct_answer": "B", + "choices": [ + "Брэд Питт", + "Мистер Перри", + "2012", + "Джон Китинг", + "Жан-Батист Эмануэль Зорг", + "Корбен Даллас", + "Джордж Клуни", + "2008", + "2010", + "Кевин", + "Мартин Скорсезе", + "2005" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nВ каком году был выпущен фильм 'Мальчик �� полосатой пижаме'?\nA. Брэд Питт\nB. Мистер Перри\nC. 2012\nD. Джон Китинг\nE. Жан-Батист Эмануэль Зорг\nF. Корбен Даллас\nG. Джордж Клуни\nH. 2008\nI. 2010\nJ. Кевин\nK. Мартин Скорсезе\nL. 2005\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 128, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.09932500869035721, + "B": 0.09932500869035721, + "C": 0.23826831579208374, + "D": 0.09932500869035721, + "E": 0.046917811036109924, + "F": 0.06024366617202759, + "G": 0.1275358498096466, + "H": 0.038896236568689346, + "I": 0.002999355550855398, + "J": 0.012627758085727692, + "K": 0.008153093047440052, + "L": 0.0007124093826860189 + }, + "sample": { + "question": "Кто является новым преподавателем английской словесности в консервативном американском колледже в фильме 'Общество мертвых поэтов'?", + "answerA": "Мистер Перри", + "answerB": "Джон Китинг", + "answerC": "Стівен Миканд", + "answerD": "Чарльз Далтон", + "correct_answer": "B", + "choices": [ + "Мистер Перри", + "Шэрон Стоун", + "Чарльз Далтон", + "Стівен Миканд", + "Гарри", + "Кевин", + "Жан-Батист Эмануэль Зорг", + "Мартин Скорсезе", + "Брэд Питт", + "Корбен Даллас", + "Джордж Клуни", + "Джон Китинг" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКто является новым преподавателем английской словесности в консервативном американском колледже в фильме 'Общество мертвых поэтов'?\nA. Мистер Перри\nB. Шэрон Стоун\nC. Чарльз Далтон\nD. Стівен Миканд\nE. Гарри\nF. Кевин\nG. Жан-Батист Эмануэль Зорг\nH. Мартин Скорсезе\nI. Брэд Питт\nJ. Корбен Даллас\nK. Джордж Клуни\nL. Джон Китинг\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 121, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.06975633651018143, + "B": 0.07904426753520966, + "C": 0.1896173506975174, + "D": 0.10149486362934113, + "E": 0.06155974045395851, + "F": 0.05103481933474541, + "G": 0.1896173506975174, + "H": 0.04230935126543045, + "I": 0.005379030480980873, + "J": 0.02264656312763691, + "K": 0.019985521212220192, + "L": 0.000995020498521626 + }, + "sample": { + "question": "Кто из этих актеров играет роль Терри Бенедикта, владельца казино, в фильме 'Одиннадцать друзей Оушена'?", + "answerA": "Джордж Клуни", + "answerB": "Брэд Питт", + "answerC": "Мэтт Дэймон", + "answerD": "Энди Гарсиа", + "correct_answer": "Энди Гарсиа", + "choices": [ + "Кевин", + "Гарри", + "Мартин Скорсезе", + "Шэрон Стоун", + "Харольд Рэмис", + "Джо Пеши", + "Мэтт Дэймон", + "2001", + "Джордж Клуни", + "Стивен Спилберг", + "Энди Гарсиа", + "Брэд Питт" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКто из этих актеров играет роль Терри Бенедикта, владельца казино, в фильме 'Одиннадцать друзей Оушена'?\nA. Кевин\nB. Гарри\nC. Мартин Скорсезе\nD. Шэрон Стоун\nE. Харольд Рэмис\nF. Джо Пеши\nG. Мэтт Дэймон\nH. 2001\nI. Джордж Клуни\nJ. Стивен Спилберг\nK. Энди Гарсиа\nL. Брэд Питт\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 124, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.2606869041919708, + "B": 0.03528013825416565, + "C": 0.04530059173703194, + "D": 0.3347286283969879, + "E": 0.09590136259794235, + "F": 0.03528013825416565, + "G": 0.06591197103261948, + "H": 0.024247661232948303, + "I": 0.027476198971271515, + "J": 0.018884098157286644, + "K": 0.0037184993270784616, + "L": 0.001869778847321868 + }, + "sample": { + "question": "Кто режиссер фильма 'День сурка' 1993 года?", + "answerA": "Мартин Скорсезе", + "answerB": "Харольд Рэмис", + "answerC": "Стэнли Кубрик", + "answerD": "Стивен Спилберг", + "correct_answer": "Харольд Рэмис", + "choices": [ + "Скотт Венгер", + "Робин Уильямс", + "Стэнли Кубрик", + "Мартин Скорсезе", + "Петя Иванов", + "Джо Пеши", + "2011", + "Стивен Спилберг", + "Харольд Рэмис", + "Костя Иночкин", + "Шэрон Стоун", + "2001" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'День сурка' 1993 года?\nA. Скотт Венгер\nB. Робин Уильямс\nC. Стэнли Кубрик\nD. Мартин Скорсезе\nE. Петя Иванов\nF. Джо Пеши\nG. 2011\nH. Стивен Спилберг\nI. Харольд Рэмис\nJ. Костя Иночкин\nK. Шэрон Стоун\nL. 2001\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 118, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.011208897456526756, + "B": 0.07780517637729645, + "C": 0.21149638295173645, + "D": 0.14535920321941376, + "E": 0.04719122126698494, + "F": 0.05347466096282005, + "G": 0.07780517637729645, + "H": 0.015320747159421444, + "I": 0.004973918199539185, + "J": 0.0881648063659668, + "K": 0.14535920321941376, + "L": 0.009891818277537823 + }, + "sample": { + "question": "Кто из актеров сыграл роль Сэма Ротстина в фильме 'Казино' 1995 года?", + "answerA": "Шэрон Стоун", + "answerB": "Джо Пеши", + "answerC": "Роберт Де Ниро", + "answerD": "Джеймс Вудс", + "correct_answer": "answerC", + "choices": [ + "Стивен Спилберг", + "Джеймс Вудс", + "Джо Пеши", + "Скотт Венгер", + "Стэнли Кубрик", + "2011", + "Светы большого города", + "2001", + "Шэрон Стоун", + "Роберт Де Ниро", + "Робин Уильямс", + "Петя Иванов" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКто из актеров сыграл роль Сэма Ротстина в фильме 'Казино' 1995 года?\nA. Стивен Спилберг\nB. Джеймс Вудс\nC. Джо Пеши\nD. Скотт Венгер\nE. Стэнли Кубрик\nF. 2011\nG. Светы большого города\nH. 2001\nI. Шэрон Стоун\nJ. Роберт Де Ниро\nK. Робин Уильямс\nL. Петя Иванов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 120, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.11867780238389969, + "B": 0.0815659835934639, + "C": 0.07198172062635422, + "D": 0.17267517745494843, + "E": 0.15238530933856964, + "F": 0.0815659835934639, + "G": 0.1344795674085617, + "H": 0.04947226867079735, + "I": 0.020623110234737396, + "J": 0.04365912452340126, + "K": 0.008596991188824177, + "L": 0.026480598375201225 + }, + "sample": { + "question": "В каком году вышел фильм «Артист», рассказывающий историю звезды немого кино и статистки в эпоху Голливуда 1927 года?", + "answerA": "2001", + "answerB": "2011", + "answerC": "1999", + "answerD": "2015", + "correct_answer": "B", + "choices": [ + "Костя Иночкин", + "1985", + "Робин Уильямс", + "2015", + "2001", + "Стэнли Кубрик", + "1999", + "Петя Иванов", + "2011", + "Скотт Венгер", + "Светы большого города", + "Стивен Спилберг" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nВ каком году вышел фильм «Артист», рассказывающий историю звезды немого кино и статистки в эпоху Голливуда 1927 года?\nA. Костя Иночкин\nB. 1985\nC. Робин Уильямс\nD. 2015\nE. 2001\nF. Стэнли Кубрик\nG. 1999\nH. Петя Иванов\nI. 2011\nJ. Скотт Венгер\nK. Светы большого города\nL. Стивен Спилберг\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 136, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.061750322580337524, + "B": 0.1018090546131134, + "C": 0.07928897440433502, + "D": 0.07928897440433502, + "E": 0.16785475611686707, + "F": 0.07928897440433502, + "G": 0.11536477506160736, + "H": 0.06997226923704147, + "I": 0.020047392696142197, + "J": 0.06997226923704147, + "K": 0.018832780420780182, + "L": 0.02740153670310974 + }, + "sample": { + "question": "Кто режиссер фильма 'Приключения Шерлока Холмса и доктора Ватсона: Охота на тигра'?", + "answerA": "Стивен Спилберг", + "answerB": "Стэнли Кубрик", + "answerC": "Игорь Масленников", + "answerD": "Кристофер Нолан", + "correct_answer": "Игорь Масленников", + "choices": [ + "Робин Уильямс", + "Кристофер Нолан", + "Игорь Масленников", + "Светы большого города", + "Скотт Венгер", + "Стивен Спилберг", + "Новые времена", + "Петя Иванов", + "1985", + "Стэнли Кубрик", + "Костя Иночкин", + "Куинтон Аарон" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Приключения Шерлока Холмса и доктора Ватсона: Охота на тигра'?\nA. Робин Уильямс\nB. Кристофер Нолан\nC. Игорь Масленников\nD. Светы большого города\nE. Скотт Венгер\nF. Стивен Спилберг\nG. Новые времена\nH. Петя Иванов\nI. 1985\nJ. Стэнли Кубрик\nK. Костя Иночкин\nL. Куинтон Аарон\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.09846719354391098, + "B": 0.38944530487060547, + "C": 0.20845505595207214, + "D": 0.09846719354391098, + "E": 0.04651260748505592, + "F": 0.023388007655739784, + "G": 0.03196761757135391, + "H": 0.012518699280917645, + "I": 0.0004854026483371854, + "J": 0.0080826785415411, + "K": 0.003586667124181986, + "L": 0.0016942216316238046 + }, + "sample": { + "question": "Кто из актёров озвучил главного персонажа Джинна в фильме Аладдин 1992 года?", + "answerA": "Скотт Венгер", + "answerB": "Робин Уильямс", + "answerC": "Линда Ларкин", + "answerD": "Джонатан Фриман", + "correct_answer": "Робин Уильямс", + "choices": [ + "1986", + "Скотт Венгер", + "Куинтон Аарон", + "Линда Ларкин", + "Робин Уильямс", + "Новые времена", + "1985", + "1999", + "Светы большого города", + "Джонатан Фриман", + "Костя Иночкин", + "Петя Иванов" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКто из актёров озвучил главного персонажа Джинна в фильме Аладдин 1992 года?\nA. 1986\nB. Скотт Венгер\nC. Куинтон Аарон\nD. Линда Ларкин\nE. Робин Уильямс\nF. Новые времена\nG. 1985\nH. 1999\nI. Светы большого города\nJ. Джонатан Фриман\nK. Костя Иночкин\nL. Петя Иванов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 123, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.10073556005954742, + "B": 0.27382761240005493, + "C": 0.1141483262181282, + "D": 0.1465693563222885, + "E": 0.08889880776405334, + "F": 0.04758409783244133, + "G": 0.07845292240381241, + "H": 0.04199282452464104, + "I": 0.004157852381467819, + "J": 0.028861217200756073, + "K": 0.003669292200356722, + "L": 0.0006376273231580853 + }, + "sample": { + "question": "Как звали главного героя в фильме 'Добро пожаловать; или Посторонним вход воспрещен'?", + "answerA": "Петя Иванов", + "answerB": "Костя Иночкин", + "answerC": "Вася Петров", + "answerD": "Миша Смирнов", + "correct_answer": "B", + "choices": [ + "1985", + "Петя Иванов", + "1986", + "Миша Смирнов", + "Костя Иночкин", + "Вася Петров", + "1999", + "Новые времена", + "Тим Макгроу", + "Куинтон Аарон", + "Светы большого города", + "Александр Михайлов" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКак звали главного героя в фильме 'Добро пожаловать; или Посторонним вход воспрещен'?\nA. 1985\nB. Петя Иванов\nC. 1986\nD. Миша Смирнов\nE. Костя Иночкин\nF. Вася Петров\nG. 1999\nH. Новые времена\nI. Тим Макгроу\nJ. Куинтон Аарон\nK. Светы большого города\nL. Александр Михайлов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 120, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.19143933057785034, + "B": 0.07980378717184067, + "C": 0.19143933057785034, + "D": 0.1161138266324997, + "E": 0.07042659819126129, + "F": 0.06215124949812889, + "G": 0.13157419860363007, + "H": 0.04840344190597534, + "I": 0.017806630581617355, + "J": 0.022864168509840965, + "K": 0.012238306924700737, + "L": 0.007901645265519619 + }, + "sample": { + "question": "Какой фильм считается последним немым фильмом Чарли Чаплина?", + "answerA": "Светы большого города", + "answerB": "Новые времена", + "answerC": "Золотая лихорадка", + "answerD": "Диктатор", + "correct_answer": "Новые времена", + "choices": [ + "Александр Михайлов", + "1985", + "Жюльет Бинош", + "1986", + "2002", + "Куинтон Аарон", + "1999", + "Золотая лихорадка", + "Диктатор", + "Светы большого города", + "Тим Макгроу", + "Новые времена" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКакой фильм считается последним немым фильмом Чарли Чаплина?\nA. Александр Михайлов\nB. 1985\nC. Жюльет Бинош\nD. 1986\nE. 2002\nF. Куинтон Аарон\nG. 1999\nH. Золотая лихорадка\nI. Диктатор\nJ. Светы большого города\nK. Тим Макгроу\nL. Новые времена\n\nОтвет�� одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 114, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0736120194196701, + "B": 0.29114118218421936, + "C": 0.08341334760189056, + "D": 0.08341334760189056, + "E": 0.08341334760189056, + "F": 0.13752536475658417, + "G": 0.0736120194196701, + "H": 0.10710486769676208, + "I": 0.003234286792576313, + "J": 0.00879170186817646, + "K": 0.004152905661612749, + "L": 0.006042442284524441 + }, + "sample": { + "question": "В каком году был выпущен фильм 'Могила светлячков'?", + "answerA": "1985", + "answerB": "1986", + "answerC": "1988", + "answerD": "1990", + "correct_answer": "1988", + "choices": [ + "Куинтон Аарон", + "1986", + "Жюльет Бинош", + "Александр Михайлов", + "1999", + "Джейк", + "Сергей Юрский", + "1988", + "1985", + "Тим Макгроу", + "2002", + "1990" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nВ каком году был выпущен фильм 'Могила светлячков'?\nA. Куинтон Аарон\nB. 1986\nC. Жюльет Бинош\nD. Александр Михайлов\nE. 1999\nF. Джейк\nG. Сергей Юрский\nH. 1988\nI. 1985\nJ. Тим Макгроу\nK. 2002\nL. 1990\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 118, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.24808381497859955, + "B": 0.10341671854257584, + "C": 0.05535498261451721, + "D": 0.09126494824886322, + "E": 0.10341671854257584, + "F": 0.09126494824886322, + "G": 0.08054102212190628, + "H": 0.10341671854257584, + "I": 0.013995932415127754, + "J": 0.03357449173927307, + "K": 0.01023964211344719, + "L": 0.01090004201978445 + }, + "sample": { + "question": "Кто сыграл главную роль в фильме 'Невидимая сторона' 2009 года?", + "answerA": "Куинтон Аарон", + "answerB": "Тим Макгроу", + "answerC": "Сандра Буллок", + "answerD": "Джей Хед", + "correct_answer": "answerC", + "choices": [ + "Сергей Юрский", + "Одри Хепберн", + "1999", + "Куинтон Аарон", + "Джей Хед", + "Тим Макгроу", + "2002", + "Сандра Буллок", + "Александр Михайлов", + "Джейк", + "Профессор Мориарти", + "Жюльет Бинош" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКто сыграл главную роль в фильме 'Невидимая сторона' 2009 года?\nA. Сергей Юрский\nB. Одри Хепберн\nC. 1999\nD. Куинтон Аарон\nE. Джей Хед\nF. Тим Макгроу\nG. 2002\nH. Сандра Буллок\nI. Александр Михайлов\nJ. Джейк\nK. Профессор Мориарти\nL. Жюльет Бинош\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.05832782760262489, + "B": 0.05832782760262489, + "C": 0.33565351366996765, + "D": 0.15855149924755096, + "E": 0.0848664939403534, + "F": 0.040088094770908356, + "G": 0.12348003685474396, + "H": 0.04542576149106026, + "I": 0.006544201634824276, + "J": 0.013014698401093483, + "K": 0.010789564810693264, + "L": 0.0019958685152232647 + }, + "sample": { + "question": "В каком году вышел фильм \"Город Бога\"?", + "answerA": "1999", + "answerB": "2002", + "answerC": "2005", + "answerD": "2010", + "correct_answer": "answerB", + "choices": [ + "Капитан корабля", + "Профессор Мориа��ти", + "2002", + "2005", + "1999", + "Жюльет Бинош", + "Джейк", + "Бен", + "Одри Хепберн", + "2010", + "Александр Михайлов", + "Сергей Юрский" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nВ каком году вышел фильм \"Город Бога\"?\nA. Капитан корабля\nB. Профессор Мориарти\nC. 2002\nD. 2005\nE. 1999\nF. Жюльет Бинош\nG. Джейк\nH. Бен\nI. Одри Хепберн\nJ. 2010\nK. Александр Михайлов\nL. Сергей Юрский\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 108, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.03775215893983841, + "B": 0.16919343173503876, + "C": 0.14931268990039825, + "D": 0.11628483980894089, + "E": 0.042778801172971725, + "F": 0.04847473278641701, + "G": 0.16919343173503876, + "H": 0.04847473278641701, + "I": 0.004799648653715849, + "J": 0.03775215893983841, + "K": 0.07053031772375107, + "L": 0.005438714288175106 + }, + "sample": { + "question": "Кто сыграл главную роль в фильме 'Как украсть миллион' 1966 года?", + "answerA": "Жюльет Бинош", + "answerB": "Одри Хепберн", + "answerC": "Марлен Дитрих", + "answerD": "Мерил Стрип", + "correct_answer": "answerB", + "choices": [ + "Капитан корабля", + "Одри Хепберн", + "Джейк", + "Пол Ньюман", + "Бен", + "Санжай Лила Бхансали", + "Профессор Мориарти", + "Музыкант оркестра", + "Жюльет Бинош", + "Марлен Дитрих", + "Мерил Стрип", + "Джеймс Мориарти" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКто сыграл главную роль в фильме 'Как украсть миллион' 1966 года?\nA. Капитан корабля\nB. Одри Хепберн\nC. Джейк\nD. Пол Ньюман\nE. Бен\nF. Санжай Лила Бхансали\nG. Профессор Мориарти\nH. Музыкант оркестра\nI. Жюльет Бинош\nJ. Марлен Дитрих\nK. Мерил Стрип\nL. Джеймс Мориарти\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 117, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.05614696443080902, + "B": 0.0636228397488594, + "C": 0.11886312067508698, + "D": 0.3661241829395294, + "E": 0.03858920559287071, + "F": 0.03858920559287071, + "G": 0.11886312067508698, + "H": 0.05614696443080902, + "I": 0.012528080493211746, + "J": 0.015111750923097134, + "K": 0.03858920559287071, + "L": 0.003820848884060979 + }, + "sample": { + "question": "Как зовут инженера, отправившегося в необычное путешествие в фильме 'Семь жизней' 2008 года?", + "answerA": "Джейк", + "answerB": "Бен", + "answerC": "Макс", + "answerD": "Том", + "correct_answer": "answerB", + "choices": [ + "1989", + "Музыкант оркестра", + "Джейк", + "Санжай Лила Бхансали", + "Адитья Чопра", + "Бен", + "Капитан корабля", + "Том", + "Пол Ньюман", + "Профессор Мориарти", + "Макс", + "Джеймс Мориарти" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКак зовут инженера, отправившегося в необычное путешествие в фильме 'Семь жизней' 2008 года?\nA. 1989\nB. Музыкант оркестра\nC. Джейк\nD. Санжай Лила Бхансали\nE. Адитья Чопра\nF. Бен\nG. Капитан корабля\nH. Том\nI. Пол Ньюман\nJ. Профессор Мориарти\nK. Макс\nL. Джеймс Мориарти\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 118, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.10219331085681915, + "B": 0.025838511064648628, + "C": 0.19092221558094025, + "D": 0.07958821952342987, + "E": 0.061983369290828705, + "F": 0.027504954487085342, + "G": 0.2777901887893677, + "H": 0.048272691667079926, + "I": 0.00892955157905817, + "J": 0.011465771123766899, + "K": 0.007402857765555382, + "L": 0.0012084833579137921 + }, + "sample": { + "question": "Кто является злодеем в фильме 'Шерлок Холмс и доктор Ватсон: Король шантажа'?", + "answerA": "Профессор Мориарти", + "answerB": "Джеймс Мориарти", + "answerC": "Чарльз Огестос Милвертон", + "answerD": "Джон Ватсон", + "correct_answer": "Чарльз Огестос Милвертон", + "choices": [ + "Пол Ньюман", + "1989", + "Адитья Чопра", + "Капитан корабля", + "Стивен Спилберг", + "Музыкант оркестра", + "Профессор Мориарти", + "Санжай Лила Бхансали", + "Джеймс Мориарти", + "Роберт Редфорд", + "Джон Ватсон", + "Чарльз Огестос Милвертон" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКто является злодеем в фильме 'Шерлок Холмс и доктор Ватсон: Король шантажа'?\nA. Пол Ньюман\nB. 1989\nC. Адитья Чопра\nD. Капитан корабля\nE. Стивен Спилберг\nF. Музыкант оркестра\nG. Профессор Мориарти\nH. Санжай Лила Бхансали\nI. Джеймс Мориарти\nJ. Роберт Редфорд\nK. Джон Ватсон\nL. Чарльз Огестос Милвертон\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 129, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.13021017611026764, + "B": 0.042273055762052536, + "C": 0.061506930738687515, + "D": 0.1149100810289383, + "E": 0.061506930738687515, + "F": 0.04790164530277252, + "G": 0.18945468962192535, + "H": 0.061506930738687515, + "I": 0.07897645980119705, + "J": 0.04790164530277252, + "K": 0.021256225183606148, + "L": 0.007819728925824165 + }, + "sample": { + "question": "Кто нашел младенца на пароходе «Вирджиния» в фильме «Легенда о пианисте»?", + "answerA": "Капитан корабля", + "answerB": "Музыкант оркестра", + "answerC": "Моряк", + "answerD": "Пассажир", + "correct_answer": "answerC", + "choices": [ + "1989", + "Роберт Редфорд", + "Стивен Спилберг", + "Капитан корабля", + "Пол Ньюман", + "Пассажир", + "Санжай Лила Бхансали", + "Моряк", + "Ипполит Матвеевич Воробьянинов", + "1990", + "Адитья Чопра", + "Музыкант оркестра" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКто нашел младенца на пароходе «Вирджиния» в фильме «Легенда о пианисте»?\nA. 1989\nB. Роберт Редфорд\nC. Стивен Спилберг\nD. Капитан корабля\nE. Пол Ньюман\nF. Пассажир\nG. Санжай Лила Бхансали\nH. Моряк\nI. Ипполит Матвеевич Воробьянинов\nJ. 1990\nK. Адитья Чопра\nL. Музыкант оркестра\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 130, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.05776628106832504, + "B": 0.33242201805114746, + "C": 0.07417338341474533, + "D": 0.0952405110001564, + "E": 0.0654577761888504, + "F": 0.0397021509706974, + "G": 0.20162415504455566, + "H": 0.019963493570685387, + "I": 0.001976653467863798, + "J": 0.006899198982864618, + "K": 0.004741745535284281, + "L": 0.0027017653919756413 + }, + "sample": { + "question": "Кто режиссер фильма 'Меня зовут Кхан'?", + "answerA": "Санжай Лила Бхансали", + "answerB": "Адитья Чопра", + "answerC": "Каран Джохар", + "answerD": "Фарах Хан", + "correct_answer": "Каран Джохар", + "choices": [ + "Стивен Спилберг", + "Санжай Лила Бхансали", + "1989", + "Пол Ньюман", + "Фарах Хан", + "Роберт Редфорд", + "Каран Джохар", + "Стивен Спилберг", + "Адитья Чопра", + "Квентин Тарантино", + "1990", + "Ипполит Матвеевич Воробьянинов" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Меня зовут Кхан'?\nA. Стивен Спилберг\nB. Санжай Лила Бхансали\nC. 1989\nD. Пол Ньюман\nE. Фарах Хан\nF. Роберт Редфорд\nG. Каран Джохар\nH. Стивен Спилберг\nI. Адитья Чопра\nJ. Квентин Тарантино\nK. 1990\nL. Ипполит Матвеевич Воробьянинов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 124, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.036652762442827225, + "B": 0.07289271801710129, + "C": 0.0684763714671135, + "D": 0.11289845407009125, + "E": 0.03443208336830139, + "F": 0.04421166703104973, + "G": 0.11289845407009125, + "H": 0.0684763714671135, + "I": 0.009864957071840763, + "J": 0.09963253885507584, + "K": 0.14496448636054993, + "L": 0.053329456597566605 + }, + "sample": { + "question": "Кто из актеров сыграл одного из отпетых мошенников в фильме 'Афера' 1973 года?", + "answerA": "Пол Ньюман", + "answerB": "Роберт Редфорд", + "answerC": "Роберт Шоу", + "answerD": "Чарльз Дёрнинг", + "correct_answer": "Роберт Редфорд", + "choices": [ + "1990", + "Стивен Спилберг", + "Пол Ньюман", + "1989", + "Роберт Шоу", + "1999", + "Роберт Редфорд", + "Квентин Тарантино", + "Чарльз Дёрнинг", + "Стивен Спилберг", + "Ипполит Матвеевич Воробьянинов", + "Остап Бендер" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКто из актеров сыграл одного из отпетых мошенников в фильме 'Афера' 1973 года?\nA. 1990\nB. Стивен Спилберг\nC. Пол Ньюман\nD. 1989\nE. Роберт Шоу\nF. 1999\nG. Роберт Редфорд\nH. Квентин Тарантино\nI. Чарльз Дёрнинг\nJ. Стивен Спилберг\nK. Ипполит Матвеевич Воробьянинов\nL. Остап Бендер\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 130, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.09846372157335281, + "B": 0.024895528331398964, + "C": 0.09846372157335281, + "D": 0.7275539636611938, + "E": 0.013325616717338562, + "F": 0.005913206841796637, + "G": 0.0055549428798258305, + "H": 0.0024649910628795624, + "I": 0.0007062317454256117, + "J": 0.0009653043816797435, + "K": 0.0015915179392322898, + "L": 0.0002440671669319272 + }, + "sample": { + "question": "В каком году вышел фильм 'Привидение'?", + "answerA": "1989", + "answerB": "1990", + "answerC": "1991", + "answerD": "1992", + "correct_answer": "answerB", + "choices": [ + "1990", + "Стивен Спилберг", + "Мартин Скорсезе", + "1991", + "Стивен Спилберг", + "1999", + "1989", + "Остап Бендер", + "1992", + "Ипполит Матвеевич Воробьянинов", + "Василий Ливанов", + "Квентин Тарантино" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nВ каком году вышел фильм 'Привидение'?\nA. 1990\nB. Стивен Спилберг\nC. Мартин Скорсезе\nD. 1991\nE. Стивен Спилберг\nF. 1999\nG. 1989\nH. Остап Бендер\nI. 1992\nJ. Ипполит Матвеевич Воробьянинов\nK. Василий Ливанов\nL. Квентин Тарантино\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 122, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.05760686472058296, + "B": 0.0838174968957901, + "C": 0.039592575281858444, + "D": 0.13819168508052826, + "E": 0.07396867871284485, + "F": 0.07396867871284485, + "G": 0.15659169852733612, + "H": 0.22783955931663513, + "I": 0.008834298700094223, + "J": 0.02255917154252529, + "K": 0.017569100484251976, + "L": 0.011343463324010372 + }, + "sample": { + "question": "Кто является режиссером фильма 'Танцующий с волками' 1990 года?", + "answerA": "Стивен Спилберг", + "answerB": "Квентин Тарантино", + "answerC": "Кевин Костнер", + "answerD": "Мартин Скорсезе", + "correct_answer": "C", + "choices": [ + "Джеймс Кэмерон", + "Ридли Скотт", + "Стивен Спилберг", + "Квентин Тарантино", + "Василий Ливанов", + "Кевин Костнер", + "1999", + "Мартин Скорсезе", + "Остап Бендер", + "Ипполит Матвеевич Воробьянинов", + "Виталий Соломин", + "2004" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Танцующий с волками' 1990 года?\nA. Джеймс Кэмерон\nB. Ридли Скотт\nC. Стивен Спилберг\nD. Квентин Тарантино\nE. Василий Ливанов\nF. Кевин Костнер\nG. 1999\nH. Мартин Скорсезе\nI. Остап Бендер\nJ. Ипполит Матвеевич Воробьянинов\nK. Виталий Соломин\nL. 2004\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 123, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.02294681966304779, + "B": 0.0485784113407135, + "C": 0.2795494794845581, + "D": 0.07068117707967758, + "E": 0.02025049738585949, + "F": 0.029464298859238625, + "G": 0.116533562541008, + "H": 0.04287030175328255, + "I": 0.0108393095433712, + "J": 0.010182589292526245, + "K": 0.149632066488266, + "L": 0.002917360747233033 + }, + "sample": { + "question": "Кто из персонажей фильма '12 стульев' мечтал о собственном свечном заводике в Самаре?", + "answerA": "Ипполит Матвеевич Воробьянинов", + "answerB": "Остап Бендер", + "answerC": "отец Федор", + "answerD": "Наталья Воробьева", + "correct_answer": "answerC", + "choices": [ + "Мартин Скорсезе", + "Остап Бендер", + "отец Федор", + "2004", + "Виталий Соломин", + "1999", + "Джеймс Кэмерон", + "Наталья Воробьева", + "Василий Ливанов", + "2003", + "Ипполит Матвеевич Воробьянинов", + "Стивен Спилберг" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКто ��з персонажей фильма '12 стульев' мечтал о собственном свечном заводике в Самаре?\nA. Мартин Скорсезе\nB. Остап Бендер\nC. отец Федор\nD. 2004\nE. Виталий Соломин\nF. 1999\nG. Джеймс Кэмерон\nH. Наталья Воробьева\nI. Василий Ливанов\nJ. 2003\nK. Ипполит Матвеевич Воробьянинов\nL. Стивен Спилберг\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 126, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.2659166157245636, + "B": 0.06723425537347794, + "C": 0.05933402106165886, + "D": 0.08633048832416534, + "E": 0.05933402106165886, + "F": 0.05933402106165886, + "G": 0.08633048832416534, + "H": 0.08633048832416534, + "I": 0.04620937630534172, + "J": 0.040779635310173035, + "K": 0.015001989901065826, + "L": 0.040779635310173035 + }, + "sample": { + "question": "Кто режиссер фильма 'Жизнь Дэвида Гейла'?", + "answerA": "Стивен Спилберг", + "answerB": "Мартин Скорсезе", + "answerC": "Алан Паркер", + "answerD": "Квентин Тарантино", + "correct_answer": "Алан Паркер", + "choices": [ + "Ридли Скотт", + "Джеймс Кэмерон", + "Стивен Спилберг", + "Квентин Тарантино", + "Мартин Скорсезе", + "1999", + "2004", + "2005", + "2003", + "Виталий Соломин", + "Василий Ливанов", + "Алан Паркер" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Жизнь Дэвида Гейла'?\nA. Ридли Скотт\nB. Джеймс Кэмерон\nC. Стивен Спилберг\nD. Квентин Тарантино\nE. Мартин Скорсезе\nF. 1999\nG. 2004\nH. 2005\nI. 2003\nJ. Виталий Соломин\nK. Василий Ливанов\nL. Алан Паркер\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 113, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.49689382314682007, + "B": 0.08634719252586365, + "C": 0.04621832072734833, + "D": 0.06724726408720016, + "E": 0.0978441834449768, + "F": 0.05934550240635872, + "G": 0.03176535665988922, + "H": 0.024738885462284088, + "I": 0.028032831847667694, + "J": 0.0170027706772089, + "K": 0.0029546385630965233, + "L": 0.0015815041260793805 + }, + "sample": { + "question": "В каком году вышел фильм 'Рэй' о жизни американского музыканта Рэя Чарльза?", + "answerA": "1999", + "answerB": "2004", + "answerC": "2010", + "answerD": "2015", + "correct_answer": "answerB", + "choices": [ + "2004", + "1999", + "Василий Ливанов", + "Ридли Скотт", + "2010", + "2003", + "Виталий Соломин", + "Джеймс Кэмерон", + "2005", + "Стивен Спилберг", + "Мэтт Дэймон", + "2015" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nВ каком году вышел фильм 'Рэй' о жизни американского музыканта Рэя Чарльза?\nA. 2004\nB. 1999\nC. Василий Ливанов\nD. Ридли Скотт\nE. 2010\nF. 2003\nG. Виталий Соломин\nH. Джеймс Кэмерон\nI. 2005\nJ. Стивен Спилберг\nK. Мэтт Дэймон\nL. 2015\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 124, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0349314846098423, + "B": 0.12192286550998688, + "C": 0.03958255797624588, + "D": 0.09495362639427185, + "E": 0.10759655386209488, + "F": 0.3755488693714142, + "G": 0.07394995540380478, + "H": 0.02400803565979004, + "I": 0.0012723793042823672, + "J": 0.01756465435028076, + "K": 0.00779426796361804, + "L": 0.04485291615128517 + }, + "sample": { + "question": "Кто режиссер фильма 'Терминал'?", + "answerA": "Джеймс Кэмерон", + "answerB": "Ридли Скотт", + "answerC": "Стивен Спилберг", + "answerD": "Кристофер Нолан", + "correct_answer": "Стивен Спилберг", + "choices": [ + "Мэтт Дэймон", + "Джеймс Кэмерон", + "Кристофер Нолан", + "Квентин Тарантино", + "Робин Уильямс", + "Ридли Скотт", + "Джордж Лукас", + "Кира Найтли", + "Стивен Спилберг", + "Орландо Блум", + "2003", + "2005" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Терминал'?\nA. Мэтт Дэймон\nB. Джеймс Кэмерон\nC. Кристофер Нолан\nD. Квентин Тарантино\nE. Робин Уильямс\nF. Ридли Скотт\nG. Джордж Лукас\nH. Кира Найтли\nI. Стивен Спилберг\nJ. Орландо Блум\nK. 2003\nL. 2005\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 110, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.3053966462612152, + "B": 0.04133094102144241, + "C": 0.07721636444330215, + "D": 0.060136161744594574, + "E": 0.08749760687351227, + "F": 0.05306997522711754, + "G": 0.14425916969776154, + "H": 0.036474429070949554, + "I": 0.06814320385456085, + "J": 0.025068482384085655, + "K": 0.03218856826424599, + "L": 0.014283591881394386 + }, + "sample": { + "question": "В каком году вышел фильм 'Самый быстрый Indian'?", + "answerA": "2003", + "answerB": "2005", + "answerC": "2007", + "answerD": "2009", + "correct_answer": "2005", + "choices": [ + "2009", + "Мэтт Дэймон", + "Робин Уильямс", + "Стивен Спилберг", + "Роберт Дауни-мл.", + "Джордж Лукас", + "2005", + "Квентин Тарантино", + "2003", + "Орландо Блум", + "2007", + "Стивен Спилберг" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nВ каком году вышел фильм 'Самый быстрый Indian'?\nA. 2009\nB. Мэтт Дэймон\nC. Робин Уильямс\nD. Стивен Спилберг\nE. Роберт Дауни-мл.\nF. Джордж Лукас\nG. 2005\nH. Квентин Тарантино\nI. 2003\nJ. Орландо Блум\nK. 2007\nL. Стивен Спилберг\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 120, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.04633992165327072, + "B": 0.029919303953647614, + "C": 0.012472221627831459, + "D": 0.028106583282351494, + "E": 0.08657436817884445, + "F": 0.018146974965929985, + "G": 0.06742418557405472, + "H": 0.6397028565406799, + "I": 0.0021673468872904778, + "J": 0.003803812200203538, + "K": 0.003803812200203538, + "L": 0.01704750396311283 + }, + "sample": { + "question": "Кто является режиссером фильма 'Назад в будущее 3'?", + "answerA": "Стивен Спилберг", + "answerB": "Джордж Лукас", + "answerC": "Роберт Земекис", + "answerD": "Квентин Тарантино", + "correct_answer": "Роберт Земекис", + "choices": [ + "Роберт Дауни-мл.", + "Клинт Иствуд", + "Квентин Тарантино", + "Орландо Блум", + "Джордж Лукас", + "Робин Уильямс", + "Кира Найтли", + "Роберт Земекис", + "Аль Пачино", + "Мэтт Дэймон", + "Ли Ван Клиф", + "Стивен Спилберг" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Назад в будущее 3'?\nA. Роберт Дауни-мл.\nB. Клинт Иствуд\nC. Квентин Тарантино\nD. Орландо Блум\nE. Джордж Лукас\nF. Робин Уильямс\nG. Кира Найтли\nH. Роберт Земекис\nI. Аль Пачино\nJ. Мэтт Дэймон\nK. Ли Ван Клиф\nL. Стивен Спилберг\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 121, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.1046176329255104, + "B": 0.07190258055925369, + "C": 0.1046176329255104, + "D": 0.055997785180807114, + "E": 0.05960932374000549, + "F": 0.07190258055925369, + "G": 0.19545146822929382, + "H": 0.08673106133937836, + "I": 0.009141387417912483, + "J": 0.031906574964523315, + "K": 0.019352316856384277, + "L": 0.005544531624764204 + }, + "sample": { + "question": "Кто из актеров сыграл роль психотерапевта Шона Магуайр в фильме 'Умница Уилл Хантинг'?", + "answerA": "Мэтт Дэймон", + "answerB": "Робин Уильямс", + "answerC": "Бен Аффлек", + "answerD": "Стеллан Скарсгард", + "correct_answer": "answerB", + "choices": [ + "Орландо Блум", + "Кира Найтли", + "Роберт Дауни-мл.", + "Стивен Спилберг", + "Аль Пачино", + "Бен Аффлек", + "Стеллан Скарсгард", + "Робин Уильямс", + "Клинт Иствуд", + "Мамонт Манфред", + "Мэтт Дэймон", + "Квентин Тарантино" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКто из актеров сыграл роль психотерапевта Шона Магуайр в фильме 'Умница Уилл Хантинг'?\nA. Орландо Блум\nB. Кира Найтли\nC. Роберт Дауни-мл.\nD. Стивен Спилберг\nE. Аль Пачино\nF. Бен Аффлек\nG. Стеллан Скарсгард\nH. Робин Уильямс\nI. Клинт Иствуд\nJ. Мамонт Манфред\nK. Мэтт Дэймон\nL. Квентин Тарантино\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 134, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.07260669767856598, + "B": 0.04687840864062309, + "C": 0.06407518684864044, + "D": 0.08227416127920151, + "E": 0.053120192140340805, + "F": 0.041370049118995667, + "G": 0.25342226028442383, + "H": 0.036508940160274506, + "I": 0.009826247580349445, + "J": 0.044038183987140656, + "K": 0.03221902251243591, + "L": 0.003190115559846163 + }, + "sample": { + "question": "Кто режиссёр фильма 'Славные парни'?", + "answerA": "Квентин Тарантино", + "answerB": "Стивен Спилберг", + "answerC": "Мартин Скорсезе", + "answerD": "Кристофер Нолан", + "correct_answer": "Мартин Скорсезе", + "choices": [ + "Кира Найтли", + "Аль Пачино", + "Орландо Блум", + "Квентин Тарантино", + "Мамонт Манфред", + "Стивен Спилберг", + "Мартин Скорсезе", + "Клинт Иствуд", + "Кристофер Нолан", + "Роберт Дауни-мл.", + "Ли Ван Клиф", + "Радость" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКто режиссёр фильма 'Славные парни'?\nA. Кира Найтли\nB. Аль Пачино\nC. Орландо Блум\nD. Квентин Тарантино\nE. Мамонт Манфред\nF. Стивен Спилберг\nG. Мартин Скорсезе\nH. Клинт Иствуд\nI. Кристофер Нолан\nJ. Роберт Дауни-мл.\nK. ��и Ван Клиф\nL. Радость\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 120, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.09970660507678986, + "B": 0.1280258148908615, + "C": 0.1280258148908615, + "D": 0.06852728873491287, + "E": 0.1129823848605156, + "F": 0.1280258148908615, + "G": 0.03445768356323242, + "H": 0.014364098198711872, + "I": 0.0016116072656586766, + "J": 0.02368239499628544, + "K": 0.010508999228477478, + "L": 0.00927415955811739 + }, + "sample": { + "question": "Кто играл капитана Джека Воробья в фильме 'Пираты Карибского моря: Сундук мертвеца'?", + "answerA": "Орландо Блум", + "answerB": "Кира Найтли", + "answerC": "Джонни Депп", + "answerD": "Билл Найи", + "correct_answer": "Джонни Депп", + "choices": [ + "Билл Найи", + "Кира Найтли", + "Ли Ван Клиф", + "Радость", + "Ленивец Сид", + "Джонни Депп", + "Мамонт Манфред", + "Клинт Иствуд", + "Дэни Бойл", + "Роберт Дауни-мл.", + "Орландо Блум", + "Аль Пачино" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКто играл капитана Джека Воробья в фильме 'Пираты Карибского моря: Сундук мертвеца'?\nA. Билл Найи\nB. Кира Найтли\nC. Ли Ван Клиф\nD. Радость\nE. Ленивец Сид\nF. Джонни Депп\nG. Мамонт Манфред\nH. Клинт Иствуд\nI. Дэни Бойл\nJ. Роберт Дауни-мл.\nK. Орландо Блум\nL. Аль Пачино\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 131, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.2347562164068222, + "B": 0.06725878268480301, + "C": 0.14238685369491577, + "D": 0.11089099198579788, + "E": 0.05935566872358322, + "F": 0.0434255376458168, + "G": 0.11089099198579788, + "H": 0.06725878268480301, + "I": 0.0058770072646439075, + "J": 0.021835729479789734, + "K": 0.008032916113734245, + "L": 0.0031457352451980114 + }, + "sample": { + "question": "Кто сыграл главную роль в фильме 'Лицо со шрамом' 1983 года?", + "answerA": "Роберт Дауни-мл.", + "answerB": "Аль Пачино", + "answerC": "Том Круз", + "answerD": "Брэд Питт", + "correct_answer": "answerB", + "choices": [ + "Адриано Челентано", + "Радость", + "Том Круз", + "Роберт Дауни-мл.", + "Дэни Бойл", + "Аль Пачино", + "Печаль", + "Клинт Иствуд", + "Брэд Питт", + "Мамонт Манфред", + "Ленивец Сид", + "Ли Ван Клиф" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКто сыграл главную роль в фильме 'Лицо со шрамом' 1983 года?\nA. Адриано Челентано\nB. Радость\nC. Том Круз\nD. Роберт Дауни-мл.\nE. Дэни Бойл\nF. Аль Пачино\nG. Печаль\nH. Клинт Иствуд\nI. Брэд Питт\nJ. Мамонт Манфред\nK. Ленивец Сид\nL. Ли Ван Клиф\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 121, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.07753462344408035, + "B": 0.12783297896385193, + "C": 0.06842406094074249, + "D": 0.08785823732614517, + "E": 0.04150129109621048, + "F": 0.07753462344408035, + "G": 0.04417789727449417, + "H": 0.06038402393460274, + "I": 0.003860221477225423, + "J": 0.11281220614910126, + "K": 0.019603822380304337, + "L": 0.023646723479032516 + }, + "sample": { + "question": "Кто из актеров сыграл роль полковника Мортимера в фильме \"На несколько долларов больше\" (1965)?", + "answerA": "Клинт Иствуд", + "answerB": "Ли Ван Клиф", + "answerC": "Джан Мария Волонте", + "answerD": "Луиджи Пистилли", + "correct_answer": "answerB", + "choices": [ + "Ленивец Сид", + "Дэни Бойл", + "Печаль", + "Ли Ван Клиф", + "Мамонт Манфред", + "Клинт Иствуд", + "Джан Мария Волонте", + "Луиджи Пистилли", + "Радость", + "Том Хупер", + "Стивен Спилберг", + "Адриано Челентано" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКто из актеров сыграл роль полковника Мортимера в фильме \"На несколько долларов больше\" (1965)?\nA. Ленивец Сид\nB. Дэни Бойл\nC. Печаль\nD. Ли Ван Клиф\nE. Мамонт Манфред\nF. Клинт Иствуд\nG. Джан Мария Волонте\nH. Луиджи Пистилли\nI. Радость\nJ. Том Хупер\nK. Стивен Спилберг\nL. Адриано Челентано\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 127, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0825524851679802, + "B": 0.13610602915287018, + "C": 0.06843841075897217, + "D": 0.10599948465824127, + "E": 0.038995031267404556, + "F": 0.07285231351852417, + "G": 0.0825524851679802, + "H": 0.0825524851679802, + "I": 0.009859488345682621, + "J": 0.07755087316036224, + "K": 0.028529373928904533, + "L": 0.05673743411898613 + }, + "sample": { + "question": "Кто из животных не входит в основную группу персонажей в фильме 'Ледниковый период' 2002 года?", + "answerA": "Мамонт Манфред", + "answerB": "Ленивец Сид", + "answerC": "Саблезубый тигр", + "answerD": "Волк", + "correct_answer": "Волк", + "choices": [ + "2005", + "Печаль", + "Адриано Челентано", + "Волк", + "Энтони Куинн", + "Саблезубый тигр", + "Радость", + "Мамонт Манфред", + "Том Хупер", + "Стивен Спилберг", + "Ленивец Сид", + "Дэни Бойл" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКто из животных не входит в основную группу персонажей в фильме 'Ледниковый период' 2002 года?\nA. 2005\nB. Печаль\nC. Адриано Челентано\nD. Волк\nE. Энтони Куинн\nF. Саблезубый тигр\nG. Радость\nH. Мамонт Манфред\nI. Том Хупер\nJ. Стивен Спилберг\nK. Ленивец Сид\nL. Дэни Бойл\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 123, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0672265887260437, + "B": 0.07617770880460739, + "C": 0.1612682044506073, + "D": 0.1255958080291748, + "E": 0.0672265887260437, + "F": 0.0672265887260437, + "G": 0.09781410545110703, + "H": 0.05573280155658722, + "I": 0.019260739907622337, + "J": 0.1108379065990448, + "K": 0.031755588948726654, + "L": 0.01323769986629486 + }, + "sample": { + "question": "Какая эмоция не является одной из основных, управляющих поведением Райли в фильме «Головоломка»?", + "answerA": "Радость", + "answerB": "Печаль", + "answerC": "Любопытство", + "answerD": "Гнев", + "correct_answer": "Любопытство", + "choices": [ + "2005", + "Энтони Куинн", + "Печаль", + "Радость", + "Джефф Бриджес", + "Любопытство", + "Адриано Челентано", + "Дэни Бойл", + "Стивен Спилберг", + "Гнев", + "Мартин Скорсезе", + "Том Хупер" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКакая эмоция не является одной из основных, управляющих поведением Райли в фильме «Головоломка»?\nA. 2005\nB. Энтони Куинн\nC. Печаль\nD. Радость\nE. Джефф Бриджес\nF. Любопытство\nG. Адриано Челентано\nH. Дэни Бойл\nI. Стивен Спилберг\nJ. Гнев\nK. Мартин Скорсезе\nL. Том Хупер\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 122, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.4098432660102844, + "B": 0.038121361285448074, + "C": 0.07122007757425308, + "D": 0.04894879832863808, + "E": 0.09144839644432068, + "F": 0.023121776059269905, + "G": 0.09144839644432068, + "H": 0.020404893904924393, + "I": 0.08070291578769684, + "J": 0.01691625267267227, + "K": 0.0024370169267058372, + "L": 0.000896528537850827 + }, + "sample": { + "question": "Кто режиссер фильма 'Король говорит!'?", + "answerA": "Дэни Бойл", + "answerB": "Том Хупер", + "answerC": "Стивен Спилберг", + "answerD": "Кристофер Нолан", + "correct_answer": "B", + "choices": [ + "Леонид Куравлев", + "Энтони Куинн", + "Том Хупер", + "2005", + "Адриано Челентано", + "Стивен Спилберг", + "Дэни Бойл", + "Кевин Спейси", + "Мартин Скорсезе", + "Джефф Бриджес", + "Кристофер Нолан", + "2006" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Король говорит!'?\nA. Леонид Куравлев\nB. Энтони Куинн\nC. Том Хупер\nD. 2005\nE. Адриано Челентано\nF. Стивен Спилберг\nG. Дэни Бойл\nH. Кевин Спейси\nI. Мартин Скорсезе\nJ. Джефф Бриджес\nK. Кристофер Нолан\nL. 2006\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 116, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.043885305523872375, + "B": 0.22286798059940338, + "C": 0.32427099347114563, + "D": 0.04972856864333153, + "E": 0.03872865065932274, + "F": 0.03872865065932274, + "G": 0.10527537763118744, + "H": 0.03872865065932274, + "I": 0.000335068441927433, + "J": 0.002986432518810034, + "K": 0.002325835870578885, + "L": 0.00045798427890986204 + }, + "sample": { + "question": "Кто режиссер фильма 'Ромео и Джульетта' 1968 года?", + "answerA": "Стивен Спилберг", + "answerB": "Мартин Скорсезе", + "answerC": "Франко Дзеффирелли", + "answerD": "Ридли Скотт", + "correct_answer": "Франко Дзеффирелли", + "choices": [ + "Кевин Спейси", + "Матьё Кассовиц", + "Франко Дзеффирелли", + "2005", + "Ридли Скотт", + "Мартин Скорсезе", + "Стивен Спилберг", + "Зиновий Гердт", + "Джефф Бриджес", + "Кристофер Нолан", + "2006", + "Леонид Куравлев" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Ромео и Джульетта' 1968 года?\nA. Кевин Спейси\nB. Матьё Кассовиц\nC. Франко Дзеффирелли\nD. 2005\nE. Ридли Скотт\nF. Мартин Скорсезе\nG. Стивен Спилберг\nH. Зиновий Гердт\nI. ��жефф Бриджес\nJ. Кристофер Нолан\nK. 2006\nL. Леонид Куравлев\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 122, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.022944336757063866, + "B": 0.03782881796360016, + "C": 0.4608493149280548, + "D": 0.04286566376686096, + "E": 0.05504060536623001, + "F": 0.03782881796360016, + "G": 0.21768981218338013, + "H": 0.02946111001074314, + "I": 0.004809394478797913, + "J": 0.022944336757063866, + "K": 0.010838137939572334, + "L": 0.00044734333641827106 + }, + "sample": { + "question": "В каком году вышел фильм 'Перед классом'?", + "answerA": "2005", + "answerB": "2006", + "answerC": "2008", + "answerD": "2010", + "correct_answer": "2008", + "choices": [ + "Кристофер Нолан", + "Матьё Кассовиц", + "2008", + "Стивен Спилберг", + "Кевин Спейси", + "Леонид Куравлев", + "2010", + "Зиновий Гердт", + "Джефф Бриджес", + "2005", + "1951", + "2006" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nВ каком году вышел фильм 'Перед классом'?\nA. Кристофер Нолан\nB. Матьё Кассовиц\nC. 2008\nD. Стивен Спилберг\nE. Кевин Спейси\nF. Леонид Куравлев\nG. 2010\nH. Зиновий Гердт\nI. Джефф Бриджес\nJ. 2005\nK. 1951\nL. 2006\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.30573034286499023, + "B": 0.12744736671447754, + "C": 0.09925611317157745, + "D": 0.12744736671447754, + "E": 0.07730073481798172, + "F": 0.04137610271573067, + "G": 0.087593212723732, + "H": 0.028437351807951927, + "I": 0.011136227287352085, + "J": 0.022147033363580704, + "K": 0.004941670689731836, + "L": 0.000590198440477252 + }, + "sample": { + "question": "Кто играет главную роль Прота в фильме 'Планета Ка-Пэкс'?", + "answerA": "Джефф Бриджес", + "answerB": "Кевин Спейси", + "answerC": "Элфри Вудард", + "answerD": "Мэри МакКормак", + "correct_answer": "B", + "choices": [ + "Одри Тоту", + "Матьё Кассовиц", + "Стивен Спилберг", + "Мэри МакКормак", + "Леонид Куравлев", + "Элфри Вудард", + "Джефф Бриджес", + "1951", + "Зиновий Гердт", + "Кевин Спейси", + "Кристофер Нолан", + "1948" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКто играет главную роль Прота в фильме 'Планета Ка-Пэкс'?\nA. Одри Тоту\nB. Матьё Кассовиц\nC. Стивен Спилберг\nD. Мэри МакКормак\nE. Леонид Куравлев\nF. Элфри Вудард\nG. Джефф Бриджес\nH. 1951\nI. Зиновий Гердт\nJ. Кевин Спейси\nK. Кристофер Нолан\nL. 1948\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 121, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.05411963537335396, + "B": 0.3529043197631836, + "C": 0.27484217286109924, + "D": 0.12982626259326935, + "E": 0.012854539789259434, + "F": 0.010656788013875484, + "G": 0.0371958427131176, + "H": 0.013683585450053215, + "I": 0.00036465522134676576, + "J": 0.0028682355768978596, + "K": 0.002377850702032447, + "L": 0.00043985818047076464 + }, + "sample": { + "question": "Кто из актеров сыграл роль Остапа Бендера в фильме 'Золотой теленок' 1968 года?", + "answerA": "Леонид Куравлев", + "answerB": "Зиновий Гердт", + "answerC": "Сергей Юрский", + "answerD": "Евгений Евстигнеев", + "correct_answer": "Сергей Юрский", + "choices": [ + "1948", + "Зиновий Гердт", + "Евгений Евстигнеев", + "Сергей Юрский", + "Кристофер Нолан", + "Стивен Спилберг", + "Одри Тоту", + "Леонид Куравлев", + "Адольф Гитлер", + "1954", + "Матьё Кассовиц", + "1951" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКто из актеров сыграл роль Остапа Бендера в фильме 'Золотой теленок' 1968 года?\nA. 1948\nB. Зиновий Гердт\nC. Евгений Евстигнеев\nD. Сергей Юрский\nE. Кристофер Нолан\nF. Стивен Спилберг\nG. Одри Тоту\nH. Леонид Куравлев\nI. Адольф Гитлер\nJ. 1954\nK. Матьё Кассовиц\nL. 1951\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 129, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.01953057013452053, + "B": 0.09317513555288315, + "C": 0.018347272649407387, + "D": 0.056513573974370956, + "E": 0.10558126121759415, + "F": 0.11963925510644913, + "G": 0.10558126121759415, + "H": 0.3252131938934326, + "I": 0.0023325937800109386, + "J": 0.020790182054042816, + "K": 0.006749583873897791, + "L": 0.07256487011909485 + }, + "sample": { + "question": "Кто режиссер фильма 'Шерлок Холмс' 2009 года?", + "answerA": "Кристофер Нолан", + "answerB": "Стивен Спилберг", + "answerC": "Гай Ричи", + "answerD": "Питер Джексон", + "correct_answer": "C", + "choices": [ + "1950", + "Питер Джексон", + "1951", + "Адольф Гитлер", + "Стивен Спилберг", + "Гай Ричи", + "Матьё Кассовиц", + "Мартин Скорсезе", + "Кристофер Нолан", + "1948", + "1954", + "Одри Тоту" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Шерлок Холмс' 2009 года?\nA. 1950\nB. Питер Джексон\nC. 1951\nD. Адольф Гитлер\nE. Стивен Спилберг\nF. Гай Ричи\nG. Матьё Кассовиц\nH. Мартин Скорсезе\nI. Кристофер Нолан\nJ. 1948\nK. 1954\nL. Одри Тоту\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 118, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.03405264765024185, + "B": 0.5326730608940125, + "C": 0.10488954186439514, + "D": 0.134680837392807, + "E": 0.023404022678732872, + "F": 0.023404022678732872, + "G": 0.023404022678732872, + "H": 0.017122749239206314, + "I": 0.0003782907733693719, + "J": 0.013335210271179676, + "K": 0.004067008849233389, + "L": 0.0005170621443539858 + }, + "sample": { + "question": "Кто сыграл главную роль в фильме 'Амели'?", + "answerA": "Матьё Кассовиц", + "answerB": "Одри Тоту", + "answerC": "Серж Мерлен", + "answerD": "Рюфюс", + "correct_answer": "Одри Тоту", + "choices": [ + "1950", + "Одри Тоту", + "1954", + "Рюфюс", + "Герман Геринг", + "1951", + "Адольф Гитлер", + "Стивен Спилберг", + "1948", + "Серж Мерлен", + "Матьё Кассовиц", + "Мартин Скорсезе" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКто сыграл главную роль в фильме 'Амели'?\nA. 1950\nB. Одри Тоту\nC. 1954\nD. Рюфюс\nE. Герман Геринг\nF. 1951\nG. Адольф Гитлер\nH. Стивен Спилберг\nI. 1948\nJ. Серж Мерлен\nK. Матьё Кассовиц\nL. Мартин Скорсезе\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 113, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.006029618438333273, + "B": 0.12110813707113266, + "C": 0.03931805491447449, + "D": 0.7897242307662964, + "E": 0.007742184214293957, + "F": 0.008773044683039188, + "G": 0.006029618438333273, + "H": 0.0014321600319817662, + "I": 6.698301149299368e-05, + "J": 0.0011153673985973, + "K": 0.0006355171790346503, + "L": 0.00011043632548535243 + }, + "sample": { + "question": "В каком году был выпущен фильм 'Семь самураев'?", + "answerA": "1951", + "answerB": "1954", + "answerC": "1957", + "answerD": "1960", + "correct_answer": "1954", + "choices": [ + "Адольф Гитлер", + "1951", + "1948", + "1954", + "Стивен Спилберг", + "1950", + "Джон Гудман", + "1957", + "Герман Геринг", + "Квентин Тарантино", + "Мартин Скорсезе", + "1960" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nВ каком году был выпущен фильм 'Семь самураев'?\nA. Адольф Гитлер\nB. 1951\nC. 1948\nD. 1954\nE. Стивен Спилберг\nF. 1950\nG. Джон Гудман\nH. 1957\nI. Герман Геринг\nJ. Квентин Тарантино\nK. Мартин Скорсезе\nL. 1960\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 118, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.02979297563433647, + "B": 0.1039876937866211, + "C": 0.11783350259065628, + "D": 0.5280930995941162, + "E": 0.05566060170531273, + "F": 0.04912031069397926, + "G": 0.026292206719517708, + "H": 0.010960222221910954, + "I": 0.0019046012312173843, + "J": 0.007532843388617039, + "K": 0.005866584833711386, + "L": 0.026292206719517708 + }, + "sample": { + "question": "В каком году вышел фильм «В случае убийства набирайте «М»»?", + "answerA": "1948", + "answerB": "1950", + "answerC": "1954", + "answerD": "1958", + "correct_answer": "1954", + "choices": [ + "Герман Геринг", + "Стивен Спилберг", + "1948", + "1958", + "1950", + "1978", + "Адольф Гитлер", + "Квентин Тарантино", + "Квентин Тарантино", + "Джон Гудман", + "1954", + "Мартин Скорсезе" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nВ каком году вышел фильм «В случае убийства набирайте «М»»?\nA. Герман Геринг\nB. Стивен Спилберг\nC. 1948\nD. 1958\nE. 1950\nF. 1978\nG. Адольф Гитлер\nH. Квентин Тарантино\nI. Квентин Тарантино\nJ. Джон Гудман\nK. 1954\nL. Мартин Скорсезе\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 123, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.08767332136631012, + "B": 0.14454886317253113, + "C": 0.0322532095015049, + "D": 0.08767332136631012, + "E": 0.09934688359498978, + "F": 0.16379530727863312, + "G": 0.07737143337726593, + "H": 0.053176552057266235, + "I": 0.011146411299705505, + "J": 0.11257476359605789, + "K": 0.0267388503998518, + "L": 0.007660808973014355 + }, + "sample": { + "question": "Кто является главным обвиняемым в фильме 'Нюрнбергский процесс'?", + "answerA": "Адольф Гитлер", + "answerB": "Герман Геринг", + "answerC": "Эрнст Яни��г", + "answerD": "Рудольф Гесс", + "correct_answer": "answerC", + "choices": [ + "Джон Гудман", + "Рудольф Гесс", + "Квентин Тарантино", + "Джулия Робертс", + "Мартин Скорсезе", + "Квентин Тарантино", + "Эрнст Янинг", + "Герман Геринг", + "Стивен Спилберг", + "Адольф Гитлер", + "1978", + "Билли Кристал" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКто является главным обвиняемым в фильме 'Нюрнбергский процесс'?\nA. Джон Гудман\nB. Рудольф Гесс\nC. Квентин Тарантино\nD. Джулия Робертс\nE. Мартин Скорсезе\nF. Квентин Тарантино\nG. Эрнст Янинг\nH. Герман Геринг\nI. Стивен Спилберг\nJ. Адольф Гитлер\nK. 1978\nL. Билли Кристал\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 114, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.38788557052612305, + "B": 0.1832241714000702, + "C": 0.0980728268623352, + "D": 0.06740439683198929, + "E": 0.0980728268623352, + "F": 0.02479669451713562, + "G": 0.05948418006300926, + "H": 0.013272713869810104, + "I": 0.002782111754640937, + "J": 0.00756256515160203, + "K": 0.0015851997304707766, + "L": 0.0011597569100558758 + }, + "sample": { + "question": "Кто является режиссером фильма 'Бешеные псы'?", + "answerA": "Мартин Скорсезе", + "answerB": "Квентин Тарантино", + "answerC": "Стивен Спилберг", + "answerD": "Ридли Скотт", + "correct_answer": "B", + "choices": [ + "Билли Кристал", + "Квентин Тарантино", + "Кристофер Нолан", + "Мими Ледер", + "Ридли Скотт", + "Стивен Спилберг", + "1980", + "1978", + "Мартин Скорсезе", + "Джулия Робертс", + "Джон Гудман", + "Николь Кидман" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Бешеные псы'?\nA. Билли Кристал\nB. Квентин Тарантино\nC. Кристофер Нолан\nD. Мими Ледер\nE. Ридли Скотт\nF. Стивен Спилберг\nG. 1980\nH. 1978\nI. Мартин Скорсезе\nJ. Джулия Робертс\nK. Джон Гудман\nL. Николь Кидман\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 118, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.1120433509349823, + "B": 0.052925530821084976, + "C": 0.07700619846582413, + "D": 0.12696175277233124, + "E": 0.098877914249897, + "F": 0.05997249111533165, + "G": 0.16302211582660675, + "H": 0.07700619846582413, + "I": 0.04670661687850952, + "J": 0.04121844470500946, + "K": 0.036375150084495544, + "L": 0.01614137552678585 + }, + "sample": { + "question": "Кто режиссер фильма 'Заплати другому'?", + "answerA": "Стивен Спилберг", + "answerB": "Квентин Тарантино", + "answerC": "Мими Ледер", + "answerD": "Кристофер Нолан", + "correct_answer": "Мими Ледер", + "choices": [ + "Стивен Спилберг", + "Джулия Робертс", + "1982", + "Квентин Тарантино", + "Кристофер Нолан", + "Билли Кристал", + "1980", + "Мими Ледер", + "1978", + "Николь Кидман", + "Джон Гудман", + "1978" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Заплати другому'?\nA. Стивен Спилберг\nB. Джу��ия Робертс\nC. 1982\nD. Квентин Тарантино\nE. Кристофер Нолан\nF. Билли Кристал\nG. 1980\nH. Мими Ледер\nI. 1978\nJ. Николь Кидман\nK. Джон Гудман\nL. 1978\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 117, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.06267035007476807, + "B": 0.04880771040916443, + "C": 0.2808690071105957, + "D": 0.07101480662822723, + "E": 0.10332594811916351, + "F": 0.043072659522295, + "G": 0.21874099969863892, + "H": 0.05530638247728348, + "I": 0.009610808454453945, + "J": 0.010890473611652851, + "K": 0.010230652987957, + "L": 0.003763647051528096 + }, + "sample": { + "question": "В каком году вышел фильм 'Вам и не снилось...'?", + "answerA": "1978", + "answerB": "1980", + "answerC": "1985", + "answerD": "1991", + "correct_answer": "answerB", + "choices": [ + "Кристофер Нолан", + "Мартин Шин", + "1982", + "Марлон Брандо", + "1991", + "Джулия Робертс", + "1978", + "1980", + "Квентин Тарантино", + "Джоэл Эдгертон", + "Николь Кидман", + "1985" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nВ каком году вышел фильм 'Вам и не снилось...'?\nA. Кристофер Нолан\nB. Мартин Шин\nC. 1982\nD. Марлон Брандо\nE. 1991\nF. Джулия Робертс\nG. 1978\nH. 1980\nI. Квентин Тарантино\nJ. Джоэл Эдгертон\nK. Николь Кидман\nL. 1985\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 124, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.11869058758020401, + "B": 0.05606546252965927, + "C": 0.11869058758020401, + "D": 0.17269377410411835, + "E": 0.07198947668075562, + "F": 0.05606546252965927, + "G": 0.15240173041820526, + "H": 0.13449405133724213, + "I": 0.01606302335858345, + "J": 0.014175568707287312, + "K": 0.018201790750026703, + "L": 0.0038153023924678564 + }, + "sample": { + "question": "Кто сыграл главную женскую роль в фильме 'Вечное сияние чистого разума'?", + "answerA": "Джулия Робертс", + "answerB": "Николь Кидман", + "answerC": "Кейт Уинслет", + "answerD": "Мерил Стрип", + "correct_answer": "answerC", + "choices": [ + "Джоэл Эдгертон", + "Марлон Брандо", + "Мерил Стрип", + "Инна Чурикова", + "Кристофер Нолан", + "Квентин Тарантино", + "1978", + "Николь Кидман", + "Кейт Уинслет", + "Мартин Шин", + "Джулия Робертс", + "1982" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКто сыграл главную женскую роль в фильме 'Вечное сияние чистого разума'?\nA. Джоэл Эдгертон\nB. Марлон Брандо\nC. Мерил Стрип\nD. Инна Чурикова\nE. Кристофер Нолан\nF. Квентин Тарантино\nG. 1978\nH. Николь Кидман\nI. Кейт Уинслет\nJ. Мартин Шин\nK. Джулия Робертс\nL. 1982\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 124, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.09965262562036514, + "B": 0.2708838880062103, + "C": 0.18617559969425201, + "D": 0.07760953903198242, + "E": 0.04707255959510803, + "F": 0.04154139384627342, + "G": 0.07760953903198242, + "H": 0.05334020033478737, + "I": 0.001942916656844318, + "J": 0.015282224863767624, + "K": 0.005984604824334383, + "L": 0.001254441449418664 + }, + "sample": { + "question": "Кто режиссер фильма 'Три билборда на границе Эббинга, Миссури'?", + "answerA": "Квентин Тарантино", + "answerB": "Кристофер Нолан", + "answerC": "Мартин МакДона", + "answerD": "Дэвид Финчер", + "correct_answer": "Мартин МакДона", + "choices": [ + "1978", + "Мартин МакДона", + "Квентин Тарантино", + "Том Харди", + "Дэвид Финчер", + "1982", + "Стивен Спилберг", + "Инна Чурикова", + "Кристофер Нолан", + "Марлон Брандо", + "Мартин Шин", + "Джоэл Эдгертон" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Три билборда на границе Эббинга, Миссури'?\nA. 1978\nB. Мартин МакДона\nC. Квентин Тарантино\nD. Том Харди\nE. Дэвид Финчер\nF. 1982\nG. Стивен Спилберг\nH. Инна Чурикова\nI. Кристофер Нолан\nJ. Марлон Брандо\nK. Мартин Шин\nL. Джоэл Эдгертон\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 123, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.14178325235843658, + "B": 0.07589109241962433, + "C": 0.3854067921638489, + "D": 0.06697365641593933, + "E": 0.0217431653290987, + "F": 0.019188273698091507, + "G": 0.1251232624053955, + "H": 0.024638231843709946, + "I": 0.002022429369390011, + "J": 0.005164454225450754, + "K": 0.03584841638803482, + "L": 0.0003101495676673949 + }, + "sample": { + "question": "В каком году был выпущен фильм 'Ганди'?", + "answerA": "1978", + "answerB": "1982", + "answerC": "1985", + "answerD": "1990", + "correct_answer": "B", + "choices": [ + "1982", + "1985", + "1978", + "Том Харди", + "Стивен Спилберг", + "Мартин Шин", + "Олег Янковский", + "1990", + "Инна Чурикова", + "Марлон Брандо", + "1964", + "Джоэл Эдгертон" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nВ каком году был выпущен фильм 'Ганди'?\nA. 1982\nB. 1985\nC. 1978\nD. Том Харди\nE. Стивен Спилберг\nF. Мартин Шин\nG. Олег Янковский\nH. 1990\nI. Инна Чурикова\nJ. Марлон Брандо\nK. 1964\nL. Джоэл Эдгертон\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 118, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.04158058017492294, + "B": 0.06049938127398491, + "C": 0.3072412312030792, + "D": 0.1863512247800827, + "E": 0.0776827484369278, + "F": 0.028577884659171104, + "G": 0.1451304852962494, + "H": 0.04158058017492294, + "I": 0.006376588251441717, + "J": 0.0184512697160244, + "K": 0.0184512697160244, + "L": 0.004665211774408817 + }, + "sample": { + "question": "Кто из актеров сыграл роль капитана Уилларда в фильме 'Апокалипсис сегодня'?", + "answerA": "Марлон Брандо", + "answerB": "Мартин Шин", + "answerC": "Роберт Дювалл", + "answerD": "Фредерик Форрест", + "correct_answer": "answerB", + "choices": [ + "Приключения старого крестьянина во времена войны", + "Инна Чурикова", + "Том Харди", + "Джоэл Эдгертон", + "Олег Янковский", + "Роберт Дювалл", + "Мартин Шин", + "Фрэнк Маршалл", + "Фредерик Форрест", + "Марлон Брандо", + "1964", + "Стивен Спилберг" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКто из актеров сыграл роль капитана Уилларда в фильме 'Апокалипсис сегодня'?\nA. Приключения старого крестьянина во времена войны\nB. Инна Чурикова\nC. Том Харди\nD. Джоэл Эдгертон\nE. Олег Янковский\nF. Роберт Дювалл\nG. Мартин Шин\nH. Фрэнк Маршалл\nI. Фредерик Форрест\nJ. Марлон Брандо\nK. 1964\nL. Стивен Спилберг\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 118, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.06622916460037231, + "B": 0.058447033166885376, + "C": 0.26194143295288086, + "D": 0.10919342935085297, + "E": 0.12373237311840057, + "F": 0.03544991463422775, + "G": 0.10919342935085297, + "H": 0.10919342935085297, + "I": 0.012251163832843304, + "J": 0.021501461043953896, + "K": 0.008963142521679401, + "L": 0.004233888816088438 + }, + "sample": { + "question": "Кто сыграл роль барона Мюнхгаузена в фильме 'Тот самый Мюнхгаузен' 1979 года?", + "answerA": "Инна Чурикова", + "answerB": "Олег Янковский", + "answerC": "Александр Абдулов", + "answerD": "Игорь Кваша", + "correct_answer": "Олег Янковский", + "choices": [ + "1966", + "Противоестественность войны для человека — труженика, созидателя", + "Сэмюэл Л. Джексон", + "Фрэнк Маршалл", + "Олег Янковский", + "Приключения старого крестьянина во времена войны", + "1964", + "Стивен Спилберг", + "Александр Абдулов", + "Стивен Спилберг", + "Инна Чурикова", + "Игорь Кваша" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКто сыграл роль барона Мюнхгаузена в фильме 'Тот самый Мюнхгаузен' 1979 года?\nA. 1966\nB. Противоестественность войны для человека — труженика, созидателя\nC. Сэмюэл Л. Джексон\nD. Фрэнк Маршалл\nE. Олег Янковский\nF. Приключения старого крестьянина во времена войны\nG. 1964\nH. Стивен Спилберг\nI. Александр Абдулов\nJ. Стивен Спилберг\nK. Инна Чурикова\nL. Игорь Кваша\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 142, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.14453023672103882, + "B": 0.03654296696186066, + "C": 0.11256025731563568, + "D": 0.2700180411338806, + "E": 0.04140860587358475, + "F": 0.06827124953269958, + "G": 0.09933409094810486, + "H": 0.03224905580282211, + "I": 0.03654296696186066, + "J": 0.04140860587358475, + "K": 0.053169697523117065, + "L": 0.009835406206548214 + }, + "sample": { + "question": "Кто режиссер фильма 'Белый плен' 2005 года?", + "answerA": "Стивен Спилберг", + "answerB": "Фрэнк Маршалл", + "answerC": "Майкл Бэй", + "answerD": "Кристофер Нолан", + "correct_answer": "B", + "choices": [ + "Стивен Спилберг", + "1966", + "Противоестественность войны для человека — труженика, созидателя", + "Кристофер Нолан", + "1964", + "Роб Браун", + "Квентин Тарантино", + "Фрэнк Маршалл", + "Майкл Бэй", + "Приключения старого крестьянина во времена войны", + "Ридли Скотт", + "Сэмюэл Л. Джексон" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Белый плен' 2005 года?\nA. Стивен Спилберг\nB. 1966\nC. Противоестественность войны для человека — труженика, созидателя\nD. Кристофер Нолан\nE. 1964\nF. Роб Браун\nG. Квентин Тарантино\nH. Фрэнк Маршалл\nI. Майкл Бэй\nJ. Приключения старого крестьянина во времена войны\nK. Ридли Скотт\nL. Сэмюэл Л. Джексон\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 127, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.15700982511043549, + "B": 0.06545143574476242, + "C": 0.05097362399101257, + "D": 0.25886544585227966, + "E": 0.09523127973079681, + "F": 0.0741661936044693, + "G": 0.05776068940758705, + "H": 0.0741661936044693, + "I": 0.03091706894338131, + "J": 0.04498406499624252, + "K": 0.018752150237560272, + "L": 0.018752150237560272 + }, + "sample": { + "question": "В каком году был выпущен фильм 'Андрей Рублев'?", + "answerA": "1964", + "answerB": "1966", + "answerC": "1972", + "answerD": "1959", + "correct_answer": "1966", + "choices": [ + "1966", + "Роб Браун", + "Квентин Тарантино", + "1964", + "Стивен Спилберг", + "1972", + "Сэмюэл Л. Джексон", + "Приключения старого крестьянина во времена войны", + "Противоестественность войны для человека — труженика, созидателя", + "1959", + "Ридли Скотт", + "2004" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nВ каком году был выпущен фильм 'Андрей Рублев'?\nA. 1966\nB. Роб Браун\nC. Квентин Тарантино\nD. 1964\nE. Стивен Спилберг\nF. 1972\nG. Сэмюэл Л. Джексон\nH. Приключения старого крестьянина во времена войны\nI. Противоестественность войны для человека — труженика, созидателя\nJ. 1959\nK. Ридли Скотт\nL. 2004\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 132, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.014697353355586529, + "B": 0.08457741886377335, + "C": 0.018871774896979332, + "D": 0.8024482727050781, + "E": 0.01297036837786436, + "F": 0.014697353355586529, + "G": 0.014697353355586529, + "H": 0.0034909271635115147, + "I": 0.00026919139781966805, + "J": 0.003955738618969917, + "K": 0.003955738618969917, + "L": 0.0007789311348460615 + }, + "sample": { + "question": "Какова основная тема фильма 'Отец солдата'?", + "answerA": "Приключения старого крестьянина во времена войны", + "answerB": "Противоестественность войны для человека — труженика, созидателя", + "answerC": "История любви военного времени", + "answerD": "Спасение произведений искусства во время войны", + "correct_answer": "B", + "choices": [ + "2004", + "Спасение произведений искусства во время войны", + "Стивен Спилберг", + "Противоестественность войны для человека — труженика, созидателя", + "Приключения старого крестьянина во времена войны", + "Квентин Тарантино", + "История любви военного времени", + "Сэмюэл Л. Джексон", + "Ридли Скотт", + "Роб Браун", + "Стивен Спилберг", + "Мамору Хосода" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКакова основная тема фильма 'Отец солдата'?\nA. 2004\nB. Сп��сение произведений искусства во время войны\nC. Стивен Спилберг\nD. Противоестественность войны для человека — труженика, созидателя\nE. Приключения старого крестьянина во времена войны\nF. Квентин Тарантино\nG. История любви военного времени\nH. Сэмюэл Л. Джексон\nI. Ридли Скотт\nJ. Роб Браун\nK. Стивен Спилберг\nL. Мамору Хосода\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 129, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.023640280589461327, + "B": 0.17467936873435974, + "C": 0.2879975736141205, + "D": 0.07281719148159027, + "E": 0.023640280589461327, + "F": 0.02678794600069523, + "G": 0.17467936873435974, + "H": 0.03439640626311302, + "I": 0.0018229426350444555, + "J": 0.014338554814457893, + "K": 0.03439640626311302, + "L": 0.003005524631589651 + }, + "sample": { + "question": "Кто режиссер фильма 'Звёздные войны: Эпизод 3 – Месть Ситхов'?", + "answerA": "Стивен Спилберг", + "answerB": "Ридли Скотт", + "answerC": "Джордж Лукас", + "answerD": "Питер Джексон", + "correct_answer": "Джордж Лукас", + "choices": [ + "2004", + "Джордж Лукас", + "Роб Браун", + "Питер Джексон", + "Квентин Тарантино", + "Хаяо Миядзаки", + "Макото Синкай", + "Сэмюэл Л. Джексон", + "Стивен Спилберг", + "Мамору Хосода", + "Ридли Скотт", + "2006" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Звёздные войны: Эпизод 3 – Месть Ситхов'?\nA. 2004\nB. Джордж Лукас\nC. Роб Браун\nD. Питер Джексон\nE. Квентин Тарантино\nF. Хаяо Миядзаки\nG. Макото Синкай\nH. Сэмюэл Л. Джексон\nI. Стивен Спилберг\nJ. Мамору Хосода\nK. Ридли Скотт\nL. 2006\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 125, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.16083143651485443, + "B": 0.07597138732671738, + "C": 0.03588634356856346, + "D": 0.0975492000579834, + "E": 0.06704452633857727, + "F": 0.12525565922260284, + "G": 0.12525565922260284, + "H": 0.1822458952665329, + "I": 0.012401988729834557, + "J": 0.015924468636512756, + "K": 0.008007326163351536, + "L": 0.010281610302627087 + }, + "sample": { + "question": "Кто режиссер фильма \"Красота по-американски\"?", + "answerA": "Квентин Тарантино", + "answerB": "Стивен Спилберг", + "answerC": "Сэм Мендес", + "answerD": "Кристофер Нолан", + "correct_answer": "Сэм Мендес", + "choices": [ + "Макото Синкай", + "Хаяо Миядзаки", + "Бен Аффлек", + "Кристофер Нолан", + "Квентин Тарантино", + "2006", + "Сэм Мендес", + "Мамору Хосода", + "2004", + "Макото Синкай", + "Стэнли Кубрик", + "Стивен Спилберг" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма \"Красота по-американски\"?\nA. Макото Синкай\nB. Хаяо Миядзаки\nC. Бен Аффлек\nD. Кристофер Нолан\nE. Квентин Тарантино\nF. 2006\nG. Сэм Мендес\nH. Мамору Хосода\nI. 2004\nJ. Макото Синкай\nK. Стэнли Кубрик\nL. Стивен Спилберг\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 121, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.03273081034421921, + "B": 0.0889715701341629, + "C": 0.10081799328327179, + "D": 0.1294528692960739, + "E": 0.0785171389579773, + "F": 0.146689310669899, + "G": 0.11424175649881363, + "H": 0.11424175649881363, + "I": 0.009377533569931984, + "J": 0.04762304574251175, + "K": 0.027134794741868973, + "L": 0.03708886727690697 + }, + "sample": { + "question": "В каком году вышел фильм 'Писатели свободы'?", + "answerA": "2004", + "answerB": "2006", + "answerC": "2008", + "answerD": "2010", + "correct_answer": "2006", + "choices": [ + "Джордж Лукас", + "Бен Аффлек", + "Стэнли Кубрик", + "Хаяо Миядзаки", + "2010", + "2006", + "Мамору Хосода", + "2008", + "Макото Синкай", + "Дэвид Линч", + "2004", + "Макото Синкай" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nВ каком году вышел фильм 'Писатели свободы'?\nA. Джордж Лукас\nB. Бен Аффлек\nC. Стэнли Кубрик\nD. Хаяо Миядзаки\nE. 2010\nF. 2006\nG. Мамору Хосода\nH. 2008\nI. Макото Синкай\nJ. Дэвид Линч\nK. 2004\nL. Макото Синкай\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 120, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.01646728813648224, + "B": 0.07380125671625137, + "C": 0.0077785952016711235, + "D": 0.03076493926346302, + "E": 0.0348612442612648, + "F": 0.08362778276205063, + "G": 0.15623727440834045, + "H": 0.15623727440834045, + "I": 0.009987914003431797, + "J": 0.29188963770866394, + "K": 0.03950296714901924, + "L": 0.003451730590313673 + }, + "sample": { + "question": "Кто является режиссером фильма 'Мой сосед Тоторо'?", + "answerA": "Мамору Хосода", + "answerB": "Макото Синкай", + "answerC": "Хаяо Миядзаки", + "answerD": "Исао Такахата", + "correct_answer": "answerC", + "choices": [ + "Стэнли Кубрик", + "Макото Синкай", + "Стивен Спилберг", + "Квентин Тарантино", + "Джордж Лукас", + "Мартин Скорсезе", + "Бен Аффлек", + "Розамунд Пайк", + "Дэвид Линч", + "Хаяо Миядзаки", + "Исао Такахата", + "Мамору Хосода" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Мой сосед Тоторо'?\nA. Стэнли Кубрик\nB. Макото Синкай\nC. Стивен Спилберг\nD. Квентин Тарантино\nE. Джордж Лукас\nF. Мартин Скорсезе\nG. Бен Аффлек\nH. Розамунд Пайк\nI. Дэвид Линч\nJ. Хаяо Миядзаки\nK. Исао Такахата\nL. Мамору Хосода\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 122, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.14678025245666504, + "B": 0.1884695589542389, + "C": 0.06933407485485077, + "D": 0.27422159910202026, + "E": 0.01986454613506794, + "F": 0.028902743011713028, + "G": 0.053997430950403214, + "H": 0.053997430950403214, + "I": 0.004163834732025862, + "J": 0.04765256494283676, + "K": 0.02114569954574108, + "L": 0.002093707676976919 + }, + "sample": { + "question": "Как зовут режиссёра фильма 'Твоё имя'?", + "answerA": "Хаяо Миядзаки", + "answerB": "Макото Синкай", + "answerC": "Ёсиюки Томино", + "answerD": "Сатоси Кон", + "correct_answer": "answerB", + "choices": [ + "Макото Синкай", + "Хаяо Миядзаки", + "Розамунд Пайк", + "Ёсиюки Томино", + "Том Хэнкс", + "Стэнли Кубрик", + "Стивен Спилберг", + "Бен Аффлек", + "Джордж Лукас", + "Сатоси Кон", + "Квентин Тарантино", + "Дэвид Линч" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКак зовут режиссёра фильма 'Твоё имя'?\nA. Макото Синкай\nB. Хаяо Миядзаки\nC. Розамунд Пайк\nD. Ёсиюки Томино\nE. Том Хэнкс\nF. Стэнли Кубрик\nG. Стивен Спилберг\nH. Бен Аффлек\nI. Джордж Лукас\nJ. Сатоси Кон\nK. Квентин Тарантино\nL. Дэвид Линч\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 121, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.19811329245567322, + "B": 0.04152680188417435, + "C": 0.05009088292717934, + "D": 0.10604240745306015, + "E": 0.0825859010219574, + "F": 0.028540926054120064, + "G": 0.09358209371566772, + "H": 0.0825859010219574, + "I": 0.0643179640173912, + "J": 0.0825859010219574, + "K": 0.04420505091547966, + "L": 0.026811717078089714 + }, + "sample": { + "question": "Кто является режиссером фильма 'Человек-слон'?", + "answerA": "Стэнли Кубрик", + "answerB": "Дэвид Линч", + "answerC": "Альфред Хичкок", + "answerD": "Стивен Спилберг", + "correct_answer": "Дэвид Линч", + "choices": [ + "Бен Аффлек", + "Гравитация", + "Том Хэнкс", + "Кьюба Гудинг мл.", + "Дэвид Линч", + "Альфред Хичкок", + "Квентин Тарантино", + "Стивен Спилберг", + "Джордж Лукас", + "Стэнли Кубрик", + "Мартин Скорсезе", + "Розамунд Пайк" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Человек-слон'?\nA. Бен Аффлек\nB. Гравитация\nC. Том Хэнкс\nD. Кьюба Гудинг мл.\nE. Дэвид Линч\nF. Альфред Хичкок\nG. Квентин Тарантино\nH. Стивен Спилберг\nI. Джордж Лукас\nJ. Стэнли Кубрик\nK. Мартин Скорсезе\nL. Розамунд Пайк\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 116, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.03972724825143814, + "B": 0.07422026991844177, + "C": 0.42710816860198975, + "D": 0.2935468852519989, + "E": 0.014614838175475597, + "F": 0.00690356083214283, + "G": 0.06549916416406631, + "H": 0.0028778323903679848, + "I": 0.00017282726184930652, + "J": 0.0015403926372528076, + "K": 0.0018580681644380093, + "L": 8.16378160379827e-05 + }, + "sample": { + "question": "Кто является режиссером фильма 'Индиана Джонс и последний крестовый поход'?", + "answerA": "Джордж Лукас", + "answerB": "Стивен Спилберг", + "answerC": "Питер Джексон", + "answerD": "Джеймс Кэмерон", + "correct_answer": "Стивен Спилберг", + "choices": [ + "Квентин Тарантино", + "Кьюба Гудинг мл.", + "Джордж Лукас", + "Питер Джексон", + "Макото Синкай", + "Мартин Скорсезе", + "Ежи Биньчицкий", + "Гравитация", + "Том Хэнкс", + "В звездной пыли", + "Стивен Спилберг", + "Джеймс Кэмерон" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Индиана Джонс и последний крестовый поход'?\nA. Квентин Тарантино\nB. Кьюба Гудинг мл.\nC. Джордж Лукас\nD. Питер Джексон\nE. Макото Синкай\nF. Мартин Скорсезе\nG. Ежи Биньчицкий\nH. Гравитация\nI. Том Хэнкс\nJ. В звездной пыли\nK. Стивен Спилберг\nL. Джеймс Кэмерон\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 120, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.06613821536302567, + "B": 0.04545608162879944, + "C": 0.12356245517730713, + "D": 0.23084504902362823, + "E": 0.09623052924871445, + "F": 0.04838775098323822, + "G": 0.12356245517730713, + "H": 0.058366768062114716, + "I": 0.011493097990751266, + "J": 0.054830506443977356, + "K": 0.03540123626589775, + "L": 0.0027298498898744583 + }, + "sample": { + "question": "Кто режиссер фильма 'Схватка' 1995 года?", + "answerA": "Квентин Тарантино", + "answerB": "Мартин Скорсезе", + "answerC": "Майкл Манн", + "answerD": "Стивен Спилберг", + "correct_answer": "Майкл Манн", + "choices": [ + "Квентин Тарантино", + "Гравитация", + "Мартин Скорсезе", + "Ежи Биньчицкий", + "В звездной пыли", + "Роберт Дауни мл.", + "Майкл Манн", + "Кьюба Гудинг мл.", + "Макото Синкай", + "Горо Миядзаки", + "Том Хэнкс", + "Стивен Спилберг" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Схватка' 1995 года?\nA. Квентин Тарантино\nB. Гравитация\nC. Мартин Скорсезе\nD. Ежи Биньчицкий\nE. В звездной пыли\nF. Роберт Дауни мл.\nG. Майкл Манн\nH. Кьюба Гудинг мл.\nI. Макото Синкай\nJ. Горо Миядзаки\nK. Том Хэнкс\nL. Стивен Спилберг\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 126, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.07852400094270706, + "B": 0.03709210455417633, + "C": 0.2134503424167633, + "D": 0.11425174027681351, + "E": 0.061154548078775406, + "F": 0.028887363150715828, + "G": 0.1883692741394043, + "H": 0.04762721061706543, + "I": 0.014525478705763817, + "J": 0.013645423576235771, + "K": 0.022497499361634254, + "L": 0.0028602364473044872 + }, + "sample": { + "question": "Кто из актеров сыграл в фильме 'Военный ныряльщик'?", + "answerA": "Том Хэнкс", + "answerB": "Кьюба Гудинг мл.", + "answerC": "Мэтт Дэймон", + "answerD": "Леонардо Ди Каприо", + "correct_answer": "Кьюба Гудинг мл.", + "choices": [ + "Анна Дымна", + "Джордж Лукас", + "Макото Синкай", + "Роберт Дауни мл.", + "Горо Миядзаки", + "Мэтт Дэймон", + "Том Хэнкс", + "Гравитация", + "Ежи Биньчицкий", + "В звездной пыли", + "Кьюба Гудинг мл.", + "Леонардо Ди Каприо" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКто из актеров сыграл в фильме 'Военный ныряльщик'?\nA. Анна Дымна\nB. Джордж Лукас\nC. Макото Синкай\nD. Роберт Дауни мл.\nE. Горо Миядзаки\nF. Мэтт Дэймон\nG. Том Хэнкс\nH. Гравитация\nI. Ежи Биньчицкий\nJ. В звездной пыли\nK. Кьюба Гудинг мл.\nL. Леонардо Ди Каприо\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 122, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.18079756200313568, + "B": 0.15955328941345215, + "C": 0.10965926945209503, + "D": 0.0854027271270752, + "E": 0.07536763697862625, + "F": 0.09677396714687347, + "G": 0.10965926945209503, + "H": 0.05869637429714203, + "I": 0.02446828968822956, + "J": 0.03141790255904198, + "K": 0.008456015028059483, + "L": 0.00399433821439743 + }, + "sample": { + "question": "Как называется фильм, в котором мальчик из небольшого шахтерского городка, вдохновленный запуском первого советского 'Спутника', решает построить свою ракету?", + "answerA": "Гравитация", + "answerB": "В звездной пыли", + "answerC": "Октябрьское небо", + "answerD": "Интерстеллар", + "correct_answer": "C", + "choices": [ + "Гравитация", + "Ежи Биньчицкий", + "Роберт Дауни мл.", + "Макото Синкай", + "Хоакин Феникс", + "Горо Миядзаки", + "Интерстеллар", + "В звездной пыли", + "Октябрьское небо", + "Стэнли Кубрик", + "Джордж Лукас", + "Анна Дымна" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКак называется фильм, в котором мальчик из небольшого шахтерского городка, вдохновленный запуском первого советского 'Спутника', решает построить свою ракету?\nA. Гравитация\nB. Ежи Биньчицкий\nC. Роберт Дауни мл.\nD. Макото Синкай\nE. Хоакин Феникс\nF. Горо Миядзаки\nG. Интерстеллар\nH. В звездной пыли\nI. Октябрьское небо\nJ. Стэнли Кубрик\nK. Джордж Лукас\nL. Анна Дымна\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 137, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.1268877238035202, + "B": 0.046679381281137466, + "C": 0.02659710869193077, + "D": 0.0679180920124054, + "E": 0.0679180920124054, + "F": 0.041194409132003784, + "G": 0.1268877238035202, + "H": 0.34491655230522156, + "I": 0.012563585303723812, + "J": 0.02347186580300331, + "K": 0.005934617016464472, + "L": 0.012563585303723812 + }, + "sample": { + "question": "Кто является режиссером фильма Принцесса Мононоке?", + "answerA": "Макото Синкай", + "answerB": "Горо Миядзаки", + "answerC": "Хаяо Миядзаки", + "answerD": "Кацухиро Отомо", + "correct_answer": "Хаяо Миядзаки", + "choices": [ + "Кацухиро Отомо", + "Хаяо Миядзаки", + "Хоакин Феникс", + "Ежи Биньчицкий", + "Джордж Лукас", + "Анна Дымна", + "Роберт Дауни мл.", + "Горо Миядзаки", + "Тайцзицюань", + "Стэнли Кубрик", + "Ричард Маркуэнд", + "Макото Синкай" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма Принцесса Мононоке?\nA. Кацухиро Отомо\nB. Хаяо Миядзаки\nC. Хоакин Феникс\nD. Ежи Биньчицкий\nE. Джордж Лукас\nF. Анна Дымна\nG. Роберт Дауни мл.\nH. Горо Миядзаки\nI. Тайцзицюань\nJ. Стэнли Кубрик\nK. Ричард Маркуэнд\nL. Макото Синкай\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 128, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.2595635950565338, + "B": 0.06562795490026474, + "C": 0.05111109837889671, + "D": 0.06562795490026474, + "E": 0.07436621934175491, + "F": 0.04510538652539253, + "G": 0.07436621934175491, + "H": 0.06562795490026474, + "I": 0.04510538652539253, + "J": 0.12260916829109192, + "K": 0.01766352355480194, + "L": 0.020015396177768707 + }, + "sample": { + "question": "Кто из актёров играл в фильме Знахарь?", + "answerA": "Ежи Биньчицкий", + "answerB": "Анна Дымна", + "answerC": "Томаш Стокингер", + "answerD": "Бернард Ладыш", + "correct_answer": "Анна Дымна", + "choices": [ + "Ежи Биньчицкий", + "Хоакин Феникс", + "Альфред Хичкок", + "Тайцзицюань", + "Анна Дымна", + "Стэнли Кубрик", + "Бернард Ладыш", + "Ричард Маркуэнд", + "Джордж Лукас", + "Томаш Стокингер", + "Ридли Скотт", + "Роберт Дауни мл." + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКто из актёров играл в фильме Знахарь?\nA. Ежи Биньчицкий\nB. Хоакин Феникс\nC. Альфред Хичкок\nD. Тайцзицюань\nE. Анна Дымна\nF. Стэнли Кубрик\nG. Бернард Ладыш\nH. Ричард Маркуэнд\nI. Джордж Лукас\nJ. Томаш Стокингер\nK. Ридли Скотт\nL. Роберт Дауни мл.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 117, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.07906188815832138, + "B": 0.06977187097072601, + "C": 0.04231877997517586, + "D": 0.31269583106040955, + "E": 0.05433838441967964, + "F": 0.1303510218858719, + "G": 0.10151747614145279, + "H": 0.06977187097072601, + "I": 0.009442595764994621, + "J": 0.04504811018705368, + "K": 0.013738896697759628, + "L": 0.022651610895991325 + }, + "sample": { + "question": "Кто сыграл главную роль в фильме Джокер 2019 года?", + "answerA": "Роберт Дауни мл.", + "answerB": "Хоакин Феникс", + "answerC": "Бенедикт Камбербэтч", + "answerD": "Кристиан Бэйл", + "correct_answer": "answerB", + "choices": [ + "Бенедикт Камбербэтч", + "Роберт Дауни мл.", + "Джордж Лукас", + "Хоакин Феникс", + "Альфред Хичкок", + "Ричард Маркуэнд", + "Ридли Скотт", + "Майк Майерс", + "Стэнли Кубрик", + "Вин-чун", + "Тайцзицюань", + "Кристиан Бэйл" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКто сыграл главную роль в фильме Джокер 2019 года?\nA. Бенедикт Камбербэтч\nB. Роберт Дауни мл.\nC. Джордж Лукас\nD. Хоакин Феникс\nE. Альфред Хичкок\nF. Ричард Маркуэнд\nG. Ридли Скотт\nH. Майк Майерс\nI. Стэнли Кубрик\nJ. Вин-чун\nK. Тайцзицюань\nL. Кристиан Бэйл\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 120, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.012464403174817562, + "B": 0.046310875564813614, + "C": 0.0980401262640953, + "D": 0.11109401285648346, + "E": 0.03182896599173546, + "F": 0.036066945642232895, + "G": 0.14264753460884094, + "H": 0.016004610806703568, + "I": 0.004307582508772612, + "J": 0.046310875564813614, + "K": 0.3421936631202698, + "L": 0.011709222570061684 + }, + "sample": { + "question": "Кто режиссер фильма 'Звёздные войны: Эпизод 6 – Возвращение Джедая'?", + "answerA": "Джордж Лукас", + "answerB": "Ричард Маркуэнд", + "answerC": "Ирвин Кершнер", + "answerD": "Стивен Спилберг", + "correct_answer": "B", + "choices": [ + "Федерико Феллини", + "Стэнли Кубрик", + "Майк Майерс", + "Стивен Спилберг", + "Альфред Хичкок", + "Ридли Скотт", + "Пол Джаматти", + "Ирвин Кершнер", + "Тайцзицюань", + "Ричард Маркуэнд", + "Джордж Лукас", + "Вин-чун" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Звёздные войны: Эпизод 6 – Возвращение Джедая'?\nA. Федерико Феллини\nB. Стэнли Кубрик\nC. Майк Майерс\nD. Стивен Спилберг\nE. Альфред Хичкок\nF. Ридли Скотт\nG. Пол Джаматти\nH. Ирвин Кершнер\nI. Тайцзицюань\nJ. Ричард Маркуэнд\nK. Джордж Лукас\nL. Вин-чун\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 123, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.9321455359458923, + "B": 0.003809465793892741, + "C": 0.003809465793892741, + "D": 0.001491808332502842, + "E": 0.000798507418949157, + "F": 3.734668644028716e-05, + "G": 6.157427560538054e-05, + "H": 9.536810830468312e-05, + "I": 2.566797957115341e-05, + "J": 8.959005208453164e-05, + "K": 2.265191142214462e-05, + "L": 5.380300535762217e-06 + }, + "sample": { + "question": "Кто является режиссером фильма 'Психо' 1960 года?", + "answerA": "Стэнли Кубрик", + "answerB": "Альфред Хичкок", + "answerC": "Фрэнк Дарабонт", + "answerD": "Стивен Спилберг", + "correct_answer": "B", + "choices": [ + "Альфред Хичкок", + "Тайцзицюань", + "Фрэнк Дарабонт", + "Ридли Скотт", + "Брэд Питт", + "Вин-чун", + "Майк Майерс", + "Пол Джаматти", + "Стэнли Кубрик", + "Эдди Мёрфи", + "Стивен Спилберг", + "Федерико Феллини" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Психо' 1960 года?\nA. Альфред Хичкок\nB. Тайцзицюань\nC. Фрэнк Дарабонт\nD. Ридли Скотт\nE. Брэд Питт\nF. Вин-чун\nG. Майк Майерс\nH. Пол Джаматти\nI. Стэнли Кубрик\nJ. Эдди Мёрфи\nK. Стивен Спилберг\nL. Федерико Феллини\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 118, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.1723710000514984, + "B": 0.03613092377781868, + "C": 0.015061610378324986, + "D": 0.02995358593761921, + "E": 0.08142229169607162, + "F": 0.043582212179899216, + "G": 0.08142229169607162, + "H": 0.3220314085483551, + "I": 0.031885430216789246, + "J": 0.028138790279626846, + "K": 0.008581846952438354, + "L": 0.07185492664575577 + }, + "sample": { + "question": "Какой боевой искусством мастерски владел Ип Ман?", + "answerA": "Тайцзицюань", + "answerB": "Вин-чун", + "answerC": "Карате", + "answerD": "Тхэквондо", + "correct_answer": "B", + "choices": [ + "Тайцзицюань", + "Руфус Сьюэлл", + "Брэд Питт", + "Ридли Скотт", + "Рам Шанкар Никум", + "Эдди Мёрфи", + "Тхэквондо", + "Вин-чун", + "Пол Джаматти", + "Карате", + "Майк Майерс", + "Федерико Феллини" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакой боевой искусством мастерски владел Ип Ман?\nA. Тайцзицюань\nB. Руфус Сьюэлл\nC. Брэд Питт\nD. Ридли Скотт\nE. Рам Шанкар Никум\nF. Эдди Мёрфи\nG. Тхэквондо\nH. Вин-чун\nI. Пол Джаматти\nJ. Карате\nK. Майк Майерс\nL. Федерико Феллини\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 115, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.26267796754837036, + "B": 0.045646581798791885, + "C": 0.08527904748916626, + "D": 0.06641539186239243, + "E": 0.045646581798791885, + "F": 0.015775037929415703, + "G": 0.08527904748916626, + "H": 0.026008641347289085, + "I": 0.15932223200798035, + "J": 0.03137240931391716, + "K": 0.013077965006232262, + "L": 0.003988554235547781 + }, + "sample": { + "question": "Кто является режиссером фильма 'Новый кинотеатр «Парадизо»'?", + "answerA": "Ридли Скотт", + "answerB": "Федерико Феллини", + "answerC": "Джузеппе Торнаторе", + "answerD": "Мартин Скорсезе", + "correct_answer": "Джузеппе Торнаторе", + "choices": [ + "Руфус Сьюэлл", + "Рам Шанкар Никум", + "Майк Майерс", + "Федерико Феллини", + "Том Хэнкс", + "Пол Джаматти", + "Брэд Питт", + "Ридли Скотт", + "Мартин Скорсезе", + "Джузеппе Торнаторе", + "Эдди Мёрфи", + "Беллатриса Лестрейндж" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Новый кинотеатр «Парадизо»'?\nA. Руфус Сьюэлл\nB. Рам Шанкар Никум\nC. Майк Майерс\nD. Федерико Феллини\nE. Том Хэнкс\nF. Пол Джаматти\nG. Брэд Питт\nH. Ридли Скотт\nI. Мартин Скорсезе\nJ. Джузеппе Торнаторе\nK. Эдди Мёрфи\nL. Беллатриса Лестрейндж\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 126, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.17495597898960114, + "B": 0.05012572556734085, + "C": 0.12024536728858948, + "D": 0.08264335244894028, + "E": 0.05012572556734085, + "F": 0.05012572556734085, + "G": 0.19825109839439392, + "H": 0.05012572556734085, + "I": 0.039037954062223434, + "J": 0.039037954062223434, + "K": 0.026830367743968964, + "L": 0.0028278997633606195 + }, + "sample": { + "question": "Кто озвучил персонажа Донки (Осла) в фильме Шрэк?", + "answerA": "Майк Майерс", + "answerB": "Эдди Мёрфи", + "answerC": "Кэмерон Диаз", + "answerD": "Джон Литгоу", + "correct_answer": "Эдди Мёрфи", + "choices": [ + "Рам Шанкар Никум", + "Том Хэнкс", + "Руфус Сьюэлл", + "Эдди Мёрфи", + "Брэд Питт", + "Майк Майерс", + "Пол Джаматти", + "2010", + "Беллатриса Лестрейндж", + "Джон Литгоу", + "Ишан Авасти", + "Кэмерон Диаз" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКто озвучил персонажа Донки (Осла) в фильме Шрэк?\nA. Рам Шанкар Никум\nB. Том Хэнкс\nC. Руфус Сьюэлл\nD. Эдди Мёрфи\nE. Брэд Питт\nF. Майк Майерс\nG. Пол Джаматти\nH. 2010\nI. Беллатриса Лестрейндж\nJ. Джон Литгоу\nK. Ишан Авасти\nL. Кэмерон Диаз\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 125, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.18211591243743896, + "B": 0.059124380350112915, + "C": 0.08602546900510788, + "D": 0.04604611545801163, + "E": 0.08602546900510788, + "F": 0.06699670851230621, + "G": 0.14183202385902405, + "H": 0.06699670851230621, + "I": 0.07591720670461655, + "J": 0.04604611545801163, + "K": 0.021750645712018013, + "L": 0.008001615293323994 + }, + "sample": { + "question": "Кто из актеров сыграл главную роль иллюзиониста Эйзенхайма в фильме 'Иллюзионист'?", + "answerA": "Пол Джаматти", + "answerB": "Руфус Сьюэлл", + "answerC": "Эдвард Нортон", + "answerD": "Эдди Марсан", + "correct_answer": "Эдвард Нортон", + "choices": [ + "Пол Джаматти", + "Том Хэнкс", + "Руфус Сьюэлл", + "Люциус Малфой", + "Брэд Питт", + "Ишан Авасти", + "2010", + "Беллатриса Лестрейндж", + "Иннокентий Смоктуновский", + "Эдвард Нортон", + "Эдди Марсан", + "Рам Шанкар Никум" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКто из актеров сыграл главную роль иллюзиониста Эйзенхайма в фильме 'Иллюзионист'?\nA. Пол Джаматти\nB. Том Хэнкс\nC. Руфус Сьюэлл\nD. Люциус Малфой\nE. Брэд Питт\nF. Ишан Авасти\nG. 2010\nH. Беллатриса Лестрейндж\nI. Иннокентий Смоктуновский\nJ. Эдвард Нортон\nK. Эдди Марсан\nL. Рам Шанкар Никум\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 137, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.3051150441169739, + "B": 0.12719087302684784, + "C": 0.11224556714296341, + "D": 0.03644079715013504, + "E": 0.068080373108387, + "F": 0.04679090902209282, + "G": 0.16331632435321808, + "H": 0.03644079715013504, + "I": 0.008655448444187641, + "J": 0.01044046226888895, + "K": 0.0029912427999079227, + "L": 0.0009122774936258793 + }, + "sample": { + "question": "Кто исполнил главную роль в фильме 'Последний самурай' 2003 года?", + "answerA": "Брэд Питт", + "answerB": "Том Хэнкс", + "answerC": "Том Круз", + "answerD": "Леонардо Ди Каприо", + "correct_answer": "Том Круз", + "choices": [ + "Ишан Авасти", + "Иннокентий Смоктуновский", + "Том Хэнкс", + "2012", + "Том Круз", + "Люциус Малфой", + "Рам Шанкар Никум", + "Женя Лукашин", + "Леонардо Ди Каприо", + "Брэд Питт", + "2010", + "Беллатриса Лестрейндж" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКто исполнил главную роль в фильме 'Последний самурай' 2003 года?\nA. Ишан Авасти\nB. Иннокентий Смоктуновский\nC. Том Хэнкс\nD. 2012\nE. Том Круз\nF. Люциус Малфой\nG. Рам Шанкар Никум\nH. Женя Лукашин\nI. Леонардо Ди Каприо\nJ. Брэд Питт\nK. 2010\nL. Беллатриса Лестрейндж\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 130, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.14415523409843445, + "B": 0.09907635301351547, + "C": 0.08743457496166229, + "D": 0.16334928572177887, + "E": 0.06809411197900772, + "F": 0.06809411197900772, + "G": 0.09907635301351547, + "H": 0.03216537833213806, + "I": 0.03216537833213806, + "J": 0.041301168501377106, + "K": 0.02666603773832321, + "L": 0.017216887325048447 + }, + "sample": { + "question": "Как зовут главного героя фильма 'Звёздочки на земле'?", + "answerA": "Рам Шанкар Никум", + "answerB": "Ишан Авасти", + "answerC": "Амир Хан", + "answerD": "Випин Шарма", + "correct_answer": "answerB", + "choices": [ + "Люциус Малфой", + "Ишан Авасти", + "2010", + "Иннокентий Смоктуновский", + "2012", + "Рам Шанкар Никум", + "Женя Лукашин", + "Олег Ефремов", + "Амир Хан", + "Випин Шарма", + "Беллатриса Лестрейндж", + "Андрей Звягинцев" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКак зовут главного героя фильма 'Звёздочки на земле'?\nA. Люциус Малфой\nB. Ишан Авасти\nC. 2010\nD. Иннокентий Смоктуновский\nE. 2012\nF. Рам Шанкар Никум\nG. Женя Лукашин\nH. Олег Ефремов\nI. Амир Хан\nJ. Випин Шарма\nK. Беллатриса Лестрейндж\nL. Андрей Звягинцев\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 126, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.4563905894756317, + "B": 0.03746282309293747, + "C": 0.10183451324701309, + "D": 0.054508086293935776, + "E": 0.029176073148846626, + "F": 0.01561682764440775, + "G": 0.0481032133102417, + "H": 0.012162397615611553, + "I": 0.03746282309293747, + "J": 0.016624026000499725, + "K": 0.0037093220744282007, + "L": 0.0010627383599057794 + }, + "sample": { + "question": "Кто сбежал из зловещей тюрьмы Азкабан, чье пребывание на воле создает для Гарри смертельную опасность?", + "answerA": "Беллатриса Лестрейндж", + "answerB": "Люциус Малфой", + "answerC": "Сириус Блэк", + "answerD": "Волдеморт", + "correct_answer": "Сириус Блэк", + "choices": [ + "Волдеморт", + "Стивен Спилберг", + "Люциус Малфой", + "Женя Лукашин", + "Иван Васильевич", + "Иннокентий Смоктуновский", + "2010", + "Олег Ефремов", + "Сириус Блэк", + "Андрей Звягинцев", + "2012", + "Беллатриса Лестрейндж" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКто сбежал из зловещей тюрьмы Азкабан, чье пребывание на воле создает для Гарри смертельную опасность?\nA. Волдеморт\nB. Стивен Спилберг\nC. Люциус Малфой\nD. Женя Лукашин\nE. Иван Васильевич\nF. Иннокентий Смоктуновский\nG. 2010\nH. Олег Ефремов\nI. Сириус Блэк\nJ. Андрей Звягинцев\nK. 2012\nL. Беллатриса Лестрейндж\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 130, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0375964492559433, + "B": 0.06198607012629509, + "C": 0.13122451305389404, + "D": 0.1909305304288864, + "E": 0.07959168404340744, + "F": 0.0547025166451931, + "G": 0.11580522358417511, + "H": 0.07959168404340744, + "I": 0.025839637964963913, + "J": 0.048274800181388855, + "K": 0.07023942470550537, + "L": 0.016683323308825493 + }, + "sample": { + "question": "В каком году вышел фильм 'Легенда №17'?", + "answerA": "2010", + "answerB": "2012", + "answerC": "2014", + "answerD": "2016", + "correct_answer": "B", + "choices": [ + "1925", + "Иван Васильевич", + "Иннокентий Смоктуновский", + "2014", + "Андрей Звягинцев", + "Стивен Спилберг", + "Олег Ефремов", + "2012", + "Карен Шахназаров", + "Женя Лукашин", + "2016", + "2010" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nВ каком году вышел фильм 'Л��генда №17'?\nA. 1925\nB. Иван Васильевич\nC. Иннокентий Смоктуновский\nD. 2014\nE. Андрей Звягинцев\nF. Стивен Спилберг\nG. Олег Ефремов\nH. 2012\nI. Карен Шахназаров\nJ. Женя Лукашин\nK. 2016\nL. 2010\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.158750981092453, + "B": 0.09628734737634659, + "C": 0.04013853892683983, + "D": 0.035422131419181824, + "E": 0.17988844215869904, + "F": 0.01781136728823185, + "G": 0.158750981092453, + "H": 0.0849732831120491, + "I": 0.05153890326619148, + "J": 0.025915388017892838, + "K": 0.008956117555499077, + "L": 0.003974253311753273 + }, + "sample": { + "question": "Кто является режиссером фильма Брат 2?", + "answerA": "Андрей Звягинцев", + "answerB": "Карен Шахназаров", + "answerC": "Алексей Балабанов", + "answerD": "Павел Лунгин", + "correct_answer": "answerC", + "choices": [ + "Стивен Спилберг", + "Алексей Балабанов", + "Брэд Питт", + "1925", + "Андрей Звягинцев", + "Лариса Гузеева", + "1928", + "Стивен Спилберг", + "Карен Шахназаров", + "Алиса Фрейндлих", + "Боб Гейл", + "Павел Лунгин" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма Брат 2?\nA. Стивен Спилберг\nB. Алексей Балабанов\nC. Брэд Питт\nD. 1925\nE. Андрей Звягинцев\nF. Лариса Гузеева\nG. 1928\nH. Стивен Спилберг\nI. Карен Шахназаров\nJ. Алиса Фрейндлих\nK. Боб Гейл\nL. Павел Лунгин\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 112, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.2668069303035736, + "B": 0.11122167110443115, + "C": 0.12603066861629486, + "D": 0.18337354063987732, + "E": 0.046364087611436844, + "F": 0.036108389496803284, + "G": 0.08661952614784241, + "H": 0.036108389496803284, + "I": 0.007110163569450378, + "J": 0.019327428191900253, + "K": 0.004886739421635866, + "L": 0.0006613482837565243 + }, + "sample": { + "question": "Кто режиссер фильма 'Трасса 60'?", + "answerA": "Стивен Спилберг", + "answerB": "Боб Гейл", + "answerC": "Кристофер Нолан", + "answerD": "Ридли Скотт", + "correct_answer": "Боб Гейл", + "choices": [ + "Ридли Скотт", + "Мартин Скорсезе", + "1925", + "Боб Гейл", + "Кристофер Нолан", + "Алиса Фрейндлих", + "Джеймс Кэмерон", + "Кейт Бланшетт", + "Стивен Спилберг", + "Лариса Гузеева", + "Брэд Питт", + "1928" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Трасса 60'?\nA. Ридли Скотт\nB. Мартин Скорсезе\nC. 1925\nD. Боб Гейл\nE. Кристофер Нолан\nF. Алиса Фрейндлих\nG. Джеймс Кэмерон\nH. Кейт Бланшетт\nI. Стивен Спилберг\nJ. Лариса Гузеева\nK. Брэд Питт\nL. 1928\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 115, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.020916258916258812, + "B": 0.06858177483081818, + "C": 0.1130722388625145, + "D": 0.1451876163482666, + "E": 0.05341154336929321, + "F": 0.06858177483081818, + "G": 0.23937392234802246, + "H": 0.07771333307027817, + "I": 0.011195668019354343, + "J": 0.041596945375204086, + "K": 0.07771333307027817, + "L": 0.008190925233066082 + }, + "sample": { + "question": "В каком году был выпущен фильм 'Цирк'?", + "answerA": "1925", + "answerB": "1928", + "answerC": "1930", + "answerD": "1923", + "correct_answer": "answerB", + "choices": [ + "Брэд Питт", + "1930", + "Стивен Спилберг", + "1928", + "Джеймс Кэмерон", + "Лариса Гузеева", + "Алиса Фрейндлих", + "Кейт Бланшетт", + "2002", + "1925", + "Стивен Спилберг", + "1923" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nВ каком году был выпущен фильм 'Цирк'?\nA. Брэд Питт\nB. 1930\nC. Стивен Спилберг\nD. 1928\nE. Джеймс Кэмерон\nF. Лариса Гузеева\nG. Алиса Фрейндлих\nH. Кейт Бланшетт\nI. 2002\nJ. 1925\nK. Стивен Спилберг\nL. 1923\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 117, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.16031916439533234, + "B": 0.04314931854605675, + "C": 0.06683097034692764, + "D": 0.09723848849534988, + "E": 0.07572940737009048, + "F": 0.04593220725655556, + "G": 0.23326300084590912, + "H": 0.06683097034692764, + "I": 0.014912004582583904, + "J": 0.011613480746746063, + "K": 0.035772040486335754, + "L": 0.0037703453563153744 + }, + "sample": { + "question": "Кто сыграл роль Ларисы Дмитриевны Огудаловой в фильме 'Жестокий романс'?", + "answerA": "Алиса Фрейндлих", + "answerB": "Лариса Гузеева", + "answerC": "Татьяна Дроздова", + "answerD": "Елена Проклова", + "correct_answer": "Лариса Гузеева", + "choices": [ + "Алиса Фрейндлих", + "Стивен Спилберг", + "Джеймс Кэмерон", + "Мартин Скорсезе", + "Кейт Бланшетт", + "2002", + "Елена Проклова", + "Татьяна Дроздова", + "2008", + "Стивен Спилберг", + "Лариса Гузеева", + "Брэд Питт" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКто сыграл роль Ларисы Дмитриевны Огудаловой в фильме 'Жестокий романс'?\nA. Алиса Фрейндлих\nB. Стивен Спилберг\nC. Джеймс Кэмерон\nD. Мартин Скорсезе\nE. Кейт Бланшетт\nF. 2002\nG. Елена Проклова\nH. Татьяна Дроздова\nI. 2008\nJ. Стивен Спилберг\nK. Лариса Гузеева\nL. Брэд Питт\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 127, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.021125635132193565, + "B": 0.3304605484008789, + "C": 0.021125635132193565, + "D": 0.07373571395874023, + "E": 0.023938484489917755, + "F": 0.4243197441101074, + "G": 0.0307376217097044, + "H": 0.023938484489917755, + "I": 0.000125617632875219, + "J": 0.008806475438177586, + "K": 0.0032397210597991943, + "L": 0.0025230974424630404 + }, + "sample": { + "question": "Кто является режиссером фильма 'Хоббит: Пустошь Смауга'?", + "answerA": "Стивен Спилберг", + "answerB": "Джеймс Кэмерон", + "answerC": "Питер Джексон", + "answerD": "Кристофер Нолан", + "correct_answer": "Питер Джексон", + "choices": [ + "2008", + "Роб Райнер", + "Джеймс Кэмерон", + "2010", + "Мартин Скорсезе", + "Питер Джексон", + "2005", + "2002", + "Кристофер Нолан", + "Стивен Спилберг", + "Кристиан Бэйл", + "Мэтт Дэймон" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Хоббит: Пустошь Смауга'?\nA. 2008\nB. Роб Райнер\nC. Джеймс Кэмерон\nD. 2010\nE. Мартин Скорсезе\nF. Питер Джексон\nG. 2005\nH. 2002\nI. Кристофер Нолан\nJ. Стивен Спилберг\nK. Кристиан Бэйл\nL. Мэтт Дэймон\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 121, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.10728494077920914, + "B": 0.05742548778653145, + "C": 0.06507160514593124, + "D": 0.1377565860748291, + "E": 0.0506778210401535, + "F": 0.05742548778653145, + "G": 0.09467862546443939, + "H": 0.0506778210401535, + "I": 0.03483032062649727, + "J": 0.1377565860748291, + "K": 0.09467862546443939, + "L": 0.005341402254998684 + }, + "sample": { + "question": "Кто режиссер фильма 'Пока не сыграл в ящик' 2007 года?", + "answerA": "Стивен Спилберг", + "answerB": "Мартин Скорсезе", + "answerC": "Роб Райнер", + "answerD": "Квентин Тарантино", + "correct_answer": "Роб Райнер", + "choices": [ + "Квентин Тарантино", + "2008", + "Стивен Спилберг", + "Мэтт Дэймон", + "2002", + "Кристиан Бэйл", + "2005", + "Питер Джексон", + "2010", + "Мартин Скорсезе", + "Роб Райнер", + "2012" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Пока не сыграл в ящик' 2007 года?\nA. Квентин Тарантино\nB. 2008\nC. Стивен Спилберг\nD. Мэтт Дэймон\nE. 2002\nF. Кристиан Бэйл\nG. 2005\nH. Питер Джексон\nI. 2010\nJ. Мартин Скорсезе\nK. Роб Райнер\nL. 2012\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 124, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.12446480244398117, + "B": 0.05879301205277443, + "C": 0.0969332903623581, + "D": 0.20520776510238647, + "E": 0.0969332903623581, + "F": 0.05879301205277443, + "G": 0.12446480244398117, + "H": 0.14103710651397705, + "I": 0.00959769543260336, + "J": 0.016844479367136955, + "K": 0.011577030643820763, + "L": 0.014865201897919178 + }, + "sample": { + "question": "В каком году был выпущен фильм 'Хулиганы'?", + "answerA": "2002", + "answerB": "2005", + "answerC": "2008", + "answerD": "2010", + "correct_answer": "B", + "choices": [ + "2014", + "Том Хэнкс", + "2012", + "2005", + "2010", + "Питер Джексон", + "Шон Пенн", + "2002", + "Кристиан Бэйл", + "2008", + "Мэтт Дэймон", + "Стивен Спилберг" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nВ каком году был выпущен фильм 'Хулиганы'?\nA. 2014\nB. Том Хэнкс\nC. 2012\nD. 2005\nE. 2010\nF. Питер Джексон\nG. Шон Пенн\nH. 2002\nI. Кристиан Бэйл\nJ. 2008\nK. Мэтт Дэймон\nL. Стивен Спилберг\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 118, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.030345728620886803, + "B": 0.15410833060741425, + "C": 0.32624733448028564, + "D": 0.09347143024206161, + "E": 0.038964688777923584, + "F": 0.05669328197836876, + "G": 0.15410833060741425, + "H": 0.026780012995004654, + "I": 0.0034046967048197985, + "J": 0.02085629478096962, + "K": 0.02085629478096962, + "L": 0.0017119889380410314 + }, + "sample": { + "question": "В каком году был выпущен биографический фильм о Тэмпл Грандин, рассказывающий историю аутистки, ставшей одной из ведущих учёных в области гуманного обращения со скотом?", + "answerA": "2008", + "answerB": "2010", + "answerC": "2012", + "answerD": "2014", + "correct_answer": "B", + "choices": [ + "Кристиан Бэйл", + "2010", + "2012", + "Руперт Гринт", + "Стивен Спилберг", + "Робби Колтрейн", + "2008", + "Питер Джексон", + "Мэтт Дэймон", + "Шон Пенн", + "2014", + "Том Хэнкс" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nВ каком году был выпущен биографический фильм о Тэмпл Грандин, рассказывающий историю аутистки, ставшей одной из ведущих учёных в области гуманного обращения со скотом?\nA. Кристиан Бэйл\nB. 2010\nC. 2012\nD. Руперт Гринт\nE. Стивен Спилберг\nF. Робби Колтрейн\nG. 2008\nH. Питер Джексон\nI. Мэтт Дэймон\nJ. Шон Пенн\nK. 2014\nL. Том Хэнкс\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 144, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.004141571000218391, + "B": 0.010575871914625168, + "C": 0.002359796082600951, + "D": 0.018561234697699547, + "E": 0.039294131100177765, + "F": 0.005660856142640114, + "G": 0.039294131100177765, + "H": 0.009333173744380474, + "I": 0.008767706342041492, + "J": 0.789243757724762, + "K": 0.014455503784120083, + "L": 0.008236497640609741 + }, + "sample": { + "question": "Кто режиссер фильма 'Гарри Поттер и философский камень'?", + "answerA": "Питер Джексон", + "answerB": "Стивен Спилберг", + "answerC": "Тим Бертон", + "answerD": "Крис Коламбус", + "correct_answer": "Крис Коламбус", + "choices": [ + "Мэтт Дэймон", + "2014", + "Квентин Тарантино", + "Кристиан Бэйл", + "Руперт Гринт", + "Крис Коламбус", + "2012", + "Шон Пенн", + "Стивен Спилберг", + "Питер Джексон", + "Том Хэнкс", + "Тим Бертон" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Гарри Поттер и философский камень'?\nA. Мэтт Дэймон\nB. 2014\nC. Квентин Тарантино\nD. Кристиан Бэйл\nE. Руперт Гринт\nF. Крис Коламбус\nG. 2012\nH. Шон Пенн\nI. Стивен Спилберг\nJ. Питер Джексон\nK. Том Хэнкс\nL. Тим Бертон\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 116, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.045904453843832016, + "B": 0.058942485600709915, + "C": 0.1815556287765503, + "D": 0.20572948455810547, + "E": 0.045904453843832016, + "F": 0.08576080203056335, + "G": 0.12478123605251312, + "H": 0.05201655998826027, + "I": 0.01024266704916954, + "J": 0.04051053524017334, + "K": 0.06679058074951172, + "L": 0.005482505075633526 + }, + "sample": { + "question": "В каком году вышел фильм 'Дурак'?", + "answerA": "2012", + "answerB": "2014", + "answerC": "2015", + "answerD": "2016", + "correct_answer": "B", + "choices": [ + "Шон Пенн", + "Квентин Тарантино", + "2016", + "2012", + "Пэттон Освальт", + "2015", + "Мэл Гибсон", + "2014", + "Робби Колтрейн", + "Руперт Гринт", + "2006", + "Том Хэнкс" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nВ каком году вышел фильм 'Дурак'?\nA. Шон Пенн\nB. Квентин Тарантино\nC. 2016\nD. 2012\nE. Пэттон Освальт\nF. 2015\nG. Мэл Гибсон\nH. 2014\nI. Робби Колтрейн\nJ. Руперт Гринт\nK. 2006\nL. Том Хэнкс\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 122, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.1637544482946396, + "B": 0.08765143901109695, + "C": 0.08765143901109695, + "D": 0.2699854373931885, + "E": 0.06024189665913582, + "F": 0.053163282573223114, + "G": 0.0773521289229393, + "H": 0.03653855621814728, + "I": 0.025112556293606758, + "J": 0.06826300919055939, + "K": 0.015231536701321602, + "L": 0.0014167536282911897 + }, + "sample": { + "question": "Кто сыграл главную роль Сэма Доусона в фильме 'Я – Сэм' 2001 года?", + "answerA": "Том Хэнкс", + "answerB": "Шон Пенн", + "answerC": "Мэтт Дэймон", + "answerD": "Брэд Питт", + "correct_answer": "Шон Пенн", + "choices": [ + "Пэттон Освальт", + "Робби Колтрейн", + "Квентин Тарантино", + "Шон Пенн", + "Дэвид Роул", + "Мэтт Дэймон", + "Мэл Гибсон", + "2008", + "Том Хэнкс", + "Руперт Гринт", + "Брэд Питт", + "2006" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКто сыграл главную роль Сэма Доусона в фильме 'Я – Сэм' 2001 года?\nA. Пэттон Освальт\nB. Робби Колтрейн\nC. Квентин Тарантино\nD. Шон Пенн\nE. Дэвид Роул\nF. Мэтт Дэймон\nG. Мэл Гибсон\nH. 2008\nI. Том Хэнкс\nJ. Руперт Гринт\nK. Брэд Питт\nL. 2006\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 129, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.011085483245551586, + "B": 0.03207690641283989, + "C": 0.020710408687591553, + "D": 0.04968168959021568, + "E": 0.06379254907369614, + "F": 0.03013346716761589, + "G": 0.04667162895202637, + "H": 0.05629672855138779, + "I": 0.06379254907369614, + "J": 0.3043372333049774, + "K": 0.03013346716761589, + "L": 0.2091677337884903 + }, + "sample": { + "question": "Кто из актеров сыграл роль Гарри Поттера в фильме 'Гарри Поттер и Дары Смерти: Часть II'?", + "answerA": "Руперт Гринт", + "answerB": "Робби Колтрейн", + "answerC": "Дэниэл Рэдклифф", + "answerD": "Хелена Бонем Картер", + "correct_answer": "answerC", + "choices": [ + "Квентин Тарантино", + "2008", + "Робби Колтрейн", + "Мэл Гибсон", + "Иэн Холм", + "Хелена Бонем Картер", + "Виселос Реон Шеннон", + "Руперт Гринт", + "Пэттон Освальт", + "Дэвид Роул", + "2006", + "Дэниэл Рэдклифф" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКто из актеров сыграл роль Гарри Поттера в фильме 'Гарри Поттер и Дары Смерти: Часть II'?\nA. Квентин Тарантино\nB. 2008\nC. Робби Колтрейн\nD. Мэл Гибсон\nE. Иэн Холм\nF. Хелена Бонем Картер\nG. Виселос Реон Шеннон\nH. Руперт Гринт\nI. Пэттон Освальт\nJ. Дэвид Роул\nK. 2006\nL. Дэниэл Рэдклифф\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 141, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.07332222908735275, + "B": 0.09414760023355484, + "C": 0.15522314608097076, + "D": 0.19931045174598694, + "E": 0.07332222908735275, + "F": 0.07332222908735275, + "G": 0.15522314608097076, + "H": 0.04447217658162117, + "I": 0.0049896398559212685, + "J": 0.018538760021328926, + "K": 0.009321874938905239, + "L": 0.0017243733163923025 + }, + "sample": { + "question": "Кто является режиссером фильма 'Апокалипсис'?", + "answerA": "Квентин Тарантино", + "answerB": "Мэл Гибсон", + "answerC": "Стивен Спилберг", + "answerD": "Ридли Скотт", + "correct_answer": "answerB", + "choices": [ + "Мэл Гибсон", + "Томм Мур", + "Квентин Тарантино", + "Ридли Скотт", + "Пэттон Освальт", + "Канада", + "Виселос Реон Шеннон", + "Стивен Спилберг", + "2008", + "Дэвид Роул", + "2006", + "Иэн Холм" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Апокалипсис'?\nA. Мэл Гибсон\nB. Томм Мур\nC. Квентин Тарантино\nD. Ридли Скотт\nE. Пэттон Освальт\nF. Канада\nG. Виселос Реон Шеннон\nH. Стивен Спилберг\nI. 2008\nJ. Дэвид Роул\nK. 2006\nL. Иэн Холм\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 113, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.3484501838684082, + "B": 0.04161643981933594, + "C": 0.03672637790441513, + "D": 0.08810200542211533, + "E": 0.14525564014911652, + "F": 0.05343656986951828, + "G": 0.06861390918493271, + "H": 0.11312521249055862, + "I": 0.017348313704133034, + "J": 0.013510880060493946, + "K": 0.004386340733617544, + "L": 0.02524164877831936 + }, + "sample": { + "question": "В каком году вышел фильм 'Подмена' под режиссурой Клинта Иствуда?", + "answerA": "2006", + "answerB": "2008", + "answerC": "2010", + "answerD": "2012", + "correct_answer": "answerB", + "choices": [ + "2006", + "Канада", + "Дебора Кара Ангер", + "2012", + "2010", + "Дэвид Роул", + "Иэн Холм", + "2008", + "Виселос Реон Шеннон", + "Брюс Уиллис", + "Пэттон Освальт", + "Томм Мур" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nВ каком году вышел фильм 'Подмена' под режиссурой Клинта Иствуда?\nA. 2006\nB. Канада\nC. Дебора Кара Ангер\nD. 2012\nE. 2010\nF. Дэвид Роул\nG. Иэн Холм\nH. 2008\nI. Виселос Реон Шеннон\nJ. Брюс Уиллис\nK. Пэттон Освальт\nL. Томм Мур\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 126, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.14979733526706696, + "B": 0.048632074147462845, + "C": 0.1697426289319992, + "D": 0.09085668623447418, + "E": 0.06244482100009918, + "F": 0.06244482100009918, + "G": 0.1923435926437378, + "H": 0.05510736256837845, + "I": 0.01229611411690712, + "J": 0.007938968949019909, + "K": 0.010193836875259876, + "L": 0.0013795857084915042 + }, + "sample": { + "question": "Кто является режиссером фильма 'Песнь моря'?", + "answerA": "Дэвид Роул", + "answerB": "Томм Мур", + "answerC": "Брендан Глисон", + "answerD": "Финола Флэнаган", + "correct_answer": "B", + "choices": [ + "Брендан Глисон", + "Чарльз Чаплин", + "Каран Джохар", + "Дебора Кара Ангер", + "Алан Рикман", + "Дэвид Роул", + "Виселос Реон Шеннон", + "США", + "Брюс Уиллис", + "Томм Мур", + "Канада", + "Финола Флэнаган" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Песнь моря'?\nA. Брендан Глисон\nB. Чарльз Чаплин\nC. Каран Джохар\nD. Дебора Кара Ангер\nE. Алан Рикман\nF. Дэвид Роул\nG. Виселос Реон Шеннон\nH. США\nI. Брюс Уиллис\nJ. Томм Мур\nK. Канада\nL. Финола Флэнаган\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 111, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.12539689242839813, + "B": 0.12539689242839813, + "C": 0.03170530125498772, + "D": 0.027979828417301178, + "E": 0.14209330081939697, + "F": 0.20674452185630798, + "G": 0.029784375801682472, + "H": 0.027979828417301178, + "I": 0.016970625147223473, + "J": 0.14209330081939697, + "K": 0.009083720855414867, + "L": 0.046130940318107605 + }, + "sample": { + "question": "Кто сыграл главную роль в фильме \"Ураган\" 1999 года?", + "answerA": "Виселос Реон Шеннон", + "answerB": "Дебора Кара Ангер", + "answerC": "Дензел Вашингтон", + "answerD": "Лив Шрайбер", + "correct_answer": "Дензел Вашингтон", + "choices": [ + "Дебора Кара Ангер", + "Каран Джохар", + "Канада", + "Альфред Хичкок", + "Виселос Реон Шеннон", + "Брюс Уиллис", + "Чарльз Чаплин", + "Алан Рикман", + "США", + "Дензел Вашингтон", + "Лив Шрайбер", + "Санжай Лила Бхансали" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКто сыграл главную роль в фильме \"Ураган\" 1999 года?\nA. Дебора Кара Ангер\nB. Каран Джохар\nC. Канада\nD. Альфред Хичкок\nE. Виселос Реон Шеннон\nF. Брюс Уиллис\nG. Чарльз Чаплин\nH. Алан Рикман\nI. США\nJ. Дензел Вашингтон\nK. Лив Шрайбер\nL. Санжай Лила Бхансали\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.14990797638893127, + "B": 0.07081152498722076, + "C": 0.05514806509017944, + "D": 0.06249094381928444, + "E": 0.11674845218658447, + "F": 0.02951863221824169, + "G": 0.048667993396520615, + "H": 0.05514806509017944, + "I": 0.026050100103020668, + "J": 0.09092378616333008, + "K": 0.017903953790664673, + "L": 0.19248566031455994 + }, + "sample": { + "question": "В какой стране был снят фильм \"Медведь\" 1988 года?", + "answerA": "Канада", + "answerB": "США", + "answerC": "Франция", + "answerD": "Германия", + "correct_answer": "Франция", + "choices": [ + "Мак Суэйн", + "Германия", + "Альфред Хичкок", + "Чарльз Чаплин", + "США", + "Брюс Уиллис", + "Санжай Лила Бхансали", + "Алан Рикман", + "Канада", + "Франция", + "Каран Джохар", + "Стивен Спилберг" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nВ какой стране был снят фильм \"Медведь\" 1988 года?\nA. Мак Суэйн\nB. Германия\nC. Альфред Хичкок\nD. Чарльз Чаплин\nE. США\nF. Брюс Уиллис\nG. Санжай Лила Бхансали\nH. Алан Рикман\nI. Канада\nJ. Франция\nK. Каран Джохар\nL. Стивен Спилберг\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 107, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.1578959971666336, + "B": 0.1578959971666336, + "C": 0.0658208429813385, + "D": 0.08451563864946365, + "E": 0.10852022469043732, + "F": 0.10852022469043732, + "G": 0.0658208429813385, + "H": 0.045237962156534195, + "I": 0.005075558554381132, + "J": 0.08451563864946365, + "K": 0.00948239117860794, + "L": 0.02007422223687172 + }, + "sample": { + "question": "Кто из актеров исполнил роль злодея Ханса Грубера в фильме 'Крепкий орешек'?", + "answerA": "Брюс Уиллис", + "answerB": "Алан Рикман", + "answerC": "Реджинальд ВелДжонсон", + "answerD": "Пол Глисон", + "correct_answer": "B", + "choices": [ + "Мак Суэйн", + "Пол Глисон", + "Альфред Хичкок", + "Стивен Спилберг", + "Алан Рикман", + "Брюс Уиллис", + "Санжай Лила Бхансали", + "Чарльз Чаплин", + "Квентин Тарантино", + "Реджинальд ВелДжонсон", + "Каран Джохар", + "Роберт Маллиган" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКто из актеров исполнил роль злодея Ханса Грубера в фильме 'Крепкий орешек'?\nA. Мак Суэйн\nB. Пол Глисон\nC. Альфред Хичкок\nD. Стивен Спилберг\nE. Алан Рикман\nF. Брюс Уиллис\nG. Санжай Лила Бхансали\nH. Чарльз Чаплин\nI. Квентин Тарантино\nJ. Реджинальд ВелДжонсон\nK. Каран Джохар\nL. Роберт Маллиган\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 129, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.012415137141942978, + "B": 0.03824131190776825, + "C": 0.005509183742105961, + "D": 0.020469101145863533, + "E": 0.0317031629383564, + "F": 0.021789243444800377, + "G": 0.07605192810297012, + "H": 0.14208371937274933, + "I": 0.01321584451943636, + "J": 0.4376486539840698, + "K": 0.08617812395095825, + "L": 0.05226967856287956 + }, + "sample": { + "question": "Кто является режиссером фильма 'Три идиота'?", + "answerA": "Каран Джохар", + "answerB": "Санжай Лила Бхансали", + "answerC": "Раджкумар Хирани", + "answerD": "Адитья Чопра", + "correct_answer": "Раджкумар Хирани", + "choices": [ + "Роберт Маллиган", + "Мак Суэйн", + "Квентин Тарантино", + "2001", + "Стивен Спилберг", + "Альфред Хичкок", + "Каран Джохар", + "Раджкумар Хирани", + "Питер Джексон", + "Санжай Лила Бхансали", + "Адитья Чопра", + "Чарльз Чаплин" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Три идиота'?\nA. Роберт Маллиган\nB. Мак Суэйн\nC. Квентин Тарантино\nD. 2001\nE. Стивен Спилберг\nF. Альфред Хичкок\nG. Каран Джохар\nH. Раджкумар Хирани\nI. Питер Джексон\nJ. Санжай Лила Бхансали\nK. Адитья Чопра\nL. Чарльз Чаплин\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.016631988808512688, + "B": 0.01884651370346546, + "C": 0.006513180676847696, + "D": 0.033076658844947815, + "E": 0.0545341931283474, + "F": 0.01884651370346546, + "G": 0.042471274733543396, + "H": 0.7528213262557983, + "I": 0.003486254485324025, + "J": 0.003711098339408636, + "K": 0.003076608758419752, + "L": 0.012168223038315773 + }, + "sample": { + "question": "Кто режиссер фильма \"Убить пересмешника\"?", + "answerA": "Альфред Хичкок", + "answerB": "Роберт Маллиган", + "answerC": "Стивен Спилберг", + "answerD": "Квентин Тарантино", + "correct_answer": "B", + "choices": [ + "Питер Джексон", + "Сергей Эйзенштейн", + "Джеймс Кэмерон", + "Харрисон Форд", + "Стивен Спилберг", + "2001", + "Квентин Тарантино", + "Роберт Маллиган", + "Альфред Хичкок", + "Марк Хэмилл", + "2004", + "Андрей Тарковский" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма \"Убить пересмешника\"?\nA. Питер Джексон\nB. Сергей Эйзенштейн\nC. Джеймс Кэмерон\nD. Харрисон Форд\nE. Стивен Спилберг\nF. 2001\nG. Квентин Тарантино\nH. Роберт Маллиган\nI. Альфред Хичкок\nJ. Марк Хэмилл\nK. 2004\nL. Андрей Тарковский\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 109, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0010238755494356155, + "B": 0.9308471083641052, + "C": 0.002614558208733797, + "D": 0.0009035670082084835, + "E": 0.00025887630181387067, + "F": 1.55467296281131e-05, + "G": 2.4079246941255406e-05, + "H": 1.7616752302274108e-05, + "I": 1.7442947637391626e-06, + "J": 6.967561785131693e-05, + "K": 6.480841420852812e-06, + "L": 5.319798219716176e-07 + }, + "sample": { + "question": "Кто режиссер фильма 'Аватар' выпущенного в 2009 году?", + "answerA": "Стивен Спилберг", + "answerB": "Питер Джексон", + "answerC": "Джеймс Кэмерон", + "answerD": "Кристофер Нолан", + "correct_answer": "Джеймс Кэмерон", + "choices": [ + "Уильям Пэрриш", + "Джеймс Кэмерон", + "Харрисон Форд", + "Марк Хэмилл", + "Стивен Спилберг", + "2001", + "Кристофер Нолан", + "Квентин Тарантино", + "Сергей Эйзенштейн", + "2004", + "Андрей Тарковский", + "Питер Джексон" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Аватар' выпущенного в 2009 году?\nA. Уильям Пэрриш\nB. Джеймс Кэмерон\nC. Харрисон Форд\nD. Марк Хэмилл\nE. Стивен Спилберг\nF. 2001\nG. Кристофер Нолан\nH. Квентин Тарантино\nI. Сергей Эйзенштейн\nJ. 2004\nK. Андрей Тарковский\nL. Питер Джексон\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 116, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.1263967901468277, + "B": 0.0766635313630104, + "C": 0.30321013927459717, + "D": 0.16229669749736786, + "E": 0.04649878293275833, + "F": 0.052690017968416214, + "G": 0.0766635313630104, + "H": 0.010375279933214188, + "I": 0.004325060173869133, + "J": 0.01938357576727867, + "K": 0.008080276660621166, + "L": 0.0005853332695551217 + }, + "sample": { + "question": "Кто является режиссером фильма 'Крупная рыба'?", + "answerA": "Квентин Тарантино", + "answerB": "Стивен Спилберг", + "answerC": "Тим Бёртон", + "answerD": "Кристофер Нолан", + "correct_answer": "Тим Бёртон", + "choices": [ + "Уильям Пэрриш", + "Эльза", + "Тим Бёртон", + "Квентин Тарантино", + "Кристофер Нолан", + "Сергей Эйзенштейн", + "Марк Хэмилл", + "Харрисон Форд", + "2001", + "Стивен Спилберг", + "Андрей Тарковский", + "2004" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Крупная рыба'?\nA. Уильям Пэрриш\nB. Эльза\nC. Тим Бёртон\nD. Квентин Тарантино\nE. Кристофер Нолан\nF. Сергей Эйзенштейн\nG. Марк Хэмилл\nH. Харрисон Форд\nI. 2001\nJ. Стивен Спилберг\nK. Андрей Тарковский\nL. 2004\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 113, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.2083415389060974, + "B": 0.04648728296160698, + "C": 0.06763859838247299, + "D": 0.05969085171818733, + "E": 0.09841357916593552, + "F": 0.08684967458248138, + "G": 0.2083415389060974, + "H": 0.05267699062824249, + "I": 0.03001444600522518, + "J": 0.03001444600522518, + "K": 0.01710171438753605, + "L": 0.01331882830709219 + }, + "sample": { + "question": "В каком году был выпущен фильм \"Столкновение\"?", + "answerA": "2001", + "answerB": "2004", + "answerC": "2007", + "answerD": "2010", + "correct_answer": "B", + "choices": [ + "2004", + "Джо Блэк", + "Марк Хэмилл", + "Евгений Леонов", + "Харрисон Форд", + "Эльза", + "2007", + "Уильям Пэрриш", + "Андрей Тарковский", + "2001", + "Сергей Эйзенштейн", + "2010" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nВ каком году был выпущен фильм \"Столкновение\"?\nA. 2004\nB. Джо Блэк\nC. Марк Хэмилл\nD. Евгений Леонов\nE. Харрисон Форд\nF. Эльза\nG. 2007\nH. Уильям Пэрриш\nI. Андрей Тарковский\nJ. 2001\nK. Сергей Эйзенштейн\nL. 2010\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 112, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.08269034326076508, + "B": 0.050154224038124084, + "C": 0.04426094889640808, + "D": 0.25470417737960815, + "E": 0.04426094889640808, + "F": 0.030420077964663506, + "G": 0.06439930200576782, + "H": 0.022255802527070045, + "I": 0.05683218687772751, + "J": 0.09370044618844986, + "K": 0.05683218687772751, + "L": 0.003633159911260009 + }, + "sample": { + "question": "Кто является режиссером фильма 'Завтра была война'?", + "answerA": "Андрей Тарковский", + "answerB": "Сергей Эйзенштейн", + "answerC": "Юрий Кара", + "answerD": "Никита Михалков", + "correct_answer": "Юрий Кара", + "choices": [ + "Сергей Эйзенштейн", + "Эльза", + "Харрисон Форд", + "Никита Михалков", + "Уильям Пэрриш", + "Евгений Леонов", + "Юрий Кара", + "Аврора", + "Джеймс", + "Андрей Тарковский", + "Джо Блэк", + "Марк Хэмилл" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Завтра была война'?\nA. Сергей Эйзенштейн\nB. Эльза\nC. Харрисон Форд\nD. Никита Михалков\nE. Уильям Пэрриш\nF. Евгений Леонов\nG. Юрий Кара\nH. Аврора\nI. Джеймс\nJ. Андрей Тарковский\nK. Джо Блэк\nL. Марк Хэмилл\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 97, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.19657208025455475, + "B": 0.07231482863426208, + "C": 0.13510188460350037, + "D": 0.2227453589439392, + "E": 0.11922700703144073, + "F": 0.043861158192157745, + "G": 0.07231482863426208, + "H": 0.024991335347294807, + "I": 0.017176277935504913, + "J": 0.022054778411984444, + "K": 0.002984789665788412, + "L": 0.0014099146937951446 + }, + "sample": { + "question": "Кто из актеров сыграл Хана Соло в фильме 'Звёздные войны: Эпизод 5 – Империя наносит ответный удар'?", + "answerA": "Марк Хэмилл", + "answerB": "Харрисон Форд", + "answerC": "Кэрри Фишер", + "answerD": "Билли Ди Уильямс", + "correct_answer": "Харрисон Форд", + "choices": [ + "Харрисон Форд", + "Эльза", + "Николай Караченцов", + "Кэрри Фишер", + "Марк Хэмилл", + "Евгений Леонов", + "Билли Ди Уильямс", + "Его отец", + "Уильям Пэрриш", + "Джеймс", + "Аврора", + "Джо Блэк" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКто из актеров сыграл Хана Соло в фильме 'Звёздные войны: Эпизод 5 – Империя наносит ответный удар'?\nA. Харрисон Форд\nB. Эльза\nC. Николай Караченцов\nD. Кэрри Фишер\nE. Марк Хэмилл\nF. Евгений Леонов\nG. Билли Ди Уильямс\nH. Его отец\nI. Уильям Пэрриш\nJ. Джеймс\nK. Аврора\nL. Джо Блэк\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 118, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.20072248578071594, + "B": 0.04478723928332329, + "C": 0.13795439898967743, + "D": 0.02716483362019062, + "E": 0.33093541860580444, + "F": 0.030781788751482964, + "G": 0.030781788751482964, + "H": 0.011323987506330013, + "I": 0.02716483362019062, + "J": 0.03488033637404442, + "K": 0.0120543222874403, + "L": 0.001193539472296834 + }, + "sample": { + "question": "Как звали персонажа, которого сыграл Брэд Питт в фильме 'Знакомьтесь; Джо Блэк'?", + "answerA": "Уильям Пэрриш", + "answerB": "Джо Блэк", + "answerC": "Дрю", + "answerD": "Квинси", + "correct_answer": "answerB", + "choices": [ + "Уильям Пэрриш", + "Его отец", + "Дрю", + "Джеймс", + "Джо Блэк", + "Эльза", + "Аврора", + "Евгений Леонов", + "Николай Караченцов", + "Эдди Мёрфи", + "Рассел", + "Квинси" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКак звали персонажа, которого сыграл Брэд Питт в фильме 'Знакомьтесь; Джо Блэк'?\nA. Уильям Пэрриш\nB. Его отец\nC. Дрю\nD. Джеймс\nE. Джо Блэк\nF. Эльза\nG. Аврора\nH. Евгений Леонов\nI. Николай Караченцов\nJ. Эдди Мёрфи\nK. Рассел\nL. Квинси\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 107, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.12705476582050323, + "B": 0.06001641973853111, + "C": 0.03212447836995125, + "D": 0.05296430364251137, + "E": 0.06001641973853111, + "F": 0.5694199204444885, + "G": 0.028349747881293297, + "H": 0.007167939096689224, + "I": 0.003385894699022174, + "J": 0.005942430812865496, + "K": 0.002477173460647464, + "L": 0.0006667221896350384 + }, + "sample": { + "question": "Как зовут главную героиню в фильме 'Рапунцель: Запутанная история'?", + "answerA": "Эльза", + "answerB": "Аврора", + "answerC": "Рапунцель", + "answerD": "Мулан", + "correct_answer": "Рапунцель", + "choices": [ + "Эльза", + "Мулан", + "Его старший брат Тони", + "Евгений Леонов", + "Рассел", + "Рапунцель", + "Его отец", + "1945", + "Джеймс", + "Эдди Мёрфи", + "Аврора", + "Николай Караченцов" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКак зовут главную героиню в фильме 'Рапунцель: Запутанная история'?\nA. Эльза\nB. Мулан\nC. Его старший брат Тони\nD. Евгений Леонов\nE. Рассел\nF. Рапунцель\nG. Его отец\nH. 1945\nI. Джеймс\nJ. Эдди Мёрфи\nK. Аврора\nL. Николай Караченцов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 110, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.14653664827346802, + "B": 0.11412285268306732, + "C": 0.10071306675672531, + "D": 0.14653664827346802, + "E": 0.05390782281756401, + "F": 0.06921901553869247, + "G": 0.14653664827346802, + "H": 0.047573480755090714, + "I": 0.009367774240672588, + "J": 0.04198345169425011, + "K": 0.012028460390865803, + "L": 0.007766157854348421 + }, + "sample": { + "question": "Кто является автором выдумки о внебрачном сыне в фильме 'Старший сын'?", + "answerA": "Евгений Леонов", + "answerB": "Николай Караченцов", + "answerC": "Михаил Боярский", + "answerD": "Владимир Изотов", + "correct_answer": "answerB", + "choices": [ + "Его старший брат Тони", + "Евгений Леонов", + "1945", + "Его отец", + "Рассел", + "Кристофер Нолан", + "Михаил Боярский", + "Эдди Мёрфи", + "Лиа Салонга", + "Владимир Изотов", + "Николай Караченцов", + "Джеймс" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКто является автором выдумки о внебрачном сыне в фильме 'Старший сын'?\nA. Его старший брат Тони\nB. Евгений Леонов\nC. 1945\nD. Его отец\nE. Рассел\nF. Кристофер Нолан\nG. Михаил Боярский\nH. Эдди Мёрфи\nI. Лиа Салонга\nJ. Владимир Изотов\nK. Николай Караченцов\nL. Джеймс\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 115, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.016532698646187782, + "B": 0.037257011979818344, + "C": 0.05770478770136833, + "D": 0.1078067421913147, + "E": 0.07409442216157913, + "F": 0.07409442216157913, + "G": 0.20140951871871948, + "H": 0.33206814527511597, + "I": 0.00418012123554945, + "J": 0.015531035140156746, + "K": 0.01994224265217781, + "L": 0.00942004844546318 + }, + "sample": { + "question": "Как зовут 8-летнего мальчика, которого ненароком прихватил с собой главный герой фильма 'Вверх' в своем приключении?", + "answerA": "Джеймс", + "answerB": "Рассел", + "answerC": "Кевин", + "answerD": "Фред", + "correct_answer": "answerB", + "choices": [ + "1945", + "Стивен Спилберг", + "Джеймс", + "Его старший брат Тони", + "Его отец", + "1952", + "Кевин", + "Эдди Мёрфи", + "Лиа Салонга", + "Фред", + "Кристофер Нолан", + "Рассел" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКак зовут 8-летнего мальчика, которого ненароком прихватил с собой главный герой фильма 'Вверх' в своем приключении?\nA. 1945\nB. Стивен Спилберг\nC. Джеймс\nD. Его старший брат Тони\nE. Его отец\nF. 1952\nG. Кевин\nH. Эдди Мёрфи\nI. Лиа Салонга\nJ. Фред\nK. Кристофер Нолан\nL. Рассел\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 120, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.10926488786935806, + "B": 0.14029890298843384, + "C": 0.08509558439254761, + "D": 0.14029890298843384, + "E": 0.058485280722379684, + "F": 0.08509558439254761, + "G": 0.09642592817544937, + "H": 0.09642592817544937, + "I": 0.00616430351510644, + "J": 0.04848600551486015, + "K": 0.016756314784288406, + "L": 0.03332391008734703 + }, + "sample": { + "question": "Кто поддержал Билли Эллиота в его желании танцевать балет в фильме 'Билли Эллиот'?", + "answerA": "Его отец", + "answerB": "Его старший брат Тони", + "answerC": "Миссис Уилкинсон", + "answerD": "Его лучший друг", + "correct_answer": "Миссис Уилкинсон", + "choices": [ + "Гарольд Голдфарб", + "Его отец", + "1945", + "Его старший брат Тони", + "1952", + "Миссис Уилкинсон", + "Лиа Салонга", + "Стивен Спилберг", + "Питер Джексон", + "Эдди Мёрфи", + "Кристофер Нолан", + "Его лучший друг" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКто поддержал Билли Эллиота в его желании танцевать балет в фильме 'Билли Эллиот'?\nA. Гарольд Голдфарб\nB. Его отец\nC. 1945\nD. Его старший брат Тони\nE. 1952\nF. Миссис Уилкинсон\nG. Лиа Салонга\nH. Стивен Спилберг\nI. Питер Джексон\nJ. Эдди Мёрфи\nK. Кристофер Нолан\nL. Его лучший друг\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 124, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.04507230222225189, + "B": 0.22889605164527893, + "C": 0.08420615643262863, + "D": 0.17826442420482635, + "E": 0.057873982936143875, + "F": 0.10812284052371979, + "G": 0.10812284052371979, + "H": 0.0954180657863617, + "I": 0.0016417584847658873, + "J": 0.014632834121584892, + "K": 0.007832392118871212, + "L": 0.027337735518813133 + }, + "sample": { + "question": "В каком году был выпущен фильм 'Поющие под дождем'?", + "answerA": "1945", + "answerB": "1952", + "answerC": "1960", + "answerD": "1957", + "correct_answer": "1952", + "choices": [ + "Гарольд Голдфарб", + "1945", + "Тим Бёртон", + "1952", + "1960", + "Кристофер Нолан", + "Квентин Тарантино", + "1957", + "Питер Джексон", + "Сара Голдфарб", + "Николь Кидман", + "Стивен Спилберг" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nВ каком году был выпущен фильм 'Поющие под дождем'?\nA. Гарольд Голдфарб\nB. 1945\nC. Тим Бёртон\nD. 1952\nE. 1960\nF. Кристофер Нолан\nG. Квентин Тарантино\nH. 1957\nI. Питер Джексон\nJ. Сара Голдфарб\nK. Николь Кидман\nL. Стивен Спилберг\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 120, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.10343242436647415, + "B": 0.07567277550697327, + "C": 0.04589786380529404, + "D": 0.05893401801586151, + "E": 0.10343242436647415, + "F": 0.11010323464870453, + "G": 0.11720428615808487, + "H": 0.12476330995559692, + "I": 0.02456735074520111, + "J": 0.09127878397703171, + "K": 0.03154510632157326, + "L": 0.0357452891767025 + }, + "sample": { + "question": "Кто является режиссером фильма 'Жизнь Пи'?", + "answerA": "Кристофер Нолан", + "answerB": "Питер Джексон", + "answerC": "Энг Ли", + "answerD": "Стивен Спилберг", + "correct_answer": "Энг Ли", + "choices": [ + "Кристофер Нолан", + "Квентин Тарантино", + "Николь Кидман", + "Стивен Спилберг", + "Питер Джексон", + "Эндрю Никкол", + "Сара Голдфарб", + "Тим Бёртон", + "Пол Беттани", + "Гарольд Голдфарб", + "Энг Ли", + "1985" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Жизнь Пи'?\nA. Кристофер Нолан\nB. Квентин Тарантино\nC. Николь Кидман\nD. Стивен Спилберг\nE. Питер Джексон\nF. Эндрю Никкол\nG. Сара Голдфарб\nH. Тим Бёртон\nI. Пол Беттани\nJ. Гарольд Голдфарб\nK. Энг Ли\nL. 1985\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 112, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.02969781868159771, + "B": 0.059061162173748016, + "C": 0.014028256759047508, + "D": 0.09737540036439896, + "E": 0.11034078150987625, + "F": 0.03813275322318077, + "G": 0.07583603262901306, + "H": 0.4364062547683716, + "I": 0.012379893101751804, + "J": 0.01589609682559967, + "K": 0.0051607065834105015, + "L": 0.06692507117986679 + }, + "sample": { + "question": "Кто режиссер фильма 'Русалочка', выпущенного в 1989 году?", + "answerA": "Стивен Спилберг", + "answerB": "Тим Бёртон", + "answerC": "Рон Клементс и Джон Маскер", + "answerD": "Пит Доктер", + "correct_answer": "C", + "choices": [ + "Тим Бёртон", + "Пит Доктер", + "1985", + "Пол Беттани", + "Эндрю Никкол", + "1988", + "Гарольд Голдфарб", + "Рон Клементс и Джон Маскер", + "Сара Голдфарб", + "Квентин Тарантино", + "Николь Кидман", + "Стивен Спилберг" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Русалочка', выпущенного в 1989 году?\nA. Тим Бёртон\nB. Пит Доктер\nC. 1985\nD. Пол Беттани\nE. Эндрю Никкол\nF. 1988\nG. Гарольд Голдфарб\nH. Рон Клементс и Джон Маскер\nI. Сара Голдфарб\nJ. Квентин Тарантино\nK. Николь Кидман\nL. Стивен Спилберг\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 126, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.09110948443412781, + "B": 0.08040384203195572, + "C": 0.15021415054798126, + "D": 0.15021415054798126, + "E": 0.07095614075660706, + "F": 0.05526070296764374, + "G": 0.11698689311742783, + "H": 0.07095614075660706, + "I": 0.027786822989583015, + "J": 0.07095614075660706, + "K": 0.02957891672849655, + "L": 0.005824434570968151 + }, + "sample": { + "question": "Кто из персонажей фильма 'Реквием по мечте' мечтал сняться в известном телешоу?", + "answerA": "Гарольд Голдфарб", + "answerB": "Сара Голдфарб", + "answerC": "Тайрон", + "answerD": "Мэрион", + "correct_answer": "B", + "choices": [ + "1985", + "Стивен Спилберг", + "1988", + "Мэрион", + "Сара Голдфарб", + "Гарольд Голдфарб", + "Эндрю Никкол", + "1981", + "Квентин Тарантино", + "Николь Кидман", + "Тайрон", + "Пол Беттани" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКто из персонажей фильма 'Реквием по мечте' мечтал сняться в известном телешоу?\nA. 1985\nB. Стивен Спилберг\nC. 1988\nD. Мэрион\nE. Сара Голдфарб\nF. Гарольд Голдфарб\nG. Эндрю Никкол\nH. 1981\nI. Квентин Тарантино\nJ. Николь Кидман\nK. Тайрон\nL. Пол Беттани\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 125, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.039080191403627396, + "B": 0.09374850988388062, + "C": 0.05017995834350586, + "D": 0.12037546932697296, + "E": 0.07301141321659088, + "F": 0.07301141321659088, + "G": 0.1062309741973877, + "H": 0.12037546932697296, + "I": 0.011196661740541458, + "J": 0.12037546932697296, + "K": 0.025232069194316864, + "L": 0.08273276686668396 + }, + "sample": { + "question": "Кто режиссер фильма 'Гаттака'?", + "answerA": "Квентин Тарантино", + "answerB": "Эндрю Никкол", + "answerC": "Стивен Спилберг", + "answerD": "Ридли Скотт", + "correct_answer": "B", + "choices": [ + "1988", + "Николь Кидман", + "1981", + "Пол Беттани", + "1985", + "Джон Лассетер", + "Эндрю Никкол", + "Стивен Спилберг", + "Лабрадор", + "Ридли Скотт", + "Квентин Тарантино", + "1976" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Гаттака'?\nA. 1988\nB. Николь Кидман\nC. 1981\nD. Пол Беттани\nE. 1985\nF. Джон Лассетер\nG. Эндрю Никкол\nH. Стивен Спилберг\nI. Лабрадор\nJ. Ридли Скотт\nK. Квентин Тарантино\nL. 1976\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 116, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.10142557322978973, + "B": 0.11493022739887238, + "C": 0.08950775116682053, + "D": 0.3540100157260895, + "E": 0.1672224998474121, + "F": 0.061517711728811264, + "G": 0.02905891276896, + "H": 0.022631103172898293, + "I": 0.001857674098573625, + "J": 0.007347243372350931, + "K": 0.0023853008169680834, + "L": 0.0016393917612731457 + }, + "sample": { + "question": "В каком году вышел фильм 'Мужики!.. '?", + "answerA": "1985", + "answerB": "1981", + "answerC": "1979", + "answerD": "1983", + "correct_answer": "answerB", + "choices": [ + "Стивен Спилберг", + "Джон Лассетер", + "Дастин Хоффман", + "1988", + "1981", + "1985", + "Коккер-спаниель", + "1976", + "1983", + "Лабрадор", + "2010", + "1979" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nВ каком году вышел фильм 'Мужики!.. '?\nA. Стивен Спилберг\nB. Джон Лассетер\nC. Дастин Хоффман\nD. 1988\nE. 1981\nF. 1985\nG. Коккер-спаниель\nH. 1976\nI. 1983\nJ. Лабрадор\nK. 2010\nL. 1979\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 125, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.024415068328380585, + "B": 0.0485551618039608, + "C": 0.16947416961193085, + "D": 0.10279127210378647, + "E": 0.055020201951265335, + "F": 0.06234605610370636, + "G": 0.3166194260120392, + "H": 0.10279127210378647, + "I": 0.007926412858068943, + "J": 0.010834120213985443, + "K": 0.014808488078415394, + "L": 0.0033042202703654766 + }, + "sample": { + "question": "В каком году был выпущен фильм 'Аты-баты; шли солдаты...'?", + "answerA": "1988", + "answerB": "1976", + "answerC": "1970", + "answerD": "1983", + "correct_answer": "1976", + "choices": [ + "Джон Лассетер", + "Лабрадор", + "2010", + "2011", + "Коккер-спаниель", + "Джек Воробья", + "1970", + "1976", + "Стивен Спилберг", + "1988", + "1983", + "Дастин Хоффман" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nВ каком году был выпущен фильм 'Аты-баты; шли солдаты...'?\nA. Джон Лассетер\nB. Лабрадор\nC. 2010\nD. 2011\nE. Коккер-спаниель\nF. Джек Воробья\nG. 1970\nH. 1976\nI. Стивен Спилберг\nJ. 1988\nK. 1983\nL. Дастин Хоффман\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 128, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.024811603128910065, + "B": 0.23540595173835754, + "C": 0.16179198026657104, + "D": 0.07642512023448944, + "E": 0.03185873106122017, + "F": 0.04635417461395264, + "G": 0.14278092980384827, + "H": 0.06744493544101715, + "I": 0.00278378464281559, + "J": 0.03185873106122017, + "K": 0.07642512023448944, + "L": 0.003804982639849186 + }, + "sample": { + "question": "Кто является режиссером фильма 'История игрушек: Большой побег'?", + "answerA": "Стивен Спилберг", + "answerB": "Джон Лассетер", + "answerC": "Ли Анкрич", + "answerD": "Пит Доктер", + "correct_answer": "Ли Анкрич", + "choices": [ + "1981", + "Ли Анкрич", + "Стивен Спилберг", + "Дастин Хоффман", + "2011", + "Пит Доктер", + "Коккер-спаниель", + "Джек Воробья", + "Мэрил Стрип", + "Лабрадор", + "Джон Лассетер", + "2010" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'История игрушек: Большой побег'?\nA. 1981\nB. Ли Анкрич\nC. Стивен Спилберг\nD. Дастин Хоффман\nE. 2011\nF. Пит Доктер\nG. Коккер-спаниель\nH. Джек Воробья\nI. Мэрил Стрип\nJ. Лабрадор\nK. Джон Лассетер\nL. 2010\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 120, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.09310624748468399, + "B": 0.072511225938797, + "C": 0.06399092078208923, + "D": 0.11955078691244125, + "E": 0.11955078691244125, + "F": 0.06399092078208923, + "G": 0.10550320148468018, + "H": 0.19710591435432434, + "I": 0.028395801782608032, + "J": 0.03881245478987694, + "K": 0.011837130412459373, + "L": 0.025059204548597336 + }, + "sample": { + "question": "Какого породы собака Леди в фильме \"Леди и бродяга\" 1955 года?", + "answerA": "Лабрадор", + "answerB": "Коккер-спаниель", + "answerC": "Бульдог", + "answerD": "Далматинец", + "correct_answer": "B", + "choices": [ + "2010", + "Мэрил Стрип", + "Дастин Хоффман", + "Бульдог", + "Далматинец", + "2011", + "Уилл Тернер", + "Коккер-спаниель", + "Лабрадор", + "1980", + "Джек Воробья", + "1981" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакого породы собака Леди в фильме \"Леди и бродяга\" 1955 года?\nA. 2010\nB. Мэрил Стрип\nC. Дастин Хоффман\nD. Бульдог\nE. Далматинец\nF. 2011\nG. Уилл Тернер\nH. Коккер-спаниель\nI. Лабрадор\nJ. 1980\nK. Джек Воробья\nL. 1981\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 130, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.26526007056236267, + "B": 0.11057684570550919, + "C": 0.09758374094963074, + "D": 0.18231041729450226, + "E": 0.11057684570550919, + "F": 0.040678951889276505, + "G": 0.059187524020671844, + "H": 0.035899046808481216, + "I": 0.0066406563855707645, + "J": 0.021773872897028923, + "K": 0.007524849381297827, + "L": 0.012406379915773869 + }, + "sample": { + "question": "В каком году был выпущен фильм \"Мандарины\"?", + "answerA": "2010", + "answerB": "2011", + "answerC": "2013", + "answerD": "2015", + "correct_answer": "2013", + "choices": [ + "2015", + "1980", + "Мэрил Стрип", + "1981", + "1987", + "Уилл Тернер", + "2011", + "2013", + "Джек Воробья", + "2010", + "Дастин Хоффман", + "1985" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nВ каком году был выпущен фильм \"Мандарины\"?\nA. 2015\nB. 1980\nC. Мэрил Стрип\nD. 1981\nE. 1987\nF. Уилл Тернер\nG. 2011\nH. 2013\nI. Джек Воробья\nJ. 2010\nK. Дастин Хоффман\nL. 1985\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 122, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.17086884379386902, + "B": 0.13307279348373413, + "C": 0.13307279348373413, + "D": 0.1507912278175354, + "E": 0.04895474761724472, + "F": 0.04320241138339043, + "G": 0.1036371961236, + "H": 0.05547299236059189, + "I": 0.016918307170271873, + "J": 0.05547299236059189, + "K": 0.02789357304573059, + "L": 0.005159792490303516 + }, + "sample": { + "question": "Кто из персонажей стал капитаном Летучего Голландца в конце фильма 'Пираты Карибского моря: На краю Света'?", + "answerA": "Джек Воробья", + "answerB": "Уилл Тернер", + "answerC": "Капитан Барбосса", + "answerD": "Дэви Джонс", + "correct_answer": "answerB", + "choices": [ + "Том Хэнкс", + "Капитан Барбосса", + "Джек Воробья", + "Уилл Тернер", + "1987", + "1980", + "Квентин Тарантино", + "1981", + "1991", + "Дэви Джонс", + "1981", + "1985" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКто из персонажей стал капитаном Летучего Голландца в конце фильма 'Пираты Карибского моря: На краю Света'?\nA. Том Хэнкс\nB. Капитан Барбосса\nC. Джек Воробья\nD. Уилл Тернер\nE. 1987\nF. 1980\nG. Квентин Тарантино\nH. 1981\nI. 1991\nJ. Дэви Джонс\nK. 1981\nL. 1985\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 135, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.1639714241027832, + "B": 0.07745461910963058, + "C": 0.14470426738262177, + "D": 0.0877675786614418, + "E": 0.07745461910963058, + "F": 0.0877675786614418, + "G": 0.11269580572843552, + "H": 0.06835345923900604, + "I": 0.02514583244919777, + "J": 0.04145846888422966, + "K": 0.022191118448972702, + "L": 0.005270852707326412 + }, + "sample": { + "question": "В каком году был выпущен фильм 'Иди и смотри'?", + "answerA": "1981", + "answerB": "1985", + "answerC": "1987", + "answerD": "1990", + "correct_answer": "1985", + "choices": [ + "1991", + "Квентин Тарантино", + "Дэвид Морс", + "Том Хэнкс", + "1980", + "1981", + "1985", + "Стивен Спилберг", + "Том Хэнкс", + "1990", + "1987", + "Брэд Питт" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nВ каком году был выпущен фильм 'Иди и смотри'?\nA. 1991\nB. Квентин Тарантино\nC. Дэвид Морс\nD. Том Хэнкс\nE. 1980\nF. 1981\nG. 1985\nH. Стивен Спилберг\nI. Том Хэнкс\nJ. 1990\nK. 1987\nL. Брэд Питт\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 120, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.17027795314788818, + "B": 0.09114322811365128, + "C": 0.09114322811365128, + "D": 0.24775296449661255, + "E": 0.17027795314788818, + "F": 0.06264175474643707, + "G": 0.05528115853667259, + "H": 0.03352971747517586, + "I": 0.008477640338242054, + "J": 0.020336801186203957, + "K": 0.0040045534260571, + "L": 0.002752286847680807 + }, + "sample": { + "question": "В каком году вышел фильм 'Профессионал'?", + "answerA": "1980", + "answerB": "1981", + "answerC": "1982", + "answerD": "1979", + "correct_answer": "answerB", + "choices": [ + "Дэвид Морс", + "Стивен Спилберг", + "Брэд Питт", + "1982", + "1981", + "1979", + "Том Хэнкс", + "1991", + "1980", + "Квентин Тарантино", + "Квентин Тарантино", + "1987" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nВ каком году вышел фильм 'Профессионал'?\nA. Дэвид Морс\nB. Стивен Спилберг\nC. Брэд Питт\nD. 1982\nE. 1981\nF. 1979\nG. Том Хэнкс\nH. 1991\nI. 1980\nJ. Квентин Тарантино\nK. Квентин Тарантино\nL. 1987\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 117, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.048582568764686584, + "B": 0.16956984996795654, + "C": 0.24672266840934753, + "D": 0.24672266840934753, + "E": 0.03339027985930443, + "F": 0.029466820880770683, + "G": 0.10284930467605591, + "H": 0.017872530966997147, + "I": 0.0011425527045503259, + "J": 0.012283598072826862, + "K": 0.008442385122179985, + "L": 0.0004762867756653577 + }, + "sample": { + "question": "Кто режиссёр фильма 'Побег из Шоушенка'?", + "answerA": "Квентин Тарантино", + "answerB": "Стивен Спилберг", + "answerC": "Фрэнк Дарабонт", + "answerD": "Кристофер Нолан", + "correct_answer": "Фрэнк Дарабонт", + "choices": [ + "Украсть секретный код", + "Квентин Тарантино", + "Стивен Спилберг", + "Дэвид Морс", + "Убить международного шпиона", + "США", + "Том Хэнкс", + "Франция", + "Том Хэнкс", + "Брэд Питт", + "Фрэнк Дарабонт", + "Кристофер Нолан" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКто режиссёр фильма 'Побег из Шоушенка'?\nA. Украсть секретный код\nB. Квентин Тарантино\nC. Стивен Спилберг\nD. Дэвид Морс\nE. Убить международного шпиона\nF. США\nG. Том Хэнкс\nH. Франция\nI. Том Хэнкс\nJ. Брэд Питт\nK. Фрэнк Дарабонт\nL. Кристофер Нолан\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 113, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.23283600807189941, + "B": 0.09706048667430878, + "C": 0.029601773247122765, + "D": 0.05887015908956528, + "E": 0.14122217893600464, + "F": 0.05887015908956528, + "G": 0.0856555849313736, + "H": 0.1600256860256195, + "I": 0.02034498192369938, + "J": 0.03354320675134659, + "K": 0.006605049129575491, + "L": 0.00703103793784976 + }, + "sample": { + "question": "Кто сыграл роль Джона Коффи в фильме 'Зеленая миля'?", + "answerA": "Том Хэнкс", + "answerB": "Дэвид Морс", + "answerC": "Майкл Кларк Дункан", + "answerD": "Джеймс Кромуэлл", + "correct_answer": "Майкл Кларк Дункан", + "choices": [ + "Том Хэнкс", + "Дэвид Морс", + "Стивен Спилберг", + "Франция", + "Квентин Тарантино", + "Украсть секретный код", + "Джеймс Кромуэлл", + "Брэд Питт", + "Майкл Кларк Дункан", + "США", + "Убить международного шпиона", + "Жажда мести" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКто сыграл роль Джона Коффи в фильме 'Зеленая миля'?\nA. Том Хэнкс\nB. Дэвид Морс\nC. Стивен Спилберг\nD. Франция\nE. Квентин Тарантино\nF. Украсть секретный код\nG. Джеймс Кромуэлл\nH. Брэд Питт\nI. Майкл Кларк Дункан\nJ. США\nK. Убить международного шпиона\nL. Жажда мести\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 114, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.051698192954063416, + "B": 0.021551012992858887, + "C": 0.007928174920380116, + "D": 0.008983799256384373, + "E": 0.8086957931518555, + "F": 0.024420497938990593, + "G": 0.013071349821984768, + "H": 0.0167839452624321, + "I": 0.002573901554569602, + "J": 0.0045173377729952335, + "K": 0.0014665648341178894, + "L": 0.001883106422610581 + }, + "sample": { + "question": "Кто сыграл главную роль в фильме 'Форрест Гамп'?", + "answerA": "Брэд Питт", + "answerB": "Том Хэнкс", + "answerC": "Джонни Депп", + "answerD": "Леонардо ДиКаприо", + "correct_answer": "answerB", + "choices": [ + "США", + "Жажда мести", + "Украсть секретный код", + "Стивен Спилберг", + "Том Хэнкс", + "Мэттью Бродерик", + "Джонни Депп", + "Брэд Питт", + "Франция", + "Квентин Тарантино", + "Убить международного шпиона", + "Леонардо ДиКаприо" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКто сыграл главную роль в фильме 'Форрест Гамп'?\nA. США\nB. Жажда мести\nC. Украсть секретный код\nD. Стивен Спилберг\nE. Том Хэнкс\nF. Мэттью Бродерик\nG. Джонни Депп\nH. Брэд Питт\nI. Франция\nJ. Квентин Тарантино\nK. Убить международного шпиона\nL. Леонардо ДиКаприо\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 111, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.002021990017965436, + "B": 0.026221565902233124, + "C": 0.2195505052804947, + "D": 0.04898833855986595, + "E": 0.0054963394068181515, + "F": 0.0018994840793311596, + "G": 0.0054963394068181515, + "H": 0.0014793196460232139, + "I": 0.00017667953216005117, + "J": 0.0054963394068181515, + "K": 0.2195505052804947, + "L": 0.0001559191441629082 + }, + "sample": { + "question": "Кто режиссер фильма 'Список Шиндлера' 1993 года?", + "answerA": "Квентин Тарантино", + "answerB": "Стивен Спилберг", + "answerC": "Мартин Скорсезе", + "answerD": "Кристофер Нолан", + "correct_answer": "answerB", + "choices": [ + "Убить международного шпиона", + "Квентин Тарантино", + "Стивен Спилберг", + "США", + "Джереми Айронс", + "Мэттью Бродерик", + "Страх", + "Франция", + "Кристофер Нолан", + "Украсть секретный код", + "Мартин Скорсезе", + "Жажда мести" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Список Шиндлера' 1993 года?\nA. Убить международного шпиона\nB. Квентин Тарантино\nC. Стивен Спилберг\nD. США\nE. Джереми Айронс\nF. Мэттью Бродерик\nG. Страх\nH. Франция\nI. Кристофер Нолан\nJ. Украсть секретный код\nK. Мартин Скорсезе\nL. Жажда мести\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 118, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " К" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.10700253397226334, + "B": 0.023875495418906212, + "C": 0.018594253808259964, + "D": 0.01640937104821205, + "E": 0.5434037446975708, + "F": 0.014481219463050365, + "G": 0.007751238066703081, + "H": 0.001188690890558064, + "I": 0.012779631651937962, + "J": 0.018594253808259964, + "K": 0.003231196664273739, + "L": 0.018594253808259964 + }, + "sample": { + "question": "В какой стране был снят фильм \"1+1\"?", + "answerA": "США", + "answerB": "Франция", + "answerC": "Великобритания", + "answerD": "Италия", + "correct_answer": "Франция", + "choices": [ + "Италия", + "Джереми Айронс", + "Мэттью Бродерик", + "Жажда мести", + "США", + "Квентин Тарантино", + "Франция", + "Убить международного шпиона", + "Украсть секретный код", + "Великобритания", + "Страх", + "Сергей Эйзенштейн" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nВ какой стране был снят фильм \"1+1\"?\nA. Италия\nB. Джереми Айронс\nC. Мэттью Бродерик\nD. Жажда мести\nE. США\nF. Квентин Тарантино\nG. Франция\nH. Убить международного шпиона\nI. Украсть секретный код\nJ. Великобритания\nK. Страх\nL. Сергей Эйзенштейн\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 105, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.2128874808549881, + "B": 0.03699429705739021, + "C": 0.015421518124639988, + "D": 0.032647352665662766, + "E": 0.1139504536986351, + "F": 0.07831693440675735, + "G": 0.053826380521059036, + "H": 0.2733529508113861, + "I": 0.02706560678780079, + "J": 0.032647352665662766, + "K": 0.007754426449537277, + "L": 0.06099328771233559 + }, + "sample": { + "question": "Какую уникальную операцию должна была выполнить команда Кобба в фильме 'Начало'?", + "answerA": "Украсть секретный код", + "answerB": "Убить международного шпиона", + "answerC": "Внедрить идею", + "answerD": "Спасти мир от катастрофы", + "correct_answer": "Внедрить идею", + "choices": [ + "Украсть секретный код", + "Квентин Тарантино", + "Мэттью Бродерик", + "Страх", + "Спасти мир от катастрофы", + "Стивен Спилберг", + "Сергей Эйзенштейн", + "Убить международного шпиона", + "Жажда мести", + "Джереми Айронс", + "Федерико Феллини", + "Внедрить идею" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКакую уникальную операцию должна была выполнить команда Кобба в фильме 'Начало'?\nA. Украсть секретный код\nB. Квентин Тарантино\nC. Мэттью Бродерик\nD. Страх\nE. Спасти мир от катастрофы\nF. Стивен Спилберг\nG. Сергей Эйзенштейн\nH. Убить международного шпиона\nI. Жажда мести\nJ. Джереми Айронс\nK. Федерико Феллини\nL. Внедрить идею\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 125, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.23235076665878296, + "B": 0.14092788100242615, + "C": 0.3830816447734833, + "D": 0.05874747782945633, + "E": 0.011568063870072365, + "F": 0.007016385439783335, + "G": 0.01683143340051174, + "H": 0.006191938184201717, + "I": 0.0006526255747303367, + "J": 0.0024247977416962385, + "K": 0.003997816238552332, + "L": 0.0002400874946033582 + }, + "sample": { + "question": "Какое чувство впервые испытывает профессиональный убийца Леон, знакомясь со своей соседкой Матильдой?", + "answerA": "Жажда мести", + "answerB": "Страх", + "answerC": "Любовь", + "answerD": "Ревность", + "correct_answer": "Любовь", + "choices": [ + "Страх", + "Ревность", + "Жажда мести", + "Вольфганг Беккер", + "Квентин Тарантино", + "Джереми Айронс", + "Мэттью Бродерик", + "Федерико Феллини", + "Андрей Тарковский", + "Стивен Спилберг", + "Сергей Эйзенштейн", + "Любовь" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКакое чувство впервые испытывает профессиональный убийца Леон, знакомясь со своей соседкой Матильдой?\nA. Страх\nB. Ревность\nC. Жажда мести\nD. Вольфганг Беккер\nE. Квентин Тарантино\nF. Джереми Айронс\nG. Мэттью Бродерик\nH. Федерико Феллини\nI. Андрей Тарковский\nJ. Стивен Спилберг\nK. Сергей Эйзенштейн\nL. Любовь\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 117, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.07026335597038269, + "B": 0.07026335597038269, + "C": 0.06200719252228737, + "D": 0.21642637252807617, + "E": 0.13126923143863678, + "F": 0.07026335597038269, + "G": 0.06200719252228737, + "H": 0.06200719252228737, + "I": 0.029290122911334038, + "J": 0.07961881905794144, + "K": 0.024282364174723625, + "L": 0.029290122911334038 + }, + "sample": { + "question": "Кто из актёров озвучил персонажа Муфасу в фильме Король Лев 1994 года?", + "answerA": "Мэттью Бродерик", + "answerB": "Джереми Айронс", + "answerC": "Нэйтан Лейн", + "answerD": "Джеймс Эрл Джонс", + "correct_answer": "Джеймс Эрл Джонс", + "choices": [ + "Сергей Эйзенштейн", + "Мартин Скорсезе", + "Андрей ��арковский", + "Джеймс Эрл Джонс", + "Мэттью Бродерик", + "Джереми Айронс", + "Федерико Феллини", + "Роберто Бениньи", + "Вольфганг Беккер", + "Нэйтан Лейн", + "Квентин Тарантино", + "Стивен Спилберг" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКто из актёров озвучил персонажа Муфасу в фильме Король Лев 1994 года?\nA. Сергей Эйзенштейн\nB. Мартин Скорсезе\nC. Андрей Тарковский\nD. Джеймс Эрл Джонс\nE. Мэттью Бродерик\nF. Джереми Айронс\nG. Федерико Феллини\nH. Роберто Бениньи\nI. Вольфганг Беккер\nJ. Нэйтан Лейн\nK. Квентин Тарантино\nL. Стивен Спилберг\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 130, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.013909360393881798, + "B": 0.051679544150829315, + "C": 0.014806438237428665, + "D": 0.06635784357786179, + "E": 0.03134522587060928, + "F": 0.012274968437850475, + "G": 0.014806438237428665, + "H": 0.00898055825382471, + "I": 0.013909360393881798, + "J": 0.6295857429504395, + "K": 0.007925314828753471, + "L": 0.0045157079584896564 + }, + "sample": { + "question": "Кто режиссер фильма \"Бойцовский клуб\"?", + "answerA": "Квентин Тарантино", + "answerB": "Стивен Спилберг", + "answerC": "Дэвид Финчер", + "answerD": "Кристофер Нолан", + "correct_answer": "Дэвид Финчер", + "choices": [ + "Кристофер Нолан", + "Стивен Спилберг", + "Сергей Эйзенштейн", + "Федерико Феллини", + "Андрей Тарковский", + "Вольфганг Беккер", + "Роберто Бениньи", + "Дэвид Финчер", + "Джон Траволта", + "Мартин Скорсезе", + "Фатих Акин", + "Квентин Тарантино" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма \"Бойцовский клуб\"?\nA. Кристофер Нолан\nB. Стивен Спилберг\nC. Сергей Эйзенштейн\nD. Федерико Феллини\nE. Андрей Тарковский\nF. Вольфганг Беккер\nG. Роберто Бениньи\nH. Дэвид Финчер\nI. Джон Траволта\nJ. Мартин Скорсезе\nK. Фатих Акин\nL. Квентин Тарантино\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 116, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.014029082842171192, + "B": 0.07584049552679062, + "C": 0.040594495832920074, + "D": 0.06692901253700256, + "E": 0.06692901253700256, + "F": 0.019175482913851738, + "G": 0.016922302544116974, + "H": 0.01801369898021221, + "I": 0.01801369898021221, + "J": 0.4364319443702698, + "K": 0.026209775358438492, + "L": 0.020412195473909378 + }, + "sample": { + "question": "Кто режиссер фильма 'Иван Васильевич меняет профессию'?", + "answerA": "Сергей Эйзенштейн", + "answerB": "Андрей Тарковский", + "answerC": "Леонид Гайдай", + "answerD": "Никита Михалков", + "correct_answer": "Леонид Гайдай", + "choices": [ + "Джон Траволта", + "Фредди Фрэнсис", + "Андрей Тарковский", + "Сэмюэл Л. Джексон", + "Вольфганг Беккер", + "Фатих Акин", + "Роберто Бениньи", + "Федерико Феллини", + "Сергей Эйзенштейн", + "Мартин Скорсезе", + "Никита Михалков", + "Леонид Г��йдай" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Иван Васильевич меняет профессию'?\nA. Джон Траволта\nB. Фредди Фрэнсис\nC. Андрей Тарковский\nD. Сэмюэл Л. Джексон\nE. Вольфганг Беккер\nF. Фатих Акин\nG. Роберто Бениньи\nH. Федерико Феллини\nI. Сергей Эйзенштейн\nJ. Мартин Скорсезе\nK. Никита Михалков\nL. Леонид Гайдай\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 111, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.19099338352680206, + "B": 0.2164238691329956, + "C": 0.19099338352680206, + "D": 0.07961789518594742, + "E": 0.03318967670202255, + "F": 0.014727829024195671, + "G": 0.042616382241249084, + "H": 0.01147004496306181, + "I": 0.00047342528705485165, + "J": 0.003087120596319437, + "K": 0.001758988481014967, + "L": 0.0006078901351429522 + }, + "sample": { + "question": "Кто является режиссером фильма 'Жизнь прекрасна'?", + "answerA": "Федерико Феллини", + "answerB": "Роберто Бениньи", + "answerC": "Пьер Паоло Пазолини", + "answerD": "Лукка Гуаданьино", + "correct_answer": "B", + "choices": [ + "Лукка Гуаданьино", + "Мартин Скорсезе", + "Роберто Бениньи", + "Фатих Акин", + "Федерико Феллини", + "Пьер Паоло Пазолини", + "Джон Траволта", + "Андрей Тарковский", + "Вольфганг Беккер", + "Фредди Фрэнсис", + "Сэмюэл Л. Джексон", + "Леонардо ДиКаприо" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Жизнь прекрасна'?\nA. Лукка Гуаданьино\nB. Мартин Скорсезе\nC. Роберто Бениньи\nD. Фатих Акин\nE. Федерико Феллини\nF. Пьер Паоло Пазолини\nG. Джон Траволта\nH. Андрей Тарковский\nI. Вольфганг Беккер\nJ. Фредди Фрэнсис\nK. Сэмюэл Л. Джексон\nL. Леонардо ДиКаприо\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 118, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0233309343457222, + "B": 0.03188960626721382, + "C": 0.1619488000869751, + "D": 0.09822690486907959, + "E": 0.017069276422262192, + "F": 0.012488150037825108, + "G": 0.018170149996876717, + "H": 0.0097257811576128, + "I": 0.004054308403283358, + "J": 0.036135658621788025, + "K": 0.3428455889225006, + "L": 0.006279435940086842 + }, + "sample": { + "question": "Кто является режиссером фильма 'Достучаться до небес'?", + "answerA": "Вольфганг Беккер", + "answerB": "Фатих Акин", + "answerC": "Томас Ян", + "answerD": "Майкл Хербиг", + "correct_answer": "Томас Ян", + "choices": [ + "Фатих Акин", + "Вольфганг Беккер", + "Сэмюэл Л. Джексон", + "Джон Траволта", + "Леонардо ДиКаприо", + "Андрей Тарковский", + "Фредди Фрэнсис", + "Леонид Гайдай", + "Томас Ян", + "Том Хэнкс", + "Мартин Скорсезе", + "Майкл Хербиг" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Достучаться до небес'?\nA. Фатих Акин\nB. Вольфганг Беккер\nC. Сэмюэл Л. Джексон\nD. Джон Траволта\nE. Леонардо ДиКаприо\nF. Андрей Тарковский\nG. Фредди Фрэнсис\nH. Леонид Гайдай\nI. Томас ��н\nJ. Том Хэнкс\nK. Мартин Скорсезе\nL. Майкл Хербиг\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 110, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.014262214303016663, + "B": 0.606444776058197, + "C": 0.06391880661249161, + "D": 0.0387687161564827, + "E": 0.07242950052022934, + "F": 0.023514416068792343, + "G": 0.03421327471733093, + "H": 0.014262214303016663, + "I": 0.0001488395791966468, + "J": 0.0076340134255588055, + "K": 0.0024784011766314507, + "L": 0.005246775224804878 + }, + "sample": { + "question": "Кто является режиссером фильма 'Крестный отец'?", + "answerA": "Мартин Скорсезе", + "answerB": "Фредди Фрэнсис", + "answerC": "Фрэнсис Форд Коппола", + "answerD": "Стивен Спилберг", + "correct_answer": "Фрэнсис Форд Коппола", + "choices": [ + "Джон Траволта", + "Леонид Гайдай", + "Хью Джекман", + "Рассел Кроу", + "Андрей Тарковский", + "Мартин Скорсезе", + "Фрэнсис Форд Коппола", + "Сэмюэл Л. Джексон", + "Том Хэнкс", + "Стивен Спилберг", + "Леонардо ДиКаприо", + "Фредди Фрэнсис" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Крестный отец'?\nA. Джон Траволта\nB. Леонид Гайдай\nC. Хью Джекман\nD. Рассел Кроу\nE. Андрей Тарковский\nF. Мартин Скорсезе\nG. Фрэнсис Форд Коппола\nH. Сэмюэл Л. Джексон\nI. Том Хэнкс\nJ. Стивен Спилберг\nK. Леонардо ДиКаприо\nL. Фредди Фрэнсис\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 111, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0873388722538948, + "B": 0.06002706289291382, + "C": 0.30484259128570557, + "D": 0.06002706289291382, + "E": 0.04674912989139557, + "F": 0.036408256739377975, + "G": 0.1631704866886139, + "H": 0.04674912989139557, + "I": 0.0024776130449026823, + "J": 0.007631585467606783, + "K": 0.00812377966940403, + "L": 0.0008562401635572314 + }, + "sample": { + "question": "Кто является режиссером фильма «Операция «Ы» и другие приключения Шурика»?", + "answerA": "Андрей Тарковский", + "answerB": "Леонид Гайдай", + "answerC": "Сергей Эйзенштейн", + "answerD": "Никита Михалков", + "correct_answer": "Леонид Гайдай", + "choices": [ + "Стивен Спилберг", + "Кристофер Нолан", + "Леонид Гайдай", + "Хью Джекман", + "Рассел Кроу", + "Квентин Тарантино", + "Андрей Тарковский", + "Том Хэнкс", + "Рассел Кроу", + "Сергей Эйзенштейн", + "Леонардо ДиКаприо", + "Никита Михалков" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма «Операция «Ы» и другие приключения Шурика»?\nA. Стивен Спилберг\nB. Кристофер Нолан\nC. Леонид Гайдай\nD. Хью Джекман\nE. Рассел Кроу\nF. Квентин Тарантино\nG. Андрей Тарковский\nH. Том Хэнкс\nI. Рассел Кроу\nJ. Сергей Эйзенштейн\nK. Леонардо ДиКаприо\nL. Никита Михалков\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 116, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.177362322807312, + "B": 0.05758111923933029, + "C": 0.2009778469800949, + "D": 0.177362322807312, + "E": 0.0739356279373169, + "F": 0.03957488387823105, + "G": 0.12189923226833344, + "H": 0.025551464408636093, + "I": 0.01549774780869484, + "J": 0.0349247120320797, + "K": 0.01000609714537859, + "L": 0.0011950578773394227 + }, + "sample": { + "question": "Кто из актёров сыграл одну из главных ролей в фильме 'Престиж' 2006 года?", + "answerA": "Леонардо ДиКаприо", + "answerB": "Хью Джекман", + "answerC": "Том Харди", + "answerD": "Брэд Питт", + "correct_answer": "answerB", + "choices": [ + "Леонардо ДиКаприо", + "Стивен Спилберг", + "Брэд Питт", + "Том Хэнкс", + "Рассел Кроу", + "1955 год", + "Квентин Тарантино", + "Стивен Спилберг", + "Рассел Кроу", + "Хью Джекман", + "Кристофер Нолан", + "Том Харди" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКто из актёров сыграл одну из главных ролей в фильме 'Престиж' 2006 года?\nA. Леонардо ДиКаприо\nB. Стивен Спилберг\nC. Брэд Питт\nD. Том Хэнкс\nE. Рассел Кроу\nF. 1955 год\nG. Квентин Тарантино\nH. Стивен Спилберг\nI. Рассел Кроу\nJ. Хью Джекман\nK. Кристофер Нолан\nL. Том Харди\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 123, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.039280764758586884, + "B": 0.05715318024158478, + "C": 0.03466515615582466, + "D": 0.4785377085208893, + "E": 0.03466515615582466, + "F": 0.050437502562999725, + "G": 0.09422965347766876, + "H": 0.011254128068685532, + "I": 0.002845488954335451, + "J": 0.12099327892065048, + "K": 0.022381506860256195, + "L": 0.0014308018144220114 + }, + "sample": { + "question": "Кто сыграл главную роль в фильме 'Игры разума'?", + "answerA": "Том Хэнкс", + "answerB": "Рассел Кроу", + "answerC": "Брэд Питт", + "answerD": "Леонардо Ди Каприо", + "correct_answer": "answerB", + "choices": [ + "Стивен Спилберг", + "Стивен Спилберг", + "1965 год", + "Том Хэнкс", + "Брэд Питт", + "Кристофер Нолан", + "Кристофер Нолан", + "Леонардо Ди Каприо", + "Квентин Тарантино", + "Рассел Кроу", + "Хоакин Феникс", + "1955 год" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКто сыграл главную роль в фильме 'Игры разума'?\nA. Стивен Спилберг\nB. Стивен Спилберг\nC. 1965 год\nD. Том Хэнкс\nE. Брэд Питт\nF. Кристофер Нолан\nG. Кристофер Нолан\nH. Леонардо Ди Каприо\nI. Квентин Тарантино\nJ. Рассел Кроу\nK. Хоакин Феникс\nL. 1955 год\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.7556681036949158, + "B": 0.004493366461247206, + "C": 0.0122142368927598, + "D": 0.11588545888662338, + "E": 0.02585753984749317, + "F": 0.0029011357109993696, + "G": 0.042631879448890686, + "H": 0.0017596276011317968, + "I": 0.00030577744473703206, + "J": 0.0006473308312706649, + "K": 8.760670607443899e-05, + "L": 3.430727883824147e-05 + }, + "sample": { + "question": "Кто режиссер фильма 'Интерстеллар'?", + "answerA": "Стивен Спилберг", + "answerB": "Квентин Тарантино", + "answerC": "Кристофер Нолан", + "answerD": "Питер Джексон", + "correct_answer": "C", + "choices": [ + "Джеймс Кэмерон", + "Хоакин Феникс", + "Стивен Спилберг", + "Ридли Скотт", + "Лоренс Фишбёрн", + "Рассел Кроу", + "Хьюго Уивинг", + "Кристофер Нолан", + "Питер Джексон", + "1955 год", + "1965 год", + "Квентин Тарантино" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Интерстеллар'?\nA. Джеймс Кэмерон\nB. Хоакин Феникс\nC. Стивен Спилберг\nD. Ридли Скотт\nE. Лоренс Фишбёрн\nF. Рассел Кроу\nG. Хьюго Уивинг\nH. Кристофер Нолан\nI. Питер Джексон\nJ. 1955 год\nK. 1965 год\nL. Квентин Тарантино\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 116, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.001248517888598144, + "B": 0.001248517888598144, + "C": 0.1123879924416542, + "D": 0.004937983583658934, + "E": 0.0011018130462616682, + "F": 0.0002458477101754397, + "G": 0.7328617572784424, + "H": 0.0010350575903430581, + "I": 3.7701971450587735e-05, + "J": 7.497931801481172e-05, + "K": 0.000520459609106183, + "L": 1.7809148630476557e-05 + }, + "sample": { + "question": "Кто режиссер фильма 'Властелин колец: Возвращение Короля'?", + "answerA": "Кристофер Нолан", + "answerB": "Стивен Спилберг", + "answerC": "Джеймс Кэмерон", + "answerD": "Питер Джексон", + "correct_answer": "Питер Джексон", + "choices": [ + "Стивен Спилберг", + "Анатолий Папанов", + "Лоренс Фишбёрн", + "Хьюго Уивинг", + "1965 год", + "Кристофер Нолан", + "Питер Джексон", + "Ридли Скотт", + "Джеймс Кэмерон", + "Рассел Кроу", + "1955 год", + "Хоакин Феникс" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Властелин колец: Возвращение Короля'?\nA. Стивен Спилберг\nB. Анатолий Папанов\nC. Лоренс Фишбёрн\nD. Хьюго Уивинг\nE. 1965 год\nF. Кристофер Нолан\nG. Питер Джексон\nH. Ридли Скотт\nI. Джеймс Кэмерон\nJ. Рассел Кроу\nK. 1955 год\nL. Хоакин Феникс\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.05896313115954399, + "B": 0.09721377491950989, + "C": 0.043138355016708374, + "D": 0.09721377491950989, + "E": 0.03576295077800751, + "F": 0.02964852750301361, + "G": 0.03576295077800751, + "H": 0.16027842462062836, + "I": 0.006615480408072472, + "J": 0.03576295077800751, + "K": 0.024579491466283798, + "L": 0.29943951964378357 + }, + "sample": { + "question": "Кто является режиссером фильма 'Карты; деньги; два ствола'?", + "answerA": "Кристофер Нолан", + "answerB": "Ридли Скотт", + "answerC": "Гай Ричи", + "answerD": "Дэнни Бойл", + "correct_answer": "Гай Ричи", + "choices": [ + "Даниэль Кальтаджироне", + "Анатолий Папанов", + "Дэнни Бойл", + "Гай Ричи", + "Леонардо ДиКаприо", + "Леонардо ДиКаприо", + "Кристофер Нолан", + "Лоренс Фишбёрн", + "Хьюго Уивинг", + "Мэтт Дэймон", + "Станислав Чекан", + "Ридли Скотт" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Карты; деньги; два ствола'?\nA. Даниэль Кальтаджироне\nB. Анатолий Папанов\nC. Дэнни Бойл\nD. Гай Ричи\nE. Леонардо ДиКаприо\nF. Леонардо ДиКаприо\nG. Кристофер Нолан\nH. Лоренс Фишбёрн\nI. Хьюго Уивинг\nJ. Мэтт Дэймон\nK. Станислав Чекан\nL. Ридли Скотт\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 120, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.02381221577525139, + "B": 0.7885522842407227, + "C": 0.07334678620100021, + "D": 0.016365880146622658, + "E": 0.009926408529281616, + "F": 0.002509789075702429, + "G": 0.004404817242175341, + "H": 0.002357728546485305, + "I": 2.7881238565896638e-05, + "J": 0.00152226397767663, + "K": 0.000319083861541003, + "L": 6.688360736006871e-05 + }, + "sample": { + "question": "Кто из актёров сыграл Нео в фильме 'Матрица'?", + "answerA": "Лоренс Фишбёрн", + "answerB": "Хьюго Уивинг", + "answerC": "Киану Ривз", + "answerD": "Глория Фостер", + "correct_answer": "C", + "choices": [ + "Хьюго Уивинг", + "Киану Ривз", + "Кристофер Нолан", + "Том Хэнкс", + "Глория Фостер", + "Леонардо ДиКаприо", + "Лоренс Фишбёрн", + "Даниэль Кальтаджироне", + "Станислав Чекан", + "Анатолий Папанов", + "Леонардо ДиКаприо", + "Мэтт Дэймон" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКто из актёров сыграл Нео в фильме 'Матрица'?\nA. Хьюго Уивинг\nB. Киану Ривз\nC. Кристофер Нолан\nD. Том Хэнкс\nE. Глория Фостер\nF. Леонардо ДиКаприо\nG. Лоренс Фишбёрн\nH. Даниэль Кальтаджироне\nI. Станислав Чекан\nJ. Анатолий Папанов\nK. Леонардо ДиКаприо\nL. Мэтт Дэймон\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 125, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.1109694167971611, + "B": 0.09793016314506531, + "C": 0.04345624893903732, + "D": 0.07626809179782867, + "E": 0.05579892918467522, + "F": 0.09793016314506531, + "G": 0.08642306923866272, + "H": 0.1614595502614975, + "I": 0.019283592700958252, + "J": 0.07626809179782867, + "K": 0.029867013916373253, + "L": 0.03835000470280647 + }, + "sample": { + "question": "Кто сыграл роль Семена Семеновича Горбункова в фильме Бриллиантовая рука?", + "answerA": "Анатолий Папанов", + "answerB": "Станислав Чекан", + "answerC": "Юрий Никулин", + "answerD": "Андрей Миронов", + "correct_answer": "C", + "choices": [ + "Юрий Никулин", + "Станислав Чекан", + "Кристофер Нолан", + "Том Хэнкс", + "Леонардо ДиКаприо", + "Анатолий Папанов", + "Мэтт Дэймон", + "Сергей Бондарчук", + "Даниэль Кальтаджироне", + "Андрей Миронов", + "Леонардо ДиКаприо", + "Эдриан Броуди" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКто сыграл роль Семена Семеновича Горбункова в фильме Бриллиантовая рука?\nA. Юрий Никулин\nB. Станислав Чекан\nC. Кристофер Нолан\nD. Том Хэнкс\nE. Леонардо ДиКаприо\nF. Анатолий Папанов\nG. Мэтт Дэймон\nH. Сергей Бондарчук\nI. Даниэль Кальтаджироне\nJ. Андрей Миронов\nK. Леонардо ДиКаприо\nL. Эдриан Броуди\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 117, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.1477462202310562, + "B": 0.10154440253973007, + "C": 0.18970991671085358, + "D": 0.1303855925798416, + "E": 0.07908285409212112, + "F": 0.061589788645505905, + "G": 0.08961261808872223, + "H": 0.04796617850661278, + "I": 0.019995277747511864, + "J": 0.022657617926597595, + "K": 0.010702701285481453, + "L": 0.005381655879318714 + }, + "sample": { + "question": "Кто из актеров сыграл агента мафии в рядах правоохранительных органов в фильме 'Отступники'?", + "answerA": "Леонардо ДиКаприо", + "answerB": "Мэтт Дэймон", + "answerC": "Джек Николсон", + "answerD": "Марк Уолберг", + "correct_answer": "Мэтт Дэймон", + "choices": [ + "Андрей Тарковский", + "Мэтт Дэймон", + "Даниэль Кальтаджироне", + "Эдриан Броуди", + "Джек Николсон", + "Том Хэнкс", + "Питер Джексон", + "Леонардо ДиКаприо", + "Сергей Бондарчук", + "Кристофер Нолан", + "Марк Уолберг", + "2006" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКто из актеров сыграл агента мафии в рядах правоохранительных органов в фильме 'Отступники'?\nA. Андрей Тарковский\nB. Мэтт Дэймон\nC. Даниэль Кальтаджироне\nD. Эдриан Броуди\nE. Джек Николсон\nF. Том Хэнкс\nG. Питер Джексон\nH. Леонардо ДиКаприо\nI. Сергей Бондарчук\nJ. Кристофер Нолан\nK. Марк Уолберг\nL. 2006\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 121, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.3316521942615509, + "B": 0.039610207080841064, + "C": 0.034955885261297226, + "D": 0.12200804054737091, + "E": 0.07400161027908325, + "F": 0.057632505893707275, + "G": 0.057632505893707275, + "H": 0.057632505893707275, + "I": 0.09501995146274567, + "J": 0.044884245842695236, + "K": 0.010660943575203419, + "L": 0.024024806916713715 + }, + "sample": { + "question": "Кто сыграл главную роль в фильме 'Пианист' 2002 года?", + "answerA": "Даниэль Кальтаджироне", + "answerB": "Эдриан Броуди", + "answerC": "Эд Стоппард", + "answerD": "Морин Липман", + "correct_answer": "answerB", + "choices": [ + "Даниэль Кальтаджироне", + "2006", + "Питер Джексон", + "Морин Липман", + "2008", + "Эрнесто", + "Сергей Бондарчук", + "Андрей Тарковский", + "Эдриан Броуди", + "Кристофер Нолан", + "Эд Стоппард", + "Джейсон Стэйтем" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКто сыграл главную роль в фильме 'Пианист' 2002 года?\nA. Даниэль Кальтаджироне\nB. 2006\nC. Питер Джексон\nD. Морин Липман\nE. 2008\nF. Эрнесто\nG. Сергей Бондарчук\nH. Андрей Тарковский\nI. Эдриан Броуди\nJ. Кристофер Нолан\nK. Эд Стоппард\nL. Джейсон Стэйтем\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 121, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0020659829024225473, + "B": 0.005275672301650047, + "C": 0.001253081951290369, + "D": 0.008698112331330776, + "E": 0.011888910084962845, + "F": 0.0017127598403021693, + "G": 0.00677409628406167, + "H": 0.9444531202316284, + "I": 0.00038216839311644435, + "J": 0.00027960038278251886, + "K": 0.00024674643645994365, + "L": 0.00015931148664094508 + }, + "sample": { + "question": "Кто режиссер фильма 'Властелин колец: Братство кольца'?", + "answerA": "Кристофер Нолан", + "answerB": "Питер Джексон", + "answerC": "Стивен Спилберг", + "answerD": "Гильермо Дель Торо", + "correct_answer": "answerB", + "choices": [ + "Стивен Спилберг", + "Мигель", + "Кристофер Нолан", + "Джейсон Стэйтем", + "Сергей Бондарчук", + "Андрей Тарковский", + "Леголас", + "Питер Джексон", + "2008", + "Гильермо Дель Торо", + "2006", + "Эрнесто" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Властелин колец: Братство кольца'?\nA. Стивен Спилберг\nB. Мигель\nC. Кристофер Нолан\nD. Джейсон Стэйтем\nE. Сергей Бондарчук\nF. Андрей Тарковский\nG. Леголас\nH. Питер Джексон\nI. 2008\nJ. Гильермо Дель Торо\nK. 2006\nL. Эрнесто\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 113, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.06996697932481766, + "B": 0.10180135071277618, + "C": 0.1307155191898346, + "D": 0.10180135071277618, + "E": 0.04808755964040756, + "F": 0.06996697932481766, + "G": 0.11535604298114777, + "H": 0.1307155191898346, + "I": 0.012942589819431305, + "J": 0.04808755964040756, + "K": 0.054490335285663605, + "L": 0.020045874640345573 + }, + "sample": { + "question": "Кто является режиссером фильма «В бой идут одни «старики»»?", + "answerA": "Сергей Бондарчук", + "answerB": "Андрей Тарковский", + "answerC": "Леонид Быков", + "answerD": "Станислав Ростоцкий", + "correct_answer": "Леонид Быков", + "choices": [ + "Мигель", + "Джейсон Стэйтем", + "Стивен Грэм", + "Эрнесто", + "2006", + "Леонид Быков", + "Сергей Бондарчук", + "Дэнни Виньярд", + "2008", + "Станислав Ростоцкий", + "Андрей Тарковский", + "Леголас" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма «В бой идут одни «старики»»?\nA. Мигель\nB. Джейсон Стэйтем\nC. Стивен Грэм\nD. Эрнесто\nE. 2006\nF. Леонид Быков\nG. Сергей Бондарчук\nH. Дэнни Виньярд\nI. 2008\nJ. Станислав Ростоцкий\nK. Андрей Тарковский\nL. Леголас\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 113, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.023138055577874184, + "B": 0.029709849506616592, + "C": 0.13315030932426453, + "D": 0.11750473082065582, + "E": 0.05550530552864075, + "F": 0.038148198276758194, + "G": 0.4101318120956421, + "H": 0.07127021253108978, + "I": 0.007511826232075691, + "J": 0.007056707516312599, + "K": 0.009645376354455948, + "L": 0.004020791035145521 + }, + "sample": { + "question": "В каком году был выпущен анимационный фильм \"ВАЛЛ·И\"?", + "answerA": "2006", + "answerB": "2008", + "answerC": "2010", + "answerD": "2012", + "correct_answer": "answerB", + "choices": [ + "Леголас", + "Мигель", + "Дэнни Виньярд", + "2008", + "Стивен Грэм", + "Джейсон Стэйтем", + "2006", + "2012", + "2010", + "Гандальф", + "Эрнесто", + "Картина Рембрандта" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nВ каком году был выпущен анимационный фильм \"ВАЛЛ·И\"?\nA. Леголас\nB. Мигель\nC. Дэнни Виньярд\nD. 2008\nE. Стивен Грэм\nF. Джейсон Стэйтем\nG. 2006\nH. 2012\nI. 2010\nJ. Гандальф\nK. Эрнесто\nL. Картина Рембрандта\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 118, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.3016306161880493, + "B": 0.14248022437095642, + "C": 0.18294821679592133, + "D": 0.03602464124560356, + "E": 0.04625655338168144, + "F": 0.04082126542925835, + "G": 0.11096371710300446, + "H": 0.019282599911093712, + "I": 0.003566922154277563, + "J": 0.00910845585167408, + "K": 0.003350813640281558, + "L": 0.00012205336679471657 + }, + "sample": { + "question": "Как зовут 12-летнего мальчика, мечтающего стать музыкантом в фильме 'Тайна Коко'?", + "answerA": "Эрнесто", + "answerB": "Мигель", + "answerC": "Гектор", + "answerD": "Бенджамин", + "correct_answer": "answerB", + "choices": [ + "Дэнни Виньярд", + "Эрнесто", + "Дерек Виньярд", + "Картина Рембрандта", + "Они не могли покинуть корабль.", + "Леголас", + "Джейсон Стэйтем", + "Бенджамин", + "Стивен Грэм", + "Мигель", + "Гектор", + "Гандальф" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКак зовут 12-летнего мальчика, мечтающего стать музыкантом в фильме 'Тайна Коко'?\nA. Дэнни Виньярд\nB. Эрнесто\nC. Дерек Виньярд\nD. Картина Рембрандта\nE. Они не могли покинуть корабль.\nF. Леголас\nG. Джейсон Стэйтем\nH. Бенджамин\nI. Стивен Грэм\nJ. Мигель\nK. Гектор\nL. Гандальф\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 118, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.14344161748886108, + "B": 0.3440985679626465, + "C": 0.18418268859386444, + "D": 0.046568673104047775, + "E": 0.04109671339392662, + "F": 0.013342148624360561, + "G": 0.026534032076597214, + "H": 0.023416200652718544, + "I": 0.0004288826894480735, + "J": 0.011774404905736446, + "K": 0.0010951902950182557, + "L": 0.00021565573115367442 + }, + "sample": { + "question": "Кто из актеров играл хитрого боксера в фильме \"Большой куш\"?", + "answerA": "Джейсон Стэйтем", + "answerB": "Стивен Грэм", + "answerC": "Брэд Питт", + "answerD": "Алан Форд", + "correct_answer": "Брэд Питт", + "choices": [ + "Том Хэнкс", + "Дерек Виньярд", + "Алан Форд", + "Картина Рембрандта", + "Джейсон Стэйтем", + "Стивен Грэм", + "Брэд Питт", + "Уникальный шлем Александра Македонского", + "Они не могли покинуть корабль.", + "Леголас", + "Гандальф", + "Дэнни Виньярд" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКто из актеров играл хитрого боксера в фильме \"Большой куш\"?\nA. Том Хэнкс\nB. Дерек Виньярд\nC. Алан Форд\nD. Картина Рембрандта\nE. Джейсон Стэйтем\nF. Стивен Грэм\nG. Брэд Питт\nH. Уникальный шлем Александра Македонского\nI. Они не могли покинуть корабль.\nJ. Леголас\nK. Гандальф\nL. Дэнни Виньярд\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.07442651689052582, + "B": 0.1785399317741394, + "C": 0.07442651689052582, + "D": 0.0843362957239151, + "E": 0.1082899421453476, + "F": 0.057963427156209946, + "G": 0.06568117439746857, + "H": 0.12270858138799667, + "I": 0.0069227442145347595, + "J": 0.057963427156209946, + "K": 0.01007253397256136, + "L": 0.04514196515083313 + }, + "sample": { + "question": "Кто взялся провести Фродо и Сэма к вратам Мордора в фильме 'Властелин колец: Две крепости'?", + "answerA": "Леголас", + "answerB": "Гандальф", + "answerC": "Голлум", + "answerD": "Арагорн", + "correct_answer": "Голлум", + "choices": [ + "Уникальный шлем Александра Македонского", + "Дерек Виньярд", + "Они не могли покинуть корабль.", + "Леголас", + "Дэнни Виньярд", + "Арагорн", + "Гандальф", + "Том Хэнкс", + "Картина Рембрандта", + "Голлум", + "Они превращались в призраков в полночь.", + "Кристиан Бэйл" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКто взялся провести Фродо и Сэма к вратам Мордора в фильме 'Властелин колец: Две крепости'?\nA. Уникальный шлем Александра Македонского\nB. Дерек Виньярд\nC. Они не могли покинуть корабль.\nD. Леголас\nE. Дэнни Виньярд\nF. Арагорн\nG. Гандальф\nH. Том Хэнкс\nI. Картина Рембрандта\nJ. Голлум\nK. Они превращались в призраков в полночь.\nL. Кристиан Бэйл\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 135, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.13610056042671204, + "B": 0.224391907453537, + "C": 0.32648828625679016, + "D": 0.04418538510799408, + "E": 0.03441161289811134, + "F": 0.02365073375403881, + "G": 0.03663096949458122, + "H": 0.025176074355840683, + "I": 0.001039140741340816, + "J": 0.015270061790943146, + "K": 0.006365508772432804, + "L": 0.0006302706897258759 + }, + "sample": { + "question": "Кто является лидером местной банды скинхедов в фильме 'Американская история X'?", + "answerA": "Дэнни Виньярд", + "answerB": "Дерек Виньярд", + "answerC": "Беверли Д’Анджело", + "answerD": "Эдвард Ферлонг", + "correct_answer": "B", + "choices": [ + "Том Хэнкс", + "Дэнни Виньярд", + "Беверли Д’Анджело", + "Стэнли Кубрик", + "Картина Рембрандта", + "Уникальный шлем Александра Македонского", + "Они превращались в призраков в полночь.", + "Кристиан Бэйл", + "Леонардо ДиКаприо", + "Они не могли покинуть корабль.", + "Дерек Виньярд", + "Эдвард Ферлонг" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКто является лидером местной банды скинхедов в фильме 'Американская история X'?\nA. Том Хэнкс\nB. Дэнни Виньярд\nC. Беверли Д’Анджело\nD. Стэнли Кубрик\nE. Картина Рембрандта\nF. Уникальный шлем Александра Македонского\nG. Они превращались в призраков в полночь.\nH. Кристиан Бэйл\nI. Леонардо ДиКапри��\nJ. Они не могли покинуть корабль.\nK. Дерек Виньярд\nL. Эдвард Ферлонг\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 133, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.3066062331199646, + "B": 0.09954047203063965, + "C": 0.06841310113668442, + "D": 0.21072718501091003, + "E": 0.06841310113668442, + "F": 0.07752219587564468, + "G": 0.053280171006917953, + "H": 0.041494641453027725, + "I": 0.0063634091056883335, + "J": 0.013471337966620922, + "K": 0.0034060878679156303, + "L": 0.0021991352550685406 + }, + "sample": { + "question": "Какой предмет украли в фильме 'Джентльмены удачи'?", + "answerA": "Картина Рембрандта", + "answerB": "Уникальный шлем Александра Македонского", + "answerC": "Золотые слитки", + "answerD": "Редкий алмаз", + "correct_answer": "B", + "choices": [ + "Редкий алмаз", + "Хит Леджер", + "Стэнли Кубрик", + "Золотые слитки", + "Уникальный шлем Александра Македонского", + "Они не могли покинуть корабль.", + "Стэнли Кубрик", + "Том Хэнкс", + "Картина Рембрандта", + "Кристиан Бэйл", + "Они превращались в призраков в полночь.", + "Леонардо ДиКаприо" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКакой предмет украли в фильме 'Джентльмены удачи'?\nA. Редкий алмаз\nB. Хит Леджер\nC. Стэнли Кубрик\nD. Золотые слитки\nE. Уникальный шлем Александра Македонского\nF. Они не могли покинуть корабль.\nG. Стэнли Кубрик\nH. Том Хэнкс\nI. Картина Рембрандта\nJ. Кристиан Бэйл\nK. Они превращались в призраков в полночь.\nL. Леонардо ДиКаприо\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 125, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.010957066901028156, + "B": 0.2825864851474762, + "C": 0.023196110501885414, + "D": 0.06305357068777084, + "E": 0.03824391961097717, + "F": 0.24938169121742249, + "G": 0.10395776480436325, + "H": 0.08096238225698471, + "I": 0.0031392525415867567, + "J": 0.09174239635467529, + "K": 0.012415983714163303, + "L": 0.006243148352950811 + }, + "sample": { + "question": "Какое проклятие висело над капитаном Барбоссой и его командой в фильме 'Пираты Карибского моря: Проклятие Черной жемчужины'?", + "answerA": "Они не могли покинуть корабль.", + "answerB": "Они превращались в призраков в полночь.", + "answerC": "При лунном свете они превращались в живых скелетов.", + "answerD": "Они обращались в камень при виде солнца.", + "correct_answer": "answerC", + "choices": [ + "Стивен Спилберг", + "Они обращались в камень при виде солнца.", + "Леонардо ДиКаприо", + "Кристиан Бэйл", + "1954", + "Стэнли Кубрик", + "Том Хэнкс", + "Они не могли покинуть корабль.", + "Хит Леджер", + "При лунном свете они превращались в живых скелетов.", + "Стэнли Кубрик", + "Они превращались в призраков в полночь." + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКакое проклятие висело над капитаном Барбоссой и его командой в фильме 'Пираты Карибского моря: Прокля��ие Черной жемчужины'?\nA. Стивен Спилберг\nB. Они обращались в камень при виде солнца.\nC. Леонардо ДиКаприо\nD. Кристиан Бэйл\nE. 1954\nF. Стэнли Кубрик\nG. Том Хэнкс\nH. Они не могли покинуть корабль.\nI. Хит Леджер\nJ. При лунном свете они превращались в живых скелетов.\nK. Стэнли Кубрик\nL. Они превращались в призраков в полночь.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 152, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.08024683594703674, + "B": 0.08024683594703674, + "C": 0.045723263174295425, + "D": 0.21813349425792694, + "E": 0.045723263174295425, + "F": 0.04295302927494049, + "G": 0.21813349425792694, + "H": 0.055152785032987595, + "I": 0.010202240198850632, + "J": 0.08024683594703674, + "K": 0.045723263174295425, + "L": 0.016820648685097694 + }, + "sample": { + "question": "Кто сыграл главную мужскую роль в фильме 'Остров проклятых' 2009 года?", + "answerA": "Том Хэнкс", + "answerB": "Леонардо ДиКаприо", + "answerC": "Брэд Питт", + "answerD": "Джонни Депп", + "correct_answer": "Леонардо ДиКаприо", + "choices": [ + "Джонни Депп", + "Хит Леджер", + "1954", + "Крис О’Доннелл", + "Стэнли Кубрик", + "Леонардо ДиКаприо", + "Брэд Питт", + "Стивен Спилберг", + "Стэнли Кубрик", + "Том Хэнкс", + "Стивен Спилберг", + "Кристиан Бэйл" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКто сыграл главную мужскую роль в фильме 'Остров проклятых' 2009 года?\nA. Джонни Депп\nB. Хит Леджер\nC. 1954\nD. Крис О’Доннелл\nE. Стэнли Кубрик\nF. Леонардо ДиКаприо\nG. Брэд Питт\nH. Стивен Спилберг\nI. Стэнли Кубрик\nJ. Том Хэнкс\nK. Стивен Спилберг\nL. Кристиан Бэйл\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 120, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.02486676350235939, + "B": 0.013310219161212444, + "C": 0.036180928349494934, + "D": 0.823474109172821, + "E": 0.015082454308867455, + "F": 0.008593724109232426, + "G": 0.021944841369986534, + "H": 0.02486676350235939, + "I": 0.0020411883015185595, + "J": 0.003161454340443015, + "K": 0.003582397010177374, + "L": 0.0001783570332918316 + }, + "sample": { + "question": "Кто сыграл Джокера в фильме 'Темный рыцарь' 2008 года?", + "answerA": "Кристиан Бэйл", + "answerB": "Хит Леджер", + "answerC": "Аарон Экхарт", + "answerD": "Мэгги Джилленхол", + "correct_answer": "Хит Леджер", + "choices": [ + "Стивен Спилберг", + "Стивен Спилберг", + "Хит Леджер", + "Крис О’Доннелл", + "Мэгги Джилленхол", + "Стэнли Кубрик", + "1954", + "Стивен Спилберг", + "Кристиан Бэйл", + "1956", + "Аарон Экхарт", + "Стэнли Кубрик" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКто сыграл Джокера в фильме 'Темный рыцарь' 2008 года?\nA. Стивен Спилберг\nB. Стивен Спилберг\nC. Хит Леджер\nD. Крис О’Доннелл\nE. Мэгги Джилленхол\nF. Стэнли Кубрик\nG. 1954\nH. Стивен Спилберг\nI. Кристиан Бэйл\nJ. 1956\nK. Аарон Экхарт\nL. Стэнли Кубрик\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 126, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.04328284412622452, + "B": 0.13332054018974304, + "C": 0.026252370327711105, + "D": 0.10383014380931854, + "E": 0.10383014380931854, + "F": 0.1176549643278122, + "G": 0.1176549643278122, + "H": 0.19398024678230286, + "I": 0.004285581409931183, + "J": 0.033708710223436356, + "K": 0.006235484965145588, + "L": 0.07136134803295135 + }, + "sample": { + "question": "Кто режиссер фильма 'Пролетая над гнездом кукушки'?", + "answerA": "Стэнли Кубрик", + "answerB": "Стивен Спилберг", + "answerC": "Милош Форман", + "answerD": "Альфред Хичкок", + "correct_answer": "Милош Форман", + "choices": [ + "Джеймс Кэмерон", + "Тони Кертис", + "1954", + "Крис О’Доннелл", + "Альфред Хичкок", + "Джеймс Ребхорн", + "1956", + "Мартин Скорсезе", + "Стэнли Кубрик", + "Милош Форман", + "Стивен Спилберг", + "Мэрилин Монро" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Пролетая над гнездом кукушки'?\nA. Джеймс Кэмерон\nB. Тони Кертис\nC. 1954\nD. Крис О’Доннелл\nE. Альфред Хичкок\nF. Джеймс Ребхорн\nG. 1956\nH. Мартин Скорсезе\nI. Стэнли Кубрик\nJ. Милош Форман\nK. Стивен Спилберг\nL. Мэрилин Монро\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.008075706660747528, + "B": 0.006289366632699966, + "C": 0.9334247708320618, + "D": 0.004322614520788193, + "E": 0.004322614520788193, + "F": 0.0010929279960691929, + "G": 0.019372612237930298, + "H": 0.000377705815481022, + "I": 3.7397938285721466e-05, + "J": 0.00018992241530213505, + "K": 6.165877857711166e-05, + "L": 5.735159902542364e-06 + }, + "sample": { + "question": "Кто режиссер фильма 'Титаник' 1997 года?", + "answerA": "Стэнли Кубрик", + "answerB": "Стивен Спилберг", + "answerC": "Джеймс Кэмерон", + "answerD": "Квентин Тарантино", + "correct_answer": "Джеймс Кэмерон", + "choices": [ + "Стивен Спилберг", + "Тони Кертис", + "Джеймс Кэмерон", + "Крис О’Доннелл", + "Мартин Скорсезе", + "Квентин Тарантино", + "Мэрилин Монро", + "1956", + "Лабрадор ретривер", + "1954", + "Стэнли Кубрик", + "Джеймс Ребхорн" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Титаник' 1997 года?\nA. Стивен Спилберг\nB. Тони Кертис\nC. Джеймс Кэмерон\nD. Крис О’Доннелл\nE. Мартин Скорсезе\nF. Квентин Тарантино\nG. Мэрилин Монро\nH. 1956\nI. Лабрадор ретривер\nJ. 1954\nK. Стэнли Кубрик\nL. Джеймс Ребхорн\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.06704556196928024, + "B": 0.2065148800611496, + "C": 0.11053945124149323, + "D": 0.1608339548110962, + "E": 0.07597258687019348, + "F": 0.14193546772003174, + "G": 0.11053945124149323, + "H": 0.05221514031291008, + "I": 0.003135762643069029, + "J": 0.02794875018298626, + "K": 0.004286079667508602, + "L": 0.0029457765631377697 + }, + "sample": { + "question": "В каком году вышел фильм '12 разгневанных мужчин'?", + "answerA": "1954", + "answerB": "1956", + "answerC": "1958", + "answerD": "1960", + "correct_answer": "1956", + "choices": [ + "Крис О’Доннелл", + "1958", + "Джеймс Ребхорн", + "Стэнли Кубрик", + "Стивен Спилберг", + "Тони Кертис", + "Мэрилин Монро", + "1954", + "Лабрадор ретривер", + "1956", + "Мартин Скорсезе", + "1960" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nВ каком году вышел фильм '12 разгневанных мужчин'?\nA. Крис О’Доннелл\nB. 1958\nC. Джеймс Ребхорн\nD. Стэнли Кубрик\nE. Стивен Спилберг\nF. Тони Кертис\nG. Мэрилин Монро\nH. 1954\nI. Лабрадор ретривер\nJ. 1956\nK. Мартин Скорсезе\nL. 1960\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 123, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.12241825461387634, + "B": 0.07425042986869812, + "C": 0.15718814730644226, + "D": 0.07425042986869812, + "E": 0.13871805369853973, + "F": 0.057826295495033264, + "G": 0.15718814730644226, + "H": 0.06552577018737793, + "I": 0.006906365510076284, + "J": 0.030952179804444313, + "K": 0.003935128450393677, + "L": 0.0014476528158411384 + }, + "sample": { + "question": "Кто из актеров сыграл отставного полковника разведки Фрэнка Слэйда в фильме 'Запах женщины'?", + "answerA": "Крис О’Доннелл", + "answerB": "Джеймс Ребхорн", + "answerC": "Аль Пачино", + "answerD": "Филип Сеймур Хоффман", + "correct_answer": "C", + "choices": [ + "Стэнли Кубрик", + "Тони Кертис", + "Джеймс Ребхорн", + "Крис О’Доннелл", + "Филип Сеймур Хоффман", + "Стивен Спилберг", + "Лабрадор ретривер", + "Мартин Скорсезе", + "Аль Пачино", + "Макото Синкай", + "Шиба-ину", + "Мэрилин Монро" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКто из актеров сыграл отставного полковника разведки Фрэнка Слэйда в фильме 'Запах женщины'?\nA. Стэнли Кубрик\nB. Тони Кертис\nC. Джеймс Ребхорн\nD. Крис О’Доннелл\nE. Филип Сеймур Хоффман\nF. Стивен Спилберг\nG. Лабрадор ретривер\nH. Мартин Скорсезе\nI. Аль Пачино\nJ. Макото Синкай\nK. Шиба-ину\nL. Мэрилин Монро\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 130, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.023353684693574905, + "B": 0.049439750611782074, + "C": 0.17256169021129608, + "D": 0.1522851586341858, + "E": 0.029986722394824028, + "F": 0.023353684693574905, + "G": 0.05602257698774338, + "H": 0.01708592101931572, + "I": 0.009145434014499187, + "J": 0.10466395318508148, + "K": 0.17256169021129608, + "L": 0.002172230975702405 + }, + "sample": { + "question": "Кто режиссер фильма 'Пробуждение' 1990 года?", + "answerA": "Стивен Спилберг", + "answerB": "Мартин Скорсезе", + "answerC": "Пенни Маршалл", + "answerD": "Квентин Тарантино", + "correct_answer": "Пенни Маршалл", + "choices": [ + "Стивен Спилберг", + "Стэнли Кубрик", + "Пенни Маршалл", + "Мэрилин Монро", + "Макото Синкай", + "Квентин Тарантино", + "Тони Кертис", + "Сергей Эйзенштейн", + "Альфред Хичкок", + "Лабр��дор ретривер", + "Мартин Скорсезе", + "Шиба-ину" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Пробуждение' 1990 года?\nA. Стивен Спилберг\nB. Стэнли Кубрик\nC. Пенни Маршалл\nD. Мэрилин Монро\nE. Макото Синкай\nF. Квентин Тарантино\nG. Тони Кертис\nH. Сергей Эйзенштейн\nI. Альфред Хичкок\nJ. Лабрадор ретривер\nK. Мартин Скорсезе\nL. Шиба-ину\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 120, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.07822717726230621, + "B": 0.14614759385585785, + "C": 0.08864299952983856, + "D": 0.0537647046148777, + "E": 0.0537647046148777, + "F": 0.1289748102426529, + "G": 0.11381986737251282, + "H": 0.10044568032026291, + "I": 0.010586896911263466, + "J": 0.10044568032026291, + "K": 0.014470572583377361, + "L": 0.007276260294020176 + }, + "sample": { + "question": "Кто из актеров сыграл роль Джозефины в фильме 'В джазе только девушки'?", + "answerA": "Мэрилин Монро", + "answerB": "Тони Кертис", + "answerC": "Джек Леммон", + "answerD": "Джордж Рафт", + "correct_answer": "Тони Кертис", + "choices": [ + "Джек Леммон", + "Горо Миядзаки", + "Мэрилин Монро", + "Сергей Эйзенштейн", + "Андрей Тарковский", + "Шиба-ину", + "Альфред Хичкок", + "Джордж Рафт", + "Лабрадор ретривер", + "Макото Синкай", + "Стэнли Кубрик", + "Тони Кертис" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКто из актеров сыграл роль Джозефины в фильме 'В джазе только девушки'?\nA. Джек Леммон\nB. Горо Миядзаки\nC. Мэрилин Монро\nD. Сергей Эйзенштейн\nE. Андрей Тарковский\nF. Шиба-ину\nG. Альфред Хичкок\nH. Джордж Рафт\nI. Лабрадор ретривер\nJ. Макото Синкай\nK. Стэнли Кубрик\nL. Тони Кертис\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 121, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.021374883130192757, + "B": 0.045250628143548965, + "C": 0.018863270059227943, + "D": 0.03310607001185417, + "E": 0.03110027313232422, + "F": 0.05810295790433884, + "G": 0.42932602763175964, + "H": 0.15794023871421814, + "I": 0.009485047310590744, + "J": 0.05810295790433884, + "K": 0.037514086812734604, + "L": 0.017720401287078857 + }, + "sample": { + "question": "Какая порода собаки была у Хатико в фильме 'Хатико: Самый верный друг'?", + "answerA": "Лабрадор ретривер", + "answerB": "Шиба-ину", + "answerC": "Акита-ину", + "answerD": "Бордер-колли", + "correct_answer": "Акита-ину", + "choices": [ + "Горо Миядзаки", + "Бордер-колли", + "Сергей Эйзенштейн", + "Джеймс Стюарт", + "Андрей Тарковский", + "Альфред Хичкок", + "Макото Синкай", + "Лабрадор ретривер", + "Стэнли Кубрик", + "Шиба-ину", + "Андрей Тарковский", + "Акита-ину" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКакая порода собаки была у Хатико в фильме 'Хатико: Самый верный друг'?\nA. Горо Миядзаки\nB. Бордер-колли\nC. Сергей Эйзенштейн\nD. Джеймс Стюарт\nE. Андрей Тарковский\nF. Альфред Хичкок\nG. Макото Синкай\nH. Лабрадор ретривер\nI. Стэнли Кубрик\nJ. Шиба-ину\nK. Андрей Тарковский\nL. Акита-ину\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 125, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.06512518227100372, + "B": 0.06512518227100372, + "C": 0.1770286113023758, + "D": 0.094756580889225, + "E": 0.05071954056620598, + "F": 0.027148215100169182, + "G": 0.2918708324432373, + "H": 0.03950041905045509, + "I": 0.0008198051364161074, + "J": 0.005345800891518593, + "K": 0.0064482660964131355, + "L": 0.0005293059512041509 + }, + "sample": { + "question": "Кто режиссер фильма 'Огни большого города'?", + "answerA": "Стэнли Кубрик", + "answerB": "Альфред Хичкок", + "answerC": "Чарльз Чаплин", + "answerD": "Гарри Майерс", + "correct_answer": "Чарльз Чаплин", + "choices": [ + "Джеймс Стюарт", + "Альфред Хичкок", + "Андрей Тарковский", + "Сергей Эйзенштейн", + "Гарри Майерс", + "Клинт Иствуд", + "Андрей Тарковский", + "Стэнли Кубрик", + "Чарльз Чаплин", + "Макото Синкай", + "Горо Миядзаки", + "Сергей Эйзенштейн" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Огни большого города'?\nA. Джеймс Стюарт\nB. Альфред Хичкок\nC. Андрей Тарковский\nD. Сергей Эйзенштейн\nE. Гарри Майерс\nF. Клинт Иствуд\nG. Андрей Тарковский\nH. Стэнли Кубрик\nI. Чарльз Чаплин\nJ. Макото Синкай\nK. Горо Миядзаки\nL. Сергей Эйзенштейн\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 108, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.07776857912540436, + "B": 0.03450959920883179, + "C": 0.025247760117053986, + "D": 0.2395440936088562, + "E": 0.06056623160839081, + "F": 0.036735277622938156, + "G": 0.14529083669185638, + "H": 0.2395440936088562, + "I": 0.0034169128630310297, + "J": 0.005996869411319494, + "K": 0.005292218178510666, + "L": 0.0011808534618467093 + }, + "sample": { + "question": "Кто является режиссёром фильма 'Унесённые призраками'?", + "answerA": "Макото Синкай", + "answerB": "Горо Миядзаки", + "answerC": "Хаяо Миядзаки", + "answerD": "Исао Такахата", + "correct_answer": "Хаяо Миядзаки", + "choices": [ + "Горо Миядзаки", + "Жан-Пьер Жёне", + "Донна Рид", + "Хаяо Миядзаки", + "Клинт Иствуд", + "Джеймс Стюарт", + "Сергей Эйзенштейн", + "Исао Такахата", + "Макото Синкай", + "Андрей Тарковский", + "Андрей Тарковский", + "Сергей Эйзенштейн" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКто является режиссёром фильма 'Унесённые призраками'?\nA. Горо Миядзаки\nB. Жан-Пьер Жёне\nC. Донна Рид\nD. Хаяо Миядзаки\nE. Клинт Иствуд\nF. Джеймс Стюарт\nG. Сергей Эйзенштейн\nH. Исао Такахата\nI. Макото Синкай\nJ. Андрей Тарковский\nK. Андрей Тарковский\nL. Сергей Эйзенштейн\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 125, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.11493275314569473, + "B": 0.05429038405418396, + "C": 0.11493275314569473, + "D": 0.08950971066951752, + "E": 0.04791110008955002, + "F": 0.024091212078928947, + "G": 0.2147226333618164, + "H": 0.04791110008955002, + "I": 0.00393278244882822, + "J": 0.009434254840016365, + "K": 0.017625506967306137, + "L": 0.0013591331662610173 + }, + "sample": { + "question": "Кто является режиссером фильма 'Кавказская пленница; или Новые приключения Шурика'?", + "answerA": "Сергей Эйзенштейн", + "answerB": "Андрей Тарковский", + "answerC": "Леонид Гайдай", + "answerD": "Никита Михалков", + "correct_answer": "C", + "choices": [ + "Виталий Соломин", + "Ли Ван Клиф", + "Джеймс Стюарт", + "Никита Михалков", + "Кристоф Барратье", + "Сергей Эйзенштейн", + "Леонид Гайдай", + "Станислав Ростоцкий", + "Донна Рид", + "Жан-Пьер Жёне", + "Андрей Тарковский", + "Клинт Иствуд" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Кавказская пленница; или Новые приключения Шурика'?\nA. Виталий Соломин\nB. Ли Ван Клиф\nC. Джеймс Стюарт\nD. Никита Михалков\nE. Кристоф Барратье\nF. Сергей Эйзенштейн\nG. Леонид Гайдай\nH. Станислав Ростоцкий\nI. Донна Рид\nJ. Жан-Пьер Жёне\nK. Андрей Тарковский\nL. Клинт Иствуд\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 117, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.4969443678855896, + "B": 0.06725411117076874, + "C": 0.04079167917370796, + "D": 0.04079167917370796, + "E": 0.06725411117076874, + "F": 0.028035685420036316, + "G": 0.02474140375852585, + "H": 0.03599853068590164, + "I": 0.004871871322393417, + "J": 0.00708853080868721, + "K": 0.002030898118391633, + "L": 0.0012318020453676581 + }, + "sample": { + "question": "Кто является режиссером фильма '...А зори здесь тихие'?", + "answerA": "Андрей Тарковский", + "answerB": "Сергей Эйзенштейн", + "answerC": "Станислав Ростоцкий", + "answerD": "Лев Кулешов", + "correct_answer": "Станислав Ростоцкий", + "choices": [ + "Андрей Тарковский", + "Жан-Пьер Жёне", + "Джеймс Стюарт", + "Донна Рид", + "Лев Кулешов", + "Станислав Ростоцкий", + "Виталий Соломин", + "Кристоф Барратье", + "Сергей Эйзенштейн", + "Ли Ван Клиф", + "Клинт Иствуд", + "Гордыня" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма '...А зори здесь тихие'?\nA. Андрей Тарковский\nB. Жан-Пьер Жёне\nC. Джеймс Стюарт\nD. Донна Рид\nE. Лев Кулешов\nF. Станислав Ростоцкий\nG. Виталий Соломин\nH. Кристоф Барратье\nI. Сергей Эйзенштейн\nJ. Ли Ван Клиф\nK. Клинт Иствуд\nL. Гордыня\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 116, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0745871290564537, + "B": 0.26033467054367065, + "C": 0.15790095925331116, + "D": 0.139347106218338, + "E": 0.051262930035591125, + "F": 0.03523246571421623, + "G": 0.0580885149538517, + "H": 0.03523246571421623, + "I": 0.003952973056584597, + "J": 0.014687077142298222, + "K": 0.010745295323431492, + "L": 0.003488486399874091 + }, + "sample": { + "question": "Кто является режиссером фильма 'Хористы' 2004 года?", + "answerA": "Жан-Пьер Жёне", + "answerB": "Кристоф Барратье", + "answerC": "Люк Бессон", + "answerD": "Франсуа Озон", + "correct_answer": "B", + "choices": [ + "Том Хэнкс", + "Кристоф Барратье", + "Жадность", + "Люк Бессон", + "Джерард Батлер", + "Франсуа Озон", + "Стивен Спилберг", + "Гордыня", + "Никита Михалков", + "Жан-Пьер Жёне", + "Виталий Соломин", + "Квентин Тарантино" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Хористы' 2004 года?\nA. Том Хэнкс\nB. Кристоф Барратье\nC. Жадность\nD. Люк Бессон\nE. Джерард Батлер\nF. Франсуа Озон\nG. Стивен Спилберг\nH. Гордыня\nI. Никита Михалков\nJ. Жан-Пьер Жёне\nK. Виталий Соломин\nL. Квентин Тарантино\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 117, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.30233022570610046, + "B": 0.046363841742277145, + "C": 0.111221082508564, + "D": 0.046363841742277145, + "E": 0.07644104957580566, + "F": 0.046363841742277145, + "G": 0.040915947407484055, + "H": 0.028121091425418854, + "I": 0.20778833329677582, + "J": 0.013283463194966316, + "K": 0.0045906417071819305, + "L": 0.002457193797454238 + }, + "sample": { + "question": "Кто сыграл Шерлока Холмса в фильме 'Приключения Шерлока Холмса и доктора Ватсона: Собака Баскервилей' 1981 года?", + "answerA": "Виталий Соломин", + "answerB": "Никита Михалков", + "answerC": "Василий Ливанов", + "answerD": "Олег Янковский", + "correct_answer": "Василий Ливанов", + "choices": [ + "Олег Янковский", + "Василий Ливанов", + "Джей Барушель", + "Жадность", + "Гордыня", + "Стивен Спилберг", + "Виталий Соломин", + "Никита Михалков", + "Джерард Батлер", + "Линда Хэмилтон", + "Квентин Тарантино", + "Том Хэнкс" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКто сыграл Шерлока Холмса в фильме 'Приключения Шерлока Холмса и доктора Ватсона: Собака Баскервилей' 1981 года?\nA. Олег Янковский\nB. Василий Ливанов\nC. Джей Барушель\nD. Жадность\nE. Гордыня\nF. Стивен Спилберг\nG. Виталий Соломин\nH. Никита Михалков\nI. Джерард Батлер\nJ. Линда Хэмилтон\nK. Квентин Тарантино\nL. Том Хэнкс\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 131, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.43593040108680725, + "B": 0.12489615380764008, + "C": 0.0757533386349678, + "D": 0.11022046953439713, + "E": 0.058996763080358505, + "F": 0.03157869353890419, + "G": 0.035783346742391586, + "H": 0.02459351159632206, + "I": 0.021703695878386497, + "J": 0.014012960717082024, + "K": 0.0035430314019322395, + "L": 0.0012244388926774263 + }, + "sample": { + "question": "Какой смертный грех стал основой для серии убийств в фильме 'Семь'?", + "answerA": "Гордыня", + "answerB": "Жадность", + "answerC": "Лень", + "answerD": "Все вышеперечисленные", + "correct_answer": "D", + "choices": [ + "Жадность", + "Джей Барушель", + "Джим Керри", + "Гордыня", + "Джерард Батлер", + "Лень", + "Мартин Скорсезе", + "Стивен Спилберг", + "Все вышеперечисленные", + "Линда Хэмилтон", + "Квентин Тарантино", + "Том Хэнкс" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКакой смертный грех стал основой для серии убийств в фильме 'Семь'?\nA. Жадность\nB. Джей Барушель\nC. Джим Керри\nD. Гордыня\nE. Джерард Батлер\nF. Лень\nG. Мартин Скорсезе\nH. Стивен Спилберг\nI. Все вышеперечисленные\nJ. Линда Хэмилтон\nK. Квентин Тарантино\nL. Том Хэнкс\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 118, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.007315529976040125, + "B": 0.0239866990596056, + "C": 0.1144341379404068, + "D": 0.04481305554509163, + "E": 0.0540548600256443, + "F": 0.00999914389103651, + "G": 0.4525958001613617, + "H": 0.015486976131796837, + "I": 0.0008207797072827816, + "J": 0.007315529976040125, + "K": 0.017549043521285057, + "L": 0.0006004952592775226 + }, + "sample": { + "question": "Кто режиссер фильма 'Молчание ягнят'?", + "answerA": "Квентин Тарантино", + "answerB": "Стивен Спилберг", + "answerC": "Джонатан Демме", + "answerD": "Мартин Скорсезе", + "correct_answer": "C", + "choices": [ + "Аль Пачино", + "Линда Хэмилтон", + "Джерард Батлер", + "Роберт Де Ниро", + "Квентин Тарантино", + "Эдвард Ферлонг", + "Мартин Скорсезе", + "Джим Керри", + "Стивен Спилберг", + "Джей Барушель", + "Джонатан Демме", + "Том Хэнкс" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Молчание ягнят'?\nA. Аль Пачино\nB. Линда Хэмилтон\nC. Джерард Батлер\nD. Роберт Де Ниро\nE. Квентин Тарантино\nF. Эдвард Ферлонг\nG. Мартин Скорсезе\nH. Джим Керри\nI. Стивен Спилберг\nJ. Джей Барушель\nK. Джонатан Демме\nL. Том Хэнкс\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 113, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.12325558811426163, + "B": 0.051380570977926254, + "C": 0.06597395986318588, + "D": 0.07475829869508743, + "E": 0.08471224457025528, + "F": 0.08471224457025528, + "G": 0.15826331079006195, + "H": 0.10877268016338348, + "I": 0.051380570977926254, + "J": 0.03531331941485405, + "K": 0.025835774838924408, + "L": 0.022799992933869362 + }, + "sample": { + "question": "Кто озвучил главного героя Иккинга в фильме 'Как приручить дракона' 2010 года?", + "answerA": "Джерард Батлер", + "answerB": "Джей Барушель", + "answerC": "Крэйг Фергюсон", + "answerD": "Джона Хилл", + "correct_answer": "Джей Барушель", + "choices": [ + "Том Хэнкс", + "Квентин Тарантино", + "Мартин Скорсезе", + "Роберт Де Ниро", + "Джим Керри", + "Крэйг Фергюсон", + "Джона Хилл", + "Педро Альмодовар", + "Джей Барушель", + "Эдвард Ферлонг", + "Джерард Батлер", + "Линда Хэмилтон" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКто озвучил главного героя Иккинга в фильме 'Как приручить дракона' 2010 года?\nA. Том Хэнкс\nB. Квентин Тарантино\nC. Мартин Скорсезе\nD. Роберт Де Ниро\nE. Джим Керри\nF. Крэйг Фергюсон\nG. Джона Хилл\nH. Педро Альмодовар\nI. Джей Барушель\nJ. Эдвард Ферлонг\nK. Джерард Батлер\nL. Линда Хэмилтон\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 129, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.06710755079984665, + "B": 0.09764091670513153, + "C": 0.20670580863952637, + "D": 0.1609826534986496, + "E": 0.05226341262459755, + "F": 0.059222206473350525, + "G": 0.18241724371910095, + "H": 0.03169936314225197, + "I": 0.002444392303004861, + "J": 0.018061751499772072, + "K": 0.012413648888468742, + "L": 0.003341088304296136 + }, + "sample": { + "question": "Кто сыграл главную роль в фильме Шоу Трумана 1998 года?", + "answerA": "Том Хэнкс", + "answerB": "Джим Керри", + "answerC": "Леонардо Ди Каприо", + "answerD": "Брэд Питт", + "correct_answer": "answerB", + "choices": [ + "Педро Альмодовар", + "Брэд Питт", + "Том Хэнкс", + "Мартин Скорсезе", + "Роберт Де Ниро", + "Линда Хэмилтон", + "Леонардо Ди Каприо", + "Джим Керри", + "Владимир Толоконников", + "Эдвард Ферлонг", + "Аль Пачино", + "Квентин Тарантино" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКто сыграл главную роль в фильме Шоу Трумана 1998 года?\nA. Педро Альмодовар\nB. Брэд Питт\nC. Том Хэнкс\nD. Мартин Скорсезе\nE. Роберт Де Ниро\nF. Линда Хэмилтон\nG. Леонардо Ди Каприо\nH. Джим Керри\nI. Владимир Толоконников\nJ. Эдвард Ферлонг\nK. Аль Пачино\nL. Квентин Тарантино\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 117, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.054087843745946884, + "B": 0.06945016980171204, + "C": 0.2746807634830475, + "D": 0.1887851506471634, + "E": 0.07869735360145569, + "F": 0.10104941576719284, + "G": 0.14702601730823517, + "H": 0.019897807389497757, + "I": 0.002529722172766924, + "J": 0.012068630196154118, + "K": 0.0060684881173074245, + "L": 0.001970149576663971 + }, + "sample": { + "question": "Кто сыграл роль T-1000 в фильме 'Терминатор 2: Судный день'?", + "answerA": "Линда Хэмилтон", + "answerB": "Эдвард Ферлонг", + "answerC": "Роберт Патрик", + "answerD": "Эрл Боэн", + "correct_answer": "answerC", + "choices": [ + "Эдвард Ферлонг", + "Владимир Толоконников", + "Эрл Боэн", + "Серхио Паблос", + "Квентин Тарантино", + "Мартин Скорсезе", + "Квентин Тарантино", + "Педро Альмодовар", + "Роберт Де Ниро", + "Аль Пачино", + "Линда Хэмилтон", + "Роберт Патрик" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКто сыграл роль T-1000 в фильме 'Терминатор 2: Судный день'?\nA. Эдвард Ферлонг\nB. Владимир Толоконников\nC. Эрл Боэн\nD. Серхио Паблос\nE. Квентин Тарантино\nF. Мартин Скорсезе\nG. Квентин Тарантино\nH. Педро Альмодовар\nI. Роберт Де Ниро\nJ. Аль Пачино\nK. Линда Хэмилтон\nL. Роберт Патрик\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 127, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.073519766330719, + "B": 0.073519766330719, + "C": 0.02106376551091671, + "D": 0.06488097459077835, + "E": 0.02106376551091671, + "F": 0.022422263398766518, + "G": 0.02386837638914585, + "H": 0.012001773342490196, + "I": 0.03935229778289795, + "J": 0.4230770766735077, + "K": 0.0347282811999321, + "L": 0.02106376551091671 + }, + "sample": { + "question": "Кто режиссер фильма \"Джанго освобожденный\"?", + "answerA": "Мартин Скорсезе", + "answerB": "Квентин Тарантино", + "answerC": "Стивен Спилберг", + "answerD": "Кристофер Нолан", + "correct_answer": "B", + "choices": [ + "Серхио Паблос", + "Квентин Тарантино", + "Стивен Спилберг", + "Владимир Толоконников", + "Кристофер Нолан", + "Аль Пачино", + "Дэвид Финчер", + "Евгений Евстигнеев", + "Роберт Дювалл", + "Мартин Скорсезе", + "Педро Альмодовар", + "Роберт Де Ниро" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма \"Джанго освобожденный\"?\nA. Серхио Паблос\nB. Квентин Тарантино\nC. Стивен Спилберг\nD. Владимир Толоконников\nE. Кристофер Нолан\nF. Аль Пачино\nG. Дэвид Финчер\nH. Евгений Евстигнеев\nI. Роберт Дювалл\nJ. Мартин Скорсезе\nK. Педро Альмодовар\nL. Роберт Де Ниро\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 116, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.11361455917358398, + "B": 0.04179646074771881, + "C": 0.044492099434137344, + "D": 0.18731874227523804, + "E": 0.053667716681957245, + "F": 0.03688524290919304, + "G": 0.06891071796417236, + "H": 0.053667716681957245, + "I": 0.06891071796417236, + "J": 0.10026449710130692, + "K": 0.030578942969441414, + "L": 0.022372033447027206 + }, + "sample": { + "question": "Кто является режиссером мультипликационного фильма 'Клаус'?", + "answerA": "Педро Альмодовар", + "answerB": "Серхио Паблос", + "answerC": "Карлос Саура", + "answerD": "Алехандро Аменабар", + "correct_answer": "Серхио Паблос", + "choices": [ + "Педро Альмодовар", + "Кристофер Нолан", + "Андрей Тарковский", + "Евгений Евстигнеев", + "1280", + "Дэвид Финчер", + "Алехандро Аменабар", + "Карлос Саура", + "Серхио Паблос", + "Мартин Скорсезе", + "Квентин Тарантино", + "Владимир Толоконников" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКто является режиссером мультипликационного фильма 'Клаус'?\nA. Педро Альмодовар\nB. Кристофер Нолан\nC. Андрей Тарковский\nD. Евгений Евстигнеев\nE. 1280\nF. Дэвид Финчер\nG. Алехандро Аменабар\nH. Карлос Саура\nI. Серхио Паблос\nJ. Мартин Скорсезе\nK. Квентин Тарантино\nL. Владимир Толоконников\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 122, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.1646033227443695, + "B": 0.3484652042388916, + "C": 0.08810580521821976, + "D": 0.04715963825583458, + "E": 0.08810580521821976, + "F": 0.03672796115279198, + "G": 0.02860376611351967, + "H": 0.03672796115279198, + "I": 0.0012567618396133184, + "J": 0.004120762925595045, + "K": 0.0014240976888686419, + "L": 0.002499369205906987 + }, + "sample": { + "question": "Кто сыграл роль профессора Филиппа Филипповича Преображенского в фильме 'Собачье сердце'?", + "answerA": "Владимир Толоконников", + "answerB": "Евгений Евстигнеев", + "answerC": "Борис Плотников", + "answerD": "Нина Русланова", + "correct_answer": "Евгений Евстигнеев", + "choices": [ + "Нина Русланова", + "Евгений Евстигнеев", + "Дэвид Финчер", + "Квентин Тарантино", + "Владимир Толоконников", + "1280", + "Кристофер Нолан", + "Борис Плотников", + "Андрей Тарковский", + "Антонина", + "1307", + "Мартин Скорсезе" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКто сыграл роль профессора Филиппа Филипповича Преображенского в фильме 'Собачье сердце'?\nA. Нина Русланова\nB. Евгений Евстигнеев\nC. Дэвид Финчер\nD. Квентин Тарантино\nE. Владимир Толоконников\nF. 1280\nG. Кристофер Нолан\nH. Борис Плотников\nI. Андрей Тарковский\nJ. Антонина\nK. 1307\nL. Мартин Скорсезе\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 122, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.20198515057563782, + "B": 0.045068975538015366, + "C": 0.045068975538015366, + "D": 0.03509975224733353, + "E": 0.10811485350131989, + "F": 0.027335716411471367, + "G": 0.03509975224733353, + "H": 0.021289076656103134, + "I": 0.3330172002315521, + "J": 0.045068975538015366, + "K": 0.002388568129390478, + "L": 0.0022438522428274155 + }, + "sample": { + "question": "Кто режиссер фильма 'Нокдаун'?", + "answerA": "Квентин Тарантино", + "answerB": "Мартин Скорсезе", + "answerC": "Рон Ховард", + "answerD": "Стивен Спилберг", + "correct_answer": "Рон Ховард", + "choices": [ + "Мэттью МакКонахи", + "Дэвид Финчер", + "Кристофер Нолан", + "Стивен Спилберг", + "Андрей Тарковский", + "Антонина", + "1307", + "Игорь Масленников", + "Мартин Скорсезе", + "Рон Ховард", + "Квентин Тарантино", + "1280" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Нокдаун'?\nA. Мэттью МакКонахи\nB. Дэвид Финчер\nC. Кристофер Нолан\nD. Стивен Спилберг\nE. Андрей Тарковский\nF. Антонина\nG. 1307\nH. Игорь Масленников\nI. Мартин Скорсезе\nJ. Рон Ховард\nK. Квентин Тарантино\nL. 1280\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 113, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.02745155245065689, + "B": 0.5513792037963867, + "C": 0.10857298970222473, + "D": 0.06585285812616348, + "E": 0.024225911125540733, + "F": 0.0746210590004921, + "G": 0.03110668621957302, + "H": 0.011443509720265865, + "I": 0.0002095952077070251, + "J": 0.005405531730502844, + "K": 0.002398689975962043, + "L": 0.002398689975962043 + }, + "sample": { + "question": "Кто режиссер фильма 'Игра' 1997 года?", + "answerA": "Кристофер Нолан", + "answerB": "Дэвид Финчер", + "answerC": "Стивен Спилберг", + "answerD": "Ридли Скотт", + "correct_answer": "B", + "choices": [ + "1307", + "Дэвид Финчер", + "Иг��рь Масленников", + "Чарли Ханнэм", + "Мэттью МакКонахи", + "Ридли Скотт", + "Кристофер Нолан", + "1280", + "Антонина", + "Катерина", + "Стивен Спилберг", + "Андрей Тарковский" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Игра' 1997 года?\nA. 1307\nB. Дэвид Финчер\nC. Игорь Масленников\nD. Чарли Ханнэм\nE. Мэттью МакКонахи\nF. Ридли Скотт\nG. Кристофер Нолан\nH. 1280\nI. Антонина\nJ. Катерина\nK. Стивен Спилберг\nL. Андрей Тарковский\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 113, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.09051292389631271, + "B": 0.054898861795663834, + "C": 0.017823051661252975, + "D": 0.058439530432224274, + "E": 0.08502902090549469, + "F": 0.051572710275650024, + "G": 0.07503785192966461, + "H": 0.33629631996154785, + "I": 0.02593238651752472, + "J": 0.029385242611169815, + "K": 0.009539992548525333, + "L": 0.07503785192966461 + }, + "sample": { + "question": "Кто является режиссером фильма 'Шерлок Холмс и доктор Ватсон: Знакомство'?", + "answerA": "Андрей Тарковский", + "answerB": "Игорь Масленников", + "answerC": "Никита Михалков", + "answerD": "Сергей Эйзенштейн", + "correct_answer": "B", + "choices": [ + "Мартин Скорсезе", + "Антонина", + "Катерина", + "Мэттью МакКонахи", + "Игорь Масленников", + "Андрей Тарковский", + "Майлз Теллер", + "Чарли Ханнэм", + "Никита Михалков", + "Стивен Спилберг", + "Сергей Эйзенштейн", + "Минни" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Шерлок Холмс и доктор Ватсон: Знакомство'?\nA. Мартин Скорсезе\nB. Антонина\nC. Катерина\nD. Мэттью МакКонахи\nE. Игорь Масленников\nF. Андрей Тарковский\nG. Майлз Теллер\nH. Чарли Ханнэм\nI. Никита Михалков\nJ. Стивен Спилберг\nK. Сергей Эйзенштейн\nL. Минни\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 115, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.14417076110839844, + "B": 0.07716904580593109, + "C": 0.1851189136505127, + "D": 0.09908701479434967, + "E": 0.06009931117296219, + "F": 0.07716904580593109, + "G": 0.09908701479434967, + "H": 0.03424355760216713, + "I": 0.03424355760216713, + "J": 0.01721874065697193, + "K": 0.01259750034660101, + "L": 0.0011717500165104866 + }, + "sample": { + "question": "Кто из персонажей фильма 'Москва слезам не верит' сделал блестящую карьеру?", + "answerA": "Антонина", + "answerB": "Катерина", + "answerC": "Людмила", + "answerD": "Ирина", + "correct_answer": "Катерина", + "choices": [ + "Мартин Скорсезе", + "Людмила", + "Мэттью МакКонахи", + "Чарли Ханнэм", + "Стивен Спилберг", + "Ирина", + "Дж.К. Симмонс", + "Катерина", + "Майлз Теллер", + "Минни", + "1985", + "Антонина" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКто из персонажей фильма 'Москва слезам не верит' сделал блестящую карьеру?\nA. Мартин Скорсезе\nB. Людмила\nC. Мэттью МакКонахи\nD. Чарли Ханнэм\nE. Стивен Спилберг\nF. Ирина\nG. Дж.К. Симмонс\nH. Катерина\nI. Майлз Теллер\nJ. Минни\nK. 1985\nL. Антонина\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 114, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.31434404850006104, + "B": 0.06189801171422005, + "C": 0.10205256938934326, + "D": 0.1682562530040741, + "E": 0.06189801171422005, + "F": 0.033131618052721024, + "G": 0.09006108343601227, + "H": 0.018877826631069183, + "I": 0.0121884411200881, + "J": 0.02277100831270218, + "K": 0.008376984857022762, + "L": 0.00047259716666303575 + }, + "sample": { + "question": "Кто режиссер фильма 'Гран Торино'?", + "answerA": "Стивен Спилберг", + "answerB": "Мартин Скорсезе", + "answerC": "Клинт Иствуд", + "answerD": "Квентин Тарантино", + "correct_answer": "Клинт Иствуд", + "choices": [ + "Мартин Скорсезе", + "Пустая бутылка", + "Стивен Спилберг", + "Квентин Тарантино", + "Дж.К. Симмонс", + "Василий Меркурьев", + "Клинт Иствуд", + "1985", + "1988", + "Минни", + "Скитер", + "Майлз Теллер" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Гран Торино'?\nA. Мартин Скорсезе\nB. Пустая бутылка\nC. Стивен Спилберг\nD. Квентин Тарантино\nE. Дж.К. Симмонс\nF. Василий Меркурьев\nG. Клинт Иствуд\nH. 1985\nI. 1988\nJ. Минни\nK. Скитер\nL. Майлз Теллер\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 117, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.13227882981300354, + "B": 0.07080376148223877, + "C": 0.08023116737604141, + "D": 0.09091382473707199, + "E": 0.04034276306629181, + "F": 0.051801133900880814, + "G": 0.08023116737604141, + "H": 0.11673565953969955, + "I": 0.03789852187037468, + "J": 0.0586983747780323, + "K": 0.04294464737176895, + "L": 0.027727149426937103 + }, + "sample": { + "question": "Кто является дирижером лучшего в стране оркестра, заметившим Эндрю в фильме 'Одержимость'?", + "answerA": "Майлз Теллер", + "answerB": "Дж.К. Симмонс", + "answerC": "Пол Райзер", + "answerD": "Остин Стоуэлл", + "correct_answer": "Дж.К. Симмонс", + "choices": [ + "Скитер", + "Пустая бутылка", + "1988", + "Минни", + "Мяч для бейсбола", + "Пол Райзер", + "Василий Меркурьев", + "Дж.К. Симмонс", + "Хэйли Джоэл Осмент", + "1985", + "Майлз Теллер", + "Остин Стоуэлл" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКто является дирижером лучшего в стране оркестра, заметившим Эндрю в фильме 'Одержимость'?\nA. Скитер\nB. Пустая бутылка\nC. 1988\nD. Минни\nE. Мяч для бейсбола\nF. Пол Райзер\nG. Василий Меркурьев\nH. Дж.К. Симмонс\nI. Хэйли Джоэл Осмент\nJ. 1985\nK. Майлз Теллер\nL. Остин Стоуэлл\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 127, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.19670547544956207, + "B": 0.056357063353061676, + "C": 0.1531943827867508, + "D": 0.11930790543556213, + "E": 0.043890923261642456, + "F": 0.01718793250620365, + "G": 0.09291709214448929, + "H": 0.056357063353061676, + "I": 0.038733601570129395, + "J": 0.03418228402733803, + "K": 0.022069741040468216, + "L": 0.0018115947023034096 + }, + "sample": { + "question": "Кто является главной героиней фильма 'Прислуга'?", + "answerA": "Минни", + "answerB": "Скитер", + "answerC": "Эйбилин", + "answerD": "Хилли", + "correct_answer": "B", + "choices": [ + "Скитер", + "1988", + "Алексей Баталов", + "Хилли", + "Хэйли Джоэл Осмент", + "Мяч для бейсбола", + "Минни", + "Пустая бутылка", + "Василий Меркурьев", + "Эйбилин", + "1985", + "Болтливый слон" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКто является главной героиней фильма 'Прислуга'?\nA. Скитер\nB. 1988\nC. Алексей Баталов\nD. Хилли\nE. Хэйли Джоэл Осмент\nF. Мяч для бейсбола\nG. Минни\nH. Пустая бутылка\nI. Василий Меркурьев\nJ. Эйбилин\nK. 1985\nL. Болтливый слон\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 114, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.07654986530542374, + "B": 0.059617094695568085, + "C": 0.14301396906375885, + "D": 0.08674236387014389, + "E": 0.12620939314365387, + "F": 0.08674236387014389, + "G": 0.18363358080387115, + "H": 0.09829197824001312, + "I": 0.007579463068395853, + "J": 0.012496422044932842, + "K": 0.018182186409831047, + "L": 0.01173930149525404 + }, + "sample": { + "question": "В каком году вышел фильм \"Человек дождя\"?", + "answerA": "1985", + "answerB": "1988", + "answerC": "1992", + "answerD": "1986", + "correct_answer": "answerB", + "choices": [ + "1965", + "Василий Меркурьев", + "Брюс Уиллис", + "Пустая бутылка", + "Алексей Баталов", + "1988", + "1986", + "Хэйли Джоэл Осмент", + "Болтливый слон", + "Мяч для бейсбола", + "1992", + "1985" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nВ каком году вышел фильм \"Человек дождя\"?\nA. 1965\nB. Василий Меркурьев\nC. Брюс Уиллис\nD. Пустая бутылка\nE. Алексей Баталов\nF. 1988\nG. 1986\nH. Хэйли Джоэл Осмент\nI. Болтливый слон\nJ. Мяч для бейсбола\nK. 1992\nL. 1985\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 120, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.5147724747657776, + "B": 0.0789429172873497, + "C": 0.0789429172873497, + "D": 0.04225509613752365, + "E": 0.0894540324807167, + "F": 0.025629011914134026, + "G": 0.03728999197483063, + "H": 0.025629011914134026, + "I": 0.00832052156329155, + "J": 0.0047408901154994965, + "K": 0.0018565594218671322, + "L": 0.0006829900084994733 + }, + "sample": { + "question": "Какой предмет стал символическим другом главного героя в фильме \"Изгой\"?", + "answerA": "Пустая бутылка", + "answerB": "Мяч для бейсбола", + "answerC": "Мяч для волейбола", + "answerD": "Старый радиоприемник", + "correct_answer": "Мяч для волейбола", + "choices": [ + "Старый радиоприемник", + "Пустая бутылка", + "Мяч для бейсбола", + "1965", + "Василий Меркурьев", + "Хитрый лис Ник Уайлд", + "Мяч для волейбола", + "Брюс Уиллис", + "Алексей Баталов", + "Болтливый слон", + "Хэйли Джоэл Осмент", + "Кристофер Нолан" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКакой предмет стал символическим другом главного героя в фильме \"Изгой\"?\nA. Старый радиоприемник\nB. Пустая бутылка\nC. Мяч для бейсбола\nD. 1965\nE. Василий Меркурьев\nF. Хитрый лис Ник Уайлд\nG. Мяч для волейбола\nH. Брюс Уиллис\nI. Алексей Баталов\nJ. Болтливый слон\nK. Хэйли Джоэл Осмент\nL. Кристофер Нолан\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 127, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.1430487036705017, + "B": 0.06757141649723053, + "C": 0.16209541261196136, + "D": 0.20813462138175964, + "E": 0.04362738877534866, + "F": 0.06757141649723053, + "G": 0.12624002993106842, + "H": 0.0409841351211071, + "I": 0.008590742014348507, + "J": 0.015077222138643265, + "K": 0.021937226876616478, + "L": 0.007581303361803293 + }, + "sample": { + "question": "Кто из актеров сыграл главную роль в фильме 'Летят журавли'?", + "answerA": "Василий Меркурьев", + "answerB": "Алексей Баталов", + "answerC": "Александр Шворин", + "answerD": "Светлана Харитонова", + "correct_answer": "Алексей Баталов", + "choices": [ + "Василий Меркурьев", + "Болтливый слон", + "Хитрый лис Ник Уайлд", + "Алексей Баталов", + "1965", + "Светлана Харитонова", + "Александр Шворин", + "Брюс Уиллис", + "Кристофер Нолан", + "Карл Миллер", + "1971", + "Хэйли Джоэл Осмент" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКто из актеров сыграл главную роль в фильме 'Летят журавли'?\nA. Василий Меркурьев\nB. Болтливый слон\nC. Хитрый лис Ник Уайлд\nD. Алексей Баталов\nE. 1965\nF. Светлана Харитонова\nG. Александр Шворин\nH. Брюс Уиллис\nI. Кристофер Нолан\nJ. Карл Миллер\nK. 1971\nL. Хэйли Джоэл Осмент\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 124, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.12615662813186646, + "B": 0.033954594284296036, + "C": 0.2670735716819763, + "D": 0.11133282631635666, + "E": 0.08670609444379807, + "F": 0.033954594284296036, + "G": 0.16198831796646118, + "H": 0.07651786506175995, + "I": 0.011023443192243576, + "J": 0.010355566628277302, + "K": 0.0071172695606946945, + "L": 0.002039131708443165 + }, + "sample": { + "question": "Какой актер сыграл детского психиатра Малкольма Кроу в фильме 'Шестое чувство'?", + "answerA": "Хэйли Джоэл Осмент", + "answerB": "Брюс Уиллис", + "answerC": "Тони Коллетт", + "answerD": "Оливия Уильямс", + "correct_answer": "answerB", + "choices": [ + "Карл Миллер", + "1965", + "Эштон Кутчер", + "Тони Коллетт", + "Оливия Уильямс", + "Болтливый слон", + "Стивен Спилберг", + "Брюс Уиллис", + "Хэйли Джоэл Осмент", + "1971", + "Хитрый лис Ник Уайлд", + "Кристофер Нолан" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакой актер сыграл детского психиатра Малкольма Кроу в фильме 'Шестое чувство'?\nA. Карл Миллер\nB. 1965\nC. Эштон Кутчер\nD. Тони Коллетт\nE. Оливия Уильямс\nF. Болтливый слон\nG. Стивен Спилберг\nH. Брюс Уиллис\nI. Хэйли Джоэл Осмент\nJ. 1971\nK. Хитрый лис Ник Уайлд\nL. Кристофер Нолан\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 129, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.25848400592803955, + "B": 0.05089851841330528, + "C": 0.12209920585155487, + "D": 0.1383565217256546, + "E": 0.05767558142542839, + "F": 0.04491778090596199, + "G": 0.08391746878623962, + "H": 0.07405690848827362, + "I": 0.032862551510334015, + "J": 0.042196355760097504, + "K": 0.01993214711546898, + "L": 0.003924872260540724 + }, + "sample": { + "question": "Кто стал партнером Джуди Хоппс в фильме 'Зверополис' 2016 года?", + "answerA": "Болтливый слон", + "answerB": "Хитрый лис Ник Уайлд", + "answerC": "Отважный тигр", + "answerD": "Мудрый медведь", + "correct_answer": "B", + "choices": [ + "Хитрый лис Ник Уайлд", + "1965", + "Эштон Кутчер", + "Отважный тигр", + "Стивен Спилберг", + "Карл Миллер", + "Кристофер Нолан", + "Мудрый медведь", + "Программист", + "Эдна Первиэнс", + "Болтливый слон", + "1971" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКто стал партнером Джуди Хоппс в фильме 'Зверополис' 2016 года?\nA. Хитрый лис Ник Уайлд\nB. 1965\nC. Эштон Кутчер\nD. Отважный тигр\nE. Стивен Спилберг\nF. Карл Миллер\nG. Кристофер Нолан\nH. Мудрый медведь\nI. Программист\nJ. Эдна Первиэнс\nK. Болтливый слон\nL. 1971\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 127, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.04792927950620651, + "B": 0.18956397473812103, + "C": 0.13028529286384583, + "D": 0.11497636884450912, + "E": 0.06973669677972794, + "F": 0.11497636884450912, + "G": 0.13028529286384583, + "H": 0.13028529286384583, + "I": 0.001540684257633984, + "J": 0.006486522499471903, + "K": 0.0036959093995392323, + "L": 0.004745641723275185 + }, + "sample": { + "question": "В каком году был выпущен фильм «Офицеры»?", + "answerA": "1965", + "answerB": "1971", + "answerC": "1978", + "answerD": "1980", + "correct_answer": "1971", + "choices": [ + "Эми Смарт", + "1980", + "1965", + "1978", + "Карл Миллер", + "Эштон Кутчер", + "Андрей Тарковский", + "1971", + "Стивен Спилберг", + "Эдна Первиэнс", + "Программист", + "Кристофер Нолан" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nВ каком году был выпущен фильм «Офицеры»?\nA. Эми Смарт\nB. 1980\nC. 1965\nD. 1978\nE. Карл Миллер\nF. Эштон Кутчер\nG. Андрей Тарковский\nH. 1971\nI. Стивен Спилберг\nJ. Эдна Первиэнс\nK. Программист\nL. Кристофер Нолан\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 114, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.22473427653312683, + "B": 0.1363082230091095, + "C": 0.05682171881198883, + "D": 0.044252801686525345, + "E": 0.3269864320755005, + "F": 0.023686818778514862, + "G": 0.026840681210160255, + "H": 0.023686818778514862, + "I": 0.003866766579449177, + "J": 0.022251706570386887, + "K": 0.002345312386751175, + "L": 0.009275891818106174 + }, + "sample": { + "question": "Кто режиссер фильма 'Спасти рядового Райана'?", + "answerA": "Кристофер Нолан", + "answerB": "Стивен Спилберг", + "answerC": "Мартин Скорсезе", + "answerD": "Джеймс Кэмерон", + "correct_answer": "B", + "choices": [ + "Карл Миллер", + "Кристофер Нолан", + "Андрей Тарковский", + "Джеймс Кэмерон", + "Мартин Скорсезе", + "Андрей Тарковский", + "Эштон Кутчер", + "Учитель", + "Эми Смарт", + "Программист", + "Эдна Первиэнс", + "Стивен Спилберг" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Спасти рядового Райана'?\nA. Карл Миллер\nB. Кристофер Нолан\nC. Андрей Тарковский\nD. Джеймс Кэмерон\nE. Мартин Скорсезе\nF. Андрей Тарковский\nG. Эштон Кутчер\nH. Учитель\nI. Эми Смарт\nJ. Программист\nK. Эдна Первиэнс\nL. Стивен Спилберг\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 104, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.060961928218603134, + "B": 0.08869908004999161, + "C": 0.08869908004999161, + "D": 0.07353411614894867, + "E": 0.06489363312721252, + "F": 0.07353411614894867, + "G": 0.12123727053403854, + "H": 0.22650103271007538, + "I": 0.015413588844239712, + "J": 0.04189847782254219, + "K": 0.05053921416401863, + "L": 0.027051690965890884 + }, + "sample": { + "question": "Кто сыграл главную роль Малыша в фильме «Малыш» от Чарльза Чаплина?", + "answerA": "Карл Миллер", + "answerB": "Эдна Первиэнс", + "answerC": "Джеки Куган", + "answerD": "Альберт Остин", + "correct_answer": "Джеки Куган", + "choices": [ + "Андрей Тарковский", + "Учитель", + "Эдна Первиэнс", + "Программист", + "Магический эликсир", + "Андрей Тарковский", + "Джеки Куган", + "Станислав Ростоцкий", + "Эми Смарт", + "Альберт Остин", + "Эштон Кутчер", + "Карл Миллер" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКто сыграл главную роль Малыша в фильме «Малыш» от Чарльза Чаплина?\nA. Андрей Тарковский\nB. Учитель\nC. Эдна Первиэнс\nD. Программист\nE. Магический эликсир\nF. Андрей Тарковский\nG. Джеки Куган\nH. Станислав Ростоцкий\nI. Эми Смарт\nJ. Альберт Остин\nK. Эштон Кутчер\nL. Карл Миллер\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 113, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.029780710116028786, + "B": 0.133467897772789, + "C": 0.027976389974355698, + "D": 0.04910008981823921, + "E": 0.04910008981823921, + "F": 0.3628033399581909, + "G": 0.11778499186038971, + "H": 0.0714402049779892, + "I": 0.004290318116545677, + "J": 0.05563769489526749, + "K": 0.02319324016571045, + "L": 0.026281386613845825 + }, + "sample": { + "question": "Какая профессия была мечтой Криса Гарднера в фильме 'В погоне за счастьем'?", + "answerA": "Программист", + "answerB": "Учитель", + "answerC": "Брокер", + "answerD": "Врач", + "correct_answer": "C", + "choices": [ + "Врач", + "Станислав Ростоцкий", + "1985", + "Андрей Тарковский", + "Райан Гослинг", + "Програ��мист", + "Андрей Тарковский", + "Учитель", + "Брокер", + "Магический эликсир", + "Сила прекрасного дракона", + "Сергей Бондарчук" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКакая профессия была мечтой Криса Гарднера в фильме 'В погоне за счастьем'?\nA. Врач\nB. Станислав Ростоцкий\nC. 1985\nD. Андрей Тарковский\nE. Райан Гослинг\nF. Программист\nG. Андрей Тарковский\nH. Учитель\nI. Брокер\nJ. Магический эликсир\nK. Сила прекрасного дракона\nL. Сергей Бондарчук\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 113, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.03968625143170357, + "B": 0.022612543776631355, + "C": 0.012103622779250145, + "D": 0.025623368099331856, + "E": 0.2587868571281433, + "F": 0.025623368099331856, + "G": 0.06543155759572983, + "H": 0.3322888910770416, + "I": 0.024070927873253822, + "J": 0.021242517977952957, + "K": 0.012103622779250145, + "L": 0.09520236402750015 + }, + "sample": { + "question": "Кто является режиссером фильма Белый Бим Черное ухо, выпущенного в 1976 году?", + "answerA": "Андрей Тарковский", + "answerB": "Станислав Ростоцкий", + "answerC": "Сергей Эйзенштейн", + "answerD": "Никита Михалков", + "correct_answer": "Станислав Ростоцкий", + "choices": [ + "Магический эликсир", + "1985", + "Сила прекрасного дракона", + "1989", + "Станислав Ростоцкий", + "София Лорен", + "Райан Гослинг", + "Андрей Тарковский", + "Никита Михалков", + "Рэйчел МакАдамс", + "Сергей Эйзенштейн", + "Сергей Бондарчук" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма Белый Бим Черное ухо, выпущенного в 1976 году?\nA. Магический эликсир\nB. 1985\nC. Сила прекрасного дракона\nD. 1989\nE. Станислав Ростоцкий\nF. София Лорен\nG. Райан Гослинг\nH. Андрей Тарковский\nI. Никита Михалков\nJ. Рэйчел МакАдамс\nK. Сергей Эйзенштейн\nL. Сергей Бондарчук\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 124, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.02464905194938183, + "B": 0.3002869486808777, + "C": 0.14184550940990448, + "D": 0.03586415946483612, + "E": 0.014950405806303024, + "F": 0.031650010496377945, + "G": 0.3002869486808777, + "H": 0.009067879989743233, + "I": 0.00029148650355637074, + "J": 0.006634202320128679, + "K": 0.012394323013722897, + "L": 0.00010723189188865945 + }, + "sample": { + "question": "Кто является главным режиссером фильма 'Судьба человека' 1959 года?", + "answerA": "Андрей Тарковский", + "answerB": "Сергей Бондарчук", + "answerC": "Никита Михалков", + "answerD": "Леонид Гайдай", + "correct_answer": "B", + "choices": [ + "1985", + "Андрей Тарковский", + "Никита Михалков", + "Райан Гослинг", + "Магический эликсир", + "Джеймс Вудс", + "Сергей Бондарчук", + "1989", + "Сила прекрасного дракона", + "Леонид Гайдай", + "София Лорен", + "Рэйчел МакАдамс" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКто является главным режиссером фильма 'Судьба человека' 1959 года?\nA. 1985\nB. Андрей Тарковский\nC. Никита Михалков\nD. Райан Гослинг\nE. Магический эликсир\nF. Джеймс Вудс\nG. Сергей Бондарчук\nH. 1989\nI. Сила прекрасного дракона\nJ. Леонид Гайдай\nK. София Лорен\nL. Рэйчел МакАдамс\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 118, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.020904023200273514, + "B": 0.09972751885652542, + "C": 0.053380291908979416, + "D": 0.04157261550426483, + "E": 0.03237678483128548, + "F": 0.053380291908979416, + "G": 0.3071824014186859, + "H": 0.0366877056658268, + "I": 0.004116246476769447, + "J": 0.0366877056658268, + "K": 0.21112316846847534, + "L": 0.005285365041345358 + }, + "sample": { + "question": "Что может растопить лед в сердце Чудовища и вернуть ему человеческий облик в фильме 'Красавица и чудовище'?", + "answerA": "Магический эликсир", + "answerB": "Сила прекрасного дракона", + "answerC": "Любовь прекрасной девушки", + "answerD": "Древний заклинательный ритуал", + "correct_answer": "C", + "choices": [ + "Рэйчел МакАдамс", + "Древний заклинательный ритуал", + "1985", + "Альфред Хичкок", + "Джеймс Вудс", + "Орнелла Мути", + "Любовь прекрасной девушки", + "Сила прекрасного дракона", + "1989", + "София Лорен", + "Магический эликсир", + "Райан Гослинг" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nЧто может растопить лед в сердце Чудовища и вернуть ему человеческий облик в фильме 'Красавица и чудовище'?\nA. Рэйчел МакАдамс\nB. Древний заклинательный ритуал\nC. 1985\nD. Альфред Хичкок\nE. Джеймс Вудс\nF. Орнелла Мути\nG. Любовь прекрасной девушки\nH. Сила прекрасного дракона\nI. 1989\nJ. София Лорен\nK. Магический эликсир\nL. Райан Гослинг\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 132, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0474722795188427, + "B": 0.30955812335014343, + "C": 0.0886898934841156, + "D": 0.07826855033636093, + "E": 0.10049881041049957, + "F": 0.12904302775859833, + "G": 0.0886898934841156, + "H": 0.0474722795188427, + "I": 0.004415609408169985, + "J": 0.0474722795188427, + "K": 0.006424673832952976, + "L": 0.004415609408169985 + }, + "sample": { + "question": "В каком году вышел фильм 'Назад в будущее 2'?", + "answerA": "1985", + "answerB": "1989", + "answerC": "1990", + "answerD": "1987", + "correct_answer": "1989", + "choices": [ + "Оливия Де Хэвилленд", + "1989", + "Орнелла Мути", + "1987", + "Райан Гослинг", + "Трит Уильямс", + "София Лорен", + "1985", + "Рэйчел МакАдамс", + "1990", + "Джеймс Вудс", + "Альфред Хичкок" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nВ каком году вышел фильм 'Назад в будущее 2'?\nA. Оливия Де Хэвилленд\nB. 1989\nC. Орнелла Мути\nD. 1987\nE. Райан Гослинг\nF. Трит Уильямс\nG. София Лорен\nH. 1985\nI. Рэйчел МакАдамс\nJ. 1990\nK. Джеймс Вудс\nL. Альфред Хичкок\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 123, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.03364207595586777, + "B": 0.0628516674041748, + "C": 0.1935967653989792, + "D": 0.10362488776445389, + "E": 0.04319727420806885, + "F": 0.13305698335170746, + "G": 0.219373881816864, + "H": 0.0628516674041748, + "I": 0.004552959464490414, + "J": 0.016916297376155853, + "K": 0.015891391783952713, + "L": 0.0037745360750705004 + }, + "sample": { + "question": "Кто сыграл главную женскую роль в фильме 'Укрощение строптивого' 1980 года?", + "answerA": "София Лорен", + "answerB": "Орнелла Мути", + "answerC": "Моника Беллуччи", + "answerD": "Клаудия Кардинале", + "correct_answer": "answerB", + "choices": [ + "Альфред Хичкок", + "Кевин Бейкон", + "Клаудия Кардинале", + "Джеймс Вудс", + "Стэнли Кубрик", + "София Лорен", + "Моника Беллуччи", + "Лесли Говард", + "1975", + "Орнелла Мути", + "Трит Уильямс", + "Оливия Де Хэвилленд" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКто сыграл главную женскую роль в фильме 'Укрощение строптивого' 1980 года?\nA. Альфред Хичкок\nB. Кевин Бейкон\nC. Клаудия Кардинале\nD. Джеймс Вудс\nE. Стэнли Кубрик\nF. София Лорен\nG. Моника Беллуччи\nH. Лесли Говард\nI. 1975\nJ. Орнелла Мути\nK. Трит Уильямс\nL. Оливия Де Хэвилленд\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 127, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.09770969301462173, + "B": 0.16109606623649597, + "C": 0.23439337313175201, + "D": 0.07609638571739197, + "E": 0.05230023339390755, + "F": 0.04615478962659836, + "G": 0.12546174228191376, + "H": 0.05230023339390755, + "I": 0.0016811881214380264, + "J": 0.02629820629954338, + "K": 0.011669758707284927, + "L": 0.0085377786308527 + }, + "sample": { + "question": "Кто из актеров сыграл главную роль в фильме 'Однажды в Америке' 1983 года?", + "answerA": "Джеймс Вудс", + "answerB": "Трит Уильямс", + "answerC": "Роберт Де Ниро", + "answerD": "Элизабет Макговерн", + "correct_answer": "Роберт Де Ниро", + "choices": [ + "1977", + "Джеймс Вудс", + "Трит Уильямс", + "Альфред Хичкок", + "Лесли Говард", + "Элизабет Макговерн", + "Оливия Де Хэвилленд", + "Кевин Бейкон", + "Стэнли Кубрик", + "1975", + "Роберт Де Ниро", + "Женщина-Кошка" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКто из актеров сыграл главную роль в фильме 'Однажды в Америке' 1983 года?\nA. 1977\nB. Джеймс Вудс\nC. Трит Уильямс\nD. Альфред Хичкок\nE. Лесли Говард\nF. Элизабет Макговерн\nG. Оливия Де Хэвилленд\nH. Кевин Бейкон\nI. Стэнли Кубрик\nJ. 1975\nK. Роберт Де Ниро\nL. Женщина-Кошка\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 123, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.659503161907196, + "B": 0.061343349516391754, + "C": 0.03720662370324135, + "D": 0.025571713224053383, + "E": 0.061343349516391754, + "F": 0.013687551021575928, + "G": 0.042160626500844955, + "H": 0.01551002822816372, + "I": 0.008837347850203514, + "J": 0.006465542130172253, + "K": 0.0019718788098543882, + "L": 0.0016347450437024236 + }, + "sample": { + "question": "Кто режиссер фильма 'Римские каникулы'?", + "answerA": "Альфред Хичкок", + "answerB": "Стэнли Кубрик", + "answerC": "Уильям Уайлер", + "answerD": "Федерико Феллини", + "correct_answer": "Уильям Уайлер", + "choices": [ + "Федерико Феллини", + "Кевин Бейкон", + "1975", + "Альфред Хичкок", + "Оливия Де Хэвилленд", + "Уильям Уайлер", + "Боб Хоскинс", + "1977", + "Лесли Говард", + "Стэнли Кубрик", + "2004", + "Женщина-Кошка" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Римские каникулы'?\nA. Федерико Феллини\nB. Кевин Бейкон\nC. 1975\nD. Альфред Хичкок\nE. Оливия Де Хэвилленд\nF. Уильям Уайлер\nG. Боб Хоскинс\nH. 1977\nI. Лесли Говард\nJ. Стэнли Кубрик\nK. 2004\nL. Женщина-Кошка\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.04457418993115425, + "B": 0.05723439157009125, + "C": 0.19976764917373657, + "D": 0.10692792385816574, + "E": 0.050509173423051834, + "F": 0.027035610750317574, + "G": 0.15557920932769775, + "H": 0.023858843371272087, + "I": 0.006032460369169712, + "J": 0.021055353805422783, + "K": 0.05723439157009125, + "L": 0.0022192182950675488 + }, + "sample": { + "question": "Кто из актеров сыграл главную роль Скарлетт О'Хара в фильме 'Унесенные ветром'?", + "answerA": "Оливия Де Хэвилленд", + "answerB": "Лесли Говард", + "answerC": "Вивьен Ли", + "answerD": "Кларк Гейбл", + "correct_answer": "Вивьен Ли", + "choices": [ + "1975", + "1977", + "Лесли Говард", + "Джокер", + "Вивьен Ли", + "Том Круз", + "Кевин Бейкон", + "Кларк Гейбл", + "2004", + "Боб Хоскинс", + "Оливия Де Хэвилленд", + "Женщина-Кошка" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКто из актеров сыграл главную роль Скарлетт О'Хара в фильме 'Унесенные ветром'?\nA. 1975\nB. 1977\nC. Лесли Говард\nD. Джокер\nE. Вивьен Ли\nF. Том Круз\nG. Кевин Бейкон\nH. Кларк Гейбл\nI. 2004\nJ. Боб Хоскинс\nK. Оливия Де Хэвилленд\nL. Женщина-Кошка\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 126, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.18449276685714722, + "B": 0.16281428933143616, + "C": 0.08714821934700012, + "D": 0.07690802961587906, + "E": 0.07690802961587906, + "F": 0.14368312060832977, + "G": 0.08714821934700012, + "H": 0.08714821934700012, + "I": 0.004916565492749214, + "J": 0.013364612124860287, + "K": 0.004338853992521763, + "L": 0.03632877767086029 + }, + "sample": { + "question": "В каком году был выпущен фильм 'Служебный роман'?", + "answerA": "1975", + "answerB": "1977", + "answerC": "1980", + "answerD": "1983", + "correct_answer": "B", + "choices": [ + "2006", + "1975", + "Кевин Бейкон", + "Аль Пачино", + "Боб Хоскинс", + "2004", + "1980", + "1983", + "Женщина-Кошка", + "Том Круз", + "Джокер", + "1977" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nВ каком году был выпущен фильм 'Служебный роман'?\nA. 2006\nB. 1975\nC. Кевин Бейкон\nD. Аль Пачино\nE. Боб Хоскинс\nF. 2004\nG. 1980\nH. 1983\nI. Женщина-Кошка\nJ. Том Круз\nK. Джокер\nL. 1977\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.27997204661369324, + "B": 0.0624702088534832, + "C": 0.09089361131191254, + "D": 0.048651840537786484, + "E": 0.09089361131191254, + "F": 0.0624702088534832, + "G": 0.13224942982196808, + "H": 0.03789009526371956, + "I": 0.048651840537786484, + "J": 0.0551297590136528, + "K": 0.012301113456487656, + "L": 0.003993586637079716 + }, + "sample": { + "question": "Кто в фильме 'Темный рыцарь: Возрождение легенды' в итоге вынуждает Брюса Уэйна выйти из импровизированного изгнания?", + "answerA": "Женщина-Кошка", + "answerB": "Джокер", + "answerC": "Бэйн", + "answerD": "Рас Аль Гул", + "correct_answer": "C", + "choices": [ + "Джокер", + "Бэйн", + "2006", + "Вигго Мортенсен", + "Киану Ривз", + "Аль Пачино", + "Рас Аль Гул", + "Том Круз", + "Брюс Уиллис", + "Стивен Спилберг", + "Женщина-Кошка", + "2004" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКто в фильме 'Темный рыцарь: Возрождение легенды' в итоге вынуждает Брюса Уэйна выйти из импровизированного изгнания?\nA. Джокер\nB. Бэйн\nC. 2006\nD. Вигго Мортенсен\nE. Киану Ривз\nF. Аль Пачино\nG. Рас Аль Гул\nH. Том Круз\nI. Брюс Уиллис\nJ. Стивен Спилберг\nK. Женщина-Кошка\nL. 2004\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 133, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.07062429934740067, + "B": 0.022928351536393166, + "C": 0.5913299918174744, + "D": 0.04853932186961174, + "E": 0.055002257227897644, + "F": 0.017856618389487267, + "G": 0.08002781122922897, + "H": 0.017856618389487267, + "I": 0.017856618389487267, + "J": 0.00656908331438899, + "K": 0.00656908331438899, + "L": 0.0005740000633522868 + }, + "sample": { + "question": "В каком году вышел фильм 'Жизнь других'?", + "answerA": "2004", + "answerB": "2006", + "answerC": "2008", + "answerD": "2010", + "correct_answer": "2006", + "choices": [ + "Вигго Мортенсен", + "Брюс Уиллис", + "2008", + "Фрэнсис Форд Коппола", + "Стивен Спилберг", + "Ричард Кёртис", + "Аль Пачино", + "2010", + "2006", + "Том Круз", + "2004", + "Киану Ривз" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nВ каком году вышел фильм 'Жизнь других'?\nA. Вигго Мортенсен\nB. Брюс Уиллис\nC. 2008\nD. Фрэнсис Форд Коппола\nE. Стивен Спилберг\nF. Ричард Кёртис\nG. Аль Пачино\nH. 2010\nI. 2006\nJ. Том Круз\nK. 2004\nL. Киану Ривз\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 121, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.24149329960346222, + "B": 0.07840139418840408, + "C": 0.1292620599269867, + "D": 0.041965238749980927, + "E": 0.08884043246507645, + "F": 0.0288422629237175, + "G": 0.1292620599269867, + "H": 0.06105906888842583, + "I": 0.06105906888842583, + "J": 0.02545320615172386, + "K": 0.007762789726257324, + "L": 0.001962740672752261 + }, + "sample": { + "question": "Кто из актеров сыграл в фильме \"Счастливое число Слевина\"?", + "answerA": "Том Круз", + "answerB": "Брюс Уиллис", + "answerC": "Леонардо Ди Каприо", + "answerD": "Том Хэнкс", + "correct_answer": "Брюс Уиллис", + "choices": [ + "Том Круз", + "Ричард Кёртис", + "Махершала Али", + "Стивен Спилберг", + "Брюс Уиллис", + "Леонардо Ди Каприо", + "Аль Пачино", + "Фрэнсис Форд Коппола", + "Том Хэнкс", + "Василий Шукшин", + "Киану Ривз", + "Вигго Мортенсен" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКто из актеров сыграл в фильме \"Счастливое число Слевина\"?\nA. Том Круз\nB. Ричард Кёртис\nC. Махершала Али\nD. Стивен Спилберг\nE. Брюс Уиллис\nF. Леонардо Ди Каприо\nG. Аль Пачино\nH. Фрэнсис Форд Коппола\nI. Том Хэнкс\nJ. Василий Шукшин\nK. Киану Ривз\nL. Вигго Мортенсен\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 120, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.06914961338043213, + "B": 0.05059093236923218, + "C": 0.0649600476026535, + "D": 0.11400842666625977, + "E": 0.07835676521062851, + "F": 0.06102431192994118, + "G": 0.18796811997890472, + "H": 0.1006120890378952, + "I": 0.0649600476026535, + "J": 0.04464634135365486, + "K": 0.03266395628452301, + "L": 0.04752578213810921 + }, + "sample": { + "question": "Кто из актеров играет главного героя Кевина Ломакса в фильме \"Адвокат дьявола\"?", + "answerA": "Аль Пачино", + "answerB": "Киану Ривз", + "answerC": "Джеффри Джонс", + "answerD": "Шарлиз Терон", + "correct_answer": "answerB", + "choices": [ + "Фрэнсис Форд Коппола", + "Стивен Спилберг", + "1980", + "Ричард Кёртис", + "Василий Шукшин", + "Махершала Али", + "Киану Ривз", + "Дэмиен О’Доннелл", + "Джеффри Джонс", + "Аль Пачино", + "Шарлиз Терон", + "Вигго Мортенсен" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКто из актеров играет главного героя Кевина Ломакса в фильме \"Адвокат дьявола\"?\nA. Фрэнсис Форд Коппола\nB. Стивен Спилберг\nC. 1980\nD. Ричард Кёртис\nE. Василий Шукшин\nF. Махершала Али\nG. Киану Ривз\nH. Дэмиен О’Доннелл\nI. Джеффри Джонс\nJ. Аль Пачино\nK. Шарлиз Терон\nL. Вигго Мортенсен\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 131, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.1959892213344574, + "B": 0.0561518520116806, + "C": 0.034057822078466415, + "D": 0.10490547865629196, + "E": 0.0561518520116806, + "F": 0.04955383762717247, + "G": 0.2220848798751831, + "H": 0.07210040092468262, + "I": 0.0561518520116806, + "J": 0.02652425691485405, + "K": 0.018229836598038673, + "L": 0.0015929053770378232 + }, + "sample": { + "question": "Кто режиссер фильма 'Амадей' выпущенного в 1984 году?", + "answerA": "Стивен Спилберг", + "answerB": "Фрэнсис Форд Коппола", + "answerC": "Милош Форман", + "answerD": "Мартин Скорсезе", + "correct_answer": "Милош Форман", + "choices": [ + "Вячеслав Тихонов", + "Фрэнсис Форд Коппола", + "Стивен Спилберг", + "Мартин Скорсезе", + "1980", + "Вигго Мортенсен", + "Дэмиен О’Доннелл", + "Софи", + "Милош Форман", + "Махершала Али", + "Василий Шукшин", + "Ричард Кёртис" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Амадей' выпущенного в 1984 году?\nA. Вячеслав Тихонов\nB. Фрэнсис Форд Коппола\nC. Стивен Спилберг\nD. Мартин Скорсезе\nE. 1980\nF. Вигго Мортенсен\nG. Дэмиен О’Доннелл\nH. Софи\nI. Милош Форман\nJ. Махершала Али\nK. Василий Шукшин\nL. Ричард Кёртис\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 124, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.1121128499507904, + "B": 0.07705394923686981, + "C": 0.3047542870044708, + "D": 0.09893923252820969, + "E": 0.041244007647037506, + "F": 0.041244007647037506, + "G": 0.12704049050807953, + "H": 0.03419248014688492, + "I": 0.007167133968323469, + "J": 0.007629374507814646, + "K": 0.041244007647037506, + "L": 0.002326827496290207 + }, + "sample": { + "question": "Кто из актёров сыграл роль утончённого светского льва, богатого и талантливого чернокожего музыканта в фильме 'Зеленая книга'?", + "answerA": "Вигго Мортенсен", + "answerB": "Махершала Али", + "answerC": "Линда Карделлини", + "answerD": "Себастьян Манискалко", + "correct_answer": "Махершала Али", + "choices": [ + "Махершала Али", + "Вячеслав Тихонов", + "Ричард Кёртис", + "Даниэль Брюль", + "Вигго Мортенсен", + "Себастьян Манискалко", + "Софи", + "1979", + "Василий Шукшин", + "1980", + "Дэмиен О’Доннелл", + "Линда Карделлини" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКто из актёров сыграл роль утончённого светского льва, богатого и талантливого чернокожего музыканта в фильме 'Зеленая книга'?\nA. Махершала Али\nB. Вячеслав Тихонов\nC. Ричард Кёртис\nD. Даниэль Брюль\nE. Вигго Мортенсен\nF. Себастьян Манискалко\nG. Софи\nH. 1979\nI. Василий Шукшин\nJ. 1980\nK. Дэмиен О’Доннелл\nL. Линда Карделлини\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 142, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0615338496863842, + "B": 0.40125107765197754, + "C": 0.08953122049570084, + "D": 0.11496036499738693, + "E": 0.04792260751128197, + "F": 0.06972697377204895, + "G": 0.0615338496863842, + "H": 0.0329366959631443, + "I": 0.002877976046875119, + "J": 0.029066530987620354, + "K": 0.014615570195019245, + "L": 0.006903905887156725 + }, + "sample": { + "question": "Кто режиссер фильма '…А в душе я танцую'?", + "answerA": "Ричард Кёртис", + "answerB": "Дэмиен О’Доннелл", + "answerC": "Кеннет Брана", + "answerD": "Гай Ричи", + "correct_answer": "Дэмиен О’Доннелл", + "choices": [ + "Софи", + "Ричард Кёртис", + "1979", + "Кеннет Брана", + "Кальцифер", + "Дэмиен О’Доннелл", + "Василий Шукшин", + "1980", + "Вячеслав Тихонов", + "Даниэль Брюль", + "Гай Ричи", + "Виктор Сухоруков" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма '…А в душе я танцую'?\nA. Софи\nB. Ричард Кёртис\nC. 1979\nD. Кеннет Брана\nE. Кальцифер\nF. Дэмиен О’Доннелл\nG. Василий Шукшин\nH. 1980\nI. Вячеслав Тихонов\nJ. Даниэль Брюль\nK. Гай Ричи\nL. Виктор Сухоруков\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 113, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.03995874524116516, + "B": 0.03526346758008003, + "C": 0.551613450050354, + "D": 0.031119903549551964, + "E": 0.01887517422437668, + "F": 0.008375807665288448, + "G": 0.06588083505630493, + "H": 0.012186728417873383, + "I": 0.001367313088849187, + "J": 0.0006458729039877653, + "K": 0.0018688953714445233, + "L": 0.0001738343562465161 + }, + "sample": { + "question": "Кто сыграл роль комбата Пётра Лопахина в фильме 'Они сражались за Родину' 1975 года?", + "answerA": "Василий Шукшин", + "answerB": "Вячеслав Тихонов", + "answerC": "Сергей Бондарчук", + "answerD": "Юрий Никулин", + "correct_answer": "Сергей Бондарчук", + "choices": [ + "1979", + "1980", + "Сергей Бондарчук", + "Софи", + "Вячеслав Тихонов", + "Юрий Никулин", + "Виктор Сухоруков", + "Кальцифер", + "Орден Красной Звезды", + "Даниэль Брюль", + "Крис Хемсворт", + "Василий Шукшин" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКто сыграл роль комбата Пётра Лопахина в фильме 'Они сражались за Родину' 1975 года?\nA. 1979\nB. 1980\nC. Сергей Бондарчук\nD. Софи\nE. Вячеслав Тихонов\nF. Юрий Никулин\nG. Виктор Сухоруков\nH. Кальцифер\nI. Орден Красной Звезды\nJ. Даниэль Брюль\nK. Крис Хемсворт\nL. Василий Шукшин\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 121, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.12683521211147308, + "B": 0.07692945003509521, + "C": 0.1119316816329956, + "D": 0.09877936542034149, + "E": 0.04666006937623024, + "F": 0.05991271883249283, + "G": 0.16285963356494904, + "H": 0.12683521211147308, + "I": 0.008108303882181644, + "J": 0.009187912568449974, + "K": 0.01108273770660162, + "L": 0.0020501003600656986 + }, + "sample": { + "question": "Кто служит Хаулу по договору в фильме 'Ходячий замок'?", + "answerA": "Софи", + "answerB": "Кальцифер", + "answerC": "Ведьма", + "answerD": "Кошка", + "correct_answer": "B", + "choices": [ + "Орден", + "Даниэль Брюль", + "Светлана Письмиченко", + "Орден Красной Звезды", + "Стивен Спилберг", + "Сандра Буллок", + "Крис Хемсворт", + "Виктор Сухоруков", + "Ведьма", + "Кошка", + "Софи", + "Кальцифер" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКто служит Хаулу по договору в фильме 'Ходячий замок'?\nA. Орден\nB. Даниэль Брюль\nC. Светлана Письмиченко\nD. Орден Красной Звезды\nE. Стивен Спилберг\nF. Сандра Буллок\nG. Крис Хемсворт\nH. Виктор Сухоруков\nI. Ведьма\nJ. Кошка\nK. Софи\nL. Кальцифер\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 109, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.2433764487504959, + "B": 0.08953320235013962, + "C": 0.16727003455162048, + "D": 0.06972852349281311, + "E": 0.10145439952611923, + "F": 0.05430462956428528, + "G": 0.07901276648044586, + "H": 0.0373229905962944, + "I": 0.025651687756180763, + "J": 0.022637534886598587, + "K": 0.007823323830962181, + "L": 0.0028780396096408367 + }, + "sample": { + "question": "Кто из актеров сыграл роль Джеймса Ханта в фильме 'Гонка' 2013 года?", + "answerA": "Даниэль Брюль", + "answerB": "Крис Хемсворт", + "answerC": "Пьерфранческо Фавино", + "answerD": "Оливия Уайлд", + "correct_answer": "B", + "choices": [ + "Крис Хемсворт", + "Виктор Сухоруков", + "Даниэль Брюль", + "Светлана Письмиченко", + "Пьерфранческо Фавино", + "Андрей Тарковский", + "Сандра Буллок", + "Орден Красной Звезды", + "Оливия Уайлд", + "Орден", + "Энн Хэтэуэй", + "Стивен Спилберг" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКто из актеров сыграл роль Джеймса Ханта в фильме 'Гонка' 2013 года?\nA. Крис Хемсворт\nB. Виктор Сухоруков\nC. Даниэль Брюль\nD. Светлана Письмиченко\nE. Пьерфранческо Фавино\nF. Андрей Тарковский\nG. Сандра Буллок\nH. Орден Красной Звезды\nI. Оливия Уайлд\nJ. Орден\nK. Энн Хэтэуэй\nL. Стивен Спилберг\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 127, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.11407925933599472, + "B": 0.06106222793459892, + "C": 0.03703610971570015, + "D": 0.0506223626434803, + "E": 0.0784054547548294, + "F": 0.08884500712156296, + "G": 0.0691925659775734, + "H": 0.21312810480594635, + "I": 0.015438948757946491, + "J": 0.0506223626434803, + "K": 0.030704015865921974, + "L": 0.053887225687503815 + }, + "sample": { + "question": "Кто сыграл главную роль Данилы Багрова в фильме Брат?", + "answerA": "Виктор Сухоруков", + "answerB": "Светлана Письмиченко", + "answerC": "Сергей Бодров мл.", + "answerD": "Юрий Кузнецов", + "correct_answer": "Сергей Бодров мл.", + "choices": [ + "Сергей Бодров мл.", + "Квентин Тарантино", + "Стивен Спилберг", + "Сандра Буллок", + "Орден", + "Юрий Кузнецов", + "Орден Красной Звезды", + "Андрей Тарковский", + "Альфред Хичкок", + "Светлана Письмиченко", + "Энн Хэтэуэй", + "Виктор Сухоруков" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКто сыграл главную роль Данилы Багрова в фильме Брат?\nA. Сергей Бодров мл.\nB. Квентин Тарантино\nC. Стивен Спилберг\nD. Сандра Буллок\nE. Орден\nF. Юрий Кузнецов\nG. Орден Красной Звезды\nH. Андрей Тарковский\nI. Альфред Хичкок\nJ. Светлана Письмиченко\nK. Энн Хэтэуэй\nL. Виктор Сухоруков\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 110, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.060735542327165604, + "B": 0.27219781279563904, + "C": 0.24021372199058533, + "D": 0.060735542327165604, + "E": 0.05359892547130585, + "F": 0.05359892547130585, + "G": 0.06882238388061523, + "H": 0.04174288734793663, + "I": 0.0022122920490801334, + "J": 0.015356350690126419, + "K": 0.019717944785952568, + "L": 0.004399667959660292 + }, + "sample": { + "question": "Какую награду собирались представить Алёше Скворцову за подвиг в фильме 'Баллада о солдате'?", + "answerA": "Орден Красной Звезды", + "answerB": "Орден", + "answerC": "Медаль 'За отвагу'", + "answerD": "Герой Советского Союза", + "correct_answer": "B", + "choices": [ + "Стивен Спилберг", + "Орден Красной Звезды", + "Герой Советского Союза", + "Альфред Хичкок", + "Леонид Гайдай", + "Андрей Тарковский", + "Сандра Буллок", + "Орден", + "Василий Ливанов", + "Энн Хэтэуэй", + "Квентин Тарантино", + "Медаль 'За отвагу'" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакую награду собирались представить Алёше Скворцову за подвиг в фильме 'Баллада о солдате'?\nA. Стивен Спилберг\nB. Орден Красной Звезды\nC. Герой Советского Союза\nD. Альфред Хичкок\nE. Леонид Гайдай\nF. Андрей Тарковский\nG. Сандра Буллок\nH. Орден\nI. Василий Ливанов\nJ. Энн Хэтэуэй\nK. Квентин Тарантино\nL. Медаль 'За отвагу'\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 121, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.029606182128190994, + "B": 0.05531162768602371, + "C": 0.19305656850337982, + "D": 0.07102154195308685, + "E": 0.06267629563808441, + "F": 0.05531162768602371, + "G": 0.2808956503868103, + "H": 0.09119345992803574, + "I": 0.005476593505591154, + "J": 0.017957057803869247, + "K": 0.033548202365636826, + "L": 0.0018926599295809865 + }, + "sample": { + "question": "Кто сыграл главную женскую роль в фильме 'Малышка на миллион' 2004 года?", + "answerA": "Сандра Буллок", + "answerB": "Энн Хэтэуэй", + "answerC": "Хилари Суэнк", + "answerD": "Мэрил Стрип", + "correct_answer": "Хилари Суэнк", + "choices": [ + "Альфред Хичкок", + "Леонид Гайдай", + "Сандра Буллок", + "Стивен Спилберг", + "Стэнли Кубрик", + "Андрей Тарковский", + "Энн Хэтэуэй", + "Мэрил Стрип", + "Хилари Суэнк", + "Василий Ливанов", + "Квентин Тарантино", + "Стивен Спилберг" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКто сыграл главную женскую роль в фильме 'Малышка на миллион' 2004 года?\nA. Альфред Хичкок\nB. Леонид Гайдай\nC. Сандра Буллок\nD. Стивен Спилберг\nE. Стэнли Кубрик\nF. Андрей Тарковский\nG. Энн Хэтэуэй\nH. Мэрил Стрип\nI. Хилари Суэнк\nJ. Василий Ливанов\nK. Квентин Тарантино\nL. Стивен Спилберг\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 123, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0023193734232336283, + "B": 0.012538413517177105, + "C": 0.0071441736072301865, + "D": 0.01609964296221733, + "E": 0.020672349259257317, + "F": 0.8790106773376465, + "G": 0.020672349259257317, + "H": 0.00760493241250515, + "I": 0.00011547480244189501, + "J": 0.00297813443467021, + "K": 0.00246896012686193, + "L": 0.0010955944890156388 + }, + "sample": { + "question": "Кто режиссер фильма 'Хоббит: Нежданное путешествие'?", + "answerA": "Стивен Спилберг", + "answerB": "Квентин Тарантино", + "answerC": "Питер Джексон", + "answerD": "Ридли Скотт", + "correct_answer": "C", + "choices": [ + "Василий Ливанов", + "Стэнли Кубрик", + "Стивен Спилберг", + "Квентин Тарантино", + "Андрей Тарковский", + "Питер Джексон", + "Леонид Гайдай", + "Юрий Чулюкин", + "Виталий Соломин", + "Альфред Хичкок", + "Ридли Скотт", + "Билли Уайлдер" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Хоббит: Нежданное путешествие'?\nA. Василий Ливанов\nB. Стэнли Кубрик\nC. Стивен Спилберг\nD. Квентин Тарантино\nE. Андрей Тарковский\nF. Питер Джексон\nG. Леонид Гайдай\nH. Юрий Чулюкин\nI. Виталий Соломин\nJ. Альфред Хичкок\nK. Ридли Скотт\nL. Билли Уайлдер\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 111, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.10342801362276077, + "B": 0.13280420005321503, + "C": 0.07108496874570847, + "D": 0.24811090528964996, + "E": 0.04885593056678772, + "F": 0.033578161150217056, + "G": 0.08054982125759125, + "H": 0.07108496874570847, + "I": 0.0058350092731416225, + "J": 0.02456630766391754, + "K": 0.016884159296751022, + "L": 0.0031232554465532303 + }, + "sample": { + "question": "Кто является режиссером фильма 'Девчата'?", + "answerA": "Андрей Тарковский", + "answerB": "Леонид Гайдай", + "answerC": "Юрий Чулюкин", + "answerD": "Сергей Эйзенштейн", + "correct_answer": "Юрий Чулюкин", + "choices": [ + "Стивен Спилберг", + "Юрий Чулюкин", + "Питер Джексон", + "Леонид Гайдай", + "Виталий Соломин", + "Стэнли Кубрик", + "Андрей Тарковский", + "Стивен Спилберг", + "Квентин Тарантино", + "Василий Ливанов", + "Сергей Эйзенштейн", + "Альфред Хичкок" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Девчата'?\nA. Стивен Спилберг\nB. Юрий Чулюкин\nC. Питер Джексон\nD. Леонид Гайдай\nE. Виталий Соломин\nF. Стэнли Кубрик\nG. Андрей Тарковский\nH. Стивен Спилберг\nI. Квентин Тарантино\nJ. Василий Ливанов\nK. Сергей Эйзенштейн\nL. Альфред Хичкок\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 107, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.03650912642478943, + "B": 0.1197088286280632, + "C": 0.05312046781182289, + "D": 0.15370917320251465, + "E": 0.05312046781182289, + "F": 0.0342971533536911, + "G": 0.05312046781182289, + "H": 0.17417530715465546, + "I": 0.0036148931831121445, + "J": 0.016200827434659004, + "K": 0.01835794188082218, + "L": 0.22364552319049835 + }, + "sample": { + "question": "Кто является режиссером фильма 'Свидетель обвинения' 1957 года?", + "answerA": "Альфред Хичкок", + "answerB": "Стэнли Кубрик", + "answerC": "Билли Уайлдер", + "answerD": "Фрэнк Капра", + "correct_answer": "Билли Уайлдер", + "choices": [ + "Квентин Тарантино", + "Билли Уайлдер", + "Альфред Хичкок", + "Виталий Соломин", + "Фрэнк Капра", + "Квентин Тарантино", + "Питер Джексон", + "Квентин Тарантино", + "Стивен Спилберг", + "Василий Ливанов", + "Стивен Спилберг", + "Стэнли Кубрик" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Свидетель обвинения' 1957 года?\nA. Квентин Тарантино\nB. Билли Уайлдер\nC. Альфред Хичкок\nD. Виталий Соломин\nE. Фрэнк Капра\nF. Квентин Тарантино\nG. Питер Джексон\nH. Квентин Тарантино\nI. Стивен Спилберг\nJ. Василий Ливанов\nK. Стивен Спилберг\nL. Стэнли Кубрик\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 116, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.09775355458259583, + "B": 0.07613053917884827, + "C": 0.0461755096912384, + "D": 0.1255180537700653, + "E": 0.09775355458259583, + "F": 0.08626721054315567, + "G": 0.07613053917884827, + "H": 0.0461755096912384, + "I": 0.03828084096312523, + "J": 0.18262767791748047, + "K": 0.01408273447304964, + "L": 0.01322950515896082 + }, + "sample": { + "question": "Кто режиссер фильма 'Мальчик в полосатой пижаме'?", + "answerA": "Стивен Спилберг", + "answerB": "Питер Джексон", + "answerC": "Марк Херман", + "answerD": "Кристофер Нолан", + "correct_answer": "Марк Херман", + "choices": [ + "Мартин Скорсезе", + "Тим Бёртон", + "Стивен Спилберг", + "Квентин Тарантино", + "Энди МакДауэлл", + "Марк Херман", + "Питер Уир", + "Питер Джексон", + "Крис Эллиот", + "Квентин Тарантино", + "Кристофер Нолан", + "Квентин Тарантино" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Мальчик в полосатой пижаме'?\nA. Мартин Скорсезе\nB. Тим Бёртон\nC. Стивен Спилберг\nD. Квентин Тарантино\nE. Энди МакДауэлл\nF. Марк Херман\nG. Питер Уир\nH. Питер Джексон\nI. Крис Эллиот\nJ. Квентин Тарантино\nK. Кристофер Нолан\nL. Квентин Тарантино\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 120, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.09876812249422073, + "B": 0.07692068815231323, + "C": 0.07692068815231323, + "D": 0.12682078778743744, + "E": 0.09876812249422073, + "F": 0.05286676809191704, + "G": 0.2369324117898941, + "H": 0.09876812249422073, + "I": 0.004619446583092213, + "J": 0.019448596984148026, + "K": 0.009186866693198681, + "L": 0.008630262687802315 + }, + "sample": { + "question": "Кто режиссер фильма 'Общество мертвых поэтов'?", + "answerA": "Стивен Спилберг", + "answerB": "Квентин Тарантино", + "answerC": "Питер Уир", + "answerD": "Кристофер Нолан", + "correct_answer": "Питер Уир", + "choices": [ + " Крис Коламбус", + "Кристофер Нолан", + "Стивен Спилберг", + "Стивен Содерберг", + "Крис Эллиот", + "Питер Уир", + "Мартин Скорсезе", + "Тим Бёртон", + "Квентин Тарантино", + "Люк Бессон", + "Альфред Хичкок", + "Энди МакДауэлл" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Общество мертвых поэтов'?\nA. Крис Коламбус\nB. Кристофер Нолан\nC. Стивен Спилберг\nD. Стивен Содерберг\nE. Крис Эллиот\nF. Питер Уир\nG. Мартин Скорсез��\nH. Тим Бёртон\nI. Квентин Тарантино\nJ. Люк Бессон\nK. Альфред Хичкок\nL. Энди МакДауэлл\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 114, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.16278834640979767, + "B": 0.032054923474788666, + "C": 0.046639636158943176, + "D": 0.07689576596021652, + "E": 0.16278834640979767, + "F": 0.028288371860980988, + "G": 0.2368556410074234, + "H": 0.14366020262241364, + "I": 0.019442293792963028, + "J": 0.011077886447310448, + "K": 0.0021813649218529463, + "L": 0.013362481258809566 + }, + "sample": { + "question": "Кто является режиссером фильма 'Пятый элемент'?", + "answerA": "Квентин Тарантино", + "answerB": "Стивен Спилберг", + "answerC": "Люк Бессон", + "answerD": "Джеймс Кэмерон", + "correct_answer": "Люк Бессон", + "choices": [ + "Стивен Содерберг", + "Энди МакДауэлл", + "Тим Бёртон", + "Альфред Хичкок", + "Крис Эллиот", + "2010", + "Стивен Спилберг", + "Мартин Скорсезе", + "Джеймс Кэмерон", + "2011", + "Квентин Тарантино", + "Люк Бессон" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Пятый элемент'?\nA. Стивен Содерберг\nB. Энди МакДауэлл\nC. Тим Бёртон\nD. Альфред Хичкок\nE. Крис Эллиот\nF. 2010\nG. Стивен Спилберг\nH. Мартин Скорсезе\nI. Джеймс Кэмерон\nJ. 2011\nK. Квентин Тарантино\nL. Люк Бессон\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 116, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.05853358656167984, + "B": 0.04852604866027832, + "C": 0.07515861839056015, + "D": 0.2623293399810791, + "E": 0.04022950679063797, + "F": 0.04852604866027832, + "G": 0.08516586571931839, + "H": 0.03779212757945061, + "I": 0.02153330296278, + "J": 0.1093551367521286, + "K": 0.08516586571931839, + "L": 0.01900307461619377 + }, + "sample": { + "question": "Кто является режиссером фильма 'Одиннадцать друзей Оушена'?", + "answerA": "Квентин Тарантино", + "answerB": "Мартин Скорсезе", + "answerC": "Стивен Содерберг", + "answerD": "Кристофер Нолан", + "correct_answer": "Стивен Содерберг", + "choices": [ + "Кристофер Нолан", + "2010", + "Стивен Спилберг", + "Мартин Скорсезе", + "2011", + "Крис Эллиот", + "Энди МакДауэлл", + "Альфред Хичкок", + "Квентин Тарантино", + "Тим Бёртон", + "Стивен Содерберг", + "Виталий Соломин" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Одиннадцать друзей Оушена'?\nA. Кристофер Нолан\nB. 2010\nC. Стивен Спилберг\nD. Мартин Скорсезе\nE. 2011\nF. Крис Эллиот\nG. Энди МакДауэлл\nH. Альфред Хичкок\nI. Квентин Тарантино\nJ. Тим Бёртон\nK. Стивен Содерберг\nL. Виталий Соломин\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 120, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.06739123165607452, + "B": 0.5642598867416382, + "C": 0.09805365651845932, + "D": 0.1426672488451004, + "E": 0.013270121067762375, + "F": 0.00804873462766409, + "G": 0.01930791139602661, + "H": 0.01171084027737379, + "I": 0.00031208331347443163, + "J": 0.006672635208815336, + "K": 0.002035039011389017, + "L": 0.0012343134731054306 + }, + "sample": { + "question": "Кто является режиссером фильма 'Один дома'?", + "answerA": "Стивен Спилберг", + "answerB": "Тим Бёртон", + "answerC": " Крис Коламбус", + "answerD": "Мартин Скорсезе", + "correct_answer": " Крис Коламбус", + "choices": [ + "2010", + " Крис Коламбус", + "Энди МакДауэлл", + "Мартин Скорсезе", + "Стивен Спилберг", + "Виталий Соломин", + "Крис Эллиот", + "Квентин Тарантино", + "Тим Бёртон", + "Альфред Хичкок", + "2011", + "Джафар" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Один дома'?\nA. 2010\nB. Крис Коламбус\nC. Энди МакДауэлл\nD. Мартин Скорсезе\nE. Стивен Спилберг\nF. Виталий Соломин\nG. Крис Эллиот\nH. Квентин Тарантино\nI. Тим Бёртон\nJ. Альфред Хичкок\nK. 2011\nL. Джафар\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 116, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.016584958881139755, + "B": 0.018793219700455666, + "C": 0.05788719281554222, + "D": 0.009449824690818787, + "E": 0.7052103877067566, + "F": 0.012916378676891327, + "G": 0.03978525102138519, + "H": 0.045082591474056244, + "I": 0.0034763962030410767, + "J": 0.005731608718633652, + "K": 0.006101265549659729, + "L": 0.002882033819332719 + }, + "sample": { + "question": "Кто сыграл главного героя, Фила Коннорса, в фильме 'День сурка' 1993 года?", + "answerA": "Энди МакДауэлл", + "answerB": "Крис Эллиот", + "answerC": "Билл Мюррей", + "answerD": "Брайан Дойл-Мюррей", + "correct_answer": "Билл Мюррей", + "choices": [ + "Альфред Хичкок", + "2010", + "Билл Мюррей", + "2011", + "Брайан Дойл-Мюррей", + "Крис Эллиот", + "Андрей Тарковский", + "Энди МакДауэлл", + "Джафар", + "Василий Ливанов", + "Виталий Соломин", + "Квентин Тарантино" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКто сыграл главного героя, Фила Коннорса, в фильме 'День сурка' 1993 года?\nA. Альфред Хичкок\nB. 2010\nC. Билл Мюррей\nD. 2011\nE. Брайан Дойл-Мюррей\nF. Крис Эллиот\nG. Андрей Тарковский\nH. Энди МакДауэлл\nI. Джафар\nJ. Василий Ливанов\nK. Виталий Соломин\nL. Квентин Тарантино\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 129, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.054601285606622696, + "B": 0.1681838035583496, + "C": 0.40345197916030884, + "D": 0.11559092998504639, + "E": 0.02008669078350067, + "F": 0.022761203348636627, + "G": 0.054601285606622696, + "H": 0.029225964099168777, + "I": 0.0005352921434678137, + "J": 0.0030803936533629894, + "K": 0.0023990129120647907, + "L": 0.0005028604646213353 + }, + "sample": { + "question": "Кто режиссер фильма 'Казино'?", + "answerA": "Квентин Тарантино", + "answerB": "Альфред Хичкок", + "answerC": "Мартин Скорсезе", + "answerD": "Стивен Спилберг", + "correct_answer": "Мартин Скорсезе", + "choices": [ + "2011", + "Полетт Годдар", + "Мартин С��орсезе", + "Виталий Соломин", + "Альфред Хичкок", + "2010", + "Абу", + "Стивен Спилберг", + "Андрей Тарковский", + "Квентин Тарантино", + "Джафар", + "Василий Ливанов" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Казино'?\nA. 2011\nB. Полетт Годдар\nC. Мартин Скорсезе\nD. Виталий Соломин\nE. Альфред Хичкок\nF. 2010\nG. Абу\nH. Стивен Спилберг\nI. Андрей Тарковский\nJ. Квентин Тарантино\nK. Джафар\nL. Василий Ливанов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 108, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.031185882166028023, + "B": 0.2611161768436432, + "C": 0.0582628957927227, + "D": 0.12334255874156952, + "E": 0.06602051109075546, + "F": 0.2033574879169464, + "G": 0.09605928510427475, + "H": 0.0582628957927227, + "I": 0.003087820252403617, + "J": 0.027521442621946335, + "K": 0.007885025814175606, + "L": 0.014731167815625668 + }, + "sample": { + "question": "В каком году вышел фильм 'Артист'?", + "answerA": "2010", + "answerB": "2011", + "answerC": "2012", + "answerD": "2013", + "correct_answer": "2011", + "choices": [ + "Хаяо Миядзаки", + "2012", + "Абу", + "2010", + "Виталий Соломин", + "Полетт Годдар", + "Василий Ливанов", + "2011", + "Андрей Тарковский", + "2013", + "Джафар", + "Станислав Говорухин" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nВ каком году вышел фильм 'Артист'?\nA. Хаяо Миядзаки\nB. 2012\nC. Абу\nD. 2010\nE. Виталий Соломин\nF. Полетт Годдар\nG. Василий Ливанов\nH. 2011\nI. Андрей Тарковский\nJ. 2013\nK. Джафар\nL. Станислав Говорухин\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 114, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.08523686975240707, + "B": 0.06638254225254059, + "C": 0.18044646084308624, + "D": 0.04026304557919502, + "E": 0.09658603370189667, + "F": 0.04026304557919502, + "G": 0.2044726312160492, + "H": 0.07522128522396088, + "I": 0.01391453668475151, + "J": 0.01391453668475151, + "K": 0.0069966684095561504, + "L": 0.0021338635124266148 + }, + "sample": { + "question": "Кто сыграл Шерлока Холмса в фильме 'Приключения Шерлока Холмса и доктора Ватсона: Охота на тигра'?", + "answerA": "Виталий Соломин", + "answerB": "Василий Ливанов", + "answerC": "Борислав Брондуков", + "answerD": "Игорь Дмитриев", + "correct_answer": "B", + "choices": [ + "Абу", + "Игорь Дмитриев", + "Полетт Годдар", + "Хаяо Миядзаки", + "Станислав Говорухин", + "Андрей Тарковский", + "Тим Макгроу", + "Василий Ливанов", + "Борислав Брондуков", + "Джафар", + "Чарльз Чаплин", + "Виталий Соломин" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКто сыграл Шерлока Холмса в фильме 'Приключения Шерлока Холмса и доктора Ватсона: Охота на тигра'?\nA. Абу\nB. Игорь Дмитриев\nC. Полетт Годдар\nD. Хаяо Миядзаки\nE. Станислав Говорухин\nF. Андрей Тарковский\nG. Тим Макгроу\nH. Василий Ливанов\nI. Борислав Брондуков\nJ. Джафар\nK. Чарльз Чаплин\nL. Виталий Соломин\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 124, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.016445964574813843, + "B": 0.04199624061584473, + "C": 0.02392873726785183, + "D": 0.35163021087646484, + "E": 0.04758797585964203, + "F": 0.06924009323120117, + "G": 0.11415761709213257, + "H": 0.03270670399069786, + "I": 0.0030421975534409285, + "J": 0.12935754656791687, + "K": 0.07845930755138397, + "L": 0.006855698302388191 + }, + "sample": { + "question": "Кто из персонажей является джинном в фильме Аладдин?", + "answerA": "Джафар", + "answerB": "Абу", + "answerC": "Джинн", + "answerD": "Жасмин", + "correct_answer": "C", + "choices": [ + "Чарльз Чаплин", + "Андрей Тарковский", + "Исао Такахата", + "Джафар", + "Абу", + "Хаяо Миядзаки", + "Тим Макгроу", + "Станислав Говорухин", + "1999", + "Джинн", + "Жасмин", + "Полетт Годдар" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКто из персонажей является джинном в фильме Аладдин?\nA. Чарльз Чаплин\nB. Андрей Тарковский\nC. Исао Такахата\nD. Джафар\nE. Абу\nF. Хаяо Миядзаки\nG. Тим Макгроу\nH. Станислав Говорухин\nI. 1999\nJ. Джинн\nK. Жасмин\nL. Полетт Годдар\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 111, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.4116949737071991, + "B": 0.023226242512464523, + "C": 0.02982308529317379, + "D": 0.03829359635710716, + "E": 0.043392330408096313, + "F": 0.01243211142718792, + "G": 0.17161999642848969, + "H": 0.02982308529317379, + "I": 0.07154185324907303, + "J": 0.0037915795110166073, + "K": 0.002160377101972699, + "L": 0.00021390628535300493 + }, + "sample": { + "question": "Кто является режиссером фильма 'Добро пожаловать; или Посторонним вход воспрещен'?", + "answerA": "Андрей Тарковский", + "answerB": "Станислав Говорухин", + "answerC": "Элем Климов", + "answerD": "Никита Михалков", + "correct_answer": "Элем Климов", + "choices": [ + "Исао Такахата", + "Андрей Тарковский", + "Элем Климов", + "Куинтон Аарон", + "США", + "Полетт Годдар", + "Никита Михалков", + "Чарльз Чаплин", + "Хаяо Миядзаки", + "Тим Макгроу", + "1999", + "Станислав Говорухин" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Добро пожаловать; или Посторонним вход воспрещен'?\nA. Исао Такахата\nB. Андрей Тарковский\nC. Элем Климов\nD. Куинтон Аарон\nE. США\nF. Полетт Годдар\nG. Никита Михалков\nH. Чарльз Чаплин\nI. Хаяо Миядзаки\nJ. Тим Макгроу\nK. 1999\nL. Станислав Говорухин\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.2575339674949646, + "B": 0.13784800469875336, + "C": 0.08360903710126877, + "D": 0.05071144178509712, + "E": 0.09474146366119385, + "F": 0.09474146366119385, + "G": 0.06511478126049042, + "H": 0.06511478126049042, + "I": 0.008278416469693184, + "J": 0.034853432327508926, + "K": 0.003450957126915455, + "L": 0.004162648692727089 + }, + "sample": { + "question": "Кто из актеров сыграл главную роль в фильме \"Новые времена\"?", + "answerA": "Полетт Годдар", + "answerB": "Чарльз Чаплин", + "answerC": "Генри Бергман", + "answerD": "Тайни Сэндфорд", + "correct_answer": "Чарльз Чаплин", + "choices": [ + "Полетт Годдар", + "Тим Макгроу", + "1964", + "2002", + "Куинтон Аарон", + "1999", + "Чарльз Чаплин", + "Генри Бергман", + "Хаяо Миядзаки", + "Исао Такахата", + "США", + "Тайни Сэндфорд" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКто из актеров сыграл главную роль в фильме \"Новые времена\"?\nA. Полетт Годдар\nB. Тим Макгроу\nC. 1964\nD. 2002\nE. Куинтон Аарон\nF. 1999\nG. Чарльз Чаплин\nH. Генри Бергман\nI. Хаяо Миядзаки\nJ. Исао Такахата\nK. США\nL. Тайни Сэндфорд\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 120, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.01710936613380909, + "B": 0.024893982335925102, + "C": 0.04650808125734329, + "D": 0.34365081787109375, + "E": 0.036220528185367584, + "F": 0.0410432405769825, + "G": 0.14325498044490814, + "H": 0.14325498044490814, + "I": 0.009748623706400394, + "J": 0.036220528185367584, + "K": 0.04650808125734329, + "L": 0.01710936613380909 + }, + "sample": { + "question": "Кто является режиссером фильма 'Могила светлячков'?", + "answerA": "Хаяо Миядзаки", + "answerB": "Исао Такахата", + "answerC": "Макото Синкай", + "answerD": "Кость Аниме", + "correct_answer": "Исао Такахата", + "choices": [ + "1964", + "США", + "2002", + "Исао Такахата", + "Хаяо Миядзаки", + "Куинтон Аарон", + "Уилл Смит", + "Тим Макгроу", + "СССР", + "1999", + "Кость Аниме", + "Макото Синкай" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Могила светлячков'?\nA. 1964\nB. США\nC. 2002\nD. Исао Такахата\nE. Хаяо Миядзаки\nF. Куинтон Аарон\nG. Уилл Смит\nH. Тим Макгроу\nI. СССР\nJ. 1999\nK. Кость Аниме\nL. Макото Синкай\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 116, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.04057773947715759, + "B": 0.04894610494375229, + "C": 0.04894610494375229, + "D": 0.11741559207439423, + "E": 0.09144335985183716, + "F": 0.08069847524166107, + "G": 0.11741559207439423, + "H": 0.13304929435253143, + "I": 0.04894610494375229, + "J": 0.11741559207439423, + "K": 0.04057773947715759, + "L": 0.04894610494375229 + }, + "sample": { + "question": "Кто из актеров сыграл главную роль в фильме 'Невидимая сторона' 2009 года?", + "answerA": "Тим Макгроу", + "answerB": "Куинтон Аарон", + "answerC": "Джей Хед", + "answerD": "Сандра Буллок", + "correct_answer": "Сандра Буллок", + "choices": [ + "Миссис Хадсон", + "1999", + "СССР", + "Куинтон Аарон", + "2002", + "Сандра Буллок", + "1964", + "Джей Хед", + "США", + "Тим Макгроу", + "Уилл Смит", + "1966" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКто из актеров сыграл главную роль в фильме 'Невидимая сторона' 2009 года?\nA. Миссис Хадсон\nB. 1999\nC. СССР\nD. Куинтон Аарон\nE. 2002\nF. Сандра Буллок\nG. 1964\nH. Джей Хед\nI. США\nJ. Тим Макгроу\nK. Уилл Смит\nL. 1966\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 118, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.04188571870326996, + "B": 0.04188571870326996, + "C": 0.5102725625038147, + "D": 0.053782328963279724, + "E": 0.053782328963279724, + "F": 0.0690578743815422, + "G": 0.1138571947813034, + "H": 0.04188571870326996, + "I": 0.0034381893929094076, + "J": 0.005668616387993097, + "K": 0.004147248342633247, + "L": 0.001624085707589984 + }, + "sample": { + "question": "В каком году был выпущен фильм 'Город Бога'?", + "answerA": "1999", + "answerB": "2002", + "answerC": "2005", + "answerD": "2008", + "correct_answer": "2002", + "choices": [ + "США", + "Уилл Смит", + "2008", + "Розарио Доусон", + "Миссис Хадсон", + "2002", + "2005", + "1999", + "1964", + "СССР", + "1966", + "Джеки Лемон" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nВ каком году был выпущен фильм 'Город Бога'?\nA. США\nB. Уилл Смит\nC. 2008\nD. Розарио Доусон\nE. Миссис Хадсон\nF. 2002\nG. 2005\nH. 1999\nI. 1964\nJ. СССР\nK. 1966\nL. Джеки Лемон\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 112, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.09862491488456726, + "B": 0.2087889164686203, + "C": 0.18425557017326355, + "D": 0.26809027791023254, + "E": 0.041112978011369705, + "F": 0.06778384000062943, + "G": 0.036282073706388474, + "H": 0.012538749724626541, + "I": 0.0006645293906331062, + "J": 0.009173544123768806, + "K": 0.0038241022266447544, + "L": 0.012538749724626541 + }, + "sample": { + "question": "В какой стране был снят фильм 'Любовь и голуби'?", + "answerA": "США", + "answerB": "СССР", + "answerC": "Франция", + "answerD": "Италия", + "correct_answer": "B", + "choices": [ + "Леди Брекуэлл", + "Аамир Кхан", + "Миссис Хадсон", + "Франция", + "1964", + "США", + "1966", + "Италия", + "Розарио Доусон", + "Уилл Смит", + "Джеки Лемон", + "СССР" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nВ какой стране был снят фильм 'Любовь и голуби'?\nA. Леди Брекуэлл\nB. Аамир Кхан\nC. Миссис Хадсон\nD. Франция\nE. 1964\nF. США\nG. 1966\nH. Италия\nI. Розарио Доусон\nJ. Уилл Смит\nK. Джеки Лемон\nL. СССР\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 106, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.037764839828014374, + "B": 0.21732163429260254, + "C": 0.11632388830184937, + "D": 0.07055400311946869, + "E": 0.24625767767429352, + "F": 0.11632388830184937, + "G": 0.07055400311946869, + "H": 0.037764839828014374, + "I": 0.0024142253678292036, + "J": 0.020214060321450233, + "K": 0.005440540611743927, + "L": 0.006985792424529791 + }, + "sample": { + "question": "В каком году был выпущен фильм 'Как украсть миллион'?", + "answerA": "1964", + "answerB": "1966", + "answerC": "1970", + "answerD": "1968", + "correct_answer": "1966", + "choices": [ + "Розарио Доусон", + "1970", + "Джеки Лемо��", + "Дэнни Будманн Т. Д. Лемон 1900-й", + "1966", + "1983", + "Уилл Смит", + "Леди Брекуэлл", + "1964", + "Миссис Хадсон", + "1968", + "Аамир Кхан" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nВ каком году был выпущен фильм 'Как украсть миллион'?\nA. Розарио Доусон\nB. 1970\nC. Джеки Лемон\nD. Дэнни Будманн Т. Д. Лемон 1900-й\nE. 1966\nF. 1983\nG. Уилл Смит\nH. Леди Брекуэлл\nI. 1964\nJ. Миссис Хадсон\nK. 1968\nL. Аамир Кхан\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 133, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.15427017211914062, + "B": 0.07287207990884781, + "C": 0.19808682799339294, + "D": 0.19808682799339294, + "E": 0.0500841923058033, + "F": 0.056752827018499374, + "G": 0.1060282438993454, + "H": 0.030377600342035294, + "I": 0.010498217307031155, + "J": 0.019613252952694893, + "K": 0.011896038427948952, + "L": 0.0034082720521837473 + }, + "sample": { + "question": "Кто обратился к Шерлоку Холмсу за помощью в фильме 'Шерлок Холмс и доктор Ватсон: Король шантажа'?", + "answerA": "Миссис Хадсон", + "answerB": "Леди Брекуэлл", + "answerC": "Королева Виктория", + "answerD": "Ирен Адлер", + "correct_answer": "B", + "choices": [ + "Тони Голдуин", + "1973", + "Джеки Лемон", + "Леди Брекуэлл", + "Королева Виктория", + "Мэри МакДоннелл", + "Дэнни Будманн Т. Д. Лемон 1900-й", + "Миссис Хадсон", + "1983", + "Шах Рукх Кхан", + "Аамир Кхан", + "Ирен Адлер" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКто обратился к Шерлоку Холмсу за помощью в фильме 'Шерлок Холмс и доктор Ватсон: Король шантажа'?\nA. Тони Голдуин\nB. 1973\nC. Джеки Лемон\nD. Леди Брекуэлл\nE. Королева Виктория\nF. Мэри МакДоннелл\nG. Дэнни Будманн Т. Д. Лемон 1900-й\nH. Миссис Хадсон\nI. 1983\nJ. Шах Рукх Кхан\nK. Аамир Кхан\nL. Ирен Адлер\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 147, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.2656984329223633, + "B": 0.07612387835979462, + "C": 0.2069261521100998, + "D": 0.12550705671310425, + "E": 0.02800440788269043, + "F": 0.046171460300683975, + "G": 0.11075957864522934, + "H": 0.04074617475271225, + "I": 0.006248628254979849, + "J": 0.014989680610597134, + "K": 0.021809855476021767, + "L": 0.0007944239187054336 + }, + "sample": { + "question": "Как звали главного героя фильма 'Легенда о пианисте'?", + "answerA": "Джеки Лемон", + "answerB": "Дэнни Будманн Т. Д. Лемон 1900-й", + "answerC": "Генри Лайнер", + "answerD": "Артур Римбауд", + "correct_answer": "B", + "choices": [ + "Шах Рукх Кхан", + "Джеки Лемон", + "Дэнни Будманн Т. Д. Лемон 1900-й", + "Патрик Суэйзи", + "1973", + "1983", + "Тони Голдуин", + "Генри Лайнер", + "Мэри МакДоннелл", + "Остап Бендер", + "Аамир Кхан", + "Артур Римбауд" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКак звали главного героя фильма 'Легенда о пианисте'?\nA. Шах Рукх Кхан\nB. Джеки Лемон\nC. Дэнни Будманн Т. Д. Лемон 1900-й\nD. Патрик Суэйзи\nE. 1973\nF. 1983\nG. Тони Голдуин\nH. Генри Лайнер\nI. Мэри МакДоннелл\nJ. Остап Бендер\nK. Аамир Кхан\nL. Артур Римбауд\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 134, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.19396191835403442, + "B": 0.03370552882552147, + "C": 0.07135460525751114, + "D": 0.06297022104263306, + "E": 0.038193363696336746, + "F": 0.038193363696336746, + "G": 0.13330794870853424, + "H": 0.21978765726089478, + "I": 0.055571019649505615, + "J": 0.03370552882552147, + "K": 0.038193363696336746, + "L": 0.0031351023353636265 + }, + "sample": { + "question": "Кто сыграл главную роль в фильме 'Меня зовут Кхан'?", + "answerA": "Аамир Кхан", + "answerB": "Шах Рукх Кхан", + "answerC": "Салман Кхан", + "answerD": "Ранбир Капур", + "correct_answer": "answerB", + "choices": [ + "Салман Кхан", + "1973", + "Шах Рукх Кхан", + "Мэри МакДоннелл", + "Грэм Грин", + "1983", + "Гэбриел Манн", + "Аамир Кхан", + "Патрик Суэйзи", + "Ранбир Капур", + "Тони Голдуин", + "Остап Бендер" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКто сыграл главную роль в фильме 'Меня зовут Кхан'?\nA. Салман Кхан\nB. 1973\nC. Шах Рукх Кхан\nD. Мэри МакДоннелл\nE. Грэм Грин\nF. 1983\nG. Гэбриел Манн\nH. Аамир Кхан\nI. Патрик Суэйзи\nJ. Ранбир Капур\nK. Тони Голдуин\nL. Остап Бендер\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 123, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.10274354368448257, + "B": 0.07061454653739929, + "C": 0.14949096739292145, + "D": 0.19195020198822021, + "E": 0.14949096739292145, + "F": 0.0906708613038063, + "G": 0.06231710687279701, + "H": 0.0377972349524498, + "I": 0.015756232663989067, + "J": 0.0377972349524498, + "K": 0.016772421076893806, + "L": 0.016772421076893806 + }, + "sample": { + "question": "В каком году был выпущен фильм 'Афера', где двое мошенников мстят главарю мафии за смерть их друга?", + "answerA": "1983", + "answerB": "1973", + "answerC": "1963", + "answerD": "1993", + "correct_answer": "B", + "choices": [ + "Остап Бендер", + "Дензел Вашингтон", + "Мэри МакДоннелл", + "1963", + "1973", + "1983", + "Тони Голдуин", + "Грэм Грин", + "Патрик Суэйзи", + "Гэбриел Манн", + "Ипполит Матвеевич Воробьянинов", + "1993" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nВ каком году был выпущен фильм 'Афера', где двое мошенников мстят главарю мафии за смерть их друга?\nA. Остап Бендер\nB. Дензел Вашингтон\nC. Мэри МакДоннелл\nD. 1963\nE. 1973\nF. 1983\nG. Тони Голдуин\nH. Грэм Грин\nI. Патрик Суэйзи\nJ. Гэбриел Манн\nK. Ипполит Матвеевич Воробьянинов\nL. 1993\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 134, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.13568203151226044, + "B": 0.11973897367715836, + "C": 0.2237018495798111, + "D": 0.17421917617321014, + "E": 0.07262535393238068, + "F": 0.06409165263175964, + "G": 0.03887354955077171, + "H": 0.03887354955077171, + "I": 0.005961452145129442, + "J": 0.034305788576602936, + "K": 0.011137458495795727, + "L": 0.004097242373973131 + }, + "sample": { + "question": "Кто из актеров сыграл главную роль Сэма в фильме 'Привидение' 1990 года?", + "answerA": "Тони Голдуин", + "answerB": "Патрик Суэйзи", + "answerC": "Рик Авилес", + "answerD": "Деми Мур", + "correct_answer": "Патрик Суэйзи", + "choices": [ + "Грэм Грин", + "Мэри МакДоннелл", + "Деми Мур", + "Рик Авилес", + "Гэбриел Манн", + "Патрик Суэйзи", + "Шерлок Холмс и доктор Ватсон: Собака Баскервилей", + "Ипполит Матвеевич Воробьянинов", + "Остап Бендер", + "Дензел Вашингтон", + "Тони Голдуин", + "Кевин Спейси" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКто из актеров сыграл главную роль Сэма в фильме 'Привидение' 1990 года?\nA. Грэм Грин\nB. Мэри МакДоннелл\nC. Деми Мур\nD. Рик Авилес\nE. Гэбриел Манн\nF. Патрик Суэйзи\nG. Шерлок Холмс и доктор Ватсон: Собака Баскервилей\nH. Ипполит Матвеевич Воробьянинов\nI. Остап Бендер\nJ. Дензел Вашингтон\nK. Тони Голдуин\nL. Кевин Спейси\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 135, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.11369523406028748, + "B": 0.4496733546257019, + "C": 0.10033569484949112, + "D": 0.05370582640171051, + "E": 0.04182613641023636, + "F": 0.05370582640171051, + "G": 0.03257422894239426, + "H": 0.036911435425281525, + "I": 0.0005265133804641664, + "J": 0.00531759625300765, + "K": 0.0008680738392286003, + "L": 0.000410049018682912 + }, + "sample": { + "question": "Кто был режиссером фильма 'Танцующий с волками'?", + "answerA": "Мэри МакДоннелл", + "answerB": "Грэм Грин", + "answerC": "Кевин Костнер", + "answerD": "Флойд «Ред Кроу» Уэстермен", + "correct_answer": "Кевин Костнер", + "choices": [ + "Кевин Спейси", + "Флойд «Ред Кроу» Уэстермен", + "Дензел Вашингтон", + "Кэтрин Зета-Джонс", + "Джейми Фокс", + "Гэбриел Манн", + "Ипполит Матвеевич Воробьянинов", + "Мэри МакДоннелл", + "Шерлок Холмс и доктор Ватсон: Собака Баскервилей", + "Остап Бендер", + "Грэм Грин", + "Кевин Костнер" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКто был режиссером фильма 'Танцующий с волками'?\nA. Кевин Спейси\nB. Флойд «Ред Кроу» Уэстермен\nC. Дензел Вашингтон\nD. Кэтрин Зета-Джонс\nE. Джейми Фокс\nF. Гэбриел Манн\nG. Ипполит Матвеевич Воробьянинов\nH. Мэри МакДоннелл\nI. Шерлок Холмс и доктор Ватсон: Собака Баскервилей\nJ. Остап Бендер\nK. Грэм Грин\nL. Кевин Костнер\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 137, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.1573464721441269, + "B": 0.13885778188705444, + "C": 0.20203687250614166, + "D": 0.09543546289205551, + "E": 0.06559176743030548, + "F": 0.05788453295826912, + "G": 0.07432521879673004, + "H": 0.0450805202126503, + "I": 0.0053841001354157925, + "J": 0.011398141272366047, + "K": 0.01005882304161787, + "L": 0.0013613137416541576 + }, + "sample": { + "question": "Кто из персонажей мечтал о собственном свечном заводике в Самаре?", + "answerA": "Остап Бендер", + "answerB": "Ипполит Матвеевич Воробьянинов", + "answerC": "отец Федор", + "answerD": "Наталья Воробьева", + "correct_answer": "отец Федор", + "choices": [ + "Энтони Хопкинс", + "Ипполит Матвеевич Воробьянинов", + "Остап Бендер", + "Дензел Вашингтон", + "Шерлок Холмс и доктор Ватсон: Собака Баскервилей", + "Шерлок Холмс и доктор Ватсон: Король шантажа", + "Кэтрин Зета-Джонс", + "Джейми Фокс", + "Наталья Воробьева", + "отец Федор", + "Гэбриел Манн", + "Кевин Спейси" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКто из персонажей мечтал о собственном свечном заводике в Самаре?\nA. Энтони Хопкинс\nB. Ипполит Матвеевич Воробьянинов\nC. Остап Бендер\nD. Дензел Вашингтон\nE. Шерлок Холмс и доктор Ватсон: Собака Баскервилей\nF. Шерлок Холмс и доктор Ватсон: Король шантажа\nG. Кэтрин Зета-Джонс\nH. Джейми Фокс\nI. Наталья Воробьева\nJ. отец Федор\nK. Гэбриел Манн\nL. Кевин Спейси\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 137, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.049016110599040985, + "B": 0.09157414734363556, + "C": 0.3196251690387726, + "D": 0.09157414734363556, + "E": 0.033688243478536606, + "F": 0.07131801545619965, + "G": 0.11758354306221008, + "H": 0.09157414734363556, + "I": 0.009067068807780743, + "J": 0.033688243478536606, + "K": 0.02464684657752514, + "L": 0.01591319963335991 + }, + "sample": { + "question": "Кто из актёров сыграл главную роль в фильме 'Жизнь Дэвида Гейла'?", + "answerA": "Гэбриел Манн", + "answerB": "Кевин Спейси", + "answerC": "Лора Линни", + "answerD": "Мэтт Крэйвен", + "correct_answer": "answerB", + "choices": [ + "Шерлок Холмс и доктор Ватсон: Король шантажа", + "Шерлок Холмс и доктор Ватсон: Собака Баскервилей", + "Мэтт Крэйвен", + "Гэбриел Манн", + "1885", + "Дензел Вашингтон", + "Кэтрин Зета-Джонс", + "Джейми Фокс", + "Лора Линни", + "Энтони Хопкинс", + "Кевин Спейси", + "Том Хэнкс" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКто из актёров сыграл главную роль в фильме 'Жизнь Дэвида Гейла'?\nA. Шерлок Холмс и доктор Ватсон: Король шантажа\nB. Шерлок Холмс и доктор Ватсон: Собака Баскервилей\nC. Мэтт Крэйвен\nD. Гэбриел Манн\nE. 1885\nF. Дензел Вашингтон\nG. Кэтрин Зета-Джонс\nH. Джейми Фокс\nI. Лора Линни\nJ. Энтони Хопкинс\nK. Кевин Спейси\nL. Том Хэнкс\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 141, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.14197273552417755, + "B": 0.07599253207445145, + "C": 0.06706316769123077, + "D": 0.0975763350725174, + "E": 0.06706316769123077, + "F": 0.05222885310649872, + "G": 0.0975763350725174, + "H": 0.0975763350725174, + "I": 0.031678397208452225, + "J": 0.14197273552417755, + "K": 0.029759099707007408, + "L": 0.03821144253015518 + }, + "sample": { + "question": "Кто сыграл главную роль в фильме 'Рэй' 2004 года?", + "answerA": "Дензел Вашингтон", + "answerB": "Джейми Фокс", + "answerC": "Морган Фриман", + "answerD": "Уилл Смит", + "correct_answer": "Джейми Фокс", + "choices": [ + "Том Хэнкс", + "1885", + "Шерлок Холмс и доктор Ватсон: Король шантажа", + "Мэтт Дэймон", + "Шерлок Холмс и доктор Ватсон: Собака Баскервилей", + "Уилл Смит", + "Кэтрин Зета-Джонс", + "Морган Фриман", + "Аарон Мерфи", + "Дензел Вашингтон", + "Джейми Фокс", + "Энтони Хопкинс" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКто сыграл главную роль в фильме 'Рэй' 2004 года?\nA. Том Хэнкс\nB. 1885\nC. Шерлок Холмс и доктор Ватсон: Король шантажа\nD. Мэтт Дэймон\nE. Шерлок Холмс и доктор Ватсон: Собака Баскервилей\nF. Уилл Смит\nG. Кэтрин Зета-Джонс\nH. Морган Фриман\nI. Аарон Мерфи\nJ. Дензел Вашингтон\nK. Джейми Фокс\nL. Энтони Хопкинс\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 134, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.039352621883153915, + "B": 0.05052976682782173, + "C": 0.09440203756093979, + "D": 0.32949545979499817, + "E": 0.08330950140953064, + "F": 0.04459236189723015, + "G": 0.22645871341228485, + "H": 0.030647851526737213, + "I": 0.004700000397861004, + "J": 0.021063940599560738, + "K": 0.01746262051165104, + "L": 0.004700000397861004 + }, + "sample": { + "question": "В каком фильме доктор Ватсон встречает женщину, с которой, возможно, свяжет свою жизнь?", + "answerA": "Шерлок Холмс и доктор Ватсон: Собака Баскервилей", + "answerB": "Шерлок Холмс и доктор Ватсон: Король шантажа", + "answerC": "Шерлок Холмс и доктор Ватсон: Сокровища Агры", + "answerD": "Шерлок Холмс: Игра теней", + "correct_answer": "answerC", + "choices": [ + "1885", + "Том Хэнкс", + "Энтони Хопкинс", + "Шерлок Холмс и доктор Ватсон: Сокровища Агры", + "Шерлок Холмс и доктор Ватсон: Собака Баскервилей", + "Фрэнсис Форд Коппола", + "Шерлок Холмс и доктор Ватсон: Король шантажа", + "Шерлок Холмс: Игра теней", + "1955", + "Кэтрин Зета-Джонс", + "Аарон Мерфи", + "Мэтт Дэймон" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nВ каком фильме доктор Ватсон встречает женщину, с которой, возможно, свяжет свою жизнь?\nA. 1885\nB. Том Хэнкс\nC. Энтони Хопкинс\nD. Шерлок Холмс и доктор Ватсон: Сокровища Агры\nE. Шерлок Холмс и доктор Ватсон: Собака Баскервилей\nF. Фрэнсис Форд Коппола\nG. Шерлок Холмс и доктор Ватсон: Король шантажа\nH. Шерлок Холмс: Игра теней\nI. 1955\nJ. Кэтрин Зета-Джонс\nK. Аарон Мерфи\nL. Мэтт Дэймон\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 154, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0972587913274765, + "B": 0.0972587913274765, + "C": 0.08583058416843414, + "D": 0.14151069521903992, + "E": 0.0459417998790741, + "F": 0.0520588755607605, + "G": 0.07574522495269775, + "H": 0.06684491783380508, + "I": 0.01587706059217453, + "J": 0.16035263240337372, + "K": 0.03577950969338417, + "L": 0.06684491783380508 + }, + "sample": { + "question": "Кто из актёров сыграл главную роль в фильме 'Терминал' 2004 года?", + "answerA": "Кэтрин Зета-Джонс", + "answerB": "Том Хэнкс", + "answerC": "Стэнли Туччи", + "answerD": "Диего Луна", + "correct_answer": "Том Хэнкс", + "choices": [ + "Мэтт Дэймон", + "Кэтрин Зета-Джонс", + "1885", + "Робин Уильямс", + "Диего Луна", + "Аарон Мерфи", + "Энтони Хопкинс", + "1955", + "Черная Жемчужина", + "Стэнли Туччи", + "Фрэнсис Форд Коппола", + "Том Хэнкс" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКто из актёров сыграл главную роль в фильме 'Терминал' 2004 года?\nA. Мэтт Дэймон\nB. Кэтрин Зета-Джонс\nC. 1885\nD. Робин Уильямс\nE. Диего Луна\nF. Аарон Мерфи\nG. Энтони Хопкинс\nH. 1955\nI. Черная Жемчужина\nJ. Стэнли Туччи\nK. Фрэнсис Форд Коппола\nL. Том Хэнкс\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 126, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.039607103914022446, + "B": 0.08384823799133301, + "C": 0.0541364848613739, + "D": 0.09501250088214874, + "E": 0.04216154292225838, + "F": 0.08384823799133301, + "G": 0.07876812666654587, + "H": 0.06951262801885605, + "I": 0.014570638537406921, + "J": 0.1775067150592804, + "K": 0.047775283455848694, + "L": 0.12199846655130386 + }, + "sample": { + "question": "Кто из актеров играл роль психотерапевта в фильме 'Умница Уилл Хантинг'?", + "answerA": "Мэтт Дэймон", + "answerB": "Робин Уильямс", + "answerC": "Бен Аффлек", + "answerD": "Стеллан Скарсгард", + "correct_answer": "B", + "choices": [ + "Бен Аффлек", + "Клинт Иствуд", + "Стивен Спилберг", + "Стивен Бауэр", + "Мишель Пфайффер", + "Мэтт Дэймон", + "Черная Жемчужина", + "Фрэнсис Форд Коппола", + "Королева Анны", + "Стеллан Скарсгард", + "Сид", + "Робин Уильямс" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКто из актеров играл роль психотерапевта в фильме 'Умница Уилл Хантинг'?\nA. Бен Аффлек\nB. Клинт Иствуд\nC. Стивен Спилберг\nD. Стивен Бауэр\nE. Мишель Пфайффер\nF. Мэтт Дэймон\nG. Черная Жемчужина\nH. Фрэнсис Форд Коппола\nI. Королева Анны\nJ. Стеллан Скарсгард\nK. Сид\nL. Робин Уильямс\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 122, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.17039941251277924, + "B": 0.05532059073448181, + "C": 0.09120824187994003, + "D": 0.13270720839500427, + "E": 0.0710330456495285, + "F": 0.02613159827888012, + "G": 0.05532059073448181, + "H": 0.04882025346159935, + "I": 0.10335247218608856, + "J": 0.08049099147319794, + "K": 0.014889335259795189, + "L": 0.02613159827888012 + }, + "sample": { + "question": "Кто режиссер фильма 'Славные парни' 1990 года?", + "answerA": "Фрэнсис Форд Коппола", + "answerB": "Стивен Спилберг", + "answerC": "Мартин Скорсезе", + "answerD": "Квентин Тарантино", + "correct_answer": "Мартин Скорсезе", + "choices": [ + "Филлис Смит", + "Сид", + "Королева Анны", + "Стивен Бауэр", + "Ли Ван Клиф", + "Мишель Пфайффер", + "Квентин Тарантино", + "Клинт Иствуд", + "Мартин Скорсезе", + "Черная Жемчужина", + "Стивен Спилберг", + "Фрэнсис Форд Коппола" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Славные парни' 1990 года?\nA. Филлис Смит\nB. Сид\nC. Королева Анны\nD. Стивен Бауэр\nE. Ли Ван Клиф\nF. Мишель Пфайффер\nG. Квентин Тарантино\nH. Клинт Иствуд\nI. Мартин Скорсезе\nJ. Черная Жемчужина\nK. Стивен Спилберг\nL. Фрэнсис Форд Коппола\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 118, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.14880967140197754, + "B": 0.13132408261299133, + "C": 0.11589309573173523, + "D": 0.06203310191631317, + "E": 0.07029271870851517, + "F": 0.09025762975215912, + "G": 0.1022752970457077, + "H": 0.11589309573173523, + "I": 0.004783479496836662, + "J": 0.024292511865496635, + "K": 0.004783479496836662, + "L": 0.008395267650485039 + }, + "sample": { + "question": "Какой легендарный корабль является домом для капитана Дэйви Джонса в фильме 'Пираты Карибского моря: Сундук мертвеца'?", + "answerA": "Черная Жемчужина", + "answerB": "Королева Анны", + "answerC": "Летучий Голландец", + "answerD": "Утраченный Рей", + "correct_answer": "Летучий Голландец", + "choices": [ + "Сид", + "Ли Ван Клиф", + "Филлис Смит", + "Стивен Спилберг", + "Мишель Пфайффер", + "Черная Жемчужина", + "Утраченный Рей", + "Летучий Голландец", + "Клинт Иствуд", + "Королева Анны", + "Стивен Бауэр", + "Манфред" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакой легендарный корабль является домом для капитана Дэйви Джонса в фильме 'Пираты Карибского моря: Сундук мертвеца'?\nA. Сид\nB. Ли Ван Клиф\nC. Филлис Смит\nD. Стивен Спилберг\nE. Мишель Пфайффер\nF. Черная Жемчужина\nG. Утраченный Рей\nH. Летучий Голландец\nI. Клинт Иствуд\nJ. Королева Анны\nK. Стивен Бауэр\nL. Манфред\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 135, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.2877388894557953, + "B": 0.07275178283452988, + "C": 0.15401552617549896, + "D": 0.19775985181331635, + "E": 0.07275178283452988, + "F": 0.03894122317433357, + "G": 0.07275178283452988, + "H": 0.01958087645471096, + "I": 0.008162523619830608, + "J": 0.017280062660574913, + "K": 0.0041043744422495365, + "L": 0.0008603236638009548 + }, + "sample": { + "question": "Кто сыграл главную роль в фильме 'Лицо со шрамом' 1983 года?", + "answerA": "Стивен Бауэр", + "answerB": "Мишель Пфайффер", + "answerC": "Аль Пачино", + "answerD": "Роберт Лоджа", + "correct_answer": "answerC", + "choices": [ + "Роберт Лоджа", + "Ричард Кайнд", + "Мишель Пфайффер", + "Аль Пачино", + "Стивен Спилберг", + "1971", + "Манфред", + "Ли Ван Клиф", + "Стивен Бауэр", + "Сид", + "Филлис Смит", + "Клинт Иствуд" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКто сыграл главную роль в фильме 'Лицо со шрамом' 1983 года?\nA. Роберт Лоджа\nB. Ричард Кайнд\nC. Мишель Пфайффер\nD. Аль Пачино\nE. Стивен Спилберг\nF. 1971\nG. Манфред\nH. Ли Ван Клиф\nI. Стивен Бауэр\nJ. Сид\nK. Филлис Смит\nL. Клинт Иствуд\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 117, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.08341383188962936, + "B": 0.12136640399694443, + "C": 0.09452025592327118, + "D": 0.13752615451812744, + "E": 0.08341383188962936, + "F": 0.06496275961399078, + "G": 0.08341383188962936, + "H": 0.07361245155334473, + "I": 0.011288833804428577, + "J": 0.10710547864437103, + "K": 0.037014663219451904, + "L": 0.022450527176260948 + }, + "sample": { + "question": "Кто сыграл роль полковника Дугласа Мортимера в фильме 'На несколько долларов больше'?", + "answerA": "Клинт Иствуд", + "answerB": "Ли Ван Клиф", + "answerC": "Джан Мария Волонте", + "answerD": "Марио Брега", + "correct_answer": "Ли Ван Клиф", + "choices": [ + "Филлис Смит", + "Марио Брега", + "Стивен Спилберг", + "Ли Ван Клиф", + "Том Хупер", + "Сид", + "Джан Мария Волонте", + "1971", + "Манфред", + "Стивен Спилберг", + "Ричард Кайнд", + "Клинт Иствуд" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКто сыграл роль полковника Дугласа Мортимера в фильме 'На несколько долларов больше'?\nA. Филлис Смит\nB. Марио Брега\nC. Стивен Спилберг\nD. Ли Ван Клиф\nE. Том Хупер\nF. Сид\nG. Джан Мария Волонте\nH. 1971\nI. Манфред\nJ. Стивен Спилберг\nK. Ричард Кайнд\nL. Клинт Иствуд\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.08409832417964935, + "B": 0.07421651482582092, + "C": 0.20174139738082886, + "D": 0.10798439383506775, + "E": 0.04501459002494812, + "F": 0.05100821331143379, + "G": 0.1780361533164978, + "H": 0.04501459002494812, + "I": 0.012115512043237686, + "J": 0.04501459002494812, + "K": 0.04501459002494812, + "L": 0.008326862007379532 + }, + "sample": { + "question": "Кто из персонажей является мамонтом в фильме 'Ледниковый период'?", + "answerA": "Сид", + "answerB": "Манфред", + "answerC": "Диего", + "answerD": "Скрат", + "correct_answer": "answerB", + "choices": [ + "1971", + "Стивен Спилберг", + "Диего", + "Скрат", + "Сид", + "Филлис Смит", + "Манфред", + "1976", + "Ричард Кайнд", + "Джеймс Волк", + "Стивен Спилберг", + "Том Хупер" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКто из персонажей является мамонтом в фильме 'Ледниковый период'?\nA. 1971\nB. Стивен Спилберг\nC. Диего\nD. Скрат\nE. Сид\nF. Филлис Смит\nG. Манфред\nH. 1976\nI. Ричард Кайнд\nJ. Джеймс Волк\nK. Стивен Спилберг\nL. Том Хупер\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 109, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.21080292761325836, + "B": 0.14488258957862854, + "C": 0.21080292761325836, + "D": 0.14488258957862854, + "E": 0.04150955379009247, + "F": 0.02221846394240856, + "G": 0.08787573128938675, + "H": 0.04150955379009247, + "I": 0.005617707502096891, + "J": 0.016255376860499382, + "K": 0.014345319010317326, + "L": 0.004110002890229225 + }, + "sample": { + "question": "Кто из перечисленных актеров озвучивал эмоцию Радость в фильме 'Головоломка' 2015 года?", + "answerA": "Филлис Смит", + "answerB": "Ричард Кайнд", + "answerC": "Эми Полер", + "answerD": "Льюис Блэк", + "correct_answer": "answerC", + "choices": [ + "Франко Дзеффирелли", + "Льюис Блэк", + "Стивен Спилберг", + "Филлис Смит", + "1976", + "Ричард Кайнд", + "Эми Полер", + "Джефф Бриджес", + "Том Хупер", + "1971", + "Стивен Спилберг", + "Джеймс Волк" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКто из перечисленных актеров озвучивал эмоцию Радость в фильме 'Головоломка' 2015 года?\nA. Франко Дзеффирелли\nB. Льюис Блэк\nC. Стивен Спилберг\nD. Филлис Смит\nE. 1976\nF. Ричард Кайнд\nG. Эми Полер\nH. Джефф Бриджес\nI. Том Хупер\nJ. 1971\nK. Стивен Спилберг\nL. Джеймс Волк\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 127, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.19989630579948425, + "B": 0.15567940473556519, + "C": 0.0648968294262886, + "D": 0.10699678957462311, + "E": 0.07353775203227997, + "F": 0.0648968294262886, + "G": 0.10699678957462311, + "H": 0.10699678957462311, + "I": 0.005670621991157532, + "J": 0.027053024619817734, + "K": 0.005327056162059307, + "L": 0.027053024619817734 + }, + "sample": { + "question": "Кто режиссер фильма 'Король говорит!'?", + "answerA": "Стивен Спилберг", + "answerB": "Том Хупер", + "answerC": "Питер Джексон", + "answerD": "Кристофер Нолан", + "correct_answer": "B", + "choices": [ + "Кристофер Нолан", + "Леонид Куравлев", + "1976", + "Питер Джексон", + "Кевин Спейси", + "Джефф Бриджес", + "Том Хупер", + "Франко Дзеффирелли", + "Трит Уильямс", + "Джеймс Волк", + "1971", + "Стивен Спилберг" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Король говорит!'?\nA. Кристофер Нолан\nB. Леонид Куравлев\nC. 1976\nD. Питер Джексон\nE. Кевин Спейси\nF. Джефф Бриджес\nG. Том Хупер\nH. Франко Дзеффирелли\nI. Трит Уильямс\nJ. Джеймс Волк\nK. 1971\nL. Стивен Спилберг\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 110, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.08031972497701645, + "B": 0.24740217626094818, + "C": 0.13242484629154205, + "D": 0.13242484629154205, + "E": 0.08031972497701645, + "F": 0.13242484629154205, + "G": 0.06255306303501129, + "H": 0.03794035315513611, + "I": 0.004531329032033682, + "J": 0.023011986166238785, + "K": 0.008465636521577835, + "L": 0.017921753227710724 + }, + "sample": { + "question": "В каком году был выпущен фильм 'Блеф'?", + "answerA": "1971", + "answerB": "1976", + "answerC": "1980", + "answerD": "1969", + "correct_answer": "B", + "choices": [ + "Трит Уильямс", + "1969", + "Джефф Бриджес", + "Стивен Спилберг", + "Франко Дзеффирелли", + "1971", + "1980", + "Кевин Спейси", + "Стивен Спилберг", + "Джеймс Волк", + "1976", + "Леонид Куравлев" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nВ каком году был выпущен фильм 'Блеф'?\nA. Трит Уильямс\nB. 1969\nC. Джефф Бриджес\nD. Стивен Спилберг\nE. Франко Дзеффирелли\nF. 1971\nG. 1980\nH. Кевин Спейси\nI. Стивен Спилберг\nJ. Джеймс Волк\nK. 1976\nL. Леонид Куравлев\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 117, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.3415280282497406, + "B": 0.028034327551722527, + "C": 0.040789708495140076, + "D": 0.05934866890311241, + "E": 0.03176705539226532, + "F": 0.0066587370820343494, + "G": 0.03176705539226532, + "H": 0.010313252918422222, + "I": 0.3415280282497406, + "J": 0.010978400707244873, + "K": 0.0026075984351336956, + "L": 0.0005465823924168944 + }, + "sample": { + "question": "Кто режиссер фильма 'Ромео и Джульетта' 1968 года?", + "answerA": "Стивен Спилберг", + "answerB": "Франко Дзеффирелли", + "answerC": "Квентин Тарантино", + "answerD": "Мартин Скорсезе", + "correct_answer": "B", + "choices": [ + "Сергей Юрский", + "Леонид Куравлев", + "Кристофер Нолан", + "Квентин Тарантино", + "Джефф Бриджес", + "Стивен Спилберг", + "Джеймс Волк", + "Кевин Спейси", + "Мартин Скорсезе", + "Франко Дзеффирелли", + "Трит Уильямс", + "1999" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Ромео и Джульетта' 1968 года?\nA. Сергей Юрский\nB. Леонид Куравлев\nC. Кристофер Нолан\nD. Квентин Тарантино\nE. Джефф Бриджес\nF. Стивен Спилберг\nG. Джеймс Волк\nH. Кевин Спейси\nI. Мартин Скорсезе\nJ. Франко Дзеффирелли\nK. Трит Уильямс\nL. 1999\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.2346414178609848, + "B": 0.07617691159248352, + "C": 0.08631975948810577, + "D": 0.18273891508579254, + "E": 0.059326641261577606, + "F": 0.04077456146478653, + "G": 0.11083675920963287, + "H": 0.0523555763065815, + "I": 0.02632603608071804, + "J": 0.0523555763065815, + "K": 0.01409131195396185, + "L": 0.0031441969331353903 + }, + "sample": { + "question": "Кто сыграл роль Прота в фильме 'Планета Ка-Пэкс'?", + "answerA": "Джефф Бриджес", + "answerB": "Кевин Спейси", + "answerC": "Элфри Вудард", + "answerD": "Дэвид Патрик Келли", + "correct_answer": "answerB", + "choices": [ + "Сергей Юрский", + "Кристофер Нолан", + "1999", + "Дэвид Патрик Келли", + "Кевин Спейси", + "2001", + "Леонид Куравлев", + "Элфри Вудард", + "Джефф Бриджес", + "Рэй Милланд", + "1954", + "Стивен Спилберг" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКто сыграл роль Прота в фильме 'Планета Ка-Пэкс'?\nA. Сергей Юрский\nB. Кристофер Нолан\nC. 1999\nD. Дэвид Патрик Келли\nE. Кевин Спейси\nF. 2001\nG. Леонид Куравлев\nH. Элфри Вудард\nI. Джефф Бриджес\nJ. Рэй Милланд\nK. 1954\nL. Стивен Спилберг\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 117, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.04459812492132187, + "B": 0.06488989293575287, + "C": 0.04459812492132187, + "D": 0.25664451718330383, + "E": 0.050536297261714935, + "F": 0.021066663786768913, + "G": 0.09441424906253815, + "H": 0.19987495243549347, + "I": 0.007280444726347923, + "J": 0.018591266125440598, + "K": 0.050536297261714935, + "L": 0.057265132665634155 + }, + "sample": { + "question": "Кто из актеров сыграл роль Остапа Бендера в фильме 'Золотой теленок' 1968 года?", + "answerA": "Леонид Куравлев", + "answerB": "Сергей Юрский", + "answerC": "Зиновий Гердт", + "answerD": "Евгений Евстигнеев", + "correct_answer": "Сергей Юрский", + "choices": [ + "1999", + "Кристофер Нолан", + "1962", + "Зиновий Гердт", + "Рэй Милланд", + "Сергей Юрский", + "Адольф Гитлер", + "Евгений Евстигнеев", + "Стивен Спилберг", + "2001", + "Леонид Куравлев", + "1954" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКто из актеров сыграл роль Остапа Бендера в фильме 'Золотой теленок' 1968 года?\nA. 1999\nB. Кристофер Нолан\nC. 1962\nD. Зиновий Гердт\nE. Рэй Милланд\nF. Сергей Юрский\nG. Адольф Гитлер\nH. Евгений Евстигнеев\nI. Стивен Спилберг\nJ. 2001\nK. Леонид Куравлев\nL. 1954\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 129, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.1107390969991684, + "B": 0.015953481197357178, + "C": 0.010300341993570328, + "D": 0.06716666370630264, + "E": 0.05927437171339989, + "F": 0.020484674721956253, + "G": 0.07610979676246643, + "H": 0.5623795986175537, + "I": 0.02321217954158783, + "J": 0.008021913468837738, + "K": 0.00486553693190217, + "L": 0.010300341993570328 + }, + "sample": { + "question": "Кто режиссер фильма 'Шерлок Холмс' 2009 года?", + "answerA": "Стивен Спилберг", + "answerB": "Кристофер Нолан", + "answerC": "Гай Ричи", + "answerD": "Тим Бертон", + "correct_answer": "C", + "choices": [ + "Кристофер Нолан", + "Адольф Гитлер", + "1962", + "Тим Бертон", + "1999", + "2001", + "Стивен Спилберг", + "Гай Ричи", + "Рэй Милланд", + "Грэйс Келли", + "1954", + "Том Хэнкс" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Шерлок Холмс' 2009 года?\nA. Кристофер Нолан\nB. Адольф Гитлер\nC. 1962\nD. Тим Бертон\nE. 1999\nF. 2001\nG. Стивен Спилберг\nH. Гай Ричи\nI. Рэй Милланд\nJ. Грэйс Келли\nK. 1954\nL. Том Хэнкс\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 117, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.04901164025068283, + "B": 0.19384479522705078, + "C": 0.07131152600049973, + "D": 0.08080653101205826, + "E": 0.04901164025068283, + "F": 0.17106743156909943, + "G": 0.091565802693367, + "H": 0.13322745263576508, + "I": 0.009066242724657059, + "J": 0.03368517383933067, + "K": 0.021748783066868782, + "L": 0.04901164025068283 + }, + "sample": { + "question": "В каком году был выпущен фильм 'Амели'?", + "answerA": "1999", + "answerB": "2001", + "answerC": "2003", + "answerD": "2005", + "correct_answer": "answerB", + "choices": [ + "Эрнст Янинг", + "1999", + "Грэйс Келли", + "Том Хэнкс", + "Адольф Гитлер", + "1962", + "2005", + "2003", + "2001", + "Рэй Милланд", + "Кевин Спейси", + "1954" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nВ каком году был выпущен фильм 'Амели'?\nA. Эрнст Янинг\nB. 1999\nC. Грэйс Келли\nD. Том Хэнкс\nE. Адольф Гитлер\nF. 1962\nG. 2005\nH. 2003\nI. 2001\nJ. Рэй Милланд\nK. Кевин Спейси\nL. 1954\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 115, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.28662577271461487, + "B": 0.05643995478749275, + "C": 0.09305376559495926, + "D": 0.32478955388069153, + "E": 0.02666034922003746, + "F": 0.0439554862678051, + "G": 0.049808092415332794, + "H": 0.01617031916975975, + "I": 0.0031841248273849487, + "J": 0.014270257204771042, + "K": 0.006332388613373041, + "L": 0.0004883013316430151 + }, + "sample": { + "question": "Кто является главным обвиняемым в фильме 'Нюрнбергский процесс'?", + "answerA": "Адольф Гитлер", + "answerB": "Эрнст Янинг", + "answerC": "Ден Хэйвуд", + "answerD": "Рихард Видмарк", + "correct_answer": "answerB", + "choices": [ + "Рихард Видмарк", + "Майк Вазовски", + "Ден Хэйвуд", + "Адольф Гитлер", + "Хелен Хант", + "Эрнст Янинг", + "Кевин Спейси", + "Брэд Питт", + "Том Хэнкс", + "Джеймс П. 'Салли' Салливан", + "Никита Михалков", + "Джим Керри" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКто является главным обвиняемым в фильме 'Нюрнбергский процесс'?\nA. Рихард Видмарк\nB. Майк Вазовски\nC. Ден Хэйвуд\nD. Адольф Гитлер\nE. Хелен Хант\nF. Эрнст Янинг\nG. Кевин Спейси\nH. Брэд Питт\nI. Том Хэнкс\nJ. Джеймс П. 'Салли' Салливан\nK. Никита Михалков\nL. Джим Керри\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 114, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.09843046963214874, + "B": 0.11153631657361984, + "C": 0.059701092541217804, + "D": 0.0766577199101448, + "E": 0.059701092541217804, + "F": 0.056083984673023224, + "G": 0.11153631657361984, + "H": 0.26756173372268677, + "I": 0.006698276847600937, + "J": 0.026492198929190636, + "K": 0.020632144063711166, + "L": 0.03621054068207741 + }, + "sample": { + "question": "Кто из актёров сыграл в фильме 'Бешеные псы' 1991 года?", + "answerA": "Том Хэнкс", + "answerB": "Брэд Питт", + "answerC": "Стив Бушеми", + "answerD": "Леонардо Ди Каприо", + "correct_answer": "Стив Бушеми", + "choices": [ + "Хелен Хант", + "Майк Вазовски", + "Джеймс П. 'Салли' Салливан", + "Стив Бушеми", + "Кевин Спейси", + "Брэд Питт", + "Леонардо Ди Каприо", + "Том Хэнкс", + "Никита Михалков", + "Кристофер Нолан", + "Джим Керри", + "Станислав Ростоцкий" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКто из актёров сыграл в фильме 'Бешеные псы' 1991 года?\nA. Хелен Хант\nB. Майк Вазовски\nC. Джеймс П. 'Салли' Салливан\nD. Стив Бушеми\nE. Кевин Спейси\nF. Брэд Питт\nG. Леонардо Ди Каприо\nH. Том Хэнкс\nI. Никита Михалков\nJ. Кристофер Нолан\nK. Джим Керри\nL. Станислав Ростоцкий\n\nОтветь одной букв��й.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 123, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.15920089185237885, + "B": 0.15920089185237885, + "C": 0.10941706597805023, + "D": 0.12398577481508255, + "E": 0.08521410077810287, + "F": 0.05856673792004585, + "G": 0.09656021744012833, + "H": 0.06636480242013931, + "I": 0.005798892118036747, + "J": 0.040252286940813065, + "K": 0.00699479877948761, + "L": 0.00330410897731781 + }, + "sample": { + "question": "Кто сыграл роль Тревора МакКинни в фильме 'Заплати другому'?", + "answerA": "Кевин Спейси", + "answerB": "Хелен Хант", + "answerC": "Хэйли Джоэл Осмент", + "answerD": "Джеймс Кэвизел", + "correct_answer": "Хэйли Джоэл Осмент", + "choices": [ + "Рошан Сет", + "Хэйли Джоэл Осмент", + "Хелен Хант", + "Джим Керри", + "Джеймс Кэвизел", + "Никита Михалков", + "Станислав Ростоцкий", + "Майк Вазовски", + "Кевин Спейси", + "Джеймс П. 'Салли' Салливан", + "Кейт Уинслет", + "Кристофер Нолан" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКто сыграл роль Тревора МакКинни в фильме 'Заплати другому'?\nA. Рошан Сет\nB. Хэйли Джоэл Осмент\nC. Хелен Хант\nD. Джим Керри\nE. Джеймс Кэвизел\nF. Никита Михалков\nG. Станислав Ростоцкий\nH. Майк Вазовски\nI. Кевин Спейси\nJ. Джеймс П. 'Салли' Салливан\nK. Кейт Уинслет\nL. Кристофер Нолан\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 126, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.19959014654159546, + "B": 0.044534582644701004, + "C": 0.03930163010954857, + "D": 0.05046429485082626, + "E": 0.07342512160539627, + "F": 0.10683291405439377, + "G": 0.06479743123054504, + "H": 0.057183537632226944, + "I": 0.057183537632226944, + "J": 0.19959014654159546, + "K": 0.02383764460682869, + "L": 0.013582279905676842 + }, + "sample": { + "question": "Как зовут главного героя мультфильма 'Корпорация монстров'?", + "answerA": "Майк Вазовски", + "answerB": "Джеймс П. 'Салли' Салливан", + "answerC": "Рэндалл Боггс", + "answerD": "Генри Дж. Ватернус", + "correct_answer": "B", + "choices": [ + "Генри Дж. Ватернус", + "Джим Керри", + "Кейт Уинслет", + "Кристофер Нолан", + "Мартин МакДона", + "Майк Вазовски", + "Стэнли Кубрик", + "Рошан Сет", + "Никита Михалков", + "Джеймс П. 'Салли' Салливан", + "Рэндалл Боггс", + "Станислав Ростоцкий" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКак зовут главного героя мультфильма 'Корпорация монстров'?\nA. Генри Дж. Ватернус\nB. Джим Керри\nC. Кейт Уинслет\nD. Кристофер Нолан\nE. Мартин МакДона\nF. Майк Вазовски\nG. Стэнли Кубрик\nH. Рошан Сет\nI. Никита Михалков\nJ. Джеймс П. 'Салли' Салливан\nK. Рэндалл Боггс\nL. Станислав Ростоцкий\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 125, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.10152741521596909, + "B": 0.08959762752056122, + "C": 0.07906962931156158, + "D": 0.10152741521596909, + "E": 0.054343707859516144, + "F": 0.04505251720547676, + "G": 0.16739040613174438, + "H": 0.10152741521596909, + "I": 0.009443520568311214, + "J": 0.02732573263347149, + "K": 0.02732573263347149, + "L": 0.005054752342402935 + }, + "sample": { + "question": "Кто является режиссером фильма 'Вам и не снилось...'?", + "answerA": "Никита Михалков", + "answerB": "Станислав Ростоцкий", + "answerC": "Илья Фрэз", + "answerD": "Андрей Тарковский", + "correct_answer": "Илья Фрэз", + "choices": [ + "Стэнли Кубрик", + "Станислав Ростоцкий", + "Бен Кингсли", + "Никита Михалков", + "Илья Фрэз", + "Кейт Уинслет", + "Рошан Сет", + "Андрей Тарковский", + "Кристофер Нолан", + "Мартин МакДона", + "Его старший брат", + "Джим Керри" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Вам и не снилось...'?\nA. Стэнли Кубрик\nB. Станислав Ростоцкий\nC. Бен Кингсли\nD. Никита Михалков\nE. Илья Фрэз\nF. Кейт Уинслет\nG. Рошан Сет\nH. Андрей Тарковский\nI. Кристофер Нолан\nJ. Мартин МакДона\nK. Его старший брат\nL. Джим Керри\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 108, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.13752402365207672, + "B": 0.0649617537856102, + "C": 0.121364526450634, + "D": 0.09451878815889359, + "E": 0.0649617537856102, + "F": 0.03940129280090332, + "G": 0.17658433318138123, + "H": 0.0736113041639328, + "I": 0.023898091167211533, + "J": 0.018611852079629898, + "K": 0.012791727669537067, + "L": 0.0030383013654500246 + }, + "sample": { + "question": "Кто режиссер фильма 'Три билборда на границе Эббинга, Миссури'?", + "answerA": "Кристофер Нолан", + "answerB": "Мартин МакДона", + "answerC": "Стивен Спилберг", + "answerD": "Квентин Тарантино", + "correct_answer": "answerB", + "choices": [ + "Квентин Тарантино", + "Его старший брат", + "Бен Кингсли", + "Рошан Сет", + "Мартин МакДона", + "Стивен Спилберг", + "Фрэнсис Форд Коппола", + "Игорь Кваша", + "Пол Уокер", + "Стэнли Кубрик", + "Профессиональный тренер по боевым искусствам", + "Кристофер Нолан" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Три билборда на границе Эббинга, Миссури'?\nA. Квентин Тарантино\nB. Его старший брат\nC. Бен Кингсли\nD. Рошан Сет\nE. Мартин МакДона\nF. Стивен Спилберг\nG. Фрэнсис Форд Коппола\nH. Игорь Кваша\nI. Пол Уокер\nJ. Стэнли Кубрик\nK. Профессиональный тренер по боевым искусствам\nL. Кристофер Нолан\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 123, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.14267688989639282, + "B": 0.1259119063615799, + "C": 0.03607436642050743, + "D": 0.0865379050374031, + "E": 0.11111687123775482, + "F": 0.0865379050374031, + "G": 0.11111687123775482, + "H": 0.0865379050374031, + "I": 0.02639256976544857, + "J": 0.0594765730202198, + "K": 0.01412692479789257, + "L": 0.017040323466062546 + }, + "sample": { + "question": "Кто сыграл главную роль в фильме Ганди 1982 года?", + "answerA": "Рошан Сет", + "answerB": "Бен Кингсли", + "answerC": "Джеральдин Джеймс", + "answerD": "Кэндис Берген", + "correct_answer": "Бен Кингсли", + "choices": [ + "Стэнли Кубрик", + "Пол Уокер", + "1966", + "Рошан Сет", + "Фрэнсис Форд Коппола", + "Олег Янковский", + "Игорь Кваша", + "Бен Кингсли", + "Кэндис Берген", + "Профессиональный тренер по боевым искусствам", + "Его старший брат", + "Джеральдин Джеймс" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКто сыграл главную роль в фильме Ганди 1982 года?\nA. Стэнли Кубрик\nB. Пол Уокер\nC. 1966\nD. Рошан Сет\nE. Фрэнсис Форд Коппола\nF. Олег Янковский\nG. Игорь Кваша\nH. Бен Кингсли\nI. Кэндис Берген\nJ. Профессиональный тренер по боевым искусствам\nK. Его старший брат\nL. Джеральдин Джеймс\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 120, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.10556666553020477, + "B": 0.04400672763586044, + "C": 0.1972244828939438, + "D": 0.22348462045192719, + "E": 0.04986616224050522, + "F": 0.05650576204061508, + "G": 0.13555027544498444, + "H": 0.0388358011841774, + "I": 0.018344735726714134, + "J": 0.014286893419921398, + "K": 0.023555105552077293, + "L": 0.0020582221914082766 + }, + "sample": { + "question": "Кто режиссер фильма 'Апокалипсис сегодня'?", + "answerA": "Стэнли Кубрик", + "answerB": "Фрэнсис Форд Коппола", + "answerC": "Альфред Хичкок", + "answerD": "Стивен Спилберг", + "correct_answer": "Фрэнсис Форд Коппола", + "choices": [ + "Стивен Спилберг", + "Профессиональный тренер по боевым искусствам", + "Брюс Гринвуд", + "Олег Янковский", + "Альфред Хичкок", + "1959", + "Фрэнсис Форд Коппола", + "Пол Уокер", + "1966", + "Игорь Кваша", + "Его старший брат", + "Стэнли Кубрик" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Апокалипсис сегодня'?\nA. Стивен Спилберг\nB. Профессиональный тренер по боевым искусствам\nC. Брюс Гринвуд\nD. Олег Янковский\nE. Альфред Хичкок\nF. 1959\nG. Фрэнсис Форд Коппола\nH. Пол Уокер\nI. 1966\nJ. Игорь Кваша\nK. Его старший брат\nL. Стэнли Кубрик\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 112, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.05269533768296242, + "B": 0.08687993884086609, + "C": 0.030024901032447815, + "D": 0.036216944456100464, + "E": 0.1115560531616211, + "F": 0.1115560531616211, + "G": 0.1623130887746811, + "H": 0.30324074625968933, + "I": 0.02063579298555851, + "J": 0.01821102388203144, + "K": 0.006293560843914747, + "L": 0.014182759448885918 + }, + "sample": { + "question": "Кто тренирует Томми Конлона в фильме 'Воин' 2011 года?", + "answerA": "Его старший брат", + "answerB": "Профессиональный тренер по боевым искусствам", + "answerC": "Его отец, бывший талантливый боксер", + "answerD": "Сам Томми тренировался без помощи", + "correct_answer": "Его отец, бывший талантливый боксер", + "choices": [ + "Юэн Макгрегор", + "Брюс Гринву��", + "Сам Томми тренировался без помощи", + "1972", + "1966", + "Его старший брат", + "Игорь Кваша", + "Профессиональный тренер по боевым искусствам", + "Его отец, бывший талантливый боксер", + "Олег Янковский", + "1959", + "Пол Уокер" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКто тренирует Томми Конлона в фильме 'Воин' 2011 года?\nA. Юэн Макгрегор\nB. Брюс Гринвуд\nC. Сам Томми тренировался без помощи\nD. 1972\nE. 1966\nF. Его старший брат\nG. Игорь Кваша\nH. Профессиональный тренер по боевым искусствам\nI. Его отец, бывший талантливый боксер\nJ. Олег Янковский\nK. 1959\nL. Пол Уокер\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 133, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.12046672403812408, + "B": 0.06448119133710861, + "C": 0.22506146132946014, + "D": 0.10631151497364044, + "E": 0.05690445005893707, + "F": 0.05021800100803375, + "G": 0.09381957352161407, + "H": 0.07306675612926483, + "I": 0.017354877665638924, + "J": 0.01966565102338791, + "K": 0.018474170938134193, + "L": 0.008726580068469048 + }, + "sample": { + "question": "Кто из актеров сыграл главную роль барона Мюнхгаузена в фильме \"Тот самый Мюнхгаузен\" 1979 года?", + "answerA": "Игорь Кваша", + "answerB": "Олег Янковский", + "answerC": "Александр Абдулов", + "answerD": "Инна Чурикова", + "correct_answer": "Олег Янковский", + "choices": [ + "1964", + "1959", + "Олег Янковский", + "Пол Уокер", + "Александр Абдулов", + "1995 год", + "Игорь Кваша", + "Юэн Макгрегор", + "1972", + "Брюс Гринвуд", + "Инна Чурикова", + "1966" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКто из актеров сыграл главную роль барона Мюнхгаузена в фильме \"Тот самый Мюнхгаузен\" 1979 года?\nA. 1964\nB. 1959\nC. Олег Янковский\nD. Пол Уокер\nE. Александр Абдулов\nF. 1995 год\nG. Игорь Кваша\nH. Юэн Макгрегор\nI. 1972\nJ. Брюс Гринвуд\nK. Инна Чурикова\nL. 1966\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 137, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.11518637835979462, + "B": 0.13052326440811157, + "C": 0.1479022353887558, + "D": 0.08970724046230316, + "E": 0.08970724046230316, + "F": 0.08970724046230316, + "G": 0.11518637835979462, + "H": 0.08970724046230316, + "I": 0.011404995806515217, + "J": 0.022681543603539467, + "K": 0.011404995806515217, + "L": 0.015588780865073204 + }, + "sample": { + "question": "В каком году был выпущен фильм 'Отец солдата'?", + "answerA": "1959", + "answerB": "1964", + "answerC": "1970", + "answerD": "1983", + "correct_answer": "1964", + "choices": [ + "Хилари Суэнк", + "1959", + "1970", + "Юэн Макгрегор", + "Мэй", + "1999", + "1995 год", + "1999 год", + "1983", + "1964", + "Натали Портман", + "1998" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nВ каком году был выпущен фильм 'Отец солдата'?\nA. Хилари Суэнк\nB. 1959\nC. 1970\nD. Юэн Макгрегор\nE. Мэй\nF. 1999\nG. 1995 год\nH. 1999 год\nI. 1983\nJ. 1964\nK. Натали Портман\nL. 1998\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 126, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.10579942166805267, + "B": 0.07271480560302734, + "C": 0.22397735714912415, + "D": 0.10579942166805267, + "E": 0.056630346924066544, + "F": 0.056630346924066544, + "G": 0.09336765110492706, + "H": 0.02360703982412815, + "I": 0.012635938823223114, + "J": 0.030312038958072662, + "K": 0.03434804081916809, + "L": 0.011151175945997238 + }, + "sample": { + "question": "Кто из этих персонажей не появляется в фильме 'Звёздные войны: Эпизод 3 – Месть Ситхов'?", + "answerA": "Юэн Макгрегор", + "answerB": "Натали Портман", + "answerC": "Хейден Кристенсен", + "answerD": "Харрисон Форд", + "correct_answer": "answerD", + "choices": [ + "Хейден Кристенсен", + "Харрисон Форд", + "1995 год", + "Мэй", + "Юэн Макгрегор", + "Скотт Гленн", + "Хилари Суэнк", + "1999 год", + "1998", + "1999", + "Хаяо Миядзаки", + "Натали Портман" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКто из этих персонажей не появляется в фильме 'Звёздные войны: Эпизод 3 – Месть Ситхов'?\nA. Хейден Кристенсен\nB. Харрисон Форд\nC. 1995 год\nD. Мэй\nE. Юэн Макгрегор\nF. Скотт Гленн\nG. Хилари Суэнк\nH. 1999 год\nI. 1998\nJ. 1999\nK. Хаяо Миядзаки\nL. Натали Портман\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 139, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.05730345472693443, + "B": 0.09447742253541946, + "C": 0.17650705575942993, + "D": 0.09447742253541946, + "E": 0.08337604254484177, + "F": 0.08337604254484177, + "G": 0.2266395539045334, + "H": 0.08337604254484177, + "I": 0.007285316940397024, + "J": 0.012011456303298473, + "K": 0.0068439217284321785, + "L": 0.008787768892943859 + }, + "sample": { + "question": "В каком году произошли реальные события, на которых основан фильм 'Тренер Картер'?", + "answerA": "1995 год", + "answerB": "1999 год", + "answerC": "2002 год", + "answerD": "2005 год", + "correct_answer": "answerB", + "choices": [ + "Хилари Суэнк", + "1998", + "1999", + "Мэй", + "Юки", + "2005 год", + "1999 год", + "2002 год", + "1995 год", + "Скотт Гленн", + "Стэнли Кубрик", + "Хаяо Миядзаки" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nВ каком году произошли реальные события, на которых основан фильм 'Тренер Картер'?\nA. Хилари Суэнк\nB. 1998\nC. 1999\nD. Мэй\nE. Юки\nF. 2005 год\nG. 1999 год\nH. 2002 год\nI. 1995 год\nJ. Скотт Гленн\nK. Стэнли Кубрик\nL. Хаяо Миядзаки\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 129, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.03630644455552101, + "B": 0.041140589863061905, + "C": 0.5011950135231018, + "D": 0.2682703733444214, + "E": 0.028275487944483757, + "F": 0.032040324062108994, + "G": 0.03630644455552101, + "H": 0.01335639413446188, + "I": 0.0009089140221476555, + "J": 0.00298021431080997, + "K": 0.001807591412216425, + "L": 0.00040332815842702985 + }, + "sample": { + "question": "В каком году был выпущен фильм \"Красота по-американски\", режиссером которого является Сэм Мендес?", + "answerA": "1998", + "answerB": "1999", + "answerC": "2000", + "answerD": "2001", + "correct_answer": "answerB", + "choices": [ + " Макото Синкай", + "Юки", + "2012", + "2001", + "Мэй", + "2000", + "1998", + "1999", + "Стэнли Кубрик", + "Скотт Гленн", + "Хилари Суэнк", + "Хаяо Миядзаки" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nВ каком году был выпущен фильм \"Красота по-американски\", режиссером которого является Сэм Мендес?\nA. Макото Синкай\nB. Юки\nC. 2012\nD. 2001\nE. Мэй\nF. 2000\nG. 1998\nH. 1999\nI. Стэнли Кубрик\nJ. Скотт Гленн\nK. Хилари Суэнк\nL. Хаяо Миядзаки\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 130, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.055995915085077286, + "B": 0.41375696659088135, + "C": 0.1343272179365158, + "D": 0.07190017402172089, + "E": 0.04360966011881828, + "F": 0.033963240683078766, + "G": 0.055995915085077286, + "H": 0.04941622167825699, + "I": 0.0010917466133832932, + "J": 0.020599745213985443, + "K": 0.010358203202486038, + "L": 0.0017999857664108276 + }, + "sample": { + "question": "Кто является режиссером фильма 'Твоё имя' 2016 года?", + "answerA": "Хаяо Миядзаки", + "answerB": " Макото Синкай", + "answerC": "Исао Такахата", + "answerD": "Горо Миядзаки", + "correct_answer": "B", + "choices": [ + "2014", + "Денхолм Эллиот", + "2012", + "Шон Коннери", + "Кьюба Гудинг мл.", + "Хаяо Миядзаки", + "Горо Миядзаки", + "Аль Пачино", + " Макото Синкай", + "Дэвид Линч", + "Исао Такахата", + "Стэнли Кубрик" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Твоё имя' 2016 года?\nA. 2014\nB. Денхолм Эллиот\nC. 2012\nD. Шон Коннери\nE. Кьюба Гудинг мл.\nF. Хаяо Миядзаки\nG. Горо Миядзаки\nH. Аль Пачино\nI. Макото Синкай\nJ. Дэвид Линч\nK. Исао Такахата\nL. Стэнли Кубрик\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 133, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.142868310213089, + "B": 0.26691314578056335, + "C": 0.18344654142856598, + "D": 0.059556372463703156, + "E": 0.05255831032991409, + "F": 0.03612276539206505, + "G": 0.06748621165752411, + "H": 0.04093245789408684, + "I": 0.004888684954494238, + "J": 0.02813243679702282, + "K": 0.011727345176041126, + "L": 0.012483694590628147 + }, + "sample": { + "question": "Кто является режиссером фильма 'Человек-слон' 1980 года?", + "answerA": "Стэнли Кубрик", + "answerB": "Дэвид Линч", + "answerC": "Стивен Спилберг", + "answerD": "Мартин Скорсезе", + "correct_answer": "B", + "choices": [ + "2012", + "Лора Дерн", + "Дэвид Линч", + "Стэнли Кубрик", + "Мартин Скорсезе", + "Аль Пачино", + "Шон Коннери", + "Роберт Де Ниро", + "Кьюба Гудинг мл.", + "Стивен Спилберг", + "2014", + "Денхолм Эллиот" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Человек-слон' 1980 года?\nA. 2012\nB. Лора Дерн\nC. Дэвид Линч\nD. Стэнли Кубрик\nE. Мартин Скорсезе\nF. Аль Пачино\nG. Шо�� Коннери\nH. Роберт Де Ниро\nI. Кьюба Гудинг мл.\nJ. Стивен Спилберг\nK. 2014\nL. Денхолм Эллиот\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 125, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0638766884803772, + "B": 0.026627764105796814, + "C": 0.13522695004940033, + "D": 0.0638766884803772, + "E": 0.038743168115615845, + "F": 0.038743168115615845, + "G": 0.4165283143520355, + "H": 0.03419072553515434, + "I": 0.012578065507113934, + "J": 0.011815999634563923, + "K": 0.05637097731232643, + "L": 0.0010324704926460981 + }, + "sample": { + "question": "В каком году вышел фильм 'Исчезнувшая'?", + "answerA": "2012", + "answerB": "2014", + "answerC": "2016", + "answerD": "2018", + "correct_answer": "answerB", + "choices": [ + "2012", + "Шарлиз Терон", + "2018", + "Кьюба Гудинг мл.", + "Шон Коннери", + "Роберт Де Ниро", + "2014", + "Макото Синкаи", + "Лора Дерн", + "Аль Пачино", + "2016", + "Денхолм Эллиот" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nВ каком году вышел фильм 'Исчезнувшая'?\nA. 2012\nB. Шарлиз Терон\nC. 2018\nD. Кьюба Гудинг мл.\nE. Шон Коннери\nF. Роберт Де Ниро\nG. 2014\nH. Макото Синкаи\nI. Лора Дерн\nJ. Аль Пачино\nK. 2016\nL. Денхолм Эллиот\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 123, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.12077575922012329, + "B": 0.08300788700580597, + "C": 0.0940602570772171, + "D": 0.13685686886310577, + "E": 0.07325420528650284, + "F": 0.08300788700580597, + "G": 0.07325420528650284, + "H": 0.06464660912752151, + "I": 0.01355066429823637, + "J": 0.06464660912752151, + "K": 0.02234126813709736, + "L": 0.08300788700580597 + }, + "sample": { + "question": "Какой актер сыграл роль отца Индианы Джонса в фильме 'Индиана Джонс и последний крестовый поход'?", + "answerA": "Денхолм Эллиот", + "answerB": "Шон Коннери", + "answerC": "Харрисон Форд", + "answerD": "Джон Рис-Дэвис", + "correct_answer": "Шон Коннери", + "choices": [ + "Крис Купер", + "Макото Синкаи", + "Лора Дерн", + "Джон Рис-Дэвис", + "Аль Пачино", + "Шон Коннери", + "Кьюба Гудинг мл.", + "Роберт Де Ниро", + "Шарлиз Терон", + "Денхолм Эллиот", + "Станислав Ростоцкий", + "Харрисон Форд" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКакой актер сыграл роль отца Индианы Джонса в фильме 'Индиана Джонс и последний крестовый поход'?\nA. Крис Купер\nB. Макото Синкаи\nC. Лора Дерн\nD. Джон Рис-Дэвис\nE. Аль Пачино\nF. Шон Коннери\nG. Кьюба Гудинг мл.\nH. Роберт Де Ниро\nI. Шарлиз Терон\nJ. Денхолм Эллиот\nK. Станислав Ростоцкий\nL. Харрисон Форд\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 130, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.24938327074050903, + "B": 0.040710702538490295, + "C": 0.0809628963470459, + "D": 0.06305396556854248, + "E": 0.07144950330257416, + "F": 0.029784586280584335, + "G": 0.0556449331343174, + "H": 0.0556449331343174, + "I": 0.049106474965810776, + "J": 0.07144950330257416, + "K": 0.027980025857686996, + "L": 0.026284802705049515 + }, + "sample": { + "question": "Кто из актеров играл лучшего преступника Лос-Анджелеса, Нила МакКоли, в фильме 'Схватка'?", + "answerA": "Аль Пачино", + "answerB": "Роберт Де Ниро", + "answerC": "Вэл Килмер", + "answerD": "Том Сайзмор", + "correct_answer": "Роберт Де Ниро", + "choices": [ + "Роберт Де Ниро", + "Хаяо Миядзаки", + "Станислав Ростоцкий", + "Лора Дерн", + "Аль Пачино", + "Вэл Килмер", + "Крис Купер", + "Кьюба Гудинг мл.", + "Макото Синкаи", + "Шарлиз Терон", + "Том Сайзмор", + "Леонардо ДиКаприо" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКто из актеров играл лучшего преступника Лос-Анджелеса, Нила МакКоли, в фильме 'Схватка'?\nA. Роберт Де Ниро\nB. Хаяо Миядзаки\nC. Станислав Ростоцкий\nD. Лора Дерн\nE. Аль Пачино\nF. Вэл Килмер\nG. Крис Купер\nH. Кьюба Гудинг мл.\nI. Макото Синкаи\nJ. Шарлиз Терон\nK. Том Сайзмор\nL. Леонардо ДиКаприо\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 132, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.07416615635156631, + "B": 0.057760659605264664, + "C": 0.13856062293052673, + "D": 0.07416615635156631, + "E": 0.035033609718084335, + "F": 0.06545140594244003, + "G": 0.17791534960269928, + "H": 0.08404126763343811, + "I": 0.014604181982576847, + "J": 0.04498404636979103, + "K": 0.04498404636979103, + "L": 0.006480566691607237 + }, + "sample": { + "question": "Кто играл наставника Карла Брашира в фильме 'Военный ныряльщик'?", + "answerA": "Кьюба Гудинг мл.", + "answerB": "Шарлиз Терон", + "answerC": "Роберт Де Ниро", + "answerD": "Онжаню Эллис", + "correct_answer": "C", + "choices": [ + "Кьюба Гудинг мл.", + "Крис Купер", + "Онжаню Эллис", + "Леонардо ДиКаприо", + "Хаяо Миядзаки", + "Лора Дерн", + "Станислав Ростоцкий", + "Ежи Гоффман", + "Шарлиз Терон", + "Роберт Де Ниро", + "Макото Синкаи", + "Марк Хэмилл" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКто играл наставника Карла Брашира в фильме 'Военный ныряльщик'?\nA. Кьюба Гудинг мл.\nB. Крис Купер\nC. Онжаню Эллис\nD. Леонардо ДиКаприо\nE. Хаяо Миядзаки\nF. Лора Дерн\nG. Станислав Ростоцкий\nH. Ежи Гоффман\nI. Шарлиз Терон\nJ. Роберт Де Ниро\nK. Макото Синкаи\nL. Марк Хэмилл\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 124, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.03482714667916298, + "B": 0.03946433216333389, + "C": 0.03482714667916298, + "D": 0.023936325684189796, + "E": 0.13774405419826508, + "F": 0.030734851956367493, + "G": 0.257339745759964, + "H": 0.12155869603157043, + "I": 0.018641630187630653, + "J": 0.06506568193435669, + "K": 0.017512191087007523, + "L": 0.008805681951344013 + }, + "sample": { + "question": "Кто сыграл главную роль Хомера Хикэма в фильме 'Октябрьское небо' 1999 года?", + "answerA": "Лора Дерн", + "answerB": "Крис Купер", + "answerC": "Джейк Джилленхол", + "answerD": "Уильям Ли Скотт", + "correct_answer": "Джейк Джилл��нхол", + "choices": [ + "Стэнли Кубрик", + "Джейк Джилленхол", + "Крис Купер", + "Леонардо ДиКаприо", + "Макото Синкаи", + "Станислав Ростоцкий", + "Марк Хэмилл", + "Ежи Гоффман", + "Том Харди", + "Хаяо Миядзаки", + "Уильям Ли Скотт", + "Лора Дерн" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКто сыграл главную роль Хомера Хикэма в фильме 'Октябрьское небо' 1999 года?\nA. Стэнли Кубрик\nB. Джейк Джилленхол\nC. Крис Купер\nD. Леонардо ДиКаприо\nE. Макото Синкаи\nF. Станислав Ростоцкий\nG. Марк Хэмилл\nH. Ежи Гоффман\nI. Том Харди\nJ. Хаяо Миядзаки\nK. Уильям Ли Скотт\nL. Лора Дерн\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 128, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.015148568898439407, + "B": 0.13501772284507751, + "C": 0.024975765496492386, + "D": 0.15299512445926666, + "E": 0.043833836913108826, + "F": 0.1964496225118637, + "G": 0.09279623627662659, + "H": 0.1964496225118637, + "I": 0.0024729359429329634, + "J": 0.020705636590719223, + "K": 0.018272660672664642, + "L": 0.009780650958418846 + }, + "sample": { + "question": "Кто является режиссером фильма 'Принцесса Мононоке'?", + "answerA": "Макото Синкаи", + "answerB": "Хаяо Миядзаки", + "answerC": "Горо Миядзаки", + "answerD": "Исао Такахата", + "correct_answer": "Хаяо Миядзаки", + "choices": [ + "Марк Хэмилл", + "Хаяо Миядзаки", + "Леонардо ДиКаприо", + "Станислав Ростоцкий", + "Ежи Гоффман", + "Макото Синкаи", + "Том Харди", + "Исао Такахата", + "2005", + "Харрисон Форд", + "Горо Миядзаки", + "Стэнли Кубрик" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Принцесса Мононоке'?\nA. Марк Хэмилл\nB. Хаяо Миядзаки\nC. Леонардо ДиКаприо\nD. Станислав Ростоцкий\nE. Ежи Гоффман\nF. Макото Синкаи\nG. Том Харди\nH. Исао Такахата\nI. 2005\nJ. Харрисон Форд\nK. Горо Миядзаки\nL. Стэнли Кубрик\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 123, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.02658572606742382, + "B": 0.2225995510816574, + "C": 0.09279331564903259, + "D": 0.19644342362880707, + "E": 0.020704984664916992, + "F": 0.06377584487199783, + "G": 0.25223833322525024, + "H": 0.0438324473798275, + "I": 0.0010308404453098774, + "J": 0.003379995934665203, + "K": 0.006314663682132959, + "L": 0.0010308404453098774 + }, + "sample": { + "question": "Кто является режиссером фильма 'Знахарь' 1981 года?", + "answerA": "Станислав Ростоцкий", + "answerB": "Ежи Гоффман", + "answerC": "Анджей Вайда", + "answerD": "Кшиштоф Кеслёвский", + "correct_answer": "B", + "choices": [ + "Альфред Хичкок", + "Кшиштоф Кеслёвский", + "Анджей Вайда", + "Станислав Ростоцкий", + "Том Харди", + "Харрисон Форд", + "1985", + "Стэнли Кубрик", + "Марк Хэмилл", + "Леонардо ДиКаприо", + "2005", + "Ежи Гоффман" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКто является реж��ссером фильма 'Знахарь' 1981 года?\nA. Альфред Хичкок\nB. Кшиштоф Кеслёвский\nC. Анджей Вайда\nD. Станислав Ростоцкий\nE. Том Харди\nF. Харрисон Форд\nG. 1985\nH. Стэнли Кубрик\nI. Марк Хэмилл\nJ. Леонардо ДиКаприо\nK. 2005\nL. Ежи Гоффман\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 125, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.01458791084587574, + "B": 0.902522087097168, + "C": 0.016530269756913185, + "D": 0.006081146188080311, + "E": 0.0036884015426039696, + "F": 0.0013568870490416884, + "G": 0.0022371287923306227, + "H": 0.0012746774591505527, + "I": 1.7080687030102126e-05, + "J": 0.0006021150038577616, + "K": 0.00010463190119480714, + "L": 2.3346532543655485e-05 + }, + "sample": { + "question": "Кто сыграл главного героя в фильме 'Джокер' 2019 года?", + "answerA": "Леонардо ДиКаприо", + "answerB": "Том Харди", + "answerC": "Хоакин Феникс", + "answerD": "Брэдли Купер", + "correct_answer": "Хоакин Феникс", + "choices": [ + "2008", + "Хоакин Феникс", + "2005", + "Харрисон Форд", + "Брэдли Купер", + "Альфред Хичкок", + "Кот в сапогах", + "Марк Хэмилл", + "Стэнли Кубрик", + "Леонардо ДиКаприо", + "Том Харди", + "1985" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКто сыграл главного героя в фильме 'Джокер' 2019 года?\nA. 2008\nB. Хоакин Феникс\nC. 2005\nD. Харрисон Форд\nE. Брэдли Купер\nF. Альфред Хичкок\nG. Кот в сапогах\nH. Марк Хэмилл\nI. Стэнли Кубрик\nJ. Леонардо ДиКаприо\nK. Том Харди\nL. 1985\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 120, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.41106054186820984, + "B": 0.01806074008345604, + "C": 0.0630381777882576, + "D": 0.02046549879014492, + "E": 0.0231904499232769, + "F": 0.0024442551657557487, + "G": 0.1941712647676468, + "H": 0.01806074008345604, + "I": 0.15122073888778687, + "J": 0.005863463506102562, + "K": 0.002026358852162957, + "L": 0.0001562560210004449 + }, + "sample": { + "question": "Кто является режиссером фильма 'Психо' 1960 года?", + "answerA": "Стэнли Кубрик", + "answerB": "Альфред Хичкок", + "answerC": "Стивен Спилберг", + "answerD": "Мартин Скорсезе", + "correct_answer": "B", + "choices": [ + "Кот в сапогах", + "Кэн Ватанабэ", + "Стэнли Кубрик", + "Стивен Спилберг", + "Белоснежка", + "Кристофер Нолан", + "1988", + "1985", + "Альфред Хичкок", + "2005", + "2008", + "Мартин Скорсезе" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Психо' 1960 года?\nA. Кот в сапогах\nB. Кэн Ватанабэ\nC. Стэнли Кубрик\nD. Стивен Спилберг\nE. Белоснежка\nF. Кристофер Нолан\nG. 1988\nH. 1985\nI. Альфред Хичкок\nJ. 2005\nK. 2008\nL. Мартин Скорсезе\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 124, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.07314752787351608, + "B": 0.1988355964422226, + "C": 0.1205998882651329, + "D": 0.25530996918678284, + "E": 0.0569673553109169, + "F": 0.07314752787351608, + "G": 0.06455246359109879, + "H": 0.04436621442437172, + "I": 0.00387667678296566, + "J": 0.039153050631284714, + "K": 0.006803779862821102, + "L": 0.01849459297955036 + }, + "sample": { + "question": "В каком году был выпущен фильм 'Ип Ман'?", + "answerA": "2005", + "answerB": "2008", + "answerC": "2010", + "answerD": "2012", + "correct_answer": "2008", + "choices": [ + "Его отец", + "2008", + "Кристофер Нолан", + "2005", + "Кэн Ватанабэ", + "1988", + " Нил Бёргер", + "Кот в сапогах", + "2010", + "2012", + "Белоснежка", + "1985" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nВ каком году был выпущен фильм 'Ип Ман'?\nA. Его отец\nB. 2008\nC. Кристофер Нолан\nD. 2005\nE. Кэн Ватанабэ\nF. 1988\nG. Нил Бёргер\nH. Кот в сапогах\nI. 2010\nJ. 2012\nK. Белоснежка\nL. 1985\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 122, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.05740417540073395, + "B": 0.17681731283664703, + "C": 0.2270379215478897, + "D": 0.10724512487649918, + "E": 0.030726240947842598, + "F": 0.02711581252515316, + "G": 0.0946434810757637, + "H": 0.04470641538500786, + "I": 0.0072981221601367, + "J": 0.03945327177643776, + "K": 0.06504745781421661, + "L": 0.0113035524263978 + }, + "sample": { + "question": "В каком году был выпущен фильм \"Новый кинотеатр «Парадизо»\"?", + "answerA": "1985", + "answerB": "1988", + "answerC": "1990", + "answerD": "1992", + "correct_answer": "1988", + "choices": [ + "Его отец", + "1988", + "1990", + "Кэн Ватанабэ", + "1992", + "Крис Коламбус", + "Том Круз", + "Кристофер Нолан", + " Нил Бёргер", + "Белоснежка", + "1985", + "Кот в сапогах" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nВ каком году был выпущен фильм \"Новый кинотеатр «Парадизо»\"?\nA. Его отец\nB. 1988\nC. 1990\nD. Кэн Ватанабэ\nE. 1992\nF. Крис Коламбус\nG. Том Круз\nH. Кристофер Нолан\nI. Нил Бёргер\nJ. Белоснежка\nK. 1985\nL. Кот в сапогах\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 123, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.2492508739233017, + "B": 0.07141157239675522, + "C": 0.08091991394758224, + "D": 0.0630204901099205, + "E": 0.07141157239675522, + "F": 0.0630204901099205, + "G": 0.1334143877029419, + "H": 0.07141157239675522, + "I": 0.038223862648010254, + "J": 0.038223862648010254, + "K": 0.02045975811779499, + "L": 0.007070703431963921 + }, + "sample": { + "question": "Кем была охраняемая огнедышащим драконом в фильме 'Шрэк'?", + "answerA": "Кот в сапогах", + "answerB": "Белоснежка", + "answerC": "Принцесса Фиона", + "answerD": "Чудище", + "correct_answer": "Принцесса Фиона", + "choices": [ + "Временный учитель рисования Рам Никум", + "Кот в сапогах", + "Крис Коламбус", + "Его отец", + "Том Круз", + "Белоснежка", + "Принцесса Фиона", + "Чудище", + "Кэн Ватанабэ", + " Нил Бёргер", + "Олег Меньшиков", + "Кристофер Нолан" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКем была охраняемая огнедышащим драконом в фильме 'Шрэк'?\nA. Временный учитель рисован��я Рам Никум\nB. Кот в сапогах\nC. Крис Коламбус\nD. Его отец\nE. Том Круз\nF. Белоснежка\nG. Принцесса Фиона\nH. Чудище\nI. Кэн Ватанабэ\nJ. Нил Бёргер\nK. Олег Меньшиков\nL. Кристофер Нолан\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 125, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.09426464885473251, + "B": 0.07341337949037552, + "C": 0.09426464885473251, + "D": 0.057174403220415115, + "E": 0.057174403220415115, + "F": 0.03929535299539566, + "G": 0.12103820592164993, + "H": 0.10681583732366562, + "I": 0.013580109924077988, + "J": 0.04739924147725105, + "K": 0.04182968661189079, + "L": 0.032576993107795715 + }, + "sample": { + "question": "Кто является режиссером фильма Иллюзионист?", + "answerA": "Кристофер Нолан", + "answerB": " Нил Бёргер", + "answerC": "Гай Ричи", + "answerD": "Стивен Спилберг", + "correct_answer": " Нил Бёргер", + "choices": [ + "Его отец", + "Временный учитель рисования Рам Никум", + "Том Круз", + "Стивен Спилберг", + " Нил Бёргер", + "Кэн Ватанабэ", + "Анатолий Папанов", + "Гай Ричи", + "Крис Коламбус", + "Альфонсо Куарон", + "Олег Меньшиков", + "Кристофер Нолан" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма Иллюзионист?\nA. Его отец\nB. Временный учитель рисования Рам Никум\nC. Том Круз\nD. Стивен Спилберг\nE. Нил Бёргер\nF. Кэн Ватанабэ\nG. Анатолий Папанов\nH. Гай Ричи\nI. Крис Коламбус\nJ. Альфонсо Куарон\nK. Олег Меньшиков\nL. Кристофер Нолан\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 115, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.29784372448921204, + "B": 0.05864890664815903, + "C": 0.12415973842144012, + "D": 0.12415973842144012, + "E": 0.045675817877054214, + "F": 0.03139249607920647, + "G": 0.08533366024494171, + "H": 0.01788690686225891, + "I": 0.06645791977643967, + "J": 0.02602529525756836, + "K": 0.01788690686225891, + "L": 0.0006515305140055716 + }, + "sample": { + "question": "Кто сыграл главную роль капитана Нейтона Альгрена в фильме 'Последний самурай'?", + "answerA": "Кэн Ватанабэ", + "answerB": "Том Круз", + "answerC": "Коюки", + "answerD": "Уильям Этертон", + "correct_answer": "Том Круз", + "choices": [ + "Анатолий Папанов", + "Том Круз", + "Данила Козловский", + "Коюки", + "Крис Коламбус", + "Олег Меньшиков", + "Его отец", + "Временный учитель рисования Рам Никум", + "Кэн Ватанабэ", + "Уильям Этертон", + "Альфонсо Куарон", + "Александр" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКто сыграл главную роль капитана Нейтона Альгрена в фильме 'Последний самурай'?\nA. Анатолий Папанов\nB. Том Круз\nC. Данила Козловский\nD. Коюки\nE. Крис Коламбус\nF. Олег Меньшиков\nG. Его отец\nH. Временный учитель рисования Рам Никум\nI. Кэн Ватанабэ\nJ. Уильям Этертон\nK. Альфонсо Куарон\nL. Александр\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 118, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.10792975127696991, + "B": 0.06546270102262497, + "C": 0.09524767100811005, + "D": 0.13858453929424286, + "E": 0.05098240077495575, + "F": 0.057770635932683945, + "G": 0.15703685581684113, + "H": 0.05098240077495575, + "I": 0.01554875448346138, + "J": 0.03503965958952904, + "K": 0.029048899188637733, + "L": 0.006899718195199966 + }, + "sample": { + "question": "Кто в фильме «Звёздочки на земле» помог маленькому Ишану понять, что он особенный?", + "answerA": "Его отец", + "answerB": "Временный учитель рисования Рам Никум", + "answerC": "Директор школы", + "answerD": "Лучший друг в школе-интернате", + "correct_answer": "Временный учитель рисования Рам Никум", + "choices": [ + "Крис Коламбус", + "Виктор Сухоруков", + "Директор школы", + "Олег Меньшиков", + "Временный учитель рисования Рам Никум", + "Анатолий Папанов", + "Его отец", + "Альфонсо Куарон", + "Олег Ефремов", + "Данила Козловский", + "Лучший друг в школе-интернате", + "Александр" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКто в фильме «Звёздочки на земле» помог маленькому Ишану понять, что он особенный?\nA. Крис Коламбус\nB. Виктор Сухоруков\nC. Директор школы\nD. Олег Меньшиков\nE. Временный учитель рисования Рам Никум\nF. Анатолий Папанов\nG. Его отец\nH. Альфонсо Куарон\nI. Олег Ефремов\nJ. Данила Козловский\nK. Лучший друг в школе-интернате\nL. Александр\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 124, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.009708039462566376, + "B": 0.012465368025004864, + "C": 0.8738898038864136, + "D": 0.014125112444162369, + "E": 0.016005849465727806, + "F": 0.0038017225451767445, + "G": 0.006267980672419071, + "H": 0.0014887760626152158, + "I": 0.00021447852486744523, + "J": 0.00051450717728585, + "K": 0.00051450717728585, + "L": 4.223332507535815e-05 + }, + "sample": { + "question": "Кто является режиссером фильма 'Гарри Поттер и узник Азкабана'?", + "answerA": "Крис Коламбус", + "answerB": "Альфонсо Куарон", + "answerC": "Дэвид Йейтс", + "answerD": "Майк Ньюэлл", + "correct_answer": "B", + "choices": [ + "Евгений", + "Александр", + "Дэвид Йейтс", + "Дракон", + "Олег Меньшиков", + "Олег Ефремов", + "Анатолий Папанов", + "Альфонсо Куарон", + "Данила Козловский", + "Крис Коламбус", + "Майк Ньюэлл", + "Виктор Сухоруков" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Гарри Поттер и узник Азкабана'?\nA. Евгений\nB. Александр\nC. Дэвид Йейтс\nD. Дракон\nE. Олег Меньшиков\nF. Олег Ефремов\nG. Анатолий Папанов\nH. Альфонсо Куарон\nI. Данила Козловский\nJ. Крис Коламбус\nK. Майк Ньюэлл\nL. Виктор Сухоруков\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 110, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.1283830851316452, + "B": 0.1283830851316452, + "C": 0.21166792511940002, + "D": 0.11329767853021622, + "E": 0.06064387783408165, + "F": 0.05351803079247475, + "G": 0.09998484700918198, + "H": 0.036782365292310715, + "I": 0.004676353186368942, + "J": 0.009300039149820805, + "K": 0.008207255974411964, + "L": 0.000920828606467694 + }, + "sample": { + "question": "Кто сыграл Валерия Харламова в фильме 'Легенда №17'?", + "answerA": "Олег Меньшиков", + "answerB": "Данила Козловский", + "answerC": "Владимир Меньшов", + "answerD": "Александр Лобанов", + "correct_answer": "B", + "choices": [ + "Виктор Сухоруков", + "Владимир Меньшов", + "Данила Козловский", + "Александр", + "Олег Меньшиков", + "Олег Ефремов", + "Сергей Маковецкий", + "1925", + "Дракон", + "Александр Лобанов", + "Евгений", + "Анатолий Папанов" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКто сыграл Валерия Харламова в фильме 'Легенда №17'?\nA. Виктор Сухоруков\nB. Владимир Меньшов\nC. Данила Козловский\nD. Александр\nE. Олег Меньшиков\nF. Олег Ефремов\nG. Сергей Маковецкий\nH. 1925\nI. Дракон\nJ. Александр Лобанов\nK. Евгений\nL. Анатолий Папанов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 108, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.14075830578804016, + "B": 0.07534249126911163, + "C": 0.18073724210262299, + "D": 0.14075830578804016, + "E": 0.05178208649158478, + "F": 0.05178208649158478, + "G": 0.10962267965078354, + "H": 0.040327928960323334, + "I": 0.019049564376473427, + "J": 0.016811180859804153, + "K": 0.021585986018180847, + "L": 0.003109755925834179 + }, + "sample": { + "question": "Кто сыграл роль Юрия Деточкина в фильме 'Берегись автомобиля'?", + "answerA": "Анатолий Папанов", + "answerB": "Олег Ефремов", + "answerC": "Иннокентий Смоктуновский", + "answerD": "Ольга Аросева", + "correct_answer": "C", + "choices": [ + "Олег Ефремов", + "О. Ж. Грант", + "Дракон", + "Андрей Тарковский", + "Александр", + "Анатолий Папанов", + "Иннокентий Смоктуновский", + "1925", + "Виктор Сухоруков", + "Евгений", + "Ольга Аросева", + "Сергей Маковецкий" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКто сыграл роль Юрия Деточкина в фильме 'Берегись автомобиля'?\nA. Олег Ефремов\nB. О. Ж. Грант\nC. Дракон\nD. Андрей Тарковский\nE. Александр\nF. Анатолий Папанов\nG. Иннокентий Смоктуновский\nH. 1925\nI. Виктор Сухоруков\nJ. Евгений\nK. Ольга Аросева\nL. Сергей Маковецкий\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 110, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.019140388816595078, + "B": 0.019140388816595078, + "C": 0.4936371445655823, + "D": 0.045915406197309494, + "E": 0.024576745927333832, + "F": 0.014906550757586956, + "G": 0.14142940938472748, + "H": 0.052028968930244446, + "I": 0.002147492254152894, + "J": 0.0012236041948199272, + "K": 0.004546240903437138, + "L": 0.00030937555129639804 + }, + "sample": { + "question": "Как звали главного героя фильма 'Ирония судьбы, или С легким паром!'?", + "answerA": "Александр", + "answerB": "Евгений", + "answerC": "Анатолий", + "answerD": "Иван", + "correct_answer": "answerB", + "choices": [ + "Александр", + "1925", + "Сергей Маковецкий", + "Анатолий", + "1926", + "Иван", + "Дракон", + "Андрей Тарковский", + "О. Ж. Грант", + "Том Круз", + "Виктор Сухоруков", + "Евгений" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКак звали главного героя фильма 'Ирония судьбы, или С легким паром!'?\nA. Александр\nB. 1925\nC. Сергей Маковецкий\nD. Анатолий\nE. 1926\nF. Иван\nG. Дракон\nH. Андрей Тарковский\nI. О. Ж. Грант\nJ. Том Круз\nK. Виктор Сухоруков\nL. Евгений\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 107, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.03509698808193207, + "B": 0.5490092635154724, + "C": 0.15729379653930664, + "D": 0.05786515027284622, + "E": 0.016578644514083862, + "F": 0.014630600810050964, + "G": 0.03509698808193207, + "H": 0.014630600810050964, + "I": 0.0006428237538784742, + "J": 0.004462081473320723, + "K": 0.004462081473320723, + "L": 0.0006428237538784742 + }, + "sample": { + "question": "Кто из актеров сыграл главную роль Данилы Багрова в фильме Брат 2?", + "answerA": "Виктор Сухоруков", + "answerB": "Сергей Маковецкий", + "answerC": "Сергей Бодров мл.", + "answerD": "Ирина Салтыкова", + "correct_answer": "Сергей Бодров мл.", + "choices": [ + "1925", + "Сергей Маковецкий", + "Андрей Тарковский", + "Ирина Салтыкова", + "Кристофер Нолан", + "О. Ж. Грант", + "Сергей Бодров мл.", + "Дракон", + "Том Круз", + "1926", + "Виктор Сухоруков", + "Никита Михалков" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКто из актеров сыграл главную роль Данилы Багрова в фильме Брат 2?\nA. 1925\nB. Сергей Маковецкий\nC. Андрей Тарковский\nD. Ирина Салтыкова\nE. Кристофер Нолан\nF. О. Ж. Грант\nG. Сергей Бодров мл.\nH. Дракон\nI. Том Круз\nJ. 1926\nK. Виктор Сухоруков\nL. Никита Михалков\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 116, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.08627528697252274, + "B": 0.08627528697252274, + "C": 0.182644784450531, + "D": 0.09776271134614944, + "E": 0.06719126552343369, + "F": 0.06719126552343369, + "G": 0.12552979588508606, + "H": 0.059296078979969025, + "I": 0.021813808009028435, + "J": 0.059296078979969025, + "K": 0.021813808009028435, + "L": 0.006249760277569294 + }, + "sample": { + "question": "Кто в фильме 'Трасса 60' исполняет желания главного героя?", + "answerA": "Дракон", + "answerB": "О. Ж. Грант", + "answerC": "Лепрекон", + "answerD": "Лесной дух", + "correct_answer": "answerB", + "choices": [ + "Кристофер Нолан", + "1925", + "Лесной дух", + "Андрей Тарковский", + "О. Ж. Грант", + "Лепрекон", + "Джордж Клуни", + "1926", + "Никита Михалков", + "Дракон", + "Джек Николсон", + "Том Круз" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКто в фильме 'Трасса 60' исполняет желания главного героя?\nA. Кристофер Нолан\nB. 1925\nC. Лесной дух\nD. Андрей Тарковский\nE. О. Ж. Грант\nF. Лепрекон\nG. Джордж Клуни\nH. 1926\nI. Никита Михалков\nJ. Дракон\nK. Джек Николсон\nL. Том Круз\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 113, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.4173623323440552, + "B": 0.06400458514690399, + "C": 0.0498468242585659, + "D": 0.06400458514690399, + "E": 0.10552572458982468, + "F": 0.09312612563371658, + "G": 0.038820743560791016, + "H": 0.08218351006507874, + "I": 0.01428135298192501, + "J": 0.01618289388716221, + "K": 0.0033921189606189728, + "L": 0.01618289388716221 + }, + "sample": { + "question": "В каком году вышел фильм 'Цирк'?", + "answerA": "1925", + "answerB": "1926", + "answerC": "1928", + "answerD": "1930", + "correct_answer": "1928", + "choices": [ + "1928", + "Кристофер Нолан", + "Стивен Спилберг", + "Джордж Клуни", + "Кристофер Нолан", + "1926", + "Том Круз", + "Никита Михалков", + "1930", + "Андрей Тарковский", + "Джек Николсон", + "1925" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nВ каком году вышел фильм 'Цирк'?\nA. 1928\nB. Кристофер Нолан\nC. Стивен Спилберг\nD. Джордж Клуни\nE. Кристофер Нолан\nF. 1926\nG. Том Круз\nH. Никита Михалков\nI. 1930\nJ. Андрей Тарковский\nK. Джек Николсон\nL. 1925\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 110, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.07407968491315842, + "B": 0.06537508964538574, + "C": 0.05091416835784912, + "D": 0.08394327759742737, + "E": 0.1568266898393631, + "F": 0.037249606102705, + "G": 0.13839906454086304, + "H": 0.1568266898393631, + "I": 0.015527945011854172, + "J": 0.06537508964538574, + "K": 0.014587153680622578, + "L": 0.044931598007678986 + }, + "sample": { + "question": "Кто режиссер фильма 'Жестокий романс'?", + "answerA": "Андрей Тарковский", + "answerB": "Никита Михалков", + "answerC": "Эльдар Рязанов", + "answerD": "Сергей Эйзенштейн", + "correct_answer": "Эльдар Рязанов", + "choices": [ + "2008", + "Том Круз", + "Джек Николсон", + "Кристофер Нолан", + "Эльдар Рязанов", + "Андрей Тарковский", + "Морган Фриман", + "Стивен Спилберг", + "Джордж Клуни", + "Никита Михалков", + "Кристофер Нолан", + "Сергей Эйзенштейн" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Жестокий романс'?\nA. 2008\nB. Том Круз\nC. Джек Николсон\nD. Кристофер Нолан\nE. Эльдар Рязанов\nF. Андрей Тарковский\nG. Морган Фриман\nH. Стивен Спилберг\nI. Джордж Клуни\nJ. Никита Михалков\nK. Кристофер Нолан\nL. Сергей Эйзенштейн\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 111, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.2114131897687912, + "B": 0.09986452013254166, + "C": 0.2114131897687912, + "D": 0.07777456939220428, + "E": 0.06863581389188766, + "F": 0.03673810139298439, + "G": 0.16464875638484955, + "H": 0.05345362424850464, + "I": 0.00529262563213706, + "J": 0.010525642894208431, + "K": 0.006795865949243307, + "L": 0.0011093945940956473 + }, + "sample": { + "question": "Кто ��ыграл главную роль в фильме 'Загадочная история Бенджамина Баттона'?", + "answerA": "Том Круз", + "answerB": "Джордж Клуни", + "answerC": "Брэд Питт", + "answerD": "Леонардо Ди Каприо", + "correct_answer": "C", + "choices": [ + "Кристофер Нолан", + "Джек Николсон", + "Том Круз", + "Стивен Спилберг", + "2008", + "Леонардо Ди Каприо", + "Питер Джексон", + "Кристофер Нолан", + "Морган Фриман", + "Лекси Александр", + "Брэд Питт", + "Джордж Клуни" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКто сыграл главную роль в фильме 'Загадочная история Бенджамина Баттона'?\nA. Кристофер Нолан\nB. Джек Николсон\nC. Том Круз\nD. Стивен Спилберг\nE. 2008\nF. Леонардо Ди Каприо\nG. Питер Джексон\nH. Кристофер Нолан\nI. Морган Фриман\nJ. Лекси Александр\nK. Брэд Питт\nL. Джордж Клуни\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 115, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.013398721814155579, + "B": 0.08737064152956009, + "C": 0.011824330314993858, + "D": 0.08737064152956009, + "E": 0.02209075726568699, + "F": 0.7315454483032227, + "G": 0.013398721814155579, + "H": 0.00594564713537693, + "I": 0.00012339795648586005, + "J": 0.004349927883595228, + "K": 0.0011707673547789454, + "L": 0.0004046063404530287 + }, + "sample": { + "question": "Кто является режиссером фильма 'Хоббит: Пустошь Смауга'?", + "answerA": "Кристофер Нолан", + "answerB": "Стивен Спилберг", + "answerC": "Питер Джексон", + "answerD": "Джеймс Кэмерон", + "correct_answer": "Питер Джексон", + "choices": [ + "Лекси Александр", + "Стивен Спилберг", + "Джеймс Кэмерон", + "Крис Коламбус", + "Кристофер Нолан", + "Питер Джексон", + "Джек Николсон", + "Гран-при Монако", + "2010", + "Морган Фриман", + "2008", + "Инди 500" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Хоббит: Пустошь Смауга'?\nA. Лекси Александр\nB. Стивен Спилберг\nC. Джеймс Кэмерон\nD. Крис Коламбус\nE. Кристофер Нолан\nF. Питер Джексон\nG. Джек Николсон\nH. Гран-при Монако\nI. 2010\nJ. Морган Фриман\nK. 2008\nL. Инди 500\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.07189170271158218, + "B": 0.172459214925766, + "C": 0.19542188942432404, + "D": 0.08146396279335022, + "E": 0.049410391598939896, + "F": 0.05598931014537811, + "G": 0.11852936446666718, + "H": 0.06344419717788696, + "I": 0.005901229567825794, + "J": 0.03848084807395935, + "K": 0.01329862605780363, + "L": 0.009140003472566605 + }, + "sample": { + "question": "Кто из этих актеров сыграл одну из главных ролей в фильме 'Пока не сыграл в ящик' 2007 года?", + "answerA": "Джек Николсон", + "answerB": "Морган Фриман", + "answerC": "Шон Хейс", + "answerD": "Беверли Тодд", + "correct_answer": "Морган Фриман", + "choices": [ + "2008", + "Джек Николсон", + "Крис Коламбус", + "Гран-при Монако", + "Кристофер Нолан", + "2014", + "Лекси Александр", + "Морган Фриман", + "Питер Джексон", + "Беверли Тодд", + "Шон Хейс", + "2010" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКто из этих актеров сыграл одну из главных ролей в фильме 'Пока не сыграл в ящик' 2007 года?\nA. 2008\nB. Джек Николсон\nC. Крис Коламбус\nD. Гран-при Монако\nE. Кристофер Нолан\nF. 2014\nG. Лекси Александр\nH. Морган Фриман\nI. Питер Джексон\nJ. Беверли Тодд\nK. Шон Хейс\nL. 2010\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 129, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.08724528551101685, + "B": 0.06794669479131699, + "C": 0.07699369639158249, + "D": 0.052916936576366425, + "E": 0.08724528551101685, + "F": 0.09886185824871063, + "G": 0.16299565136432648, + "H": 0.11202516406774521, + "I": 0.02348175086081028, + "J": 0.03636924549937248, + "K": 0.018287602812051773, + "L": 0.024996193125844002 + }, + "sample": { + "question": "Кто режиссер фильма \"Хулиганы\"?", + "answerA": "Кристофер Нолан", + "answerB": "Лекси Александр", + "answerC": "Питер Джексон", + "answerD": "Гай Ричи", + "correct_answer": "B", + "choices": [ + "Питер Джексон", + "Инди 500", + "Лекси Александр", + "2014", + "Гран-при Монако", + "Гай Ричи", + "2008", + "Кристофер Нолан", + "Шон Пенн", + "Крис Коламбус", + "2010", + "2010" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма \"Хулиганы\"?\nA. Питер Джексон\nB. Инди 500\nC. Лекси Александр\nD. 2014\nE. Гран-при Монако\nF. Гай Ричи\nG. 2008\nH. Кристофер Нолан\nI. Шон Пенн\nJ. Крис Коламбус\nK. 2010\nL. 2010\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 113, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.032714687287807465, + "B": 0.06506092101335526, + "C": 0.10726732015609741, + "D": 0.08353987336158752, + "E": 0.13773396611213684, + "F": 0.12154980003833771, + "G": 0.13773396611213684, + "H": 0.12154980003833771, + "I": 0.02393457293510437, + "J": 0.0420064851641655, + "K": 0.027121424674987793, + "L": 0.039461445063352585 + }, + "sample": { + "question": "В каком году был выпущен биографический фильм о Тэмпл Грандин?", + "answerA": "2008", + "answerB": "2010", + "answerC": "2012", + "answerD": "2015", + "correct_answer": "B", + "choices": [ + "Гран-при Монако", + "Шон Пенн", + "2010", + "Питер Джексон", + "Крис Коламбус", + "2015", + "Инди 500", + "2008", + "Крис Коламбус", + "2014", + "Мишель Пфайффер", + "2012" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nВ каком году был выпущен биографический фильм о Тэмпл Грандин?\nA. Гран-при Монако\nB. Шон Пенн\nC. 2010\nD. Питер Джексон\nE. Крис Коламбус\nF. 2015\nG. Инди 500\nH. 2008\nI. Крис Коламбус\nJ. 2014\nK. Мишель Пфайффер\nL. 2012\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 122, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.009378262795507908, + "B": 0.01546214148402214, + "C": 0.10082582384347916, + "D": 0.8442042469978333, + "E": 0.00501982169225812, + "F": 0.0013510668650269508, + "G": 0.003909441642463207, + "H": 0.00011805490794358775, + "I": 3.17740450554993e-05, + "J": 0.00024992224643938243, + "K": 0.00023478020739275962, + "L": 2.0514864445431158e-05 + }, + "sample": { + "question": "Кто режиссер фильма 'Гарри Поттер и философский камень'?", + "answerA": "Питер Джексон", + "answerB": "Крис Коламбус", + "answerC": "Станли Кубрик", + "answerD": "Тим Бёртон", + "correct_answer": "B", + "choices": [ + "Станли Кубрик", + "Мишель Пфайффер", + "Тим Бёртон", + "Питер Джексон", + "Крис Коламбус", + "2014", + "Стивен Спилберг", + "Инди 500", + "Майк Ньюэлл", + "Шон Пенн", + "Гран-при Монако", + "2010" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Гарри Поттер и философский камень'?\nA. Станли Кубрик\nB. Мишель Пфайффер\nC. Тим Бёртон\nD. Питер Джексон\nE. Крис Коламбус\nF. 2014\nG. Стивен Спилберг\nH. Инди 500\nI. Майк Ньюэлл\nJ. Шон Пенн\nK. Гран-при Монако\nL. 2010\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 118, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.06617891788482666, + "B": 0.09628976136445999, + "C": 0.08497541397809982, + "D": 0.05154019594192505, + "E": 0.09628976136445999, + "F": 0.14010076224803925, + "G": 0.14010076224803925, + "H": 0.09628976136445999, + "I": 0.012241868302226067, + "J": 0.058402687311172485, + "K": 0.02758747525513172, + "L": 0.04548405855894089 + }, + "sample": { + "question": "Какую гонку планируют выиграть главные персонажи в фильме 'Ford против Ferrari'?", + "answerA": "Гран-при Монако", + "answerB": "Инди 500", + "answerC": "24 часа Ле-Мана", + "answerD": "Ралли Дакар", + "correct_answer": "24 часа Ле-Мана", + "choices": [ + "Шон Пенн", + "Мишель Пфайффер", + "Крис Коламбус", + "2006", + "2014", + "2010", + "Инди 500", + "Гран-при Монако", + "Ралли Дакар", + "Майк Ньюэлл", + "Стивен Спилберг", + "24 часа Ле-Мана" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКакую гонку планируют выиграть главные персонажи в фильме 'Ford против Ferrari'?\nA. Шон Пенн\nB. Мишель Пфайффер\nC. Крис Коламбус\nD. 2006\nE. 2014\nF. 2010\nG. Инди 500\nH. Гран-при Монако\nI. Ралли Дакар\nJ. Майк Ньюэлл\nK. Стивен Спилберг\nL. 24 часа Ле-Мана\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 128, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0922108143568039, + "B": 0.2840293049812317, + "C": 0.06337551027536392, + "D": 0.049356888979673386, + "E": 0.15202994644641876, + "F": 0.1044885516166687, + "G": 0.07181385904550552, + "H": 0.043557308614254, + "I": 0.0035754013806581497, + "J": 0.0339224636554718, + "K": 0.004590906202793121, + "L": 0.017057286575436592 + }, + "sample": { + "question": "Кто является режиссером фильма Гарри Поттер и Дары Смерти: Часть II?", + "answerA": "Крис Коламбус", + "answerB": "Майк Ньюэлл", + "answerC": "Дэвид Йейтс", + "answerD": "Альфонсо Куарон", + "correct_answer": "Дэвид Йейтс", + "choices": [ + "Мартин Скорсезе", + "Дэвид Йейтс", + "2008", + "Стивен Спилберг", + "Шеф Густо", + "Майк Ньюэлл", + "Лингвини", + "Крис Коламбус", + "Дензел Вашингтон", + "Джон Мур", + "2006", + "Альфонсо Куарон" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма Гарри Поттер и Дары Смерти: Часть II?\nA. Мартин Скорсезе\nB. Дэвид Йейтс\nC. 2008\nD. Стивен Спилберг\nE. Шеф Густо\nF. Майк Ньюэлл\nG. Лингвини\nH. Крис Коламбус\nI. Дензел Вашингтон\nJ. Джон Мур\nK. 2006\nL. Альфонсо Куарон\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 120, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.04845975711941719, + "B": 0.037740495055913925, + "C": 0.7580381631851196, + "D": 0.03330587223172188, + "E": 0.020201032981276512, + "F": 0.007910838350653648, + "G": 0.037740495055913925, + "H": 0.005437033716589212, + "I": 0.00013611347822006792, + "J": 0.0005057229427620769, + "K": 0.00022441321925725788, + "L": 3.6634450225392357e-05 + }, + "sample": { + "question": "Кто режиссер фильма «Апокалипсис» 2006 года?", + "answerA": "Стивен Спилберг", + "answerB": "Мартин Скорсезе", + "answerC": "Квентин Тарантино", + "answerD": "Мэл Гибсон", + "correct_answer": "answerD", + "choices": [ + "Дензел Вашингтон", + "Джон Мур", + "Мартин Скорсезе", + "Стивен Спилберг", + "Лингвини", + "2008", + "Шеф Густо", + "2006", + "Томм Мур", + "Мэл Гибсон", + "Квентин Тарантино", + "1985" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма «Апокалипсис» 2006 года?\nA. Дензел Вашингтон\nB. Джон Мур\nC. Мартин Скорсезе\nD. Стивен Спилберг\nE. Лингвини\nF. 2008\nG. Шеф Густо\nH. 2006\nI. Томм Мур\nJ. Мэл Гибсон\nK. Квентин Тарантино\nL. 1985\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 116, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.05178435891866684, + "B": 0.38263753056526184, + "C": 0.08537797629833221, + "D": 0.06649243086576462, + "E": 0.05867936834692955, + "F": 0.10962749272584915, + "G": 0.08537797629833221, + "H": 0.08537797629833221, + "I": 0.0025781914591789246, + "J": 0.014836467802524567, + "K": 0.004250719211995602, + "L": 0.008453563787043095 + }, + "sample": { + "question": "В каком году вышел фильм \"Подмена\"?", + "answerA": "2006", + "answerB": "2008", + "answerC": "2010", + "answerD": "2012", + "correct_answer": "answerB", + "choices": [ + "Томм Мур", + "2008", + "Стивен Спилберг", + "2012", + "Виселос Реон Шеннон", + "Дензел Вашингтон", + "Джон Мур", + "1985", + "2006", + "Лингвини", + "Шеф Густо", + "2010" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nВ каком году вышел фильм \"Подмена\"?\nA. Томм Мур\nB. 2008\nC. Стивен Спилберг\nD. 2012\nE. Виселос Реон Шеннон\nF. Дензел Вашингтон\nG. Джон Мур\nH. 1985\nI. 2006\nJ. Лингвини\nK. Шеф Густо\nL. 2010\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 117, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.1649443507194519, + "B": 0.08828834444284439, + "C": 0.3491871654987335, + "D": 0.04725734516978264, + "E": 0.06067962571978569, + "F": 0.03680405765771866, + "G": 0.07791419327259064, + "H": 0.01633170247077942, + "I": 0.01194852776825428, + "J": 0.03247946500778198, + "K": 0.01054453942924738, + "L": 0.0006740898243151605 + }, + "sample": { + "question": "Кто является основным героем фильма 'Рататуй'?", + "answerA": "Шеф Густо", + "answerB": "Лингвини", + "answerC": "Реми", + "answerD": "Скиннер", + "correct_answer": "C", + "choices": [ + "Джон Мур", + "Томм Мур", + "Виселос Реон Шеннон", + "Стивен Спилберг", + "Шеф Густо", + "1988", + "1985", + "Лингвини", + "Каран Джохар", + "Реми", + "Дензел Вашингтон", + "Скиннер" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКто является основным героем фильма 'Рататуй'?\nA. Джон Мур\nB. Томм Мур\nC. Виселос Реон Шеннон\nD. Стивен Спилберг\nE. Шеф Густо\nF. 1988\nG. 1985\nH. Лингвини\nI. Каран Джохар\nJ. Реми\nK. Дензел Вашингтон\nL. Скиннер\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 113, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.05170181021094322, + "B": 0.05503629148006439, + "C": 0.07066799700260162, + "D": 0.19209551811218262, + "E": 0.08007733523845673, + "F": 0.09073950350284576, + "G": 0.21767275035381317, + "H": 0.10282132774591446, + "I": 0.010180690325796604, + "J": 0.02294253744184971, + "K": 0.029458802193403244, + "L": 0.016785120591521263 + }, + "sample": { + "question": "Кто является режиссером фильма 'Песнь моря'?", + "answerA": "Джон Мур", + "answerB": "Томм Мур", + "answerC": "Стивен Спилберг", + "answerD": "Питер Джексон", + "correct_answer": "B", + "choices": [ + "Питер Джексон", + "1988", + "Дензел Вашингтон", + "Томм Мур", + "1985", + "Каран Джохар", + "Виселос Реон Шеннон", + "Стивен Спилберг", + "Джеймс Кэмерон", + "1925", + "Раджкумар Хирани", + "Джон Мур" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Песнь моря'?\nA. Питер Джексон\nB. 1988\nC. Дензел Вашингтон\nD. Томм Мур\nE. 1985\nF. Каран Джохар\nG. Виселос Реон Шеннон\nH. Стивен Спилберг\nI. Джеймс Кэмерон\nJ. 1925\nK. Раджкумар Хирани\nL. Джон Мур\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 114, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.3238155245780945, + "B": 0.043823663145303726, + "C": 0.22255493700504303, + "D": 0.13498638570308685, + "E": 0.056270696222782135, + "F": 0.030119534581899643, + "G": 0.08187338709831238, + "H": 0.030119534581899643, + "I": 0.012555689550936222, + "J": 0.009185939095914364, + "K": 0.00672057643532753, + "L": 0.002049660077318549 + }, + "sample": { + "question": "В каком году был выпущен фильм 'Медведь'?", + "answerA": "1985", + "answerB": "1988", + "answerC": "1991", + "answerD": "1995", + "correct_answer": "answerB", + "choices": [ + "1995", + "Джеймс Кэмерон", + "1991", + "1988", + "1985", + "1930", + "Каран Джохар", + "Раджкумар Хирани", + "1925", + "Сэм Уортингтон", + "Стивен Спилберг", + "Филлип Элфорд" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nВ каком году был выпущен фильм 'Медведь'?\nA. 1995\nB. Джеймс Кэмерон\nC. 1991\nD. 1988\nE. 1985\nF. 1930\nG. Каран Джохар\nH. Раджкумар Хирани\nI. 1925\nJ. Сэм Уортингтон\nK. Стивен Спилберг\nL. Филлип Элфорд\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.2768438160419464, + "B": 0.06177220866084099, + "C": 0.19027179479599, + "D": 0.13077177107334137, + "E": 0.1018451601266861, + "F": 0.01561846025288105, + "G": 0.05451377481222153, + "H": 0.012163668870925903, + "I": 0.07931708544492722, + "J": 0.013783241622149944, + "K": 0.005070571321994066, + "L": 0.0004162178374826908 + }, + "sample": { + "question": "Кто режиссер фильма \"Крепкий орешек\" 1988 года?", + "answerA": "Стивен Спилберг", + "answerB": "Джеймс Кэмерон", + "answerC": "Джон МакТирнан", + "answerD": "Ридли Скотт", + "correct_answer": "Джон МакТирнан", + "choices": [ + "Зои Салдана", + "Сэм Уортингтон", + "Грегори Пек", + "Раджкумар Хирани", + "1925", + "Джон МакТирнан", + "Каран Джохар", + "Джеймс Кэмерон", + "Ридли Скотт", + "Филлип Элфорд", + "Стивен Спилберг", + "1930" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма \"Крепкий орешек\" 1988 года?\nA. Зои Салдана\nB. Сэм Уортингтон\nC. Грегори Пек\nD. Раджкумар Хирани\nE. 1925\nF. Джон МакТирнан\nG. Каран Джохар\nH. Джеймс Кэмерон\nI. Ридли Скотт\nJ. Филлип Элфорд\nK. Стивен Спилберг\nL. 1930\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 120, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.011141092516481876, + "B": 0.08232215791940689, + "C": 0.007193230092525482, + "D": 0.026726091280579567, + "E": 0.010466087609529495, + "F": 0.011859630234539509, + "G": 0.012624511495232582, + "H": 0.041394177824258804, + "I": 0.0007122262031771243, + "J": 0.005602093413472176, + "K": 0.011141092516481876, + "L": 0.6892749667167664 + }, + "sample": { + "question": "Кто является режиссером фильма 'Три идиота'?", + "answerA": "Каран Джохар", + "answerB": "Раджкумар Хирани", + "answerC": "Санжай Лила Бхансали", + "answerD": "Рохит Шетти", + "correct_answer": "B", + "choices": [ + "Филлип Элфорд", + "Рохит Шетти", + "1930", + "Джонни Депп", + "1925", + "Каран Джохар", + "Раджкумар Хирани", + "Грегори Пек", + "Зои Салдана", + "Стивен Спилберг", + "Сэм Уортингтон", + "Санжай Лила Бхансали" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Три идиота'?\nA. Филлип Элфорд\nB. Рохит Шетти\nC. 1930\nD. Джонни Депп\nE. 1925\nF. Каран Джохар\nG. Раджкумар Хирани\nH. Грегори Пек\nI. Зои Салдана\nJ. Стивен Спилберг\nK. Сэм Уортингтон\nL. Санжай Лила Бхансали\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.16366779804229736, + "B": 0.06021002680063248, + "C": 0.12746460735797882, + "D": 0.12746460735797882, + "E": 0.09926953911781311, + "F": 0.05313515663146973, + "G": 0.12746460735797882, + "H": 0.0876050665974617, + "I": 0.025099271908402443, + "J": 0.03651922568678856, + "K": 0.010462932288646698, + "L": 0.0067553771659731865 + }, + "sample": { + "question": "Кто сыграл главную роль юриста Аттикуса Финча в фильме \"Убить пересмешника\"?", + "answerA": "Филлип Элфорд", + "answerB": "Грегори Пек", + "answerC": "Фрэнк Овертон", + "answerD": "Брок Питерс", + "correct_answer": "Грегори Пек", + "choices": [ + "Филлип Элфорд", + "Зои Салдана", + "Джонни Депп", + "Фрэнк Овертон", + "Брок Питерс", + "Тим Бёртон", + "1985", + "Сэм Уортингтон", + "Грегори Пек", + "Оби-Ван Кеноби", + "Мэтт Диллон", + "Стивен Спилберг" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКто сыграл главную роль юриста Аттикуса Финча в фильме \"Убить пересмешника\"?\nA. Филлип Элфорд\nB. Зои Салдана\nC. Джонни Депп\nD. Фрэнк Овертон\nE. Брок Питерс\nF. Тим Бёртон\nG. 1985\nH. Сэм Уортингтон\nI. Грегори Пек\nJ. Оби-Ван Кеноби\nK. Мэтт Диллон\nL. Стивен Спилберг\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 126, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.09468374401330948, + "B": 0.027127347886562347, + "C": 0.03947005420923233, + "D": 0.03483220562338829, + "E": 0.6174155473709106, + "F": 0.027127347886562347, + "G": 0.03947005420923233, + "H": 0.014520223252475262, + "I": 0.010623221285641193, + "J": 0.014520223252475262, + "K": 0.0026859710924327374, + "L": 0.004160113167017698 + }, + "sample": { + "question": "Кто режиссер фильма 'Крупная рыба'?", + "answerA": "Стивен Спилберг", + "answerB": "Тим Бёртон", + "answerC": "Кристофер Нолан", + "answerD": "Квентин Тарантино", + "correct_answer": "Тим Бёртон", + "choices": [ + "Квентин Тарантино", + "Дарт Вейдер", + "Джонни Депп", + "Кристофер Нолан", + "Тим Бёртон", + "1985", + "Стивен Спилберг", + "Мэнди Мур", + "Энтони Хопкинс", + "1987", + "Оби-Ван Кеноби", + "Мэтт Диллон" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКто режиссер фильма 'Крупная рыба'?\nA. Квентин Тарантино\nB. Дарт Вейдер\nC. Джонни Депп\nD. Кристофер Нолан\nE. Тим Бёртон\nF. 1985\nG. Стивен Спилберг\nH. Мэнди Мур\nI. Энтони Хопкинс\nJ. 1987\nK. Оби-Ван Кеноби\nL. Мэтт Диллон\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 117, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.10422833263874054, + "B": 0.3210458755493164, + "C": 0.15165133774280548, + "D": 0.04923398047685623, + "E": 0.0919811800122261, + "F": 0.043448831886053085, + "G": 0.05578939989209175, + "H": 0.043448831886053085, + "I": 0.002609305316582322, + "J": 0.04923398047685623, + "K": 0.00518922321498394, + "L": 0.002451215172186494 + }, + "sample": { + "question": "Кто из актеров сыграл в фильме 'Столкновение' 2004 года?", + "answerA": "Джонни Депп", + "answerB": "Мэтт Диллон", + "answerC": "Леонардо ДиКаприо", + "answerD": "Том Харди", + "correct_answer": "B", + "choices": [ + "1985", + "Том Харди", + "Никита Михалков", + "1987", + "Бр��д Питт", + "Энтони Хопкинс", + "Дарт Вейдер", + "Оби-Ван Кеноби", + "Мэтт Диллон", + "Джонни Депп", + "Мэнди Мур", + "Леонардо ДиКаприо" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКто из актеров сыграл в фильме 'Столкновение' 2004 года?\nA. 1985\nB. Том Харди\nC. Никита Михалков\nD. 1987\nE. Брэд Питт\nF. Энтони Хопкинс\nG. Дарт Вейдер\nH. Оби-Ван Кеноби\nI. Мэтт Диллон\nJ. Джонни Депп\nK. Мэнди Мур\nL. Леонардо ДиКаприо\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 120, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.009089216589927673, + "B": 0.01595207117497921, + "C": 0.32040590047836304, + "D": 0.026300517842173576, + "E": 0.1178707629442215, + "F": 0.06309165805578232, + "G": 0.22021155059337616, + "H": 0.1335650533437729, + "I": 0.003788948757573962, + "J": 0.003343735821545124, + "K": 0.0017897728830575943, + "L": 0.0004251083009876311 + }, + "sample": { + "question": "В каком году был выпущен фильм 'Завтра была война'?", + "answerA": "1985", + "answerB": "1987", + "answerC": "1989", + "answerD": "1991", + "correct_answer": "B", + "choices": [ + "Джордан", + "Мэнди Мур", + "1985", + "Оби-Ван Кеноби", + "Закари Ливай", + "Брэд Питт", + "Никита Михалков", + "1987", + "1991", + "1989", + "Дарт Вейдер", + "Энтони Хопкинс" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nВ каком году был выпущен фильм 'Завтра была война'?\nA. Джордан\nB. Мэнди Мур\nC. 1985\nD. Оби-Ван Кеноби\nE. Закари Ливай\nF. Брэд Питт\nG. Никита Михалков\nH. 1987\nI. 1991\nJ. 1989\nK. Дарт Вейдер\nL. Энтони Хопкинс\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 114, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.20195071399211884, + "B": 0.06979230791330338, + "C": 0.12248930335044861, + "D": 0.10809643566608429, + "E": 0.061591487377882004, + "F": 0.06556379795074463, + "G": 0.10809643566608429, + "H": 0.061591487377882004, + "I": 0.02909376099705696, + "J": 0.045061297714710236, + "K": 0.01764625683426857, + "L": 0.011393280699849129 + }, + "sample": { + "question": "Кто обучает Люка Скайуокера на планете Дагоба в фильме 'Звёздные войны: Эпизод 5 – Империя наносит ответный удар'?", + "answerA": "Оби-Ван Кеноби", + "answerB": "Дарт Вейдер", + "answerC": "Йода", + "answerD": "Мейс Винду", + "correct_answer": "C", + "choices": [ + "Йода", + "Никита Михалков", + "Оби-Ван Кеноби", + "Джордан", + "Мэнди Мур", + "1998", + "Виталий Мельников", + "Дарт Вейдер", + "Закари Ливай", + "Энтони Хопкинс", + "Мейс Винду", + "Брэд Питт" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКто обучает Люка Скайуокера на планете Дагоба в фильме 'Звёздные войны: Эпизод 5 – Империя наносит ответный удар'?\nA. Йода\nB. Никита Михалков\nC. Оби-Ван Кеноби\nD. Джордан\nE. Мэнди Мур\nF. 1998\nG. Виталий Мельников\nH. Дарт Вейдер\nI. Закари Ливай\nJ. Энтони Хопкинс\nK. Мейс Винду\nL. Брэд Питт\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 133, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.10351844877004623, + "B": 0.10351844877004623, + "C": 0.06278710812330246, + "D": 0.11730176210403442, + "E": 0.10351844877004623, + "F": 0.10351844877004623, + "G": 0.09135470539331436, + "H": 0.1933979094028473, + "I": 0.005153879523277283, + "J": 0.020383989438414574, + "K": 0.007498850580304861, + "L": 0.013160892762243748 + }, + "sample": { + "question": "Кто сыграл образ Смерти в фильме 'Знакомьтесь; Джо Блэк'?", + "answerA": "Энтони Хопкинс", + "answerB": "Брэд Питт", + "answerC": "Джейк Уэбер", + "answerD": "Марша Гей Харден", + "correct_answer": "Брэд Питт", + "choices": [ + "Марша Гей Харден", + "Закари Ливай", + "Джейк Уэбер", + "Мэнди Мур", + "Джордан", + "Виталий Мельников", + "1998", + "Брэд Питт", + "Большая панда", + "Энтони Хопкинс", + "Карл Фредриксен", + "Никита Михалков" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКто сыграл образ Смерти в фильме 'Знакомьтесь; Джо Блэк'?\nA. Марша Гей Харден\nB. Закари Ливай\nC. Джейк Уэбер\nD. Мэнди Мур\nE. Джордан\nF. Виталий Мельников\nG. 1998\nH. Брэд Питт\nI. Большая панда\nJ. Энтони Хопкинс\nK. Карл Фредриксен\nL. Никита Михалков\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 113, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.026158632710576057, + "B": 0.7644673585891724, + "C": 0.03806058689951897, + "D": 0.020372364670038223, + "E": 0.00621322076767683, + "F": 0.002590055577456951, + "G": 0.003325697034597397, + "H": 0.002017137361690402, + "I": 5.049804167356342e-05, + "J": 0.0013863567728549242, + "K": 0.0005779195344075561, + "L": 5.049804167356342e-05 + }, + "sample": { + "question": "Кто является режиссером фильма 'Старший сын'?", + "answerA": "Никита Михалков", + "answerB": "Виталий Мельников", + "answerC": "Андрей Тарковский", + "answerD": "Леонид Гайдай", + "correct_answer": "B", + "choices": [ + "1998", + "Сурадж Шарма", + "Джордан", + "Забавный дракончик Мушу", + "Карл Фредриксен", + "Леонид Гайдай", + "Андрей Тарковский", + "2000", + "Виталий Мельников", + "Большая панда", + "Никита Михалков", + "Альфред Хичкок" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Старший сын'?\nA. 1998\nB. Сурадж Шарма\nC. Джордан\nD. Забавный дракончик Мушу\nE. Карл Фредриксен\nF. Леонид Гайдай\nG. Андрей Тарковский\nH. 2000\nI. Виталий Мельников\nJ. Большая панда\nK. Никита Михалков\nL. Альфред Хичкок\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 112, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.13665668666362762, + "B": 0.13665668666362762, + "C": 0.12059909850358963, + "D": 0.19883428514003754, + "E": 0.03915278986096382, + "F": 0.05027318000793457, + "G": 0.13665668666362762, + "H": 0.04436592757701874, + "I": 0.008206871338188648, + "J": 0.025278940796852112, + "K": 0.023747369647026062, + "L": 0.0014261403121054173 + }, + "sample": { + "question": "Как зовут 78-летнего ворчу��а, главного героя фильма 'Вверх'?", + "answerA": "Джордан", + "answerB": "Карл Фредриксен", + "answerC": "Боб Питерсон", + "answerD": "Эдвард Эснер", + "correct_answer": "B", + "choices": [ + "Эдвард Эснер", + "Боб Питерсон", + "2000", + "Карл Фредриксен", + "Стэнли Кубрик", + "Большая панда", + "Белль", + "1998", + "Джордан", + "Альфред Хичкок", + "Забавный дракончик Мушу", + "Сурадж Шарма" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКак зовут 78-летнего ворчуна, главного героя фильма 'Вверх'?\nA. Эдвард Эснер\nB. Боб Питерсон\nC. 2000\nD. Карл Фредриксен\nE. Стэнли Кубрик\nF. Большая панда\nG. Белль\nH. 1998\nI. Джордан\nJ. Альфред Хичкок\nK. Забавный дракончик Мушу\nL. Сурадж Шарма\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 121, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.30972427129745483, + "B": 0.11394120007753372, + "C": 0.06098832190036774, + "D": 0.06098832190036774, + "E": 0.0419166199862957, + "F": 0.12911228835582733, + "G": 0.1005527451634407, + "H": 0.06098832190036774, + "I": 0.0224363524466753, + "J": 0.03264469653367996, + "K": 0.00995607115328312, + "L": 0.0224363524466753 + }, + "sample": { + "question": "В каком году вышел фильм Билли Эллиот?", + "answerA": "1998", + "answerB": "2000", + "answerC": "2003", + "answerD": "1995", + "correct_answer": "answerB", + "choices": [ + "1995", + "2003", + "Альфред Хичкок", + "Забавный дракончик Мушу", + "Большая панда", + "Квентин Тарантино", + "Стэнли Кубрик", + "Сурадж Шарма", + "2000", + "Ирфан Кхан", + "1998", + "Белль" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nВ каком году вышел фильм Билли Эллиот?\nA. 1995\nB. 2003\nC. Альфред Хичкок\nD. Забавный дракончик Мушу\nE. Большая панда\nF. Квентин Тарантино\nG. Стэнли Кубрик\nH. Сурадж Шарма\nI. 2000\nJ. Ирфан Кхан\nK. 1998\nL. Белль\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 121, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.14793379604816437, + "B": 0.13055111467838287, + "C": 0.2439015954732895, + "D": 0.18995074927806854, + "E": 0.03740352392196655, + "F": 0.03740352392196655, + "G": 0.06166797876358032, + "H": 0.029129892587661743, + "I": 0.002391127170994878, + "J": 0.01006702147424221, + "K": 0.0047553242184221745, + "L": 0.0005335325840860605 + }, + "sample": { + "question": "Кто сопровождает Мулан в опасный поход в мультфильме 'Мулан' 1998 года?", + "answerA": "Большая панда", + "answerB": "Забавный дракончик Мушу", + "answerC": "Храбрый воин", + "answerD": "Мудрый маг", + "correct_answer": "Забавный дракончик Мушу", + "choices": [ + "Ариэль", + "Белль", + "Храбрый воин", + "Сурадж Шарма", + "Забавный дракончик Мушу", + "Альфред Хичкок", + "Мудрый маг", + "Большая панда", + "Стэнли Кубрик", + "Ирфан Кхан", + "Квентин Тарантино", + "Стивен Спилберг" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКто сопровождает Мулан в опасный поход в мультфильме 'Мулан' 1998 года?\nA. Ариэль\nB. Белль\nC. Храбрый воин\nD. Сурадж Шарма\nE. Забавный дракончик Мушу\nF. Альфред Хичкок\nG. Мудрый маг\nH. Большая панда\nI. Стэнли Кубрик\nJ. Ирфан Кхан\nK. Квентин Тарантино\nL. Стивен Спилберг\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 129, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.04512272775173187, + "B": 0.1152249202132225, + "C": 0.07919285446405411, + "D": 0.27641022205352783, + "E": 0.03514161333441734, + "F": 0.10168565064668655, + "G": 0.08973725885152817, + "H": 0.042388882488012314, + "I": 0.00736608263105154, + "J": 0.048032891005277634, + "K": 0.03514161333441734, + "L": 0.0061066970229148865 + }, + "sample": { + "question": "Кто из перечисленных был режиссером фильма 'Поющие под дождем'?", + "answerA": "Альфред Хичкок", + "answerB": "Стэнли Кубрик", + "answerC": "Стивен Спилберг", + "answerD": "Стэнли Донен; Джин Келли", + "correct_answer": "Стэнли Донен; Джин Келли", + "choices": [ + "Альфред Хичкок", + "Даррен Аронофски", + "Квентин Тарантино", + "Стэнли Донен; Джин Келли", + "2001", + "Сурадж Шарма", + "Стэнли Кубрик", + "Кристофер Нолан", + "Стивен Спилберг", + "Ариэль", + "Ирфан Кхан", + "Белль" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКто из перечисленных был режиссером фильма 'Поющие под дождем'?\nA. Альфред Хичкок\nB. Даррен Аронофски\nC. Квентин Тарантино\nD. Стэнли Донен; Джин Келли\nE. 2001\nF. Сурадж Шарма\nG. Стэнли Кубрик\nH. Кристофер Нолан\nI. Стивен Спилберг\nJ. Ариэль\nK. Ирфан Кхан\nL. Белль\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 120, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.09066440165042877, + "B": 0.03550469130277634, + "C": 0.06231267750263214, + "D": 0.06231267750263214, + "E": 0.08001106977462769, + "F": 0.11641541123390198, + "G": 0.21749261021614075, + "H": 0.13191594183444977, + "I": 0.02765107899904251, + "J": 0.042826831340789795, + "K": 0.01900429092347622, + "L": 0.010828319005668163 + }, + "sample": { + "question": "Как звали главную героиню фильма 'Русалочка' 1989 года?", + "answerA": "Белль", + "answerB": "Ариэль", + "answerC": "Жасмин", + "answerD": "Синди", + "correct_answer": "B", + "choices": [ + "Стивен Спилберг", + "2003", + "Даррен Аронофски", + "Кристофер Нолан", + "2001", + "1979", + "Синди", + "Жасмин", + "Леонид Быков", + "Ариэль", + "Квентин Тарантино", + "Белль" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКак звали главную героиню фильма 'Русалочка' 1989 года?\nA. Стивен Спилберг\nB. 2003\nC. Даррен Аронофски\nD. Кристофер Нолан\nE. 2001\nF. 1979\nG. Синди\nH. Жасмин\nI. Леонид Быков\nJ. Ариэль\nK. Квентин Тарантино\nL. Белль\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 120, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.04115063697099686, + "B": 0.022026346996426582, + "C": 0.5680670142173767, + "D": 0.05987381935119629, + "E": 0.024959122762084007, + "F": 0.008103040046989918, + "G": 0.11185901612043381, + "H": 0.005928311496973038, + "I": 0.0004294454411137849, + "J": 0.0026306724175810814, + "K": 0.0018080328591167927, + "L": 0.00013097345072310418 + }, + "sample": { + "question": "Кто является режиссером фильма 'Реквием по мечте'?", + "answerA": "Квентин Тарантино", + "answerB": "Даррен Аронофски", + "answerC": "Мартин Скорсезе", + "answerD": "Стэнли Кубрик", + "correct_answer": "B", + "choices": [ + "2003", + "1981", + "Даррен Аронофски", + "Джон Лассетер", + "Леонид Быков", + "Кристофер Нолан", + "Мартин Скорсезе", + "2001", + "Стэнли Кубрик", + "Квентин Тарантино", + "1979", + "Стивен Спилберг" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Реквием по мечте'?\nA. 2003\nB. 1981\nC. Даррен Аронофски\nD. Джон Лассетер\nE. Леонид Быков\nF. Кристофер Нолан\nG. Мартин Скорсезе\nH. 2001\nI. Стэнли Кубрик\nJ. Квентин Тарантино\nK. 1979\nL. Стивен Спилберг\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 124, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.22171081602573395, + "B": 0.15237946808338165, + "C": 0.17266856133937836, + "D": 0.15237946808338165, + "E": 0.043657444417476654, + "F": 0.02487526275217533, + "G": 0.08156286180019379, + "H": 0.01937287487089634, + "I": 0.0021735765039920807, + "J": 0.011038331314921379, + "K": 0.0059083933010697365, + "L": 0.0008511847699992359 + }, + "sample": { + "question": "Кто является режиссером фильма Гаттака?", + "answerA": "Стивен Спилберг", + "answerB": "Кристофер Нолан", + "answerC": "Эндрю Никкол", + "answerD": "Ридли Скотт", + "correct_answer": "answerC", + "choices": [ + "Ридли Скотт", + "Владимир Конкин", + "Кристофер Нолан", + "Леонид Быков", + "Стивен Спилберг", + "Джон Лассетер", + "2001", + "1979", + "Пегги Ли", + "2003", + "Эндрю Никкол", + "1981" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма Гаттака?\nA. Ридли Скотт\nB. Владимир Конкин\nC. Кристофер Нолан\nD. Леонид Быков\nE. Стивен Спилберг\nF. Джон Лассетер\nG. 2001\nH. 1979\nI. Пегги Ли\nJ. 2003\nK. Эндрю Никкол\nL. 1981\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 111, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.1529703140258789, + "B": 0.08187910914421082, + "C": 0.25220540165901184, + "D": 0.05627463385462761, + "E": 0.049662183970212936, + "F": 0.049662183970212936, + "G": 0.2225704789161682, + "H": 0.06376751512289047, + "I": 0.0029824459925293922, + "J": 0.004076520446687937, + "K": 0.004619303159415722, + "L": 0.005234356038272381 + }, + "sample": { + "question": "В каком году был выпущен фильм 'Догвилль'?", + "answerA": "2001", + "answerB": "2003", + "answerC": "2005", + "answerD": "2007", + "correct_answer": "B", + "choices": [ + "2003", + "2005", + "1981", + "Владимир Конкин", + "Тим Бёртон", + "Джон Лассетер", + "2001", + "2010", + "2007", + "Леонид Быков", + "Пегги Ли", + "1979" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nВ каком году был выпущен фильм 'Догвилль'?\nA. 2003\nB. 2005\nC. 1981\nD. Владимир Конкин\nE. Тим Бёртон\nF. Джон Лассетер\nG. 2001\nH. 2010\nI. 2007\nJ. Леонид Быков\nK. Пегги Ли\nL. 1979\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 121, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.2790171504020691, + "B": 0.03332384675741196, + "C": 0.10264468193054199, + "D": 0.1317983716726303, + "E": 0.09058360010385513, + "F": 0.037760864943265915, + "G": 0.11631164699792862, + "H": 0.054941728711128235, + "I": 0.022903122007846832, + "J": 0.03332384675741196, + "K": 0.03332384675741196, + "L": 0.0027353879995644093 + }, + "sample": { + "question": "В каком году вышел фильм 'Мужики!..'?", + "answerA": "1979", + "answerB": "1981", + "answerC": "1985", + "answerD": "1990", + "correct_answer": "answerB", + "choices": [ + "1975", + "Ларри Робертс", + "Пегги Ли", + "1985", + "1981", + "2010", + "1990", + "Тим Бёртон", + "Леонид Быков", + "Джон Лассетер", + "1979", + "Владимир Конкин" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nВ каком году вышел фильм 'Мужики!..'?\nA. 1975\nB. Ларри Робертс\nC. Пегги Ли\nD. 1985\nE. 1981\nF. 2010\nG. 1990\nH. Тим Бёртон\nI. Леонид Быков\nJ. Джон Лассетер\nK. 1979\nL. Владимир Конкин\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 117, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.08536235243082047, + "B": 0.06648027151823044, + "C": 0.18071210384368896, + "D": 0.09672822058200836, + "E": 0.04032232239842415, + "F": 0.05177488550543785, + "G": 0.10960742831230164, + "H": 0.045691173523664474, + "I": 0.014833752065896988, + "J": 0.0334283784031868, + "K": 0.029500439763069153, + "L": 0.0017716392176225781 + }, + "sample": { + "question": "Кто из этих актеров сыграл одну из ролей в фильме 'Аты-баты; шли солдаты...' 1976 года?", + "answerA": "Леонид Быков", + "answerB": "Владимир Конкин", + "answerC": "Елена Шанина", + "answerD": "Евгения Уралова", + "correct_answer": "Владимир Конкин", + "choices": [ + "Ларри Робертс", + "Стивен Спилберг", + "Евгения Уралова", + "Пегги Ли", + "1975", + "Леонид Быков", + "2010", + "2013", + "Тим Бёртон", + "Владимир Конкин", + "Елена Шанина", + "Джон Лассетер" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКто из этих актеров сыграл одну из ролей в фильме 'Аты-баты; шли солдаты...' 1976 года?\nA. Ларри Робертс\nB. Стивен Спилберг\nC. Евгения Уралова\nD. Пегги Ли\nE. 1975\nF. Леонид Быков\nG. 2010\nH. 2013\nI. Тим Бёртон\nJ. Владимир Конкин\nK. Елена Шанина\nL. Джон Лассетер\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 130, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.03138888627290726, + "B": 0.3823949098587036, + "C": 0.12414544820785522, + "D": 0.05864216387271881, + "E": 0.0752980187535286, + "F": 0.159405916929245, + "G": 0.06645026803016663, + "H": 0.01903832145035267, + "I": 0.0003275724302511662, + "J": 0.014827059581875801, + "K": 0.003107920754700899, + "L": 0.002919621067121625 + }, + "sample": { + "question": "Кто является режиссёром фильма 'История игрушек: Большой побег'?", + "answerA": "Джон Лассетер", + "answerB": "Тим Бёртон", + "answerC": "Ли Анкрич", + "answerD": "Пит Доктер", + "correct_answer": "C", + "choices": [ + "1975", + "Джон Лассетер", + "Ли Анкрич", + "Ольга Миронова", + "Пит Доктер", + "Тим Бёртон", + "2013", + "1979", + "Ларри Робертс", + "Стивен Спилберг", + "Пегги Ли", + "2010" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКто является режиссёром фильма 'История игрушек: Большой побег'?\nA. 1975\nB. Джон Лассетер\nC. Ли Анкрич\nD. Ольга Миронова\nE. Пит Доктер\nF. Тим Бёртон\nG. 2013\nH. 1979\nI. Ларри Робертс\nJ. Стивен Спилберг\nK. Пегги Ли\nL. 2010\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 121, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.20621860027313232, + "B": 0.07586359232664108, + "C": 0.16060321033000946, + "D": 0.046013589948415756, + "E": 0.09741077572107315, + "F": 0.03583541512489319, + "G": 0.12507790327072144, + "H": 0.05908261984586716, + "I": 0.03583541512489319, + "J": 0.040606848895549774, + "K": 0.007056412287056446, + "L": 0.0024386306758970022 + }, + "sample": { + "question": "Кто из перечисленных актеров озвучил персонажа Бродягу в фильме 'Леди и бродяга' 1955 года?", + "answerA": "Пегги Ли", + "answerB": "Ларри Робертс", + "answerC": "Билл Бауком", + "answerD": "Верна Фелтон", + "correct_answer": "Ларри Робертс", + "choices": [ + "Стивен Спилберг", + "Верна Фелтон", + "Джон Лассетер", + "2003", + "Кристофер Нолан", + "Билл Бауком", + "1979", + "1981", + "Леонид Быков", + "Пегги Ли", + "2001", + "Ларри Робертс" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКто из перечисленных актеров озвучил персонажа Бродягу в фильме 'Леди и бродяга' 1955 года?\nA. Стивен Спилберг\nB. Верна Фелтон\nC. Джон Лассетер\nD. 2003\nE. Кристофер Нолан\nF. Билл Бауком\nG. 1979\nH. 1981\nI. Леонид Быков\nJ. Пегги Ли\nK. 2001\nL. Ларри Робертс\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 130, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.16720086336135864, + "B": 0.16720086336135864, + "C": 0.13021616637706757, + "D": 0.10141245275735855, + "E": 0.10141245275735855, + "F": 0.06969968974590302, + "G": 0.06969968974590302, + "H": 0.04790385067462921, + "I": 0.011378161609172821, + "J": 0.037307556718587875, + "K": 0.009432828053832054, + "L": 0.006483081262558699 + }, + "sample": { + "question": "В каком году вышел фильм \"Мандарины\"?", + "answerA": "2010", + "answerB": "2013", + "answerC": "2015", + "answerD": "2012", + "correct_answer": "answerB", + "choices": [ + "1981", + "1979", + "2013", + "Пегги Ли", + "2012", + "2015", + "Леонид Быков", + "2010", + "Владимир Конкин", + "2003", + "2001", + "Джон Лассетер" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nВ каком году вышел фильм \"Мандарины\"?\nA. 1981\nB. 1979\nC. 2013\nD. Пегги Ли\nE. 2012\nF. 2015\nG. Леонид Быков\nH. 2010\nI. Владимир Конкин\nJ. 2003\nK. 2001\nL. Д��он Лассетер\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 119, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.07258138060569763, + "B": 0.05652642995119095, + "C": 0.1972966194152832, + "D": 0.1972966194152832, + "E": 0.07258138060569763, + "F": 0.0931963250041008, + "G": 0.1196664497256279, + "H": 0.06405283510684967, + "I": 0.016195092350244522, + "J": 0.030256418511271477, + "K": 0.018351443111896515, + "L": 0.008143404498696327 + }, + "sample": { + "question": "В каком году был выпущен фильм «Крамер против Крамера»?", + "answerA": "1975", + "answerB": "1979", + "answerC": "1981", + "answerD": "1985", + "correct_answer": "answerB", + "choices": [ + "1975", + "Леонид Быков", + "1979", + "1985", + "Пегги Ли", + "1981", + "Джон Лассетер", + "Владимир Конкин", + "2013", + "Ларри Робертс", + "2010", + "Тим Бёртон" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nВ каком году был выпущен фильм «Крамер против Крамера»?\nA. 1975\nB. Леонид Быков\nC. 1979\nD. 1985\nE. Пегги Ли\nF. 1981\nG. Джон Лассетер\nH. Владимир Конкин\nI. 2013\nJ. Ларри Робертс\nK. 2010\nL. Тим Бёртон\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 122, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.3140220642089844, + "B": 0.04249826446175575, + "C": 0.07006779313087463, + "D": 0.19046400487422943, + "E": 0.08996883034706116, + "F": 0.02577649988234043, + "G": 0.08996883034706116, + "H": 0.02577649988234043, + "I": 0.02577649988234043, + "J": 0.033097680658102036, + "K": 0.015634236857295036, + "L": 0.0065173194743692875 + }, + "sample": { + "question": "Кто является режиссером фильма 'Пираты Карибского моря: На краю Света'?", + "answerA": "Стивен Спилберг", + "answerB": "Гор Вербински", + "answerC": "Джеймс Кэмерон", + "answerD": "Ридли Скотт", + "correct_answer": "Гор Вербински", + "choices": [ + "Тим Бёртон", + "2010", + "Пегги Ли", + "Ридли Скотт", + "Леонид Быков", + "Владимир Конкин", + "1975", + "Стивен Спилберг", + "Джеймс Кэмерон", + "Ларри Робертс", + "Гор Вербински", + "Джон Лассетер" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКто является режиссером фильма 'Пираты Карибского моря: На краю Света'?\nA. Тим Бёртон\nB. 2010\nC. Пегги Ли\nD. Ридли Скотт\nE. Леонид Быков\nF. Владимир Конкин\nG. 1975\nH. Стивен Спилберг\nI. Джеймс Кэмерон\nJ. Ларри Робертс\nK. Гор Вербински\nL. Джон Лассетер\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 120, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.07529260218143463, + "B": 0.1095500960946083, + "C": 0.1095500960946083, + "D": 0.23191754519939423, + "E": 0.058637939393520355, + "F": 0.066445492208004, + "G": 0.12413652241230011, + "H": 0.058637939393520355, + "I": 0.007003303151577711, + "J": 0.05174780264496803, + "K": 0.01578218676149845, + "L": 0.007454977836459875 + }, + "sample": { + "question": "Кто сыграл главную роль Флёру в фильме 'Иди и смотри' 1985 года?", + "answerA": "Ольга Миронова", + "answerB": "Любомирас Лауцявичюс", + "answerC": "Алексей Кравченко", + "answerD": "Владас Багдонас", + "correct_answer": "Алексей Кравченко", + "choices": [ + "1975", + "Ларри Робертс", + "Стивен Спилберг", + "Джон Лассетер", + "Ольга Миронова", + "Любомирас Лауцявичюс", + "Тим Бёртон", + "2013", + "Владас Багдонас", + "2010", + "Алексей Кравченко", + "Пегги Ли" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКто сыграл главную роль Флёру в фильме 'Иди и смотри' 1985 года?\nA. 1975\nB. Ларри Робертс\nC. Стивен Спилберг\nD. Джон Лассетер\nE. Ольга Миронова\nF. Любомирас Лауцявичюс\nG. Тим Бёртон\nH. 2013\nI. Владас Багдонас\nJ. 2010\nK. Алексей Кравченко\nL. Пегги Ли\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 137, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +}