diff --git "a/llmtf_eval/shlepa_law_mc.jsonl" "b/llmtf_eval/shlepa_law_mc.jsonl" new file mode 100644--- /dev/null +++ "b/llmtf_eval/shlepa_law_mc.jsonl" @@ -0,0 +1,48550 @@ +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0009052239474840462, + "B": 0.0016911809798330069, + "C": 0.7731144428253174, + "D": 0.012496231123805046, + "E": 0.002619352424517274, + "F": 0.0005157810519449413, + "G": 0.10462965816259384, + "H": 0.001588717452250421, + "I": 2.567922456364613e-05, + "J": 8.419894584221765e-05, + "K": 0.0007988573051989079, + "L": 8.336824066645931e-06 + }, + "sample": { + "question": "Какова одна из основных целей государственного регулирования рынка ценных бумаг согласно Федеральному закону 'О рынке ценных бумаг' N 39-ФЗ?", + "answerA": "Продвижение иностранных ценных бумаг на внутреннем рынке", + "answerB": "Создание системы защиты прав владельцев и контроля за соблюдением их прав эмитентами и профессиональными участниками рынка ценных бумаг", + "answerC": "Обеспечение безусловного приоритета государственных ценных бумаг на рынке", + "answerD": "Сокращение количества эмитентов ценных бумаг для упрощения контроля", + "correct_answer": "B", + "choices": [ + "Обеспечение безусловного приоритета государственных ценных бумаг на рынке", + "План восстановления платежеспособности финансовой организации", + "С 1 января 2020 года", + "Сотрудник федерального министерства финансов", + "Заявление о признании финансовой организации банкротом", + "По личной просьбе родственников застрахованного", + "Создание системы защиты прав владельцев и контроля за соблюдением их прав эмитентами и профессиональными участниками рынка ценных бумаг", + "По обращению страховщика, страхователя или застрахованного либо по определению судьи (суда) при представлении акта о несчастном случае на производстве или акта о профессиональном заболевании", + "Могут осуществлять без ограничений, если это не противоречит закону", + "Продвижение иностранных ценных бумаг на внутреннем рынке", + "Сокращение количества эмитентов ценных бумаг для упрощения контроля", + "Начальник вышестоящего таможенного органа" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКакова одна из основных целей государственного регулирования рынка ценных бумаг согласно Федеральному закону 'О рынке ценных бумаг' N 39-ФЗ?\nA. Обеспечение безусловного приоритета государственных ценных бумаг на рынке\nB. План восстановления платежеспособности финансовой организации\nC. С 1 января 2020 года\nD. Сотрудник федерального министерства финансов\nE. Заявление о признании финансовой организации банкротом\nF. По личной просьбе родственников застрахованного\nG. Создание системы защиты прав владельцев и контроля за соблюдением их прав эмитентами и профессиональными участниками рынка ценных бумаг\nH. По обращению страховщика, страхователя или застрахованного либо по определению судьи (суда) при представлении акта о несчастном случае на производстве или акта о профессиональном заболевании\nI. Могут осуществлять без ограничений, если это не противоречит закону\nJ. П��одвижение иностранных ценных бумаг на внутреннем рынке\nK. Сокращение количества эмитентов ценных бумаг для упрощения контроля\nL. Начальник вышестоящего таможенного органа\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 229, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0023574389051645994, + "B": 0.01537243276834488, + "C": 0.001954385545104742, + "D": 0.009323850274085999, + "E": 0.007261422462761402, + "F": 0.008228270336985588, + "G": 0.010565307922661304, + "H": 0.04735042154788971, + "I": 0.0030270114075392485, + "J": 0.01636386848986149, + "K": 0.01444106362760067, + "L": 0.7884553074836731 + }, + "sample": { + "question": "Что временная администрация представляет в контрольный орган не позднее чем через 45 дней с даты ее назначения согласно статье 183.13 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?", + "answerA": "План восстановления платежеспособности финансовой организации", + "answerB": "Заявление о признании финансовой организации банкротом", + "answerC": "Заключение о финансовом состоянии финансовой организации", + "answerD": "Уведомление о возможности ознакомления с заключением о финансовом состоянии", + "correct_answer": "Заключение о финансовом состоянии финансовой организации", + "choices": [ + "Заявление о признании финансовой организации банкротом", + "С 1 июля 2021 года", + "Формы, определенные Уставом таможенной службы", + "Уведомление о возможности ознакомления с заключением о финансовом состоянии", + "План восстановления платежеспособности финансовой организации", + "По личной просьбе родственников застрахованного", + "Сотрудник федерального министерства финансов", + "С 1 января 2020 года", + "Начальник вышестоящего таможенного органа", + "По обращению страховщика, страхователя или застрахованного либо по определению судьи (суда) при представлении акта о несчастном случае на производстве или акта о профессиональном заболевании", + "Могут осуществлять без ограничений, если это не противоречит закону", + "Заключение о финансовом состоянии финансовой организации" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nЧто временная администрация представляет в контрольный орган не позднее чем через 45 дней с даты ее назначения согласно статье 183.13 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?\nA. Заявление о признании финансовой организации банкротом\nB. С 1 июля 2021 года\nC. Формы, определенные Уставом таможенной службы\nD. Уведомление о возможности ознакомления с заключением о финансовом состоянии\nE. План восстановления платежеспособности финансовой организации\nF. По личной просьбе родственников застрахованного\nG. Сотрудник федерального министерства финансов\nH. С 1 января 2020 года\nI. Начальник вышестоящего таможенного органа\nJ. По обращению страховщика, страхователя или застрахованного либо по определению судьи (суда) при представлении акта о несчастном случае на производстве или акта о профессиональном заболевании\nK. Могут осуществлять без ограничений, если это не противоречит закону\nL. Заключение о финансовом состоянии финансовой организации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 233, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.07566016912460327, + "B": 0.05892419442534447, + "C": 0.05200042575597763, + "D": 0.23304973542690277, + "E": 0.06676986068487167, + "F": 0.33908534049987793, + "G": 0.03153984993696213, + "H": 0.014898370951414108, + "I": 0.005834285635501146, + "J": 0.02783381938934326, + "K": 0.007491370663046837, + "L": 0.0015702767996117473 + }, + "sample": { + "question": "Кто принимает решение по жалобе от имени вышестоящего таможенного органа согласно Федеральному закону \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ, Статья 295?", + "answerA": "Сотрудник федерального министерства финансов", + "answerB": "Начальник вышестоящего таможенного органа", + "answerC": "Депутат Государственной Думы", + "answerD": "Министр экономического развития", + "correct_answer": "answerB", + "choices": [ + "Начальник вышестоящего таможенного органа", + "Могут осуществлять без ограничений, если это не противоречит закону", + "По личной просьбе родственников застрахованного", + "Формы, определенные Уставом таможенной службы", + "Министр экономического развития", + "По обращению страховщика, страхователя или застрахованного либо по определению судьи (суда) при представлении акта о несчастном случае на производстве или акта о профессиональном заболевании", + "Только с согласия всех членов объединения", + "Полное удовлетворение требований всех кредиторов", + "Депутат Государственной Думы", + "С 1 января 2020 года", + "С 1 июля 2021 года", + "Сотрудник федерального министерства финансов" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКто принимает решение по жалобе от имени вышестоящего таможенного органа согласно Федеральному закону \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ, Статья 295?\nA. Начальник вышестоящего таможенного органа\nB. Могут осуществлять без ограничений, если это не противоречит закону\nC. По личной просьбе родственников застрахованного\nD. Формы, определенные Уставом таможенной службы\nE. Министр экономического развития\nF. По обращению страховщика, страхователя или застрахованного либо по определению судьи (суда) при представлении акта о несчастном случае на производстве или акта о профессиональном заболевании\nG. Только с согласия всех членов объединения\nH. Полное удовлетворение требований всех кредиторов\nI. Депутат Государственной Думы\nJ. С 1 января 2020 года\nK. С 1 июля 2021 года\nL. Сотрудник федерального министерства финансов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 221, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.832521915435791, + "B": 0.022185957059264183, + "C": 0.022185957059264183, + "D": 0.015248171053826809, + "E": 0.009248483926057816, + "F": 0.000759161717724055, + "G": 0.0011045737192034721, + "H": 0.0009747828589752316, + "I": 0.0015097733121365309, + "J": 0.0009747828589752316, + "K": 0.00043255730997771025, + "L": 2.7652460630633868e-05 + }, + "sample": { + "question": "Каковы основания для освидетельствования застрахованного учреждением медико-социальной экспертизы согласно Федеральному закону 'Об обязательном социальном страховании от несчастных случаев на производстве и профессиональных заболеваний' N 125-ФЗ?", + "answerA": "По личной просьбе родственников застрахованного", + "answerB": "По обращению страховщика, страхователя или застрахованного либо по определению судьи (суда) при представлении акта о несчастном случае на производстве или акта о профессиональном заболевании", + "answerC": "По инициативе государственных органов охраны труда", + "answerD": "По случайному выбору учреждения медико-социальной экспертизы", + "correct_answer": "B", + "choices": [ + "По обращению страховщика, страхователя или застрахованного либо по определению судьи (суда) при представлении акта о несчастном случае на производстве или акта о профессиональном заболевании", + "По инициативе государственных органов охраны труда", + "Только с согласия всех членов объединения", + "С 1 июля 2021 года", + "По случайному выбору учреждения медико-социальной экспертизы", + "Формы, определенные Уставом таможенной службы", + "Формы, установленные международными договорами", + "Полное удовлетворение требований всех кредиторов", + "Могут осуществлять без ограничений, если это не противоречит закону", + "Лицо, взыскующее платежи, обязано направить исполнительный документ непосредственно в суд, который вынес соответствующее решение.", + "По личной просьбе родственников застрахованного", + "С 1 января 2020 года" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКаковы основания для освидетельствования застрахованного учреждением медико-социальной экспертизы согласно Федеральному закону 'Об обязательном социальном страховании от несчастных случаев на производстве и профессиональных заболеваний' N 125-ФЗ?\nA. По обращению страховщика, страхователя или застрахованного либо по определению судьи (суда) при представлении акта о несчастном случае на производстве или акта о профессиональном заболевании\nB. По инициативе государственных органов охраны труда\nC. Только с согласия всех членов объединения\nD. С 1 июля 2021 года\nE. По случайному выбору учреждения медико-социальной экспертизы\nF. Формы, определенные Уставом таможенной службы\nG. Формы, установленные международными договорами\nH. Полное удовлетворение требований всех кредиторов\nI. Могут осуществлять без ограничений, если это не противоречит закону\nJ. Лицо, взыскующее платежи, обязано направить исполнительный документ непосредственно в суд, который вынес соответствующее решение.\nK. По личной просьбе родственников застрахованного\nL. С 1 января 2020 года\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 240, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.022698573768138885, + "B": 0.27652522921562195, + "C": 0.4023418128490448, + "D": 0.04805287718772888, + "E": 0.042406514286994934, + "F": 0.020031418651342392, + "G": 0.037423618137836456, + "H": 0.037423618137836456, + "I": 0.0008801191579550505, + "J": 0.010722045786678791, + "K": 0.020031418651342392, + "L": 0.013767379336059093 + }, + "sample": { + "question": "Когда утратила силу статья 23.3 Федерального закона \"О государственном регулировании производства и оборота этилового спирта, алкогольной и спиртосодержащей продукции и об ограничении потребления (распития) алкогольной продукции\" N 171-ФЗ?", + "answerA": "С 1 января 2020 года", + "answerB": "С 1 июля 2021 года", + "answerC": "С 1 января 2022 года", + "answerD": "С 1 июля 2019 года", + "correct_answer": "B", + "choices": [ + "Формы, определенные Уставом таможенной службы", + "С 1 января 2022 года", + "С 1 января 2020 года", + "На увеличение заработной платы работникам экологических служб", + "Могут осуществлять без ограничений, если это не противоречит закону", + "С 1 июля 2021 года", + "Полное удовлетворение требований всех кредиторов", + "Лицо, взыскующее платежи, обязано направить исполнительный документ непосредственно в суд, который вынес соответствующее решение.", + "Ликвидация всех активов должника", + "Только с согласия всех членов объединения", + "Формы, установленные международными договорами", + "С 1 июля 2019 года" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКогда утратила силу статья 23.3 Федерального закона \"О государственном регулировании производства и оборота этилового спирта, алкогольной и спиртосодержащей продукции и об ограничении потребления (распития) алкогольной продукции\" N 171-ФЗ?\nA. Формы, определенные Уставом таможенной службы\nB. С 1 января 2022 года\nC. С 1 января 2020 года\nD. На увеличение заработной платы работникам экологических служб\nE. Могут осуществлять без ограничений, если это не противоречит закону\nF. С 1 июля 2021 года\nG. Полное удовлетворение требований всех кредиторов\nH. Лицо, взыскующее платежи, обязано направить исполнительный документ непосредственно в суд, который вынес соответствующее решение.\nI. Ликвидация всех активов должника\nJ. Только с согласия всех членов объединения\nK. Формы, установле��ные международными договорами\nL. С 1 июля 2019 года\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 230, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.008392821066081524, + "B": 0.013837423175573349, + "C": 0.5192455053329468, + "D": 0.3568718731403351, + "E": 0.010776596143841743, + "F": 0.007406638469547033, + "G": 0.01567985489964485, + "H": 0.0032866760157048702, + "I": 0.0005711386329494417, + "J": 0.0006079739541746676, + "K": 0.007406638469547033, + "L": 7.261213613674045e-05 + }, + "sample": { + "question": "В соответствии со статьей 37 Федерального закона \"Об общественных объединениях\" N 82-ФЗ, каковы условия для осуществления предпринимательской деятельности общественными объединениями?", + "answerA": "Могут осуществлять без ограничений, если это не противоречит закону", + "answerB": "Только с согласия всех членов объединения", + "answerC": "Могут осуществлять лишь постольку, поскольку это служит достижению уставных целей", + "answerD": "Только через создание коммерческих организаций", + "correct_answer": "answerC", + "choices": [ + "Могут осуществлять без ограничений, если это не противоречит закону", + "Только с согласия всех членов объединения", + "Исполнительный документ может быть направлен организации, выплачивающей должнику заработную плату или иные периодические платежи, непосредственно взыскателем без посредников.", + "Могут осуществлять лишь постольку, поскольку это служит достижению уставных целей", + "Формы, определенные Уставом таможенной службы", + "Только через создание коммерческих организаций", + "Повторный технический осмотр проводится только для транспортных средств старше 10 лет.", + "Полное удовлетворение требований всех кредиторов", + "Формы, установленные международными договорами", + "На увеличение заработной платы работникам экологических служб", + "Лицо, взыскующее платежи, обязано направить исполнительный документ непосредственно в суд, который вынес соответствующее решение.", + "Ликвидация всех активов должника" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nВ соответствии со статьей 37 Федерального закона \"Об общественных объединениях\" N 82-ФЗ, каковы условия для осуществления предпринимательской деятельности общественными объединениями?\nA. Могут осуществлять без ограничений, если это не противоречит закону\nB. Только с согласия всех членов объединения\nC. Исполнительный документ может быть направлен организации, выплачивающей должнику заработную плату или иные периодические платежи, непосредственно взыскателем без посредников.\nD. Могут осуществлять лишь постольку, поскольку это служит достижению уставных целей\nE. Формы, определенные Уставом таможенной службы\nF. Только через создание коммерческих организаций\nG. Повторный технический осмотр проводится только для транспортных ср��дств старше 10 лет.\nH. Полное удовлетворение требований всех кредиторов\nI. Формы, установленные международными договорами\nJ. На увеличение заработной платы работникам экологических служб\nK. Лицо, взыскующее платежи, обязано направить исполнительный документ непосредственно в суд, который вынес соответствующее решение.\nL. Ликвидация всех активов должника\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 227, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.050693579018116, + "B": 0.032730236649513245, + "C": 0.0060544852167367935, + "D": 0.02888433448970318, + "E": 0.06509185582399368, + "F": 0.025490334257483482, + "G": 0.032730236649513245, + "H": 0.15614724159240723, + "I": 0.03948020190000534, + "J": 0.2917214334011078, + "K": 0.022495141252875328, + "L": 0.176937997341156 + }, + "sample": { + "question": "Какие формы таможенного контроля установлены Федеральным законом 'О таможенном регулировании в Российской Федерации'?", + "answerA": "Формы, определенные Уставом таможенной службы", + "answerB": "Формы, установленные международными договорами", + "answerC": "Формы, установленные статьей 322 Кодекса Союза", + "answerD": "Формы, принятые по усмотрению таможенных органов", + "correct_answer": "Формы, установленные статьей 322 Кодекса Союза", + "choices": [ + "Формы, установленные статьей 322 Кодекса Союза", + "На выявление объектов накопленного вреда окружающей среде и/или организацию их ликвидации", + "Полное удовлетворение требований всех кредиторов", + "Формы, установленные международными договорами", + "Формы, определенные Уставом таможенной службы", + "На увеличение заработной платы работникам экологических служб", + "Ликвидация всех активов должника", + "Исполнительный документ может быть направлен организации, выплачивающей должнику заработную плату или иные периодические платежи, непосредственно взыскателем без посредников.", + "Неисполнение обязанности по восполнению средств выплатного резерва и (или) средств пенсионных накоплений застрахованных лиц.", + "Формы, принятые по усмотрению таможенных органов", + "Повторный технический осмотр проводится только для транспортных средств старше 10 лет.", + "Лицо, взыскующее платежи, обязано направить исполнительный документ непосредственно в суд, который вынес соответствующее решение." + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКакие формы таможенного контроля установлены Федеральным законом 'О таможенном регулировании в Российской Федерации'?\nA. Формы, установленные статьей 322 Кодекса Союза\nB. На выявление объектов накопленного вреда окружающей среде и/или организацию их ликвидации\nC. Полное удовлетворение требований всех кредиторов\nD. Формы, установленные международными договорами\nE. Формы, определенные Уставом таможенной службы\nF. На увеличение заработной платы работникам экологических служб\nG. Ликвидация всех активов должника\nH. Исполнительный документ может быть направлен организации, выплачивающей должнику заработную плату или иные периодические платежи, непосредственно взыскателем без посредников.\nI. Неисполнение обязанности по восполнению средств выплатного резерва и (или) средств пенсионных накоплений застрахованных лиц.\nJ. Формы, принятые по усмотрению таможенных органов\nK. Повторный технический осмотр проводится только для транспортных средств старше 10 лет.\nL. Лицо, взыскующее платежи, обязано направить исполнительный документ непосредственно в суд, который вынес соответствующее решение.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 240, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.5454234480857849, + "B": 0.030770687386393547, + "C": 0.08364339917898178, + "D": 0.0128271309658885, + "E": 0.10740023851394653, + "F": 0.01647036150097847, + "G": 0.014535042457282543, + "H": 0.009989779442548752, + "I": 0.002525812014937401, + "J": 0.0012700578663498163, + "K": 0.00237278058193624, + "L": 6.323246634565294e-05 + }, + "sample": { + "question": "Что является основанием для отказа во внесении в единый государственный реестр юридических лиц записи о ликвидации юридического лица согласно статье 226 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?", + "answerA": "Полное удовлетворение требований всех кредиторов", + "answerB": "Ликвидация всех активов должника", + "answerC": "Нарушение требований, предусмотренных пунктом 2 статьи 224 настоящего Федерального закона", + "answerD": "Принятие решения ликвидационной комиссией о завершении ликвидационных процедур", + "correct_answer": "Нарушение требований, предусмотренных пунктом 2 статьи 224 настоящего Федерального закона", + "choices": [ + "Принятие решения ликвидационной комиссией о завершении ликвидационных процедур", + "Лицо, взыскующее платежи, обязано направить исполнительный документ непосредственно в суд, который вынес соответствующее решение.", + "Неисполнение обязанности по восполнению средств выплатного резерва и (или) средств пенсионных накоплений застрахованных лиц.", + "Повторный технический осмотр проводится за плату, размер которой равен стоимости первичного технического осмотра.", + "Нарушение требований, предусмотренных пунктом 2 статьи 224 настоящего Федерального закона", + "Исполнительный документ может быть направлен организации, выплачивающей должнику заработную плату или иные периодические платежи, непосредственно взыскателем без посредников.", + "Ликвидация всех активов должника", + "Полное удовлетворение требований всех кредиторов", + "Между гражданином и местной администрацией", + "Повторный технический осмотр проводится только для транспортных средств старше 10 лет.", + "На выявление объектов накопленного вреда окружающей среде и/или организацию их ликвидации", + "На увеличение заработной платы работникам экологических служб" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nЧто является основанием для отказа во внесении в единый государственный реестр юридических лиц записи о ликвидации юридического лица согласно статье 226 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?\nA. Принятие решения ликвидационной комиссией о завершении ликвидационных процедур\nB. Лицо, взыскующее платежи, обязано направить исполнительный документ непосредственно в суд, который вынес соответствующее решение.\nC. Неисполнение обязанности по восполнению средств выплатного резерва и (или) средств пенсионных накоплений застрахованных лиц.\nD. Повторный технический осмотр проводится за плату, размер которой равен стоимости первичного технического осмотра.\nE. Нарушение требований, предусмотренных пунктом 2 статьи 224 настоящего Федерального закона\nF. Исполнительный документ может быть направлен организации, выплачивающей должнику заработную плату или иные периодические платежи, непосредственно взыскателем без посредников.\nG. Ликвидация всех активов должника\nH. Полное удовлетворение требований всех кредиторов\nI. Между гражданином и местной администрацией\nJ. Повторный технический осмотр проводится только для транспортных средств старше 10 лет.\nK. На выявление объектов накопленного вреда окружающей среде и/или организацию их ликвидации\nL. На увеличение заработной платы работникам экологических служб\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 278, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.1172131896018982, + "B": 0.023080645129084587, + "C": 0.06273970007896423, + "D": 0.5253130793571472, + "E": 0.06273970007896423, + "F": 0.017975224182009697, + "G": 0.033582139760255814, + "H": 0.017975224182009697, + "I": 0.04886172339320183, + "J": 0.033582139760255814, + "K": 0.008490894921123981, + "L": 0.0003971244441345334 + }, + "sample": { + "question": "Какое утверждение верно в отношении процедуры, установленной Статьей 9 Федерального закона \"Об исполнительном производстве\" N 229-ФЗ, относительно взыскания периодических платежей с должника?", + "answerA": "Лицо, взыскующее платежи, обязано направить исполнительный документ непосредственно в суд, который вынес соответствующее решение.", + "answerB": "Исполнительный документ может быть направлен организации, выплачивающей должнику заработную плату или иные периодические платежи, непосредственно взыскателем без посредников.", + "answerC": "Периодические платежи могут быть индексированы только с согласия должника и при наличии судебного решения о данной индексации.", + "answerD": "Взыскатель должен представить исполнительный документ исключительно через пристава, ведущего исполнительно�� производство.", + "correct_answer": "B", + "choices": [ + "Периодические платежи могут быть индексированы только с согласия должника и при наличии судебного решения о данной индексации.", + "Свидетельство о регистрации товарного знака", + "Повторный технический осмотр проводится за плату, размер которой равен стоимости первичного технического осмотра.", + "Исполнительный документ может быть направлен организации, выплачивающей должнику заработную плату или иные периодические платежи, непосредственно взыскателем без посредников.", + "Взыскатель должен представить исполнительный документ исключительно через пристава, ведущего исполнительное производство.", + "На выявление объектов накопленного вреда окружающей среде и/или организацию их ликвидации", + "На увеличение заработной платы работникам экологических служб", + "Между гражданином и местной администрацией", + "Неисполнение обязанности по восполнению средств выплатного резерва и (или) средств пенсионных накоплений застрахованных лиц.", + "Лицо, взыскующее платежи, обязано направить исполнительный документ непосредственно в суд, который вынес соответствующее решение.", + "Недостаточность уставного капитала фонда для осуществления текущих платежей.", + "Повторный технический осмотр проводится только для транспортных средств старше 10 лет." + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКакое утверждение верно в отношении процедуры, установленной Статьей 9 Федерального закона \"Об исполнительном производстве\" N 229-ФЗ, относительно взыскания периодических платежей с должника?\nA. Периодические платежи могут быть индексированы только с согласия должника и при наличии судебного решения о данной индексации.\nB. Свидетельство о регистрации товарного знака\nC. Повторный технический осмотр проводится за плату, размер которой равен стоимости первичного технического осмотра.\nD. Исполнительный документ может быть направлен организации, выплачивающей должнику заработную плату или иные периодические платежи, непосредственно взыскателем без посредников.\nE. Взыскатель должен представить исполнительный документ исключительно через пристава, ведущего исполнительное производство.\nF. На выявление объектов накопленного вреда окружающей среде и/или организацию их ликвидации\nG. На увеличение заработной платы работникам экологических служб\nH. Между гражданином и местной администрацией\nI. Неисполнение обязанности по восполнению средств выплатного резерва и (или) средств пенсионных накоплений застрахованных лиц.\nJ. Лицо, взыскующее платежи, обязано направить исполнительный документ непосредственно в суд, который вынес соответствующее решение.\nK. Недостаточность уставного капитала фонда для осуществления текущих платежей.\nL. Повторный техни��еский осмотр проводится только для транспортных средств старше 10 лет.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 290, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0010465654777362943, + "B": 0.0032236487604677677, + "C": 0.000983157311566174, + "D": 0.009929537773132324, + "E": 0.006410990841686726, + "F": 0.0017254947451874614, + "G": 0.003888462670147419, + "H": 0.9514754414558411, + "I": 0.0007656837115064263, + "J": 0.0015227439580485225, + "K": 0.0022155791521072388, + "L": 0.0034315562807023525 + }, + "sample": { + "question": "На что направляется плата за негативное воздействие на окружающую среду, зачисленная в бюджеты бюджетной системы Российской Федерации согласно Федеральному закону 'Об охране окружающей среды' N 7-ФЗ, Статья 16.6?", + "answerA": "На увеличение заработной платы работникам экологических служб", + "answerB": "На выявление объектов накопленного вреда окружающей среде и/или организацию их ликвидации", + "answerC": "На строительство новых промышленных объектов", + "answerD": "На разработку новых технологий в области очистки сточных вод", + "correct_answer": "B", + "choices": [ + "Между гражданином и местной администрацией", + "Недостаточность уставного капитала фонда для осуществления текущих платежей.", + "Между гражданином и законным представителем", + "Повторный технический осмотр проводится за плату, размер которой равен стоимости первичного технического осмотра.", + "Повторный технический осмотр проводится только для транспортных средств старше 10 лет.", + "На увеличение заработной платы работникам экологических служб", + "На разработку новых технологий в области очистки сточных вод", + "На выявление объектов накопленного вреда окружающей среде и/или организацию их ликвидации", + "На основании жалобы физического лица", + "Неисполнение обязанности по восполнению средств выплатного резерва и (или) средств пенсионных накоплений застрахованных лиц.", + "На строительство новых промышленных объектов", + "Свидетельство о регистрации товарного знака" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nНа что направляется плата за негативное воздействие на окружающую среду, зачисленная в бюджеты бюджетной системы Российской Федерации согласно Федеральному закону 'Об охране окружающей среды' N 7-ФЗ, Статья 16.6?\nA. Между гражданином и местной администрацией\nB. Недостаточность уставного капитала фонда для осуществления текущих платежей.\nC. Между гражданином и законным представителем\nD. Повторный технический осмотр проводится за плату, размер которой равен стоимости первичного технического осмотра.\nE. Повторный технический осмотр проводится только для транспортных средств старше 10 лет.\nF. На увеличение заработной платы работникам экологических служб\nG. На разработку новых технологий в области очистки с��очных вод\nH. На выявление объектов накопленного вреда окружающей среде и/или организацию их ликвидации\nI. На основании жалобы физического лица\nJ. Неисполнение обязанности по восполнению средств выплатного резерва и (или) средств пенсионных накоплений застрахованных лиц.\nK. На строительство новых промышленных объектов\nL. Свидетельство о регистрации товарного знака\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 233, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0011248880764469504, + "B": 0.004179466515779495, + "C": 0.0015375397633761168, + "D": 0.005366540513932705, + "E": 0.00884793046861887, + "F": 0.012873660773038864, + "G": 0.02259398065507412, + "H": 0.902513325214386, + "I": 0.002534974366426468, + "J": 0.005712652578949928, + "K": 0.006890774238854647, + "L": 0.0028725021984428167 + }, + "sample": { + "question": "Каковы условия для проведения повторного технического осмотра у того же оператора согласно Федеральному закону 'О техническом осмотре транспортных средств и о внесении изменений в отдельные законодательные акты Российской Федерации' N 170-ФЗ от 06.06.2019 года?", + "answerA": "Повторный технический осмотр проводится только для транспортных средств старше 10 лет.", + "answerB": "Повторный технический осмотр проводится за плату, размер которой равен стоимости первичного технического осмотра.", + "answerC": "Повторный технический осмотр проводится в случае его проведения у того же оператора технического осмотра в срок не позднее чем двадцать календарных дней со дня проведения предыдущего технического осмотра только по показателям, не соответствовавшим требованиям при предыдущем осмотре.", + "answerD": "Повторный технический осмотр не допускается; при несоответствии требованиям требуется полная замена транспортного средства.", + "correct_answer": "answerC", + "choices": [ + "Повторный технический осмотр проводится только для транспортных средств старше 10 лет.", + "с 1 января 2015 года", + "Неисполнение обязанности по восполнению средств выплатного резерва и (или) средств пенсионных накоплений застрахованных лиц.", + "Решение о государственной регистрации", + "Между гражданином и законным представителем", + "Повторный технический осмотр проводится за плату, размер которой равен стоимости первичного технического осмотра.", + "Недостаточность уставного капитала фонда для осуществления текущих платежей.", + "Повторный технический осмотр проводится в случае его проведения у того же оператора технического осмотра в срок не позднее чем двадцать календарных дней со дня проведения предыдущего технического осмотра только по показателям, не соответствовавшим требованиям при предыдущем осмотре.", + "Между гражданином и местной администрацией", + "Повторный технический осмотр не допускается; при несоответствии требованиям требуе��ся полная замена транспортного средства.", + "Свидетельство о регистрации товарного знака", + "На основании жалобы физического лица" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКаковы условия для проведения повторного технического осмотра у того же оператора согласно Федеральному закону 'О техническом осмотре транспортных средств и о внесении изменений в отдельные законодательные акты Российской Федерации' N 170-ФЗ от 06.06.2019 года?\nA. Повторный технический осмотр проводится только для транспортных средств старше 10 лет.\nB. с 1 января 2015 года\nC. Неисполнение обязанности по восполнению средств выплатного резерва и (или) средств пенсионных накоплений застрахованных лиц.\nD. Решение о государственной регистрации\nE. Между гражданином и законным представителем\nF. Повторный технический осмотр проводится за плату, размер которой равен стоимости первичного технического осмотра.\nG. Недостаточность уставного капитала фонда для осуществления текущих платежей.\nH. Повторный технический осмотр проводится в случае его проведения у того же оператора технического осмотра в срок не позднее чем двадцать календарных дней со дня проведения предыдущего технического осмотра только по показателям, не соответствовавшим требованиям при предыдущем осмотре.\nI. Между гражданином и местной администрацией\nJ. Повторный технический осмотр не допускается; при несоответствии требованиям требуется полная замена транспортного средства.\nK. Свидетельство о регистрации товарного знака\nL. На основании жалобы физического лица\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 291, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.03361987695097923, + "B": 0.05900472030043602, + "C": 0.16039146482944489, + "D": 0.0668611153960228, + "E": 0.038096312433481216, + "F": 0.03361987695097923, + "G": 0.12491299957036972, + "H": 0.04055331274867058, + "I": 0.009048666805028915, + "J": 0.0668611153960228, + "K": 0.18174733221530914, + "L": 0.02459682710468769 + }, + "sample": { + "question": "Какое из перечисленных оснований НЕ является одним из дополнительных оснований для применения мер по предупреждению банкротства негосударственного пенсионного фонда, осуществляющего деятельность по обязательному пенсионному страхованию, согласно статье 187.2 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?", + "answerA": "Неисполнение обязанности по восполнению средств выплатного резерва и (или) средств пенсионных накоплений застрахованных лиц.", + "answerB": "Недостаточность уставного капитала фонда для осуществления текущих платежей.", + "answerC": "Недостаточность резерва по обязательному пенсионному страхованию и имущества для обеспечения уставной деятельности фонда.", + "answerD": "Неисполнение обязанности по восстановлению величины резерва по обязательному пенсионному страхованию.", + "correct_answer": "answerB", + "choices": [ + "Недостаточность уставного капитала фонда для осуществления текущих платежей.", + "Решение о государственной регистрации", + "На основании рекомендации коммерческой организации", + "Недостаточность резерва по обязательному пенсионному страхованию и имущества для обеспечения уставной деятельности фонда.", + "Между гражданином и законным представителем", + "Между гражданином и местной администрацией", + "Неисполнение обязанности по восстановлению величины резерва по обязательному пенсионному страхованию.", + "На основании жалобы физического лица", + "При участии в международных проектах", + "с 1 января 2015 года", + "Свидетельство о регистрации товарного знака", + "Неисполнение обязанности по восполнению средств выплатного резерва и (или) средств пенсионных накоплений застрахованных лиц." + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКакое из перечисленных оснований НЕ является одним из дополнительных оснований для применения мер по предупреждению банкротства негосударственного пенсионного фонда, осуществляющего деятельность по обязательному пенсионному страхованию, согласно статье 187.2 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?\nA. Недостаточность уставного капитала фонда для осуществления текущих платежей.\nB. Решение о государственной регистрации\nC. На основании рекомендации коммерческой организации\nD. Недостаточность резерва по обязательному пенсионному страхованию и имущества для обеспечения уставной деятельности фонда.\nE. Между гражданином и законным представителем\nF. Между гражданином и местной администрацией\nG. Неисполнение обязанности по восстановлению величины резерва по обязательному пенсионному страхованию.\nH. На основании жалобы физического лица\nI. При участии в международных проектах\nJ. с 1 января 2015 года\nK. Свидетельство о регистрации товарного знака\nL. Неисполнение обязанности по восполнению средств выплатного резерва и (или) средств пенсионных накоплений застрахованных лиц.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 240, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0009523564949631691, + "B": 0.0016714379889890552, + "C": 0.981109619140625, + "D": 0.0011487612500786781, + "E": 0.00016549475549254566, + "F": 6.898847641423345e-05, + "G": 0.00013719996786676347, + "H": 9.429606870980933e-05, + "I": 1.7443020624341443e-05, + "J": 1.1262059160799254e-05, + "K": 9.429606870980933e-05, + "L": 3.2266339076159056e-06 + }, + "sample": { + "question": "С кем заключается контракт о пребывании в резерве в соответствии с Федеральным законом \"О воинской обязанности и военной службе\" N 53-ФЗ?", + "answerA": "Между гражданином и местной администрацией", + "answerB": "Между гражданином и законным представителем", + "answerC": "Между гражданином и от имени Российской Федерации - Министерством обороны Российской Федерации или иным федеральным органом исполнительной власти", + "answerD": "Между гражданином и частной охранной компанией", + "correct_answer": "C", + "choices": [ + "На основании рекомендации коммерческой организации", + "Стратегия научно-технического развития Российской Федерации", + "Между гражданином и от имени Российской Федерации - Министерством обороны Российской Федерации или иным федеральным органом исполнительной власти", + "с 1 января 2015 года", + "Свидетельство о регистрации товарного знака", + "Решение о государственной регистрации", + "с 1 января 2018 года", + "Между гражданином и законным представителем", + "На основании жалобы физического лица", + "Между гражданином и местной администрацией", + "Между гражданином и частной охранной компанией", + "При участии в международных проектах" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nС кем заключается контракт о пребывании в резерве в соответствии с Федеральным законом \"О воинской обязанности и военной службе\" N 53-ФЗ?\nA. На основании рекомендации коммерческой организации\nB. Стратегия научно-технического развития Российской Федерации\nC. Между гражданином и от имени Российской Федерации - Министерством обороны Российской Федерации или иным федеральным органом исполнительной власти\nD. с 1 января 2015 года\nE. Свидетельство о регистрации товарного знака\nF. Решение о государственной регистрации\nG. с 1 января 2018 года\nH. Между гражданином и законным представителем\nI. На основании жалобы физического лица\nJ. Между гражданином и местной администрацией\nK. Между гражданином и частной охранной компанией\nL. При участии в международных проектах\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 182, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.004015135113149881, + "B": 0.011618178337812424, + "C": 0.002018936909735203, + "D": 0.011618178337812424, + "E": 0.03158148378133774, + "F": 0.04595078527927399, + "G": 0.05206906422972679, + "H": 0.7187912464141846, + "I": 0.007501260377466679, + "J": 0.014918035827577114, + "K": 0.011618178337812424, + "L": 0.05206906422972679 + }, + "sample": { + "question": "Какой документ является основанием для постановки юридического лица или индивидуального предпринимателя на учет в налоговом органе, в соответствии с Федеральным законом \"О государственной регистрации юридических лиц и индивидуальных предпринимателей\" N 129-ФЗ?", + "answerA": "Свидетельство о регистрации товарного знака", + "answerB": "Решение о государственной регистрации", + "answerC": "Уведомление о недостоверности сведений", + "answerD": "Документ об уплате государственной пошлины", + "correct_answer": "B", + "choices": [ + "В случае публичного размещения облигаций и иных эмиссионных ценных бумаг", + "с 1 января 2018 года", + "На основании жалобы физического лица", + "Уведомление о недостоверности сведений", + "Свидетельство о регистрации товарного знака", + "Один месяц со дня получения постановления судебного пристава-исполнителя", + "Документ об уплате государственной пошлины", + "Решение о государственной регистрации", + "Стратегия научно-технического развития Российской Федерации", + "На основании рекомендации коммерческой организации", + "с 1 января 2015 года", + "При участии в международных проектах" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакой документ является основанием для постановки юридического лица или индивидуального предпринимателя на учет в налоговом органе, в соответствии с Федеральным законом \"О государственной регистрации юридических лиц и индивидуальных предпринимателей\" N 129-ФЗ?\nA. В случае публичного размещения облигаций и иных эмиссионных ценных бумаг\nB. с 1 января 2018 года\nC. На основании жалобы физического лица\nD. Уведомление о недостоверности сведений\nE. Свидетельство о регистрации товарного знака\nF. Один месяц со дня получения постановления судебного пристава-исполнителя\nG. Документ об уплате государственной пошлины\nH. Решение о государственной регистрации\nI. Стратегия научно-технического развития Российской Федерации\nJ. На основании рекомендации коммерческой организации\nK. с 1 января 2015 года\nL. При участии в международных проектах\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 196, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0026786394882947206, + "B": 0.07353849709033966, + "C": 0.003661265829578042, + "D": 0.011277493089437485, + "E": 0.05054221674799919, + "F": 0.6157302260398865, + "G": 0.03936231508851051, + "H": 0.04460335150361061, + "I": 0.0008696268778294325, + "J": 0.030655402690172195, + "K": 0.00995235238224268, + "L": 0.07353849709033966 + }, + "sample": { + "question": "На каком основании антимонопольный орган выдает предписание о прекращении нарушения законодательства Российской Федерации о рекламе?", + "answerA": "На основании жалобы физического лица", + "answerB": "На основании рекомендации коммерческой организации", + "answerC": "На основании решения суда", + "answerD": "На основании решения антимонопольного органа о признании рекламы ненадлежащей", + "correct_answer": "answerD", + "choices": [ + "Федеральная целевая программа", + "В случае публичного размещения облигаций и иных эмиссионных ценных бумаг", + "Стратегия научно-технического развития Российской Федерации", + "На основании рекомендации коммерческой организации", + "Один месяц со дня получения постановления судебного пристава-исполнителя", + "На основании решения антимонопольного органа о признании рекламы ненадлежащей", + "Принятие решений о внесении изменений в устав негосударственного пенсионного фонда.", + "На основании решения суда", + "с 1 января 2015 года", + "с 1 января 2018 года", + "При участии в международных проектах", + "На основании жалобы физического лица" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nНа каком основании антимонопольный орган выдает предписание о прекращении нарушения законодательства Российской Федерации о рекламе?\nA. Федеральная целевая программа\nB. В случае публичного размещения облигаций и иных эмиссионных ценных бумаг\nC. Стратегия научно-технического развития Российской Федерации\nD. На основании рекомендации коммерческой организации\nE. Один месяц со дня получения постановления судебного пристава-исполнителя\nF. На основании решения антимонопольного органа о признании рекламы ненадлежащей\nG. Принятие решений о внесении изменений в устав негосударственного пенсионного фонда.\nH. На основании решения суда\nI. с 1 января 2015 года\nJ. с 1 января 2018 года\nK. При участии в международных проектах\nL. На основании жалобы физического лица\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 184, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.10455678403377533, + "B": 0.13425356149673462, + "C": 0.13425356149673462, + "D": 0.07186075299978256, + "E": 0.17238499224185944, + "F": 0.049389127641916275, + "G": 0.0814289078116417, + "H": 0.049389127641916275, + "I": 0.019341059029102325, + "J": 0.05596521124243736, + "K": 0.01173094566911459, + "L": 0.009136069566011429 + }, + "sample": { + "question": "Когда утратила силу статья 7.1 Федерального закона 'О рынке ценных бумаг' N 39-ФЗ?", + "answerA": "с 1 января 2015 года", + "answerB": "с 1 января 2018 года", + "answerC": "с 1 января 2020 года", + "answerD": "с 1 января 2022 года", + "correct_answer": "с 1 января 2020 года", + "choices": [ + "Только на коммерческие организации", + "Принятие решений о внесении изменений в устав негосударственного пенсионного фонда.", + "Два месяца со дня получения постановления судебного пристава-исполнителя", + "с 1 января 2022 года", + "с 1 января 2015 года", + "Стратегия научно-технического развития Российской Федерации", + "Один месяц со дня получения постановления судебного пристава-исполнителя", + "с 1 января 2018 года", + "с 1 января 2020 года", + "В случае публичного размещения облигаций и иных эмиссионных ценных бумаг", + "При участии в международных проектах", + "Федеральная целевая программа" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКогда утратила силу статья 7.1 Федерального закона 'О рынке ценных бумаг' N 39-ФЗ?\nA. Только на коммерческие организации\nB. Принятие решений о внесении изменений в устав негосударственного пенсионного фонда.\nC. Два месяца со дня получения постановления судебного пристава-исполнителя\nD. с 1 января 2022 года\nE. с 1 января 2015 года\nF. Стратегия научно-технического развития Российской Федерац��и\nG. Один месяц со дня получения постановления судебного пристава-исполнителя\nH. с 1 января 2018 года\nI. с 1 января 2020 года\nJ. В случае публичного размещения облигаций и иных эмиссионных ценных бумаг\nK. При участии в международных проектах\nL. Федеральная целевая программа\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 198, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0038686299230903387, + "B": 0.009878893382847309, + "C": 0.5393692851066589, + "D": 0.026853615418076515, + "E": 0.012684750370681286, + "F": 0.02369823306798935, + "G": 0.17510756850242615, + "H": 0.011194252409040928, + "I": 0.001108381082303822, + "J": 0.005991851910948753, + "K": 0.056849103420972824, + "L": 0.0003830462519545108 + }, + "sample": { + "question": "Согласно Федеральному закону \"Об обществах с ограниченной ответственностью\" (ООО) № 14-ФЗ, в каком случае общество обязано раскрывать годовые отчеты и годовую бухгалтерскую (финансовую) отчетность?", + "answerA": "При участии в международных проектах", + "answerB": "В случае публичного размещения облигаций и иных эмиссионных ценных бумаг", + "answerC": "При изменении учредительных документов общества", + "answerD": "Ежеквартально, независимо от деятельности", + "correct_answer": "B", + "choices": [ + "Ежеквартально, независимо от деятельности", + "Министерство иностранных дел", + "При участии в международных проектах", + "Два месяца со дня получения постановления судебного пристава-исполнителя", + "Только на коммерческие организации", + "Принятие решений о внесении изменений в устав негосударственного пенсионного фонда.", + "В случае публичного размещения облигаций и иных эмиссионных ценных бумаг", + "Федеральная целевая программа", + "Принятие решений о внесении изменений в федеральное законодательство.", + "При изменении учредительных документов общества", + "Один месяц со дня получения постановления судебного пристава-исполнителя", + "Стратегия научно-технического развития Российской Федерации" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nСогласно Федеральному закону \"Об обществах с ограниченной ответственностью\" (ООО) № 14-ФЗ, в каком случае общество обязано раскрывать годовые отчеты и годовую бухгалтерскую (финансовую) отчетность?\nA. Ежеквартально, независимо от деятельности\nB. Министерство иностранных дел\nC. При участии в международных проектах\nD. Два месяца со дня получения постановления судебного пристава-исполнителя\nE. Только на коммерческие организации\nF. Принятие решений о внесении изменений в устав негосударственного пенсионного фонда.\nG. В случае публичного размещения облигаций и иных эмиссионных ценных бумаг\nH. Федеральная целевая программа\nI. Принятие решений о внесении изменений в федеральное законодательство.\nJ. При изменении учредительных документов общества\nK. Один месяц со дня получения постановления судебного пристава-исполнителя\nL. Стратегия научно-технического развития Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 213, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0016367656644433737, + "B": 0.02122589945793152, + "C": 0.0012747143628075719, + "D": 0.01067305263131857, + "E": 0.06538037210702896, + "F": 0.009418935514986515, + "G": 0.01209415402263403, + "H": 0.03499559313058853, + "I": 0.0028726132586598396, + "J": 0.6203117370605469, + "K": 0.02122589945793152, + "L": 0.13841025531291962 + }, + "sample": { + "question": "Что является основой для разработки государственных программ субъекта Российской Федерации?", + "answerA": "Стратегия научно-технического развития Российской Федерации", + "answerB": "Федеральная целевая программа", + "answerC": "Стратегия социально-экономического развития субъекта Российской Федерации", + "answerD": "Стратегия инновационного развития Российской Федерации", + "correct_answer": "Стратегия социально-экономического развития субъекта Российской Федерации", + "choices": [ + "Только деньгами", + "Принятие решений о внесении изменений в федеральное законодательство.", + "Два месяца со дня получения постановления судебного пристава-исполнителя", + "Стратегия научно-технического развития Российской Федерации", + "Стратегия инновационного развития Российской Федерации", + "Принятие решений о внесении изменений в устав негосударственного пенсионного фонда.", + "Только на государственные и муниципальные учреждения", + "Министерство иностранных дел", + "Только на коммерческие организации", + "Стратегия социально-экономического развития субъекта Российской Федерации", + "Один месяц со дня получения постановления судебного пристава-исполнителя", + "Федеральная целевая программа" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nЧто является основой для разработки государственных программ субъекта Российской Федерации?\nA. Только деньгами\nB. Принятие решений о внесении изменений в федеральное законодательство.\nC. Два месяца со дня получения постановления судебного пристава-исполнителя\nD. Стратегия научно-технического развития Российской Федерации\nE. Стратегия инновационного развития Российской Федерации\nF. Принятие решений о внесении изменений в устав негосударственного пенсионного фонда.\nG. Только на государственные и муниципальные учреждения\nH. Министерство иностранных дел\nI. Только на коммерческие организации\nJ. Стратегия социально-экономического развития субъекта Российской Федерации\nK. Один месяц со дня получения постановления судебного пристава-исполнителя\nL. Федеральная целевая программа\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 166, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.03322911635041237, + "B": 0.2455318123102188, + "C": 0.06208016350865364, + "D": 0.042667027562856674, + "E": 0.07971251010894775, + "F": 0.16875138878822327, + "G": 0.1314237117767334, + "H": 0.14892257750034332, + "I": 0.006146769039332867, + "J": 0.015696322545409203, + "K": 0.007414418272674084, + "L": 0.010134308598935604 + }, + "sample": { + "question": "Какой срок установлен для повторного выставления заявки на продажу ценных бумаг на организованных торгах согласно ст. 89 Федерального закона 'Об исполнительном производстве' N 229-ФЗ?", + "answerA": "Один месяц со дня получения постановления судебного пристава-исполнителя", + "answerB": "Два месяца со дня получения постановления судебного пристава-исполнителя", + "answerC": "Три месяца со дня получения постановления судебного пристава-исполнителя", + "answerD": "Четыре месяца со дня получения постановления судебного пристава-исполнителя", + "correct_answer": "B", + "choices": [ + "Принятие решений о внесении изменений в устав негосударственного пенсионного фонда.", + "Два месяца со дня получения постановления судебного пристава-исполнителя", + "Только на государственные и муниципальные учреждения", + "Только деньгами", + "Только средства федерального бюджета", + "Только на коммерческие организации", + "Четыре месяца со дня получения постановления судебного пристава-исполнителя", + "Три месяца со дня получения постановления судебного пристава-исполнителя", + "Один месяц со дня получения постановления судебного пристава-исполнителя", + "Министерство иностранных дел", + "Принятие решений о внесении изменений в федеральное законодательство.", + "Федеральный орган исполнительной власти в сфере образования" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКакой срок установлен для повторного выставления заявки на продажу ценных бумаг на организованных торгах согласно ст. 89 Федерального закона 'Об исполнительном производстве' N 229-ФЗ?\nA. Принятие решений о внесении изменений в устав негосударственного пенсионного фонда.\nB. Два месяца со дня получения постановления судебного пристава-исполнителя\nC. Только на государственные и муниципальные учреждения\nD. Только деньгами\nE. Только средства федерального бюджета\nF. Только на коммерческие организации\nG. Четыре месяца со дня получения постановления судебного пристава-исполнителя\nH. Три месяца со дня получения постановления судебного пристава-исполнителя\nI. Один месяц со дня получения постановления судебного пристава-исполнителя\nJ. Министерство иностранных дел\nK. Принятие решений о внесении изменений в федеральное законодательство.\nL. Федеральный орган исполнительной власти в сфере образования\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 201, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.001267006853595376, + "B": 0.004707501269876957, + "C": 0.0015283020911738276, + "D": 0.044663529843091965, + "E": 0.016430795192718506, + "F": 0.0032354153227061033, + "G": 0.005011109169572592, + "H": 0.8970909714698792, + "I": 0.001267006853595376, + "J": 0.001267006853595376, + "K": 0.003039391478523612, + "L": 0.002855244092643261 + }, + "sample": { + "question": "На кого распространяется действие Федерального закона \"О бухгалтерском учете\" N 402-ФЗ согласно Статье 2?", + "answerA": "Только на коммерческие организации", + "answerB": "Только на государственные и муниципальные учреждения", + "answerC": "На индивидуальных предпринимателей, нотариусов и адвокатов", + "answerD": "На всех перечисленных выше, а также на международные организации и их подразделения на территории РФ, если иное не предусмотрено международными договорами Российской Федерации", + "correct_answer": "answerD", + "choices": [ + "Только средства Фонда пенсионного и социального страхования Российской Федерации", + "На индивидуальных предпринимателей, нотариусов и адвокатов", + "Таможенный орган должен выдать разрешение на отзыв или отказать в течение трех рабочих дней.", + "Деньгами, ценными бумагами, другими вещами или имущественными правами", + "Только средства федерального бюджета", + "Только деньгами", + "Министерство иностранных дел", + "На всех перечисленных выше, а также на международные организации и их подразделения на территории РФ, если иное не предусмотрено международными договорами Российской Федерации", + "Федеральный орган исполнительной власти в сфере образования", + "Только на коммерческие организации", + "Подписание международного договора по вопросам таможенного регулирования", + "Только на государственные и муниципальные учреждения" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nНа кого распространяется действие Федерального закона \"О бухгалтерском учете\" N 402-ФЗ согласно Статье 2?\nA. Только средства Фонда пенсионного и социального страхования Российской Федерации\nB. На индивидуальных предпринимателей, нотариусов и адвокатов\nC. Таможенный орган должен выдать разрешение на отзыв или отказать в течение трех рабочих дней.\nD. Деньгами, ценными бумагами, другими вещами или имущественными правами\nE. Только средства федерального бюджета\nF. Только деньгами\nG. Министерство иностранных дел\nH. На всех перечисленных выше, а также на международные организации и их подразделения на территории РФ, если иное не предусмотрено международными договорами Российской Федерации\nI. Федеральный орган исполнительной власти в сфере образования\nJ. Только на коммерческие организации\nK. Подписание международного договора по вопросам таможенного регулирования\nL. Только на государственные и муниципальные учреждения\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 198, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.003796585835516453, + "B": 0.03602100536227226, + "C": 0.019280653446912766, + "D": 0.04081714153289795, + "E": 0.02805318497121334, + "F": 0.05938859283924103, + "G": 0.05241025239229202, + "H": 0.02805318497121334, + "I": 0.0070929559879004955, + "J": 0.18292975425720215, + "K": 0.43882566690444946, + "L": 0.014106028713285923 + }, + "sample": { + "question": "Кто осуществляет передачу иностранного гражданина Российской Федерацией иностранному государству в соответствии с международным договором Российской Федерации о реадмиссии?", + "answerA": "Министерство иностранных дел", + "answerB": "Федеральный орган исполнительной власти в сфере образования", + "answerC": "Федеральный орган исполнительной власти в сфере внутренних дел", + "answerD": "Российская гвардия", + "correct_answer": "Федеральный орган исполнительной власти в сфере внутренних дел", + "choices": [ + "Таможенный орган обязан выдать разрешение на отзыв или отказать в отзыве не позднее одного рабочего дня, следующего за днем регистрации обращения.", + "Деньгами, ценными бумагами, другими вещами или имущественными правами", + "Обращение взыскания на имущество должника может быть осуществлено только судом, без участия судебных приставов.", + "Только средства Фонда пенсионного и социального страхования Российской Федерации", + "Таможенный орган должен выдать разрешение на отзыв или отказать в течение трех рабочих дней.", + "Федеральный орган исполнительной власти в сфере внутренних дел", + "Российская гвардия", + "Только деньгами", + "Федеральный орган исполнительной власти в сфере образования", + "Подписание международного договора по вопросам таможенного регулирования", + "Министерство иностранных дел", + "Только средства федерального бюджета" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКто осуществляет передачу иностранного гражданина Российской Федерацией иностранному государству в соответствии с международным договором Российской Федерации о реадмиссии?\nA. Таможенный орган обязан выдать разрешение на отзыв или отказать в отзыве не позднее одного рабочего дня, следующего за днем регистрации обращения.\nB. Деньгами, ценными бумагами, другими вещами или имущественными правами\nC. Обращение взыскания на имущество должника может быть осуществлено только судом, без участия судебных приставов.\nD. Только средства Фонда пенсионного и социального страхования Российской Федерации\nE. Таможенный орган должен выдать разрешение на отзыв или отказать в течение трех рабочих дней.\nF. Федеральный орган исполнительной власти в сфере внутренних дел\nG. Российская гвардия\nH. Только деньгами\nI. Федеральный орган исполнительной власти в сфере образования\nJ. Подписание международного договора по вопросам таможенного регулирования\nK. Министерство и��остранных дел\nL. Только средства федерального бюджета\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 199, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.003068613586947322, + "B": 0.0011288798414170742, + "C": 0.005385584197938442, + "D": 0.00475276168435812, + "E": 0.012919344939291477, + "F": 0.0005009373999200761, + "G": 0.0009962329640984535, + "H": 0.006102666724473238, + "I": 0.905716061592102, + "J": 0.002882695756852627, + "K": 0.0007288596243597567, + "L": 0.00017311931878793985 + }, + "sample": { + "question": "Чем можно оплатить доли в уставном капитале ООО согласно Федеральному закону 'Об обществах с ограниченной ответственностью' (ООО) N 14-ФЗ, Статье 15?", + "answerA": "Только деньгами", + "answerB": "Деньгами, ценными бумагами, другими вещами или имущественными правами", + "answerC": "Исключительно недвижимостью", + "answerD": "Только имущественными правами", + "correct_answer": "B", + "choices": [ + "Исключительно недвижимостью", + "Привлечение владельца таможенного склада к административной ответственности за административное правонарушение, предусмотренное частью 2 статьи 16.23 Кодекса Российской Федерации об административных правонарушениях", + "Таможенный орган обязан выдать разрешение на отзыв или отказать в отзыве не позднее одного рабочего дня, следующего за днем регистрации обращения.", + "Подписание международного договора по вопросам таможенного регулирования", + "Только деньгами", + "Обращение взыскания на имущество должника может быть осуществлено только судом, без участия судебных приставов.", + "Только средства Фонда пенсионного и социального страхования Российской Федерации", + "Только имущественными правами", + "Деньгами, ценными бумагами, другими вещами или имущественными правами", + "Статьи 1 - 85, части 1 - 7 и 9 - 13 статьи 86, статьи 87, 96 - 115", + "Таможенный орган должен выдать разрешение на отзыв или отказать в течение трех рабочих дней.", + "Только средства федерального бюджета" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nЧем можно оплатить доли в уставном капитале ООО согласно Федеральному закону 'Об обществах с ограниченной ответственностью' (ООО) N 14-ФЗ, Статье 15?\nA. Исключительно недвижимостью\nB. Привлечение владельца таможенного склада к административной ответственности за административное правонарушение, предусмотренное частью 2 статьи 16.23 Кодекса Российской Федерации об административных правонарушениях\nC. Таможенный орган обязан выдать разрешение на отзыв или отказать в отзыве не позднее одного рабочего дня, следующего за днем регистрации обращения.\nD. Подписание международного договора по вопросам таможенного регулирования\nE. Только деньгами\nF. Обращение взыскания на имущество должника может быть осуществлено только судом, без участия судебных приставов.\nG. Только средства Фонда пенсионного и социального страхования Российской Федерации\nH. Только имущественными правами\nI. Деньгами, ценными бумагами, другими вещами или имущественными правами\nJ. Статьи 1 - 85, части 1 - 7 и 9 - 13 статьи 86, статьи 87, 96 - 115\nK. Таможенный орган должен выдать разрешение на отзыв или отказать в течение трех рабочих дней.\nL. Только средства федерального бюджета\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 285, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0036101415753364563, + "B": 0.0008055315120145679, + "C": 0.007642670068889856, + "D": 0.004934479016810656, + "E": 0.6071324944496155, + "F": 0.0023308827076107264, + "G": 0.011120019480586052, + "H": 0.0021896616090089083, + "I": 0.001705310307443142, + "J": 0.0018152933334931731, + "K": 0.007642670068889856, + "L": 3.767520684050396e-05 + }, + "sample": { + "question": "Какие источники финансирования предусмотрены для выплаты государственных пособий гражданам, имеющим детей, согласно статье 4 Федерального закона 'О государственных пособиях гражданам, имеющим детей' N 81-ФЗ?", + "answerA": "Только средства федерального бюджета", + "answerB": "Только средства Фонда пенсионного и социального страхования Российской Федерации", + "answerC": "Средства Фонда пенсионного и социального страхования и федерального бюджета, межбюджетных трансфертов из федерального бюджета, бюджетных ассигнований бюджетов субъектов Российской Федерации", + "answerD": "Только личные средства граждан", + "correct_answer": "Средства Фонда пенсионного и социального страхования и федерального бюджета, межбюджетных трансфертов из федерального бюджета, бюджетных ассигнований бюджетов субъектов Российской Федерации", + "choices": [ + "Только средства Фонда пенсионного и социального страхования Российской Федерации", + "Таможенный орган должен выдать разрешение на отзыв или отказать в течение трех рабочих дней.", + "Статьи 1 - 85, части 1 - 7 и 9 - 13 статьи 86, статьи 87, 96 - 115", + "Подписание международного договора по вопросам таможенного регулирования", + "Средства Фонда пенсионного и социального страхования и федерального бюджета, межбюджетных трансфертов из федерального бюджета, бюджетных ассигнований бюджетов субъектов Российской Федерации", + "Только личные средства граждан", + "Привлечение владельца таможенного склада к административной ответственности за административное правонарушение, предусмотренное частью 2 статьи 16.23 Кодекса Российской Федерации об административных правонарушениях", + "Должник обязан самостоятельно продать свое имущество и передать вырученные средства взыскателю.", + "Обращение взыскания на имущество должника может быть осуществлено только судом, без участия судебных приставов.", + "Сотрудники обеспечиваются бесплатным доступом к медицинским услугам высокой квалификации.", + "Только средства федерального бюджета", + "Таможенный орган обязан выдать разрешение на отзыв или отказать в отзыве не позднее одного рабочего дня, следующего за днем регистрации обращения." + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКакие источники финансирования предусмотрены для выплаты государственных пособий гражданам, имеющим детей, согласно статье 4 Федерального закона 'О государственных пособиях гражданам, имеющим детей' N 81-ФЗ?\nA. Только средства Фонда пенсионного и социального страхования Российской Федерации\nB. Таможенный орган должен выдать разрешение на отзыв или отказать в течение трех рабочих дней.\nC. Статьи 1 - 85, части 1 - 7 и 9 - 13 статьи 86, статьи 87, 96 - 115\nD. Подписание международного договора по вопросам таможенного регулирования\nE. Средства Фонда пенсионного и социального страхования и федерального бюджета, межбюджетных трансфертов из федерального бюджета, бюджетных ассигнований бюджетов субъектов Российской Федерации\nF. Только личные средства граждан\nG. Привлечение владельца таможенного склада к административной ответственности за административное правонарушение, предусмотренное частью 2 статьи 16.23 Кодекса Российской Федерации об административных правонарушениях\nH. Должник обязан самостоятельно продать свое имущество и передать вырученные средства взыскателю.\nI. Обращение взыскания на имущество должника может быть осуществлено только судом, без участия судебных приставов.\nJ. Сотрудники обеспечиваются бесплатным доступом к медицинским услугам высокой квалификации.\nK. Только средства федерального бюджета\nL. Таможенный орган обязан выдать разрешение на отзыв или отказать в отзыве не позднее одного рабочего дня, следующего за днем регистрации обращения.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 323, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0005132153164595366, + "B": 0.0009588124812580645, + "C": 0.003792176954448223, + "D": 0.010308205150067806, + "E": 0.05572563037276268, + "F": 0.012434069067239761, + "G": 0.03829963132739067, + "H": 0.012434069067239761, + "I": 0.013235998339951038, + "J": 0.026322923600673676, + "K": 0.6788771748542786, + "L": 0.0033465842716395855 + }, + "sample": { + "question": "Каков порядок действий таможенного органа при подаче обращения декларанта об отзыве таможенной декларации после выпуска товаров согласно Федеральному закону \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?", + "answerA": "Таможенный орган должен выдать разрешение на отзыв или отказать в течение трех рабочих дней.", + "answerB": "Таможенный орган обязан выдать разрешение на отзыв или отказать в отзыве не позднее одного рабочего дня, следующего за днем регистрации обращения.", + "answerC": "Таможенный орган рассмотрит обращение в течение пяти р��бочих дней.", + "answerD": "Отзыв таможенной декларации после выпуска товаров не допускается.", + "correct_answer": "answerB", + "choices": [ + "Обращение взыскания на имущество должника может быть осуществлено только судом, без участия судебных приставов.", + "Отзыв таможенной декларации после выпуска товаров не допускается.", + "Подписание международного договора по вопросам таможенного регулирования", + "Статьи 1 - 85, части 1 - 7 и 9 - 13 статьи 86, статьи 87, 96 - 115", + "Таможенный орган должен выдать разрешение на отзыв или отказать в течение трех рабочих дней.", + "Сотрудники обеспечиваются бесплатным доступом к медицинским услугам высокой квалификации.", + "Часть 8 статьи 86, статьи 88 - 95", + "Должник обязан самостоятельно продать свое имущество и передать вырученные средства взыскателю.", + "Таможенный орган рассмотрит обращение в течение пяти рабочих дней.", + "Уменьшить налоговую нагрузку на концессионера до предыдущего уровня", + "Таможенный орган обязан выдать разрешение на отзыв или отказать в отзыве не позднее одного рабочего дня, следующего за днем регистрации обращения.", + "Привлечение владельца таможенного склада к административной ответственности за административное правонарушение, предусмотренное частью 2 статьи 16.23 Кодекса Российской Федерации об административных правонарушениях" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКаков порядок действий таможенного органа при подаче обращения декларанта об отзыве таможенной декларации после выпуска товаров согласно Федеральному закону \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?\nA. Обращение взыскания на имущество должника может быть осуществлено только судом, без участия судебных приставов.\nB. Отзыв таможенной декларации после выпуска товаров не допускается.\nC. Подписание международного договора по вопросам таможенного регулирования\nD. Статьи 1 - 85, части 1 - 7 и 9 - 13 статьи 86, статьи 87, 96 - 115\nE. Таможенный орган должен выдать разрешение на отзыв или отказать в течение трех рабочих дней.\nF. Сотрудники обеспечиваются бесплатным доступом к медицинским услугам высокой квалификации.\nG. Часть 8 статьи 86, статьи 88 - 95\nH. Должник обязан самостоятельно продать свое имущество и передать вырученные средства взыскателю.\nI. Таможенный орган рассмотрит обращение в течение пяти рабочих дней.\nJ. Уменьшить налоговую нагрузку на концессионера до предыдущего уровня\nK. Таможенный орган обязан выдать разрешение на отзыв или отказать в отзыве не позднее одного рабочего дня, следующего за днем регистрации обращения.\nL. Привлечение владельца таможенного склада к административной ответственности за административное правонарушение, предусмотренное частью 2 статьи 16.23 Кодекса Российской Федерации об административных правонарушениях\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 342, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.011328024789690971, + "B": 0.01648217812180519, + "C": 0.0034548526164144278, + "D": 0.02717451937496662, + "E": 0.023981429636478424, + "F": 0.005696088541299105, + "G": 0.010641694068908691, + "H": 0.746040403842926, + "I": 0.0014401967637240887, + "J": 0.002230620477348566, + "K": 0.0036776713095605373, + "L": 0.11440900713205338 + }, + "sample": { + "question": "По какому основанию владелец таможенного склада может быть исключен из реестра владельцев таможенных складов в соответствии со статьей 363 Федерального закона \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?", + "answerA": "Подписание международного договора по вопросам таможенного регулирования", + "answerB": "Привлечение владельца таможенного склада к административной ответственности за административное правонарушение, предусмотренное частью 2 статьи 16.23 Кодекса Российской Федерации об административных правонарушениях", + "answerC": "Увеличение числа таможенных складов в регионе", + "answerD": "Проведение государственной инвентаризации таможенных складов", + "correct_answer": "Привлечение владельца таможенного склада к административной ответственности за административное правонарушение, предусмотренное частью 2 статьи 16.23 Кодекса Российской Федерации об административных правонарушениях", + "choices": [ + "Часть 8 статьи 86, статьи 88 - 95", + "Должник обязан самостоятельно продать свое имущество и передать вырученные средства взыскателю.", + "Проведение государственной инвентаризации таможенных складов", + "Статьи 1 - 85, части 1 - 7 и 9 - 13 статьи 86, статьи 87, 96 - 115", + "Предоставление государственных гарантий по кредитам и займам субъектов малого и среднего предпринимательства", + "Обращение взыскания на имущество должника может быть осуществлено только судом, без участия судебных приставов.", + "Подписание международного договора по вопросам таможенного регулирования", + "Привлечение владельца таможенного склада к административной ответственности за административное правонарушение, предусмотренное частью 2 статьи 16.23 Кодекса Российской Федерации об административных правонарушениях", + "Сотрудники предоставляются виллами на побережье для отдыха раз в два года.", + "Увеличение числа таможенных складов в регионе", + "Уменьшить налоговую нагрузку на концессионера до предыдущего уровня", + "Сотрудники обеспечиваются бесплатным доступом к медицинским услугам высокой квалификации." + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nПо какому основанию владелец таможенного склада может быть исключен из реестра владельцев таможенных складов в соответствии со статьей 363 Федерального закона \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?\nA. Часть 8 статьи 86, статьи 88 - 95\nB. Должник обязан самостоятельно продать свое имущество и передать вырученные средства взыскателю.\nC. Проведение государственной инвентаризации таможенных складов\nD. Статьи 1 - 85, части 1 - 7 и 9 - 13 статьи 86, статьи 87, 96 - 115\nE. Предоставление государственных гарантий по кредитам и займам субъектов малого и среднего предпринимательства\nF. Обращение взыскания на имущество должника может быть осуществлено только судом, без участия судебных приставов.\nG. Подписание международного договора по вопросам таможенного регулирования\nH. Привлечение владельца таможенного склада к административной ответственности за административное правонарушение, предусмотренное частью 2 статьи 16.23 Кодекса Российской Федерации об административных правонарушениях\nI. Сотрудники предоставляются виллами на побережье для отдыха раз в два года.\nJ. Увеличение числа таможенных складов в регионе\nK. Уменьшить налоговую нагрузку на концессионера до предыдущего уровня\nL. Сотрудники обеспечиваются бесплатным доступом к медицинским услугам высокой квалификации.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 330, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0011363038793206215, + "B": 0.04538949951529503, + "C": 0.01078095193952322, + "D": 0.04005609080195427, + "E": 0.025862157344818115, + "F": 0.38004162907600403, + "G": 0.04005609080195427, + "H": 0.05143304169178009, + "I": 0.0004736819537356496, + "J": 0.012216418981552124, + "K": 0.024295248091220856, + "L": 0.2959767282009125 + }, + "sample": { + "question": "В соответствии со статьей 69 Федерального закона 'Об исполнительном производстве' № 229-ФЗ, какой порядок обращения взыскания на имущество должника является правильным?", + "answerA": "Обращение взыскания на имущество должника может быть осуществлено только судом, без участия судебных приставов.", + "answerB": "Должник обязан самостоятельно продать свое имущество и передать вырученные средства взыскателю.", + "answerC": "Обращение взыскания на имущество должника включает изъятие имущества и (или) его реализацию, осуществляемую должником самостоятельно, или принудительную реализацию либо передачу взыскателю.", + "answerD": "Взыскание может быть обращено только на денежные средства и ценные бумаги должника.", + "correct_answer": "C", + "choices": [ + "Сотрудники предоставляются виллами на побережье для отдыха раз в два года.", + "Предоставление государственных гарантий по кредитам и займам субъектов малого и среднего предпринимательства", + "Обеспечить окупаемость инвестиций концессионера и получение им валовой выручки в объеме, изначально определенном концессионным соглашением", + "Часть 8 статьи 86, статьи 88 - 95", + "Должник обязан самостоятельно продать свое имущество и передать вырученные средства взыскателю.", + "Обращение взыскания на имущество должника включает изъятие имущества и (или) его реализацию, осуществляемую должником самостоятельно, или принудительную реализацию либо передачу взыскателю.", + "На срок до одного месяца", + "Уменьшить налоговую нагрузку на концессионера до предыдущего уровня", + "Взыскание может быть обращено только на денежные средства и ценные бумаги должника.", + "Сотрудники обеспечиваются бесплатным доступом к медицинским услугам высокой квалификации.", + "Статьи 1 - 85, части 1 - 7 и 9 - 13 статьи 86, статьи 87, 96 - 115", + "Обращение взыскания на имущество должника может быть осуществлено только судом, без участия судебных приставов." + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nВ соответствии со статьей 69 Федерального закона 'Об исполнительном производстве' № 229-ФЗ, какой порядок обращения взыскания на имущество должника является правильным?\nA. Сотрудники предоставляются виллами на побережье для отдыха раз в два года.\nB. Предоставление государственных гарантий по кредитам и займам субъектов малого и среднего предпринимательства\nC. Обеспечить окупаемость инвестиций концессионера и получение им валовой выручки в объеме, изначально определенном концессионным соглашением\nD. Часть 8 статьи 86, статьи 88 - 95\nE. Должник обязан самостоятельно продать свое имущество и передать вырученные средства взыскателю.\nF. Обращение взыскания на имущество должника включает изъятие имущества и (или) его реализацию, осуществляемую должником самостоятельно, или принудительную реализацию либо передачу взыскателю.\nG. На срок до одного месяца\nH. Уменьшить налоговую нагрузку на концессионера до предыдущего уровня\nI. Взыскание может быть обращено только на денежные средства и ценные бумаги должника.\nJ. Сотрудники обеспечиваются бесплатным доступом к медицинским услугам высокой квалификации.\nK. Статьи 1 - 85, части 1 - 7 и 9 - 13 статьи 86, статьи 87, 96 - 115\nL. Обращение взыскания на имущество должника может быть осуществлено только судом, без участия судебных приставов.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 315, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.06279533356428146, + "B": 0.017991166561841965, + "C": 0.015877146273851395, + "D": 0.04315855726599693, + "E": 0.1506381779909134, + "F": 0.023101111873984337, + "G": 0.03361191973090172, + "H": 0.08063080906867981, + "I": 0.24836036562919617, + "J": 0.1329377293586731, + "K": 0.03808729723095894, + "L": 0.055416692048311234 + }, + "sample": { + "question": "Какие положения Федерального закона от 27 ноября 2010 года N 311-ФЗ \"О таможенном регулировании в Российской Федерации\" утратили силу с 1 января 2020 года в соответствии с Федеральным законом N 289-ФЗ?", + "answerA": "Статьи 1 - 85, части 1 - 7 и 9 - 13 статьи 86, статьи 87, 96 - 115", + "answerB": "Часть 8 статьи 86, статьи 88 - 95", + "answerC": "Статьи 118, 119, части 1 - 3 статьи 120, статьи 123 - 127", + "answerD": "Статьи 130 - 146, 150 - 322.1", + "correct_answer": "answerB", + "choices": [ + "Уменьшить налоговую нагрузку на концессионера до предыдущего уровня", + "На срок до одного месяца", + "Сотрудники предоставляются виллами на побережье для отдыха раз в два года.", + "Организация бизнес-семинаров и тренингов для руководителей субъектов малого и среднего предпринимательства", + "Лицензия на право заниматься таможенным делом", + "Статьи 118, 119, части 1 - 3 статьи 120, статьи 123 - 127", + "Обеспечить окупаемость инвестиций концессионера и получение им валовой выручки в объеме, изначально определенном концессионным соглашением", + "Часть 8 статьи 86, статьи 88 - 95", + "Статьи 130 - 146, 150 - 322.1", + "Сотрудники обеспечиваются бесплатным доступом к медицинским услугам высокой квалификации.", + "Предоставление государственных гарантий по кредитам и займам субъектов малого и среднего предпринимательства", + "Статьи 1 - 85, части 1 - 7 и 9 - 13 статьи 86, статьи 87, 96 - 115" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакие положения Федерального закона от 27 ноября 2010 года N 311-ФЗ \"О таможенном регулировании в Российской Федерации\" утратили силу с 1 января 2020 года в соответствии с Федеральным законом N 289-ФЗ?\nA. Уменьшить налоговую нагрузку на концессионера до предыдущего уровня\nB. На срок до одного месяца\nC. Сотрудники предоставляются виллами на побережье для отдыха раз в два года.\nD. Организация бизнес-семинаров и тренингов для руководителей субъектов малого и среднего предпринимательства\nE. Лицензия на право заниматься таможенным делом\nF. Статьи 118, 119, части 1 - 3 статьи 120, статьи 123 - 127\nG. Обеспечить окупаемость инвестиций концессионера и получение им валовой выручки в объеме, изначально определенном концессионным соглашением\nH. Часть 8 статьи 86, статьи 88 - 95\nI. Статьи 130 - 146, 150 - 322.1\nJ. Сотрудники обеспечиваются бесплатным доступом к медицинским услугам высокой квалификации.\nK. Предоставление государственных гарантий по кредитам и займам субъектов малого и среднего предпринимательства\nL. Статьи 1 - 85, части 1 - 7 и 9 - 13 статьи 86, статьи 87, 96 - 115\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 344, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0290642399340868, + "B": 0.5151759386062622, + "C": 0.017628351226449013, + "D": 0.017628351226449013, + "E": 0.24335190653800964, + "F": 0.012115777470171452, + "G": 0.013728974387049675, + "H": 0.009435776621103287, + "I": 0.002539604902267456, + "J": 0.015556965954601765, + "K": 0.0017454432090744376, + "L": 0.0010586647549644113 + }, + "sample": { + "question": "Какие меры социальной защиты предусмотрены для сотрудников органов принудительного исполнения согласно Федеральному закону \"О судебных приставах\" N 118-ФЗ, Статье 21?", + "answerA": "Сотрудники обеспечиваются бесплатным доступом к медицинским услугам высокой квалификации.", + "answerB": "Сотрудники предоставляются виллами на побережье для отдыха раз в два года.", + "answerC": "Сотрудникам, использующим личный транспорт в служебных целях, выплачивается денежная компенсация в установленных размерах.", + "answerD": "Всем сотрудникам ежемесячно выплачивается дополнительная премия за безупречную службу.", + "correct_answer": "answerC", + "choices": [ + "Сведения о высокодоходных инвестициях поставщика", + "Сотрудникам, использующим личный транспорт в служебных целях, выплачивается денежная компенсация в установленных размерах.", + "Сотрудники предоставляются виллами на побережье для отдыха раз в два года.", + "Обеспечить окупаемость инвестиций концессионера и получение им валовой выручки в объеме, изначально определенном концессионным соглашением", + "Сотрудники обеспечиваются бесплатным доступом к медицинским услугам высокой квалификации.", + "Уменьшить налоговую нагрузку на концессионера до предыдущего уровня", + "Предоставление государственных гарантий по кредитам и займам субъектов малого и среднего предпринимательства", + "Всем сотрудникам ежемесячно выплачивается дополнительная премия за безупречную службу.", + "На срок до одного месяца", + "На срок до шести месяцев", + "Организация бизнес-семинаров и тренингов для руководителей субъектов малого и среднего предпринимательства", + "Лицензия на право заниматься таможенным делом" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКакие меры социальной защиты предусмотрены для сотрудников органов принудительного исполнения согласно Федеральному закону \"О судебных приставах\" N 118-ФЗ, Статье 21?\nA. Сведения о высокодоходных инвестициях поставщика\nB. Сотрудникам, использующим личный транспорт в служебных целях, выплачивается денежная компенсация в установленных размерах.\nC. Сотрудники предоставляются виллами на побережье для отдыха раз в два года.\nD. Обеспечить окупаемость инвестиций концессионера и получение им валовой выручки в объеме, изначально определенном концессионным соглашением\nE. Сотрудники обеспечиваются бесплатным доступом к медицинским услугам высокой квалификации.\nF. Уменьшить налоговую нагрузку на концессионера до предыдущего уровня\nG. Предоставление государственных гарантий по кредитам и займам субъектов малого и среднего предпринимательства\nH. Всем сотрудникам ежемесячно выплачивается дополнительная премия за безупречную службу.\nI. На срок до одного месяца\nJ. На срок до шести месяцев\nK. Организация бизнес-семинаров и тренингов для руководителей субъектов малого и среднего предпринимательства\nL. Лицензия на право заниматься таможенным делом\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 256, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.007838267832994461, + "B": 0.011404612101614475, + "C": 0.02130662091076374, + "D": 0.9059805274009705, + "E": 0.006104448810219765, + "F": 0.003941328264772892, + "G": 0.004195522516965866, + "H": 0.001129209529608488, + "I": 0.0007760935695841908, + "J": 0.0012795620132237673, + "K": 0.003267476102337241, + "L": 4.6608045522589236e-05 + }, + "sample": { + "question": "Какие меры должен принять концедент в случае увеличения налоговой нагрузки на концессионера согласно Статье 20 Федерального закона \"О концессионных соглашениях\" N 115-ФЗ?", + "answerA": "Уменьшить налоговую нагрузку на концессионера до предыдущего уровня", + "answerB": "Обеспечить окупаемость инвестиций концессионера и получение им валовой выручки в объеме, изначально определенном концессионным соглашением", + "answerC": "Предоставить концессионеру дополнительные материальные ресурсы", + "answerD": "Полностью возместить концессионеру разницу в налоговой нагрузке", + "correct_answer": "B", + "choices": [ + "Предоставить концессионеру дополнительные материальные ресурсы", + "Полностью возместить концессионеру разницу в налоговой нагрузке", + "На срок до одного месяца", + "Обеспечить окупаемость инвестиций концессионера и получение им валовой выручки в объеме, изначально определенном концессионным соглашением", + "Договор страхования", + "Предоставление государственных гарантий по кредитам и займам субъектов малого и среднего предпринимательства", + "Сведения о высокодоходных инвестициях поставщика", + "Организация бизнес-семинаров и тренингов для руководителей субъектов малого и среднего предпринимательства", + "На срок до шести месяцев", + "На основании декларации о соответствии.", + "Уменьшить налоговую нагрузку на концессионера до предыдущего уровня", + "Лицензия на право заниматься таможенным делом" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКакие меры должен принять концедент в случае увеличения налоговой нагрузки на концессионера согласно Статье 20 Федерального закона \"О концессионных соглашениях\" N 115-ФЗ?\nA. Предоставить концессионеру дополнительные материальные ресурсы\nB. Полностью возместить концессионеру разницу в налоговой нагрузке\nC. На срок до одного месяца\nD. Обеспечить окупаемость инвестиций концессионера и получение им валовой выручки в объеме, изначально определенном концессионным соглашением\nE. Договор страхования\nF. Предоставление государственных гарантий по кредитам и займам субъектов малого и среднего предпринимательства\nG. Сведения о высокодоходных инвестициях поставщика\nH. Организация бизнес-семинаров и тренингов для руководителей субъектов малого и среднего пре��принимательства\nI. На срок до шести месяцев\nJ. На основании декларации о соответствии.\nK. Уменьшить налоговую нагрузку на концессионера до предыдущего уровня\nL. Лицензия на право заниматься таможенным делом\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 234, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.33409252762794495, + "B": 0.03521309420466423, + "C": 0.013789646327495575, + "D": 0.3785764276981354, + "E": 0.05123474821448326, + "F": 0.027423987165093422, + "G": 0.009477476589381695, + "H": 0.008903264999389648, + "I": 0.003076886059716344, + "J": 0.01216932013630867, + "K": 0.01467900164425373, + "L": 0.006513767410069704 + }, + "sample": { + "question": "Как может осуществляться оказание консультационной поддержки субъектам малого и среднего предпринимательства согласно Федеральному закону \"О развитии малого и среднего предпринимательства в Российской Федерации\" N 209-ФЗ?", + "answerA": "Предоставление государственных гарантий по кредитам и займам субъектов малого и среднего предпринимательства", + "answerB": "Организация бизнес-семинаров и тренингов для руководителей субъектов малого и среднего предпринимательства", + "answerC": "Создание организаций, образующих инфраструктуру поддержки субъектов малого и среднего предпринимательства, и компенсация затрат на оплату консультационных услуг", + "answerD": "Проведение государственных закупок продукции, произведенной субъектами малого и среднего предпринимательства", + "correct_answer": "Создание организаций, образующих инфраструктуру поддержки субъектов малого и среднего предпринимательства, и компенсация затрат на оплату консультационных услуг", + "choices": [ + "Предоставление государственных гарантий по кредитам и займам субъектов малого и среднего предпринимательства", + "На срок до шести месяцев", + "На срок до одного месяца", + "Организация бизнес-семинаров и тренингов для руководителей субъектов малого и среднего предпринимательства", + "На основании декларации о соответствии.", + "Создание организаций, образующих инфраструктуру поддержки субъектов малого и среднего предпринимательства, и компенсация затрат на оплату консультационных услуг", + "Лицензия на право заниматься таможенным делом", + "Проведение государственных закупок продукции, произведенной субъектами малого и среднего предпринимательства", + "Сведения о высокодоходных инвестициях поставщика", + "Договор страхования", + "Информацию о всех заключенных поставщиком контрактах в текущем году", + "Обязан заключить контракт на бирже." + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКак может осуществляться оказание консультационной поддержки субъектам малого и среднего предпринимательства согласно Федеральному закону \"О развитии малого и среднего предпринимательства в Р��ссийской Федерации\" N 209-ФЗ?\nA. Предоставление государственных гарантий по кредитам и займам субъектов малого и среднего предпринимательства\nB. На срок до шести месяцев\nC. На срок до одного месяца\nD. Организация бизнес-семинаров и тренингов для руководителей субъектов малого и среднего предпринимательства\nE. На основании декларации о соответствии.\nF. Создание организаций, образующих инфраструктуру поддержки субъектов малого и среднего предпринимательства, и компенсация затрат на оплату консультационных услуг\nG. Лицензия на право заниматься таможенным делом\nH. Проведение государственных закупок продукции, произведенной субъектами малого и среднего предпринимательства\nI. Сведения о высокодоходных инвестициях поставщика\nJ. Договор страхования\nK. Информацию о всех заключенных поставщиком контрактах в текущем году\nL. Обязан заключить контракт на бирже.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 226, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.014896835200488567, + "B": 0.03573565185070038, + "C": 0.20564447343349457, + "D": 0.11007355898618698, + "E": 0.02167476713657379, + "F": 0.05891812965273857, + "G": 0.06676299124956131, + "H": 0.024560729041695595, + "I": 0.005148208700120449, + "J": 0.03573565185070038, + "K": 0.2330257147550583, + "L": 0.004836294334381819 + }, + "sample": { + "question": "На какой срок может быть приостановлено действие экспериментального правового режима в соответствии с Федеральным законом от 31.07.2020 N 258-ФЗ?", + "answerA": "На срок до одного месяца", + "answerB": "На срок до шести месяцев", + "answerC": "На срок до трех месяцев", + "answerD": "На срок до одного года", + "correct_answer": "На срок до трех месяцев", + "choices": [ + "На срок до шести месяцев", + "На срок до одного месяца", + "Договор страхования", + "На срок до трех месяцев", + "Обязан заключить контракт на бирже.", + "Не позднее трех рабочих дней с даты принятия решения", + "На срок до одного года", + "Информацию о всех заключенных поставщиком контрактах в текущем году", + "Сведения о высокодоходных инвестициях поставщика", + "Лицензия на право заниматься таможенным делом", + "На основании декларации о соответствии.", + "На основании технического паспорта объекта недвижимости, изготовленного до 1 января 2013 года." + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nНа какой срок может быть приостановлено действие экспериментального правового режима в соответствии с Федеральным законом от 31.07.2020 N 258-ФЗ?\nA. На срок до шести месяцев\nB. На срок до одного месяца\nC. Договор страхования\nD. На срок до трех месяцев\nE. Обязан заключить контракт на бирже.\nF. Не позднее трех рабочих дней с даты принятия решения\nG. На срок до одного года\nH. Информацию о всех заключенных поставщиком контрактах в текущем году\nI. Сведения о высокодоходных инвестициях постав��ика\nJ. Лицензия на право заниматься таможенным делом\nK. На основании декларации о соответствии.\nL. На основании технического паспорта объекта недвижимости, изготовленного до 1 января 2013 года.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 188, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.016358502209186554, + "B": 0.06469912827014923, + "C": 0.6955811977386475, + "D": 0.0444670170545578, + "E": 0.012740015052258968, + "F": 0.0068192388862371445, + "G": 0.02380147948861122, + "H": 0.007259042002260685, + "I": 0.0008669689414091408, + "J": 0.0028426814824342728, + "K": 0.008225571364164352, + "L": 0.0003847150946967304 + }, + "sample": { + "question": "Какой документ необходимо предоставить для включения юридического лица в реестр таможенных представителей согласно Федеральному закону \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?", + "answerA": "Лицензия на право заниматься таможенным делом", + "answerB": "Договор страхования", + "answerC": "Справка о налоговой регистрации", + "answerD": "Выписка из ЕГРЮЛ", + "correct_answer": "B", + "choices": [ + "Обязан пригласить к участию других участников вне конкурса.", + "Справка о налоговой регистрации", + "Лицензия на право заниматься таможенным делом", + "Не позднее трех рабочих дней с даты принятия решения", + "Выписка из ЕГРЮЛ", + "Информацию о всех заключенных поставщиком контрактах в текущем году", + "На основании декларации о соответствии.", + "Обязан заключить контракт на бирже.", + "Договор страхования", + "Сведения о высокодоходных инвестициях поставщика", + "14 лет", + "На основании технического паспорта объекта недвижимости, изготовленного до 1 января 2013 года." + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКакой документ необходимо предоставить для включения юридического лица в реестр таможенных представителей согласно Федеральному закону \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?\nA. Обязан пригласить к участию других участников вне конкурса.\nB. Справка о налоговой регистрации\nC. Лицензия на право заниматься таможенным делом\nD. Не позднее трех рабочих дней с даты принятия решения\nE. Выписка из ЕГРЮЛ\nF. Информацию о всех заключенных поставщиком контрактах в текущем году\nG. На основании декларации о соответствии.\nH. Обязан заключить контракт на бирже.\nI. Договор страхования\nJ. Сведения о высокодоходных инвестициях поставщика\nK. 14 лет\nL. На основании технического паспорта объекта недвижимости, изготовленного до 1 января 2013 года.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 204, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.011597730219364166, + "B": 0.024552395567297935, + "C": 0.8130636811256409, + "D": 0.013141950592398643, + "E": 0.0031214868649840355, + "F": 0.002587803639471531, + "G": 0.019121425226330757, + "H": 0.0037652321625500917, + "I": 0.0002562272420618683, + "J": 0.0003290022723376751, + "K": 0.0006964978529140353, + "L": 1.97581230167998e-05 + }, + "sample": { + "question": "Что должен содержать реестр недобросовестных поставщиков согласно Федеральному закону 'О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд' N 44-ФЗ?", + "answerA": "Сведения о высокодоходных инвестициях поставщика", + "answerB": "Информацию о всех заключенных поставщиком контрактах в текущем году", + "answerC": "Наименование, место нахождения поставщика, сведения об уклонении от заключения контракта, дата и основания расторжения контракта, предмет, цена контракта и срок его исполнения", + "answerD": "Личные данные всех сотрудников поставщика, включая домашний адрес и номер телефона", + "correct_answer": "answerC", + "choices": [ + "Обязан пригласить к участию других участников вне конкурса.", + "Информацию о всех заключенных поставщиком контрактах в текущем году", + "Наименование, место нахождения поставщика, сведения об уклонении от заключения контракта, дата и основания расторжения контракта, предмет, цена контракта и срок его исполнения", + "14 лет", + "Не позднее трех рабочих дней с даты принятия решения", + "Личные данные всех сотрудников поставщика, включая домашний адрес и номер телефона", + "Сведения о высокодоходных инвестициях поставщика", + "На основании декларации о соответствии.", + "Обязан заключить контракт на бирже.", + "Не позднее пяти рабочих дней с даты принятия решения", + "На основании технического паспорта объекта недвижимости, изготовленного до 1 января 2013 года.", + "На два года" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nЧто должен содержать реестр недобросовестных поставщиков согласно Федеральному закону 'О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд' N 44-ФЗ?\nA. Обязан пригласить к участию других участников вне конкурса.\nB. Информацию о всех заключенных поставщиком контрактах в текущем году\nC. Наименование, место нахождения поставщика, сведения об уклонении от заключения контракта, дата и основания расторжения контракта, предмет, цена контракта и срок его исполнения\nD. 14 лет\nE. Не позднее трех рабочих дней с даты принятия решения\nF. Личные данные всех сотрудников поставщика, включая домашний адрес и номер телефона\nG. Сведения о высокодоходных инвестициях поставщика\nH. На основании декларации о соответствии.\nI. Обязан заключить контракт на бирже.\nJ. Не позднее пяти рабочих дней с даты принятия решения\nK. На основании технического паспорта объекта недвижимости, изготовленного до 1 января 2013 года.\nL. На два года\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 230, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.36456233263015747, + "B": 0.36456233263015747, + "C": 0.04354076460003853, + "D": 0.0813448578119278, + "E": 0.049338147044181824, + "F": 0.005892601329833269, + "G": 0.009715257212519646, + "H": 0.006677192635834217, + "I": 0.0023075758945196867, + "J": 0.0033575030975043774, + "K": 0.0012351564364507794, + "L": 0.0005480973049998283 + }, + "sample": { + "question": "На основании чего указываются сведения о здании или сооружении в техническом плане, если отсутствует разрешение на ввод в эксплуатацию согласно Статье 71 Федерального закона 'О государственной регистрации недвижимости' N 218-ФЗ?", + "answerA": "На основании декларации о соответствии.", + "answerB": "На основании технического паспорта объекта недвижимости, изготовленного до 1 января 2013 года.", + "answerC": "На основании устного согласия инспекции государственного строительного надзора.", + "answerD": "На основании электронной подписи проектного менеджера.", + "correct_answer": "answerB", + "choices": [ + "Не позднее пяти рабочих дней с даты принятия решения", + "На основании декларации о соответствии.", + "Обязан пригласить к участию других участников вне конкурса.", + "Не позднее трех рабочих дней с даты принятия решения", + "На основании технического паспорта объекта недвижимости, изготовленного до 1 января 2013 года.", + "На два года", + "До 15 февраля", + "14 лет", + "На основании устного согласия инспекции государственного строительного надзора.", + "16 лет", + "Обязан заключить контракт на бирже.", + "На основании электронной подписи проектного менеджера." + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nНа основании чего указываются сведения о здании или сооружении в техническом плане, если отсутствует разрешение на ввод в эксплуатацию согласно Статье 71 Федерального закона 'О государственной регистрации недвижимости' N 218-ФЗ?\nA. Не позднее пяти рабочих дней с даты принятия решения\nB. На основании декларации о соответствии.\nC. Обязан пригласить к участию других участников вне конкурса.\nD. Не позднее трех рабочих дней с даты принятия решения\nE. На основании технического паспорта объекта недвижимости, изготовленного до 1 января 2013 года.\nF. На два года\nG. До 15 февраля\nH. 14 лет\nI. На основании устного согласия инспекции государственного строительного надзора.\nJ. 16 лет\nK. Обязан заключить контракт на бирже.\nL. На основании электронной подписи проектного менеджера.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 196, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.02381913922727108, + "B": 0.02381913922727108, + "C": 0.01056967955082655, + "D": 0.06474712491035461, + "E": 0.15532030165195465, + "F": 0.3288130760192871, + "G": 0.05042511969804764, + "H": 0.10674997419118881, + "I": 0.01056967955082655, + "J": 0.05042511969804764, + "K": 0.01974675990641117, + "L": 0.06474712491035461 + }, + "sample": { + "question": "Что может сделать заказчик в случае признания конкурса несостоявшимся по Федеральному закону 'О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд' N 44-ФЗ?", + "answerA": "Обязан заключить контракт на бирже.", + "answerB": "Обязан пригласить к участию других участников вне конкурса.", + "answerC": "Вправе объявить о проведении повторного конкурса или направить документы о проведении конкурса и признании его несостоявшимся в уполномоченные органы.", + "answerD": "Вправе автоматически увеличить финансирование проекта без дополнительных согласований.", + "correct_answer": "Вправе объявить о проведении повторного конкурса или направить документы о проведении конкурса и признании его несостоявшимся в уполномоченные органы.", + "choices": [ + "Обязан пригласить к участию других участников вне конкурса.", + "На три года", + "16 лет", + "14 лет", + "До 15 февраля", + "Вправе объявить о проведении повторного конкурса или направить документы о проведении конкурса и признании его несостоявшимся в уполномоченные органы.", + "Обязан заключить контракт на бирже.", + "На два года", + "Не позднее пяти рабочих дней с даты принятия решения", + "Не позднее трех рабочих дней с даты принятия решения", + "Аудиозапись заявления страхователя", + "Вправе автоматически увеличить финансирование проекта без дополнительных согласований." + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nЧто может сделать заказчик в случае признания конкурса несостоявшимся по Федеральному закону 'О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд' N 44-ФЗ?\nA. Обязан пригласить к участию других участников вне конкурса.\nB. На три года\nC. 16 лет\nD. 14 лет\nE. До 15 февраля\nF. Вправе объявить о проведении повторного конкурса или направить документы о проведении конкурса и признании его несостоявшимся в уполномоченные органы.\nG. Обязан заключить контракт на бирже.\nH. На два года\nI. Не позднее пяти рабочих дней с даты принятия решения\nJ. Не позднее трех рабочих дней с даты принятия решения\nK. Аудиозапись заявления страхователя\nL. Вправе автоматически увеличить финансирование проекта без дополнительных согласований.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 192, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.01633474789559841, + "B": 0.01633474789559841, + "C": 0.050314560532569885, + "D": 0.37177711725234985, + "E": 0.13676917552947998, + "F": 0.03458065912127495, + "G": 0.039185021072626114, + "H": 0.06460516899824142, + "I": 0.12069836258888245, + "J": 0.02376691624522209, + "K": 0.012721513397991657, + "L": 0.057013869285583496 + }, + "sample": { + "question": "Какой срок установлен для органов государственной власти, органов местного самоуправления, Государственной корпорации по атомной энергии 'Росатом' или Государственной корпорации по космической деятельности 'Роскосмос' на направление в орган регистрации прав заявления о государственном кадастровом учете и государственной регистрации прав в случае выдачи разрешения на ввод объекта капитального строительства в эксплуатацию?", + "answerA": "Не позднее трех рабочих дней с даты принятия решения", + "answerB": "Не позднее пяти рабочих дней с даты принятия решения", + "answerC": "Не позднее семи рабочих дней с даты принятия решения", + "answerD": "Не позднее десяти рабочих дней с даты принятия решения", + "correct_answer": "Не позднее пяти рабочих дней с даты принятия решения", + "choices": [ + "16 лет", + "Аудиозапись заявления страхователя", + "До 15 февраля", + "Не позднее десяти рабочих дней с даты принятия решения", + "14 лет", + "На три года", + "Исполнение обязанности по уплате пеней.", + "Не позднее пяти рабочих дней с даты принятия решения", + "Не позднее семи рабочих дней с даты принятия решения", + "На два года", + "До 15 января", + "Не позднее трех рабочих дней с даты принятия решения" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакой срок установлен для органов государственной власти, органов местного самоуправления, Государственной корпорации по атомной энергии 'Росатом' или Государственной корпорации по космической деятельности 'Роскосмос' на направление в орган регистрации прав заявления о государственном кадастровом учете и государственной регистрации прав в случае выдачи разрешения на ввод объекта капитального строительства в эксплуатацию?\nA. 16 лет\nB. Аудиозапись заявления страхователя\nC. До 15 февраля\nD. Не позднее десяти рабочих дней с даты принятия решения\nE. 14 лет\nF. На три года\nG. Исполнение обязанности по уплате пеней.\nH. Не позднее пяти рабочих дней с даты принятия решения\nI. Не позднее семи рабочих дней с даты принятия решения\nJ. На два года\nK. До 15 января\nL. Не позднее трех рабочих дней с даты принятия решения\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 193, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.005337405484169722, + "B": 0.015444294549524784, + "C": 0.007765879388898611, + "D": 0.02885374054312706, + "E": 0.02885374054312706, + "F": 0.023920591920614243, + "G": 0.061083368957042694, + "H": 0.579542875289917, + "I": 0.021109849214553833, + "J": 0.039438389241695404, + "K": 0.0692165270447731, + "L": 0.078432597219944 + }, + "sample": { + "question": "Какой возраст необходим для того, чтобы стать учредителем, членом или участником общественного объединения, согласно Федеральному закону 'Об общественных объединениях' N 82-ФЗ?", + "answerA": "14 лет", + "answerB": "16 лет", + "answerC": "18 лет", + "answerD": "21 год", + "correct_answer": "18 лет", + "choices": [ + "До 15 февраля", + "Исполнение обязанности по уплате пеней.", + "До 15 января", + "Аудиозапись заявления страхователя", + "14 лет", + "Товары становятся объектом налогообложения и должны быть вывезены из РФ в течение 30 дней.", + "Справка налогового органа о доходах страхователя за последний год", + "16 лет", + "На три года", + "На два года", + "21 год", + "18 лет" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКакой возраст необходим для того, чтобы стать учредителем, членом или участником общественного объединения, согласно Федеральному закону 'Об общественных объединениях' N 82-ФЗ?\nA. До 15 февраля\nB. Исполнение обязанности по уплате пеней.\nC. До 15 января\nD. Аудиозапись заявления страхователя\nE. 14 лет\nF. Товары становятся объектом налогообложения и должны быть вывезены из РФ в течение 30 дней.\nG. Справка налогового органа о доходах страхователя за последний год\nH. 16 лет\nI. На три года\nJ. На два года\nK. 21 год\nL. 18 лет\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 169, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.00994267500936985, + "B": 0.018575360998511314, + "C": 0.17623813450336456, + "D": 0.05721614137291908, + "E": 0.039324041455984116, + "F": 0.04455997794866562, + "G": 0.07346698641777039, + "H": 0.021048644557595253, + "I": 0.01446650642901659, + "J": 0.07346698641777039, + "K": 0.290567547082901, + "L": 0.00092481286264956 + }, + "sample": { + "question": "На сколько лет заключается первый контракт о пребывании в резерве согласно Федеральному закону \"О воинской обязанности и военной службе\" N 53-ФЗ?", + "answerA": "На два года", + "answerB": "На три года", + "answerC": "На пять лет", + "answerD": "На один год", + "correct_answer": "answerB", + "choices": [ + "На два года", + "Уплата таможенных платежей в полном объёме одновременно с пенями.", + "До 15 февраля", + "Товары становятся объектом налогообложения и должны быть вывезены из РФ в течение 30 дней.", + "На три года", + "Справка налогового органа о доходах страхователя за последний год", + "Аудиозапись заявления страхователя", + "Информация может быть использована любым государственным органом без ограничений.", + "Исполнение обязанности по уплате пеней.", + "На пять лет", + "На один год", + "До 15 января" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nНа сколько лет заключается первый контракт о пребывании в резерве согласно Федеральному закону \"О воинской обязанности и военной службе\" N 53-ФЗ?\nA. На два года\nB. Уплата таможенных платежей в полном объёме одновременно с пенями.\nC. До 15 февраля\nD. Товары становятся объектом налогообложения и должны быть вывезены из РФ в течение 30 дней.\nE. На три года\nF. Справка налогового органа о доходах страхователя за последний год\nG. Аудиозапи��ь заявления страхователя\nH. Информация может быть использована любым государственным органом без ограничений.\nI. Исполнение обязанности по уплате пеней.\nJ. На пять лет\nK. На один год\nL. До 15 января\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 178, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.007316999603062868, + "B": 0.014551590196788311, + "C": 0.027185950428247452, + "D": 0.02399151585996151, + "E": 0.09488829225301743, + "F": 0.05079004168510437, + "G": 0.10752251744270325, + "H": 0.12183897942304611, + "I": 0.02117243967950344, + "J": 0.1772746592760086, + "K": 0.15644434094429016, + "L": 0.10752251744270325 + }, + "sample": { + "question": "Какой срок установлен для глав муниципальных образований для информирования уполномоченного органа государственной власти субъекта РФ об осуществлении международных и внешнеэкономических связей?", + "answerA": "До 15 февраля", + "answerB": "До 15 января", + "answerC": "До 1 марта", + "answerD": "До 1 февраля", + "correct_answer": "До 15 января", + "choices": [ + "Действие таможенной процедуры свободного склада завершается помещением под таможенные процедуры, предусмотренные Кодексом Союза, за исключением таможенной процедуры таможенного транзита.", + "Информация может быть использована любым государственным органом без ограничений.", + "Товары становятся объектом налогообложения и должны быть вывезены из РФ в течение 30 дней.", + "Аудиозапись заявления страхователя", + "До 1 февраля", + "До 1 марта", + "До 15 января", + "Исполнение обязанности по уплате пеней.", + "Справка налогового органа о доходах страхователя за последний год", + "Уплата таможенных платежей в полном объёме одновременно с пенями.", + "Осуществляется исключительно таможенным представителем.", + "До 15 февраля" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКакой срок установлен для глав муниципальных образований для информирования уполномоченного органа государственной власти субъекта РФ об осуществлении международных и внешнеэкономических связей?\nA. Действие таможенной процедуры свободного склада завершается помещением под таможенные процедуры, предусмотренные Кодексом Союза, за исключением таможенной процедуры таможенного транзита.\nB. Информация может быть использована любым государственным органом без ограничений.\nC. Товары становятся объектом налогообложения и должны быть вывезены из РФ в течение 30 дней.\nD. Аудиозапись заявления страхователя\nE. До 1 февраля\nF. До 1 марта\nG. До 15 января\nH. Исполнение обязанности по уплате пеней.\nI. Справка налогового органа о доходах страхователя за последний год\nJ. Уплата таможенных платежей в полном объёме одновременно с пенями.\nK. Осуществляется исключительно таможенным представителем.\nL. До 15 февраля\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 209, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.009000112302601337, + "B": 0.19243088364601135, + "C": 0.026042688637971878, + "D": 0.05513237416744232, + "E": 0.05513237416744232, + "F": 0.359508216381073, + "G": 0.08021713048219681, + "H": 0.042937133461236954, + "I": 0.0031103554647415876, + "J": 0.03343947231769562, + "K": 0.02951023168861866, + "L": 0.006185680162161589 + }, + "sample": { + "question": "Какие документы необходимы для предоставления отсрочки (рассрочки) по уплате страховых взносов, пеней и штрафов согласно статье 26.4 Федерального закона \"Об обязательном социальном страховании от несчастных случаев на производстве и профессиональных заболеваний\" N 125-ФЗ?", + "answerA": "Аудиозапись заявления страхователя", + "answerB": "Справка налогового органа о доходах страхователя за последний год", + "answerC": "Документы, подтверждающие наличие оснований предоставления отсрочки, указанных в статье 26.2", + "answerD": "Письменное согласие всех сотрудников на отсрочку платежей", + "correct_answer": "answerC", + "choices": [ + "Уплата таможенных платежей в полном объёме одновременно с пенями.", + "Аудиозапись заявления страхователя", + "Товары становятся объектом налогообложения и должны быть вывезены из РФ в течение 30 дней.", + "Действие таможенной процедуры свободного склада завершается помещением под таможенные процедуры, предусмотренные Кодексом Союза, за исключением таможенной процедуры таможенного транзита.", + "Осуществляется исключительно таможенным представителем.", + "Документы, подтверждающие наличие оснований предоставления отсрочки, указанных в статье 26.2", + "Таможенные органы обязаны передать полученную информацию СМИ.", + "Информация может быть использована любым государственным органом без ограничений.", + "Изменение места осуществления лицензируемого вида деятельности", + "Справка налогового органа о доходах страхователя за последний год", + "Письменное согласие всех сотрудников на отсрочку платежей", + "Исполнение обязанности по уплате пеней." + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКакие документы необходимы для предоставления отсрочки (рассрочки) по уплате страховых взносов, пеней и штрафов согласно статье 26.4 Федерального закона \"Об обязательном социальном страховании от несчастных случаев на производстве и профессиональных заболеваний\" N 125-ФЗ?\nA. Уплата таможенных платежей в полном объёме одновременно с пенями.\nB. Аудиозапись заявления страхователя\nC. Товары становятся объектом налогообложения и должны быть вывезены из РФ в течение 30 дней.\nD. Действие таможенной процедуры свободного склада завершается помещением под таможенные процедуры, предусмотренные Кодексом Союза, за исключением таможенной процедуры таможенного транзита.\nE. Осуществляется исключительно таможенным представителем.\nF. Документы, подтверждающие наличие оснований предоставления отсрочки, указанных в статье 26.2\nG. Таможенные органы обязаны передать полученную информацию СМИ.\nH. Информация может быть использована любым государственным органом без ограничений.\nI. Изменение места осуществления лицензируемого вида деятельности\nJ. Справка налогового органа о доходах страхователя за последний год\nK. Письменное согласие всех сотрудников на отсрочку платежей\nL. Исполнение обязанности по уплате пеней.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 272, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.07009842991828918, + "B": 0.058113642036914825, + "C": 0.054592717438936234, + "D": 0.07461939752101898, + "E": 0.06585139036178589, + "F": 0.04525894671678543, + "G": 0.07461939752101898, + "H": 0.054592717438936234, + "I": 0.07009842991828918, + "J": 0.22984391450881958, + "K": 0.07461939752101898, + "L": 0.031105991452932358 + }, + "sample": { + "question": "Какое условие НЕ является основанием для прекращения обязанности по уплате пеней в соответствии со статьёй 72 Федерального закона \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?", + "answerA": "Исполнение обязанности по уплате пеней.", + "answerB": "Уплата таможенных платежей в полном объёме одновременно с пенями.", + "answerC": "Возникновение обстоятельств, с которыми международные договоры и акты связывают прекращение обязанности по уплате таможенных платежей.", + "answerD": "Предоставление отсрочки платежа по кредитам.", + "correct_answer": "Предоставление отсрочки платежа по кредитам.", + "choices": [ + "Уплата таможенных платежей в полном объёме одновременно с пенями.", + "Действие таможенной процедуры свободного склада завершается помещением под таможенные процедуры, предусмотренные Кодексом Союза, за исключением таможенной процедуры таможенного транзита.", + "Товары становятся объектом налогообложения и должны быть вывезены из РФ в течение 30 дней.", + "Осуществляется исключительно таможенным представителем.", + "Изменение места осуществления лицензируемого вида деятельности", + "Предоставление отсрочки платежа по кредитам.", + "Порядок не определен и регулируется внутренними документами перевозчика.", + "Таможенные органы обязаны передать полученную информацию СМИ.", + "Исполнение обязанности по уплате пеней.", + "Информация может быть использована любым государственным органом без ограничений.", + "Имущество, необходимое для личного пользования должностных лиц муниципальных образований", + "Возникновение обстоятельств, с которыми международные договоры и акты связывают прекращение обязанности по уплате таможенных платежей." + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКакое условие НЕ является основанием для прекращения обязанности по уплате пеней в соответствии со статьёй 72 Федерального закона \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?\nA. Уплата таможенных платежей в полном объёме одновременно с пенями.\nB. Действие таможенной процедуры свободного склада завершается помещением под таможенные процедуры, предусмотренные Кодексом Союза, за исключением таможенной процедуры таможенного транзита.\nC. Товары становятся объектом налогообложения и должны быть вывезены из РФ в течение 30 дней.\nD. Осуществляется исключительно таможенным представителем.\nE. Изменение места осуществления лицензируемого вида деятельности\nF. Предоставление отсрочки платежа по кредитам.\nG. Порядок не определен и регулируется внутренними документами перевозчика.\nH. Таможенные органы обязаны передать полученную информацию СМИ.\nI. Исполнение обязанности по уплате пеней.\nJ. Информация может быть использована любым государственным органом без ограничений.\nK. Имущество, необходимое для личного пользования должностных лиц муниципальных образований\nL. Возникновение обстоятельств, с которыми международные договоры и акты связывают прекращение обязанности по уплате таможенных платежей.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 267, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.10496730357408524, + "B": 0.026539893820881844, + "C": 0.05618495121598244, + "D": 0.08174862712621689, + "E": 0.026539893820881844, + "F": 0.0033741688821464777, + "G": 0.014205781742930412, + "H": 0.008094210177659988, + "I": 0.6040451526641846, + "J": 0.018240584060549736, + "K": 0.0029776934534311295, + "L": 0.0004566440766211599 + }, + "sample": { + "question": "Как завершается таможенная процедура свободного склада при ликвидации юридического лица - владельца свободного склада согласно Федеральному закону 'О таможенном регулировании в Российской Федерации' N 289-ФЗ?", + "answerA": "Товары становятся объектом налогообложения и должны быть вывезены из РФ в течение 30 дней.", + "answerB": "Действие таможенной процедуры свободного склада завершается помещением под таможенные процедуры, предусмотренные Кодексом Союза, за исключением таможенной процедуры таможенного транзита.", + "answerC": "Все товары автоматически переходят в собственность государства.", + "answerD": "Товары могут оставаться на складе до выяснения их юридического статуса в течение неопределенного времени.", + "correct_answer": "B", + "choices": [ + "Порядок не определен и регулируется внутренними документами перевозчика.", + "Товары становятся объектом налогообложения и должны быть вывезены из РФ в течение 30 дней.", + "Товары могут оставаться на складе до выяснения их юридического статуса в течение неопределенного времени.", + "Изменение места осуществления лицензируемого вида деятельности", + "Все товары автоматически переходят в собственность государства.", + "Информация может быть использована любым государственным органом без ограничений.", + "Осуществляется исключительно таможенным представителем.", + "Право на получение компенсации морального вреда в случае задержки исполнительных действий", + "Действие таможенной процедуры свободного склада завершается помещением под таможенные процедуры, предусмотренные Кодексом Союза, за исключением таможенной процедуры таможенного транзита.", + "Изменение наименования лицензиата", + "Таможенные органы обязаны передать полученную информацию СМИ.", + "Имущество, необходимое для личного пользования должностных лиц муниципальных образований" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКак завершается таможенная процедура свободного склада при ликвидации юридического лица - владельца свободного склада согласно Федеральному закону 'О таможенном регулировании в Российской Федерации' N 289-ФЗ?\nA. Порядок не определен и регулируется внутренними документами перевозчика.\nB. Товары становятся объектом налогообложения и должны быть вывезены из РФ в течение 30 дней.\nC. Товары могут оставаться на складе до выяснения их юридического статуса в течение неопределенного времени.\nD. Изменение места осуществления лицензируемого вида деятельности\nE. Все товары автоматически переходят в собственность государства.\nF. Информация может быть использована любым государственным органом без ограничений.\nG. Осуществляется исключительно таможенным представителем.\nH. Право на получение компенсации морального вреда в случае задержки исполнительных действий\nI. Действие таможенной процедуры свободного склада завершается помещением под таможенные процедуры, предусмотренные Кодексом Союза, за исключением таможенной процедуры таможенного транзита.\nJ. Изменение наименования лицензиата\nK. Таможенные органы обязаны передать полученную информацию СМИ.\nL. Имущество, необходимое для личного пользования должностных лиц муниципальных образований\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 245, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.8397401571273804, + "B": 0.009328671731054783, + "C": 0.01057076919823885, + "D": 0.011978249996900558, + "E": 0.009328671731054783, + "F": 0.0012624982045963407, + "G": 0.0011141508584842086, + "H": 0.002510777674615383, + "I": 0.0005963619332760572, + "J": 0.0004363077459856868, + "K": 0.0004944014362990856, + "L": 3.81241443392355e-05 + }, + "sample": { + "question": "Каковы условия использования информации, полученной в рамках взаимодействия таможенных органов согласно Федеральному закону \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ, Статье 311?", + "answerA": "Информация может быть использована любым государственным органом без ограничений.", + "answerB": "Таможенные органы обязаны передать полученную информацию СМИ.", + "answerC": "Информация используется исключительно для выполнения задач, возложенных на таможенные органы, и не подлежит передаче иным лицам.", + "answerD": "Информация предоставляется всем лицам, отправившим запрос в таможенные органы.", + "correct_answer": "Информация используется исключительно для выполнения задач, возложенных на таможенные органы, и не подлежит передаче иным лицам.", + "choices": [ + "Информация используется исключительно для выполнения задач, возложенных на таможенные органы, и не подлежит передаче иным лицам.", + "Изменение наименования лицензиата", + "Путем приобретения более 50% акций другой компании на международном аукционе", + "Имущество, необходимое для личного пользования должностных лиц муниципальных образований", + "Информация может быть использована любым государственным органом без ограничений.", + "Таможенные органы обязаны передать полученную информацию СМИ.", + "Право на получение компенсации морального вреда в случае задержки исполнительных действий", + "Осуществляется исключительно таможенным представителем.", + "Порядок не определен и регулируется внутренними документами перевозчика.", + "Имущество, предназначенное для обеспечения деятельности органов местного самоуправления и должностных лиц местного самоуправления, муниципальных служащих, работников муниципальных предприятий и учреждений", + "Информация предоставляется всем лицам, отправившим запрос в таможенные органы.", + "Изменение места осуществления лицензируемого вида деятельности" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКаковы условия использования информации, полученной в рамках взаимодействия таможенных органов согласно Федеральному закону \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ, Статье 311?\nA. Информация используется исключительно для выполнения задач, возложенных на таможенные органы, и не подлежит передаче иным лицам.\nB. Изменение наименования лицензиата\nC. Путем приобретения более 50% акций другой компании на международном аукционе\nD. Имущество, необходимое для личного пользования должностных лиц муниципальных образований\nE. Информация может быть использована любым государственным органом без ограничений.\nF. Таможенные органы обязаны передать полученную информацию СМИ.\nG. Право на получение компенсации морального вреда в случае задержки исполнительных действий\nH. Осуществляется исключительно таможенным представителем.\nI. Порядок не опред��лен и регулируется внутренними документами перевозчика.\nJ. Имущество, предназначенное для обеспечения деятельности органов местного самоуправления и должностных лиц местного самоуправления, муниципальных служащих, работников муниципальных предприятий и учреждений\nK. Информация предоставляется всем лицам, отправившим запрос в таможенные органы.\nL. Изменение места осуществления лицензируемого вида деятельности\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 258, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0010296102846041322, + "B": 0.01942731998860836, + "C": 0.0027987705543637276, + "D": 0.004072187468409538, + "E": 0.0038254656828939915, + "F": 0.005566020030528307, + "G": 0.012543220072984695, + "H": 0.09268255531787872, + "I": 0.0013220456894487143, + "J": 0.08179206401109695, + "K": 0.41537439823150635, + "L": 0.28548237681388855 + }, + "sample": { + "question": "Каким образом осуществляется порядок таможенного декларирования и выпуска транспортных средств международной перевозки согласно Федеральному закону 'О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации' N 289-ФЗ?", + "answerA": "Осуществляется исключительно таможенным представителем.", + "answerB": "Порядок не определен и регулируется внутренними документами перевозчика.", + "answerC": "Определен статьей 278 Кодекса Союза.", + "answerD": "Определяется международными транспортными соглашениями.", + "correct_answer": "C", + "choices": [ + "Порядок не определен и регулируется внутренними документами перевозчика.", + "Определен статьей 278 Кодекса Союза.", + "Путем приобретения более 50% акций другой компании на международном аукционе", + "Имущество, предназначенное для обеспечения деятельности органов местного самоуправления и должностных лиц местного самоуправления, муниципальных служащих, работников муниципальных предприятий и учреждений", + "Право на автоматическое прекращение исполнительного производства после подачи заявления о мировом соглашении", + "Изменение места осуществления лицензируемого вида деятельности", + "Право на получение компенсации морального вреда в случае задержки исполнительных действий", + "Имущество, необходимое для личного пользования должностных лиц муниципальных образований", + "Обеспечивать обучение всех сотрудников таможни не реже одного раза в год.", + "Изменение наименования лицензиата", + "Осуществляется исключительно таможенным представителем.", + "Определяется международными транспортными соглашениями." + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКаким образом осуществляется порядок таможенного декларирования и выпуска транспортных средств международной перевозки согласно Федеральному закону 'О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации' N 289-ФЗ?\nA. Порядок не определен и регулируется внутренними документами перевозчика.\nB. Определен статьей 278 Кодекса Союза.\nC. Путем приобретения более 50% акций другой компании на международном аукционе\nD. Имущество, предназначенное для обеспечения деятельности органов местного самоуправления и должностных лиц местного самоуправления, муниципальных служащих, работников муниципальных предприятий и учреждений\nE. Право на автоматическое прекращение исполнительного производства после подачи заявления о мировом соглашении\nF. Изменение места осуществления лицензируемого вида деятельности\nG. Право на получение компенсации морального вреда в случае задержки исполнительных действий\nH. Имущество, необходимое для личного пользования должностных лиц муниципальных образований\nI. Обеспечивать обучение всех сотрудников таможни не реже одного раза в год.\nJ. Изменение наименования лицензиата\nK. Осуществляется исключительно таможенным представителем.\nL. Определяется международными транспортными соглашениями.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 243, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.07157906144857407, + "B": 0.021830379962921143, + "C": 0.09190933406352997, + "D": 0.02983858808875084, + "E": 0.06316829472780228, + "F": 0.018098020926117897, + "G": 0.05574583262205124, + "H": 0.1515328735113144, + "I": 0.1515328735113144, + "J": 0.06316829472780228, + "K": 0.08110970258712769, + "L": 0.010311940684914589 + }, + "sample": { + "question": "Какие сведения вносятся лицензиатами в реестр лицензий самостоятельно согласно Федеральному закону 'О лицензировании отдельных видов деятельности' N 99-ФЗ?", + "answerA": "Изменение места осуществления лицензируемого вида деятельности", + "answerB": "Изменение наименования лицензиата", + "answerC": "Изменение номера телефона, адреса электронной почты лицензиата", + "answerD": "Изменение реквизитов документа, удостоверяющего личность индивидуального предпринимателя", + "correct_answer": "Изменение номера телефона, адреса электронной почты лицензиата", + "choices": [ + "Путем приобретения более 50% акций другой компании на международном аукционе", + "Через единоличное принятие решения директором без согласия учредителей", + "Изменение реквизитов документа, удостоверяющего личность индивидуального предпринимателя", + "Обеспечивать обучение всех сотрудников таможни не реже одного раза в год.", + "Изменение места осуществления лицензируемого вида деятельности", + "Право на получение компенсации морального вреда в случае задержки исполнительных действий", + "Право на автоматическое прекращение исполнительного производства после подачи заявления о мировом соглашении", + "Имущество, пр��дназначенное для обеспечения деятельности органов местного самоуправления и должностных лиц местного самоуправления, муниципальных служащих, работников муниципальных предприятий и учреждений", + "Изменение номера телефона, адреса электронной почты лицензиата", + "Документ, удостоверяющий личность лица без гражданства для постоянного проживания на территории РФ", + "Имущество, необходимое для личного пользования должностных лиц муниципальных образований", + "Изменение наименования лицензиата" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКакие сведения вносятся лицензиатами в реестр лицензий самостоятельно согласно Федеральному закону 'О лицензировании отдельных видов деятельности' N 99-ФЗ?\nA. Путем приобретения более 50% акций другой компании на международном аукционе\nB. Через единоличное принятие решения директором без согласия учредителей\nC. Изменение реквизитов документа, удостоверяющего личность индивидуального предпринимателя\nD. Обеспечивать обучение всех сотрудников таможни не реже одного раза в год.\nE. Изменение места осуществления лицензируемого вида деятельности\nF. Право на получение компенсации морального вреда в случае задержки исполнительных действий\nG. Право на автоматическое прекращение исполнительного производства после подачи заявления о мировом соглашении\nH. Имущество, предназначенное для обеспечения деятельности органов местного самоуправления и должностных лиц местного самоуправления, муниципальных служащих, работников муниципальных предприятий и учреждений\nI. Изменение номера телефона, адреса электронной почты лицензиата\nJ. Документ, удостоверяющий личность лица без гражданства для постоянного проживания на территории РФ\nK. Имущество, необходимое для личного пользования должностных лиц муниципальных образований\nL. Изменение наименования лицензиата\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 235, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0017575699603185058, + "B": 0.0025572495069354773, + "C": 0.04825175926089287, + "D": 0.8552828431129456, + "E": 0.0021200343035161495, + "F": 0.0017575699603185058, + "G": 0.0010660202242434025, + "H": 0.0003921668976545334, + "I": 7.722224108874798e-05, + "J": 8.220264862757176e-05, + "K": 0.0010014332365244627, + "L": 8.139164492604323e-06 + }, + "sample": { + "question": "Какое имущество может находиться в собственности муниципальных образований согласно статье 50 Федерального закона 'Об общих принципах организации местного самоуправления в РФ' N 131-ФЗ?", + "answerA": "Имущество, необходимое для личного пользования должностных лиц муниципальных образований", + "answerB": "Имущество, предназначенное для обеспечения деятельности органов местного самоуправления и должностных лиц местного самоуправления, муниципальных служащих, работников муниципальных п��едприятий и учреждений", + "answerC": "Имущество, полученное муниципальными образованиями в результате приватизации государственного имущества без конкретного назначения", + "answerD": "Имущество, предназначенное исключительно для коммерческой деятельности органов местного самоуправления", + "correct_answer": "answerB", + "choices": [ + "Право на автоматическое прекращение исполнительного производства после подачи заявления о мировом соглашении", + "Путем приобретения более 50% акций другой компании на международном аукционе", + "Имущество, полученное муниципальными образованиями в результате приватизации государственного имущества без конкретного назначения", + "Имущество, предназначенное для обеспечения деятельности органов местного самоуправления и должностных лиц местного самоуправления, муниципальных служащих, работников муниципальных предприятий и учреждений", + "Через единоличное принятие решения директором без согласия учредителей", + "Обеспечение надлежащего ухода за животными.", + "Документ, удостоверяющий личность лица без гражданства для постоянного проживания на территории РФ", + "Публиковать на своем официальном сайте в сети \"Интернет\" актуальную информацию о стоимости своих услуг.", + "Право на получение компенсации морального вреда в случае задержки исполнительных действий", + "Имущество, необходимое для личного пользования должностных лиц муниципальных образований", + "Обеспечивать обучение всех сотрудников таможни не реже одного раза в год.", + "Имущество, предназначенное исключительно для коммерческой деятельности органов местного самоуправления" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКакое имущество может находиться в собственности муниципальных образований согласно статье 50 Федерального закона 'Об общих принципах организации местного самоуправления в РФ' N 131-ФЗ?\nA. Право на автоматическое прекращение исполнительного производства после подачи заявления о мировом соглашении\nB. Путем приобретения более 50% акций другой компании на международном аукционе\nC. Имущество, полученное муниципальными образованиями в результате приватизации государственного имущества без конкретного назначения\nD. Имущество, предназначенное для обеспечения деятельности органов местного самоуправления и должностных лиц местного самоуправления, муниципальных служащих, работников муниципальных предприятий и учреждений\nE. Через единоличное принятие решения директором без согласия учредителей\nF. Обеспечение надлежащего ухода за животными.\nG. Документ, удостоверяющий личность лица без гражданства для постоянного проживания на территории РФ\nH. Публиковать на своем официальном сайте в сети \"Интернет\" актуальную информацию о стоимости своих услуг.\nI. Право на получение ��омпенсации морального вреда в случае задержки исполнительных действий\nJ. Имущество, необходимое для личного пользования должностных лиц муниципальных образований\nK. Обеспечивать обучение всех сотрудников таможни не реже одного раза в год.\nL. Имущество, предназначенное исключительно для коммерческой деятельности органов местного самоуправления\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 263, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.011473199352622032, + "B": 0.6264154314994812, + "C": 0.018916107714176178, + "D": 0.0311873871833086, + "E": 0.024288762360811234, + "F": 0.08477611094713211, + "G": 0.04537738487124443, + "H": 0.05141931027173996, + "I": 0.000647273613139987, + "J": 0.014731879346072674, + "K": 0.007885406725108624, + "L": 0.0027251236606389284 + }, + "sample": { + "question": "Какое право имеют стороны исполнительного производства в соответствии со Статьей 50 Федерального закона 'Об исполнительном производстве' N 229-ФЗ?", + "answerA": "Право на получение компенсации морального вреда в случае задержки исполнительных действий", + "answerB": "Право на автоматическое прекращение исполнительного производства после подачи заявления о мировом соглашении", + "answerC": "Право на ознакомление с материалами исполнительного производства, делать из них выписки, снимать с них копии, представлять дополнительные материалы", + "answerD": "Право на приостановление всех судебных действий на период рассмотрения жалобы на действия судебного пристава", + "correct_answer": "C", + "choices": [ + "Если по делам о банкротстве застройщика начаты расчеты с кредиторами второй очереди.", + "Право на ознакомление с материалами исполнительного производства, делать из них выписки, снимать с них копии, представлять дополнительные материалы", + "Путем приобретения более 50% акций другой компании на международном аукционе", + "Устойчивая правовая связь лица с Российской Федерацией, выражающаяся в совокупности взаимных прав и обязанностей", + "Через единоличное принятие решения директором без согласия учредителей", + "Документ, удостоверяющий личность лица без гражданства для постоянного проживания на территории РФ", + "Право на получение компенсации морального вреда в случае задержки исполнительных действий", + "Право на приостановление всех судебных действий на период рассмотрения жалобы на действия судебного пристава", + "Публиковать на своем официальном сайте в сети \"Интернет\" актуальную информацию о стоимости своих услуг.", + "Обеспечение надлежащего ухода за животными.", + "Обеспечивать обучение всех сотрудников таможни не реже одного раза в год.", + "Право на автоматическое прекращение исполнительного производства после подачи заявления о мировом соглашении" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКако�� право имеют стороны исполнительного производства в соответствии со Статьей 50 Федерального закона 'Об исполнительном производстве' N 229-ФЗ?\nA. Если по делам о банкротстве застройщика начаты расчеты с кредиторами второй очереди.\nB. Право на ознакомление с материалами исполнительного производства, делать из них выписки, снимать с них копии, представлять дополнительные материалы\nC. Путем приобретения более 50% акций другой компании на международном аукционе\nD. Устойчивая правовая связь лица с Российской Федерацией, выражающаяся в совокупности взаимных прав и обязанностей\nE. Через единоличное принятие решения директором без согласия учредителей\nF. Документ, удостоверяющий личность лица без гражданства для постоянного проживания на территории РФ\nG. Право на получение компенсации морального вреда в случае задержки исполнительных действий\nH. Право на приостановление всех судебных действий на период рассмотрения жалобы на действия судебного пристава\nI. Публиковать на своем официальном сайте в сети \"Интернет\" актуальную информацию о стоимости своих услуг.\nJ. Обеспечение надлежащего ухода за животными.\nK. Обеспечивать обучение всех сотрудников таможни не реже одного раза в год.\nL. Право на автоматическое прекращение исполнительного производства после подачи заявления о мировом соглашении\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 271, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0023830805439502, + "B": 0.010680226609110832, + "C": 0.1222287192940712, + "D": 0.5477911233901978, + "E": 0.010033144615590572, + "F": 0.010680226609110832, + "G": 0.10786645859479904, + "H": 0.01288281287997961, + "I": 0.0012755710631608963, + "J": 0.0034673616755753756, + "K": 0.05773675814270973, + "L": 0.0005660312599502504 + }, + "sample": { + "question": "Каким образом общество с ограниченной ответственностью (ООО) может создать дочернее общество согласно Федеральному закону \"Об обществах с ограниченной ответственностью\" (ООО) N 14-ФЗ?", + "answerA": "Путем приобретения более 50% акций другой компании на международном аукционе", + "answerB": "Через единоличное принятие решения директором без согласия учредителей", + "answerC": "Может иметь дочерние и зависимые общества с правами юридического лица, созданные на территории РФ и за ее пределами в соответствии с законодательством", + "answerD": "Оформлением партнерского договора с иностранной корпорацией без создания юридического лица", + "correct_answer": "Может иметь дочерние и зависимые общества с правами юридического лица, созданные на территории РФ и за ее пределами в соответствии с законодательством", + "choices": [ + "Публиковать на своем официальном сайте в сети \"Интернет\" актуальную информацию о стоимости своих услуг.", + "Если по делам о банкротстве застройщика начаты расчеты с кредиторами второй очереди.", + "Устойчивая ��равовая связь лица с Российской Федерацией, выражающаяся в совокупности взаимных прав и обязанностей", + "Может иметь дочерние и зависимые общества с правами юридического лица, созданные на территории РФ и за ее пределами в соответствии с законодательством", + "Обеспечение своевременного оказания животным ветеринарной помощи.", + "Через единоличное принятие решения директором без согласия учредителей", + "Обеспечивать обучение всех сотрудников таможни не реже одного раза в год.", + "Обеспечение надлежащего ухода за животными.", + "Сведения о минимальном числе работников", + "Документ, удостоверяющий личность лица без гражданства для постоянного проживания на территории РФ", + "Путем приобретения более 50% акций другой компании на международном аукционе", + "Оформлением партнерского договора с иностранной корпорацией без создания юридического лица" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКаким образом общество с ограниченной ответственностью (ООО) может создать дочернее общество согласно Федеральному закону \"Об обществах с ограниченной ответственностью\" (ООО) N 14-ФЗ?\nA. Публиковать на своем официальном сайте в сети \"Интернет\" актуальную информацию о стоимости своих услуг.\nB. Если по делам о банкротстве застройщика начаты расчеты с кредиторами второй очереди.\nC. Устойчивая правовая связь лица с Российской Федерацией, выражающаяся в совокупности взаимных прав и обязанностей\nD. Может иметь дочерние и зависимые общества с правами юридического лица, созданные на территории РФ и за ее пределами в соответствии с законодательством\nE. Обеспечение своевременного оказания животным ветеринарной помощи.\nF. Через единоличное принятие решения директором без согласия учредителей\nG. Обеспечивать обучение всех сотрудников таможни не реже одного раза в год.\nH. Обеспечение надлежащего ухода за животными.\nI. Сведения о минимальном числе работников\nJ. Документ, удостоверяющий личность лица без гражданства для постоянного проживания на территории РФ\nK. Путем приобретения более 50% акций другой компании на международном аукционе\nL. Оформлением партнерского договора с иностранной корпорацией без создания юридического лица\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 273, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.09607966989278793, + "B": 0.003499701851978898, + "C": 0.021438270807266235, + "D": 0.00788669940084219, + "E": 0.33535099029541016, + "F": 0.0024053072556853294, + "G": 0.004783524665981531, + "H": 0.0057700322940945625, + "I": 0.15840859711170197, + "J": 0.00740886852145195, + "K": 0.0069599878042936325, + "L": 0.0005041797994635999 + }, + "sample": { + "question": "Что обязано делать юридическое лицо, включенное в реестр таможенных представителей, согласно Федеральному закону \"О таможенном регулировани�� в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?", + "answerA": "Обеспечивать обучение всех сотрудников таможни не реже одного раза в год.", + "answerB": "Публиковать на своем официальном сайте в сети \"Интернет\" актуальную информацию о стоимости своих услуг.", + "answerC": "Проводить ежемесячную инвентаризацию товаров, находящихся на хранении.", + "answerD": "Информировать население о изменениях в таможенном законодательстве через СМИ.", + "correct_answer": "B", + "choices": [ + "Если по делам о банкротстве застройщика начаты расчеты с кредиторами второй очереди.", + "Документ, удостоверяющий личность лица без гражданства для постоянного проживания на территории РФ", + "Сведения о минимальном числе работников", + "Обеспечение своевременного оказания животным ветеринарной помощи.", + "Обеспечивать обучение всех сотрудников таможни не реже одного раза в год.", + "Обеспечение надлежащего ухода за животными.", + "Проводить ежемесячную инвентаризацию товаров, находящихся на хранении.", + "Если не позднее чем за один месяц до даты завершения конкурсного производства вынесено определение арбитражного суда о передаче объекта незавершенного строительства.", + "Устойчивая правовая связь лица с Российской Федерацией, выражающаяся в совокупности взаимных прав и обязанностей", + "Только название самого населенного пункта", + "Информировать население о изменениях в таможенном законодательстве через СМИ.", + "Публиковать на своем официальном сайте в сети \"Интернет\" актуальную информацию о стоимости своих услуг." + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nЧто обязано делать юридическое лицо, включенное в реестр таможенных представителей, согласно Федеральному закону \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?\nA. Если по делам о банкротстве застройщика начаты расчеты с кредиторами второй очереди.\nB. Документ, удостоверяющий личность лица без гражданства для постоянного проживания на территории РФ\nC. Сведения о минимальном числе работников\nD. Обеспечение своевременного оказания животным ветеринарной помощи.\nE. Обеспечивать обучение всех сотрудников таможни не реже одного раза в год.\nF. Обеспечение надлежащего ухода за животными.\nG. Проводить ежемесячную инвентаризацию товаров, находящихся на хранении.\nH. Если не позднее чем за один месяц до даты завершения конкурсного производства вынесено определение арбитражного суда о передаче объекта незавершенного строительства.\nI. Устойчивая правовая связь лица с Российской Федерацией, выражающаяся в совокупности взаимных прав и обязанностей\nJ. Только название самого населенного пункта\nK. Информировать насел��ние о изменениях в таможенном законодательстве через СМИ.\nL. Публиковать на своем официальном сайте в сети \"Интернет\" актуальную информацию о стоимости своих услуг.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 274, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0015974651323631406, + "B": 0.049695681780576706, + "C": 0.0012441071448847651, + "D": 0.004079270642250776, + "E": 0.005935302935540676, + "F": 0.005575701128691435, + "G": 0.010416781529784203, + "H": 0.043856289237737656, + "I": 0.0007088708807714283, + "J": 0.3672041893005371, + "K": 0.13508689403533936, + "L": 0.28597891330718994 + }, + "sample": { + "question": "Что означает понятие 'гражданство Российской Федерации' согласно Федеральному закону 'О гражданстве Российской Федерации' N 62-ФЗ?", + "answerA": "Документ, удостоверяющий личность лица без гражданства для постоянного проживания на территории РФ", + "answerB": "Устойчивая правовая связь лица с Российской Федерацией, выражающаяся в совокупности взаимных прав и обязанностей", + "answerC": "Порядок рассмотрения вопросов гражданства и принятия решений по вопросам гражданства Президентом РФ", + "answerD": "Наличие у гражданина РФ гражданства иностранного государства", + "correct_answer": "answerB", + "choices": [ + "Если по делам о банкротстве застройщика начаты расчеты с кредиторами второй очереди.", + "Порядок рассмотрения вопросов гражданства и принятия решений по вопросам гражданства Президентом РФ", + "Любые организации, независимо от их формы собственности.", + "Обеспечение надлежащего ухода за животными.", + "Документ, удостоверяющий личность лица без гражданства для постоянного проживания на территории РФ", + "Только название самого населенного пункта", + "Если не позднее чем за один месяц до даты завершения конкурсного производства вынесено определение арбитражного суда о передаче объекта незавершенного строительства.", + "Адреса мест осуществления лицензируемого вида деятельности, перечень выполняемых работ, оказываемых услуг, составляющих лицензируемый вид деятельности, по каждому из указанных адресов и сведения, подтверждающие соблюдение лицензионных требований", + "Обеспечение своевременного оказания животным ветеринарной помощи.", + "Наличие у гражданина РФ гражданства иностранного государства", + "Сведения о минимальном числе работников", + "Устойчивая правовая связь лица с Российской Федерацией, выражающаяся в совокупности взаимных прав и обязанностей" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nЧто означает понятие 'гражданство Российской Федерации' согласно Федеральному закону 'О гражданстве Российской Федерации' N 62-ФЗ?\nA. Если по делам о банкротстве застройщика начаты расчеты с кредиторами второй очереди.\nB. Порядок рассмотрения вопросов гражданства и принятия решений по вопросам гражданства Президентом РФ\nC. Любые организации, независимо от их формы собственности.\nD. Обеспечение надлежащего ухода за животными.\nE. Документ, удостоверяющий личность лица без гражданства для постоянного проживания на территории РФ\nF. Только название самого населенного пункта\nG. Если не позднее чем за один месяц до даты завершения конкурсного производства вынесено определение арбитражного суда о передаче объекта незавершенного строительства.\nH. Адреса мест осуществления лицензируемого вида деятельности, перечень выполняемых работ, оказываемых услуг, составляющих лицензируемый вид деятельности, по каждому из указанных адресов и сведения, подтверждающие соблюдение лицензионных требований\nI. Обеспечение своевременного оказания животным ветеринарной помощи.\nJ. Наличие у гражданина РФ гражданства иностранного государства\nK. Сведения о минимальном числе работников\nL. Устойчивая правовая связь лица с Российской Федерацией, выражающаяся в совокупности взаимных прав и обязанностей\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 260, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.044181209057569504, + "B": 0.09353162348270416, + "C": 0.3264574408531189, + "D": 0.08254136890172958, + "E": 0.044181209057569504, + "F": 0.030365271493792534, + "G": 0.12009699642658234, + "H": 0.034408360719680786, + "I": 0.004956994205713272, + "J": 0.034408360719680786, + "K": 0.05006387084722519, + "L": 0.004656665027141571 + }, + "sample": { + "question": "Какое из перечисленных требований не является общим требованием к содержанию животных согласно Федеральному закону \"Об ответственном обращении с животными и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 498-ФЗ, статья 9?", + "answerA": "Обеспечение надлежащего ухода за животными.", + "answerB": "Обеспечение своевременного оказания животным ветеринарной помощи.", + "answerC": "Предоставление животных в аренду для участия в соревнованиях без согласия их владельца.", + "answerD": "Предоставление животных по месту их содержания по требованию должностных лиц органов государственного надзора.", + "correct_answer": "C", + "choices": [ + "Предоставление животных по месту их содержания по требованию должностных лиц органов государственного надзора.", + "Резиденты обязаны обеспечить репатриацию только тех средств, которые были переданы нерезидентам в качестве добровольных пожертвований.", + "Указание на исторические события связанные с муниципальным образованием", + "Обеспечение своевременного оказания животным ветеринарной помощи.", + "Сведения о минимальном числе работников", + "Если по делам о банкротстве застройщика начаты расчеты с кредиторами второй очереди.", + "Предоставление животных в аренду для участия в соревнованиях без согласия их владельца.", + "Обеспечение надлежащего ухода за животными.", + "Если не позднее чем за один месяц до даты завершения конкурсного производства вынесено определение арбитражного суда о передаче объекта незавершенного строительства.", + "Только название самого населенного пункта", + "Любые организации, независимо от их формы собственности.", + "Адреса мест осуществления лицензируемого вида деятельности, перечень выполняемых работ, оказываемых услуг, составляющих лицензируемый вид деятельности, по каждому из указанных адресов и сведения, подтверждающие соблюдение лицензионных требований" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКакое из перечисленных требований не является общим требованием к содержанию животных согласно Федеральному закону \"Об ответственном обращении с животными и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 498-ФЗ, статья 9?\nA. Предоставление животных по месту их содержания по требованию должностных лиц органов государственного надзора.\nB. Резиденты обязаны обеспечить репатриацию только тех средств, которые были переданы нерезидентам в качестве добровольных пожертвований.\nC. Указание на исторические события связанные с муниципальным образованием\nD. Обеспечение своевременного оказания животным ветеринарной помощи.\nE. Сведения о минимальном числе работников\nF. Если по делам о банкротстве застройщика начаты расчеты с кредиторами второй очереди.\nG. Предоставление животных в аренду для участия в соревнованиях без согласия их владельца.\nH. Обеспечение надлежащего ухода за животными.\nI. Если не позднее чем за один месяц до даты завершения конкурсного производства вынесено определение арбитражного суда о передаче объекта незавершенного строительства.\nJ. Только название самого населенного пункта\nK. Любые организации, независимо от их формы собственности.\nL. Адреса мест осуществления лицензируемого вида деятельности, перечень выполняемых работ, оказываемых услуг, составляющих лицензируемый вид деятельности, по каждому из указанных адресов и сведения, подтверждающие соблюдение лицензионных требований\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 293, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.1827215999364853, + "B": 0.01323630753904581, + "C": 0.016995754092931747, + "D": 0.3413688540458679, + "E": 0.1612512469291687, + "F": 0.015966035425662994, + "G": 0.015966035425662994, + "H": 0.021822981536388397, + "I": 0.03175225108861923, + "J": 0.0761696919798851, + "K": 0.016995754092931747, + "L": 0.006655633449554443 + }, + "sample": { + "question": "Согласно Федеральному закону \"О несостоятельности (банкротстве)\" N 127-ФЗ, какие условия необходимы для того, чтобы конкурсный управляющий производил расчеты с участниками строительства?", + "answerA": "Если по делам о банкротстве застройщика начаты расчеты с кредиторами второй очереди.", + "answerB": "Если не позднее чем за один месяц до даты завершения конкурсного производства вынесено определение арбитражного суда о передаче объекта незавершенного строительства.", + "answerC": "Если у застройщика имеется лицензия на строительную деятельность.", + "answerD": "Если не позднее чем за один месяц до даты завершения конкурсного производства не вынесено определение арбитражного суда о передаче приобретателю имущества и обязательств застройщика.", + "correct_answer": "B", + "choices": [ + "Если по делам о банкротстве застройщика начаты расчеты с кредиторами второй очереди.", + "Граждане Российской Федерации, выехавшие на постоянное место жительства за пределы Российской Федерации", + "Любые организации, независимо от их формы собственности.", + "Если не позднее чем за один месяц до даты завершения конкурсного производства не вынесено определение арбитражного суда о передаче приобретателю имущества и обязательств застройщика.", + "Если не позднее чем за один месяц до даты завершения конкурсного производства вынесено определение арбитражного суда о передаче объекта незавершенного строительства.", + "Сведения о минимальном числе работников", + "Организации, включенные в реестр производителей пива и пивных напитков, сидра, пуаре, медовухи.", + "Указание на исторические события связанные с муниципальным образованием", + "Если у застройщика имеется лицензия на строительную деятельность.", + "Резиденты обязаны обеспечить репатриацию только тех средств, которые были переданы нерезидентам в качестве добровольных пожертвований.", + "Только название самого населенного пункта", + "Адреса мест осуществления лицензируемого вида деятельности, перечень выполняемых работ, оказываемых услуг, составляющих лицензируемый вид деятельности, по каждому из указанных адресов и сведения, подтверждающие соблюдение лицензионных требований" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nСогласно Федеральному закону \"О несостоятельности (банкротстве)\" N 127-ФЗ, какие условия необходимы для того, чтобы конкурсный управляющий производил расчеты с участниками строительства?\nA. Если по делам о банкротстве застройщика начаты расчеты с кредиторами второй очереди.\nB. Граждане Российской Федерации, выехавшие на постоянное место жительства за пределы Российской Федерации\nC. Любые организации, независимо от их формы собственности.\nD. Если не позднее чем за один месяц до даты завершения конкурсного производства не вынесено определение арбитражного суда о передаче приобретателю имущества и обязательств застройщика.\nE. Если не позднее чем за один месяц до даты завершения конкурсного производства вынесено определение арбитражного суда о передаче объекта незавершенного строительства.\nF. Сведения о минимальном числе работников\nG. Организации, включенные в реестр производителей пива и пивных напитков, сидра, пуаре, медовухи.\nH. Указание на исторические события связанные с муниципальным образованием\nI. Если у застройщика имеется лицензия на строительную деятельность.\nJ. Резиденты обязаны обеспечить репатриацию только тех средств, которые были переданы нерезидентам в качестве добровольных пожертвований.\nK. Только название самого населенного пункта\nL. Адреса мест осуществления лицензируемого вида деятельности, перечень выполняемых работ, оказываемых услуг, составляющих лицензируемый вид деятельности, по каждому из указанных адресов и сведения, подтверждающие соблюдение лицензионных требований\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 308, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0012657524785026908, + "B": 0.003036382608115673, + "C": 0.0011170227080583572, + "D": 0.005006147548556328, + "E": 0.655676007270813, + "F": 0.006842593662440777, + "G": 0.010598015040159225, + "H": 0.004150242544710636, + "I": 0.0005276441224850714, + "J": 0.03264418616890907, + "K": 0.03264418616890907, + "L": 0.0004956757766194642 + }, + "sample": { + "question": "Что должно быть указано в заявлении о предоставлении лицензии согласно статье 24.1 Федерального закона 'О пожарной безопасности' N 69-ФЗ?", + "answerA": "Сведения о минимальном числе работников", + "answerB": "Адреса мест осуществления лицензируемого вида деятельности, перечень выполняемых работ, оказываемых услуг, составляющих лицензируемый вид деятельности, по каждому из указанных адресов и сведения, подтверждающие соблюдение лицензионных требований", + "answerC": "Информация о предыдущих нарушениях пожарной безопасности", + "answerD": "Перечень имеющегося у соискателя оборудования", + "correct_answer": "B", + "choices": [ + "Ветераны труда имеют право на получение единовременной выплаты в размере 10 тысяч рублей в г. Москве и Московской области.", + "Сведения о минимальном числе работников", + "Только название самого населенного пункта", + "Организации, включенные в реестр производителей пива и пивных напитков, сидра, пуаре, медовухи.", + "Адреса мест осуществления лицензируемого вида деятельности, перечень выполняемых работ, оказываемых услуг, составляющих лицензируемый вид деятельности, по каждому из указанных адресов и сведения, подтверждающие соблюдение лицензионных требований", + "Граждане Российской Федерации, выехавшие на постоянное место жительства за пределы Российской Федерации", + "Информация о предыдущих нарушениях пожарной безопасности", + "Указание на исторические события связанные с муниципальным образованием", + "Любые организации, независимо от их формы собственности.", + "Резиденты обязаны в сроки, предусмотренные соответствующ��ми договорами, обеспечить получение на свои банковские счета в уполномоченных банках иностранной валюты или валюты РФ, причитающейся в соответствии с условиями указанных договоров за переданные нерезидентам товары и услуги, либо возврат денежных средств за неввезенные товары и невыполненные работы.", + "Перечень имеющегося у соискателя оборудования", + "Резиденты обязаны обеспечить репатриацию только тех средств, которые были переданы нерезидентам в качестве добровольных пожертвований." + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nЧто должно быть указано в заявлении о предоставлении лицензии согласно статье 24.1 Федерального закона 'О пожарной безопасности' N 69-ФЗ?\nA. Ветераны труда имеют право на получение единовременной выплаты в размере 10 тысяч рублей в г. Москве и Московской области.\nB. Сведения о минимальном числе работников\nC. Только название самого населенного пункта\nD. Организации, включенные в реестр производителей пива и пивных напитков, сидра, пуаре, медовухи.\nE. Адреса мест осуществления лицензируемого вида деятельности, перечень выполняемых работ, оказываемых услуг, составляющих лицензируемый вид деятельности, по каждому из указанных адресов и сведения, подтверждающие соблюдение лицензионных требований\nF. Граждане Российской Федерации, выехавшие на постоянное место жительства за пределы Российской Федерации\nG. Информация о предыдущих нарушениях пожарной безопасности\nH. Указание на исторические события связанные с муниципальным образованием\nI. Любые организации, независимо от их формы собственности.\nJ. Резиденты обязаны в сроки, предусмотренные соответствующими договорами, обеспечить получение на свои банковские счета в уполномоченных банках иностранной валюты или валюты РФ, причитающейся в соответствии с условиями указанных договоров за переданные нерезидентам товары и услуги, либо возврат денежных средств за неввезенные товары и невыполненные работы.\nK. Перечень имеющегося у соискателя оборудования\nL. Резиденты обязаны обеспечить репатриацию только тех средств, которые были переданы нерезидентам в качестве добровольных пожертвований.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 330, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0008070942130871117, + "B": 0.0026463603135198355, + "C": 0.0005547072505578399, + "D": 0.002193909604102373, + "E": 0.0015078504802659154, + "F": 0.0008591473451815546, + "G": 0.0029987189918756485, + "H": 0.14448636770248413, + "I": 0.0004895274178124964, + "J": 0.007657497655600309, + "K": 0.025107966735959053, + "L": 0.7337623238563538 + }, + "sample": { + "question": "Что должно содержаться в наименовании муниципального образования в соответствии с Федеральным законом \"Об общих принципах организации местного самоуправления в РФ\" N 131-ФЗ, Статьей 9.1?", + "answerA": "Только название самого н��селенного пункта", + "answerB": "Указание на исторические события связанные с муниципальным образованием", + "answerC": "Указание на его статус и субъект Российской Федерации, в котором расположено данное муниципальное образование", + "answerD": "Указание на численность населения муниципального образования", + "correct_answer": "C", + "choices": [ + "Любые организации, независимо от их формы собственности.", + "Только название самого населенного пункта", + "Указание на исторические события связанные с муниципальным образованием", + "Граждане Российской Федерации, проживающие на территории Российской Федерации", + "Граждане Российской Федерации, выехавшие на постоянное место жительства за пределы Российской Федерации", + "Регулирует и контролирует цены на продукцию во всех отраслях экономики", + "Организации, включенные в реестр производителей пива и пивных напитков, сидра, пуаре, медовухи.", + "Указание на численность населения муниципального образования", + "Резиденты обязаны обеспечить репатриацию только тех средств, которые были переданы нерезидентам в качестве добровольных пожертвований.", + "Ветераны труда имеют право на получение единовременной выплаты в размере 10 тысяч рублей в г. Москве и Московской области.", + "Резиденты обязаны в сроки, предусмотренные соответствующими договорами, обеспечить получение на свои банковские счета в уполномоченных банках иностранной валюты или валюты РФ, причитающейся в соответствии с условиями указанных договоров за переданные нерезидентам товары и услуги, либо возврат денежных средств за неввезенные товары и невыполненные работы.", + "Указание на его статус и субъект Российской Федерации, в котором расположено данное муниципальное образование" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nЧто должно содержаться в наименовании муниципального образования в соответствии с Федеральным законом \"Об общих принципах организации местного самоуправления в РФ\" N 131-ФЗ, Статьей 9.1?\nA. Любые организации, независимо от их формы собственности.\nB. Только название самого населенного пункта\nC. Указание на исторические события связанные с муниципальным образованием\nD. Граждане Российской Федерации, проживающие на территории Российской Федерации\nE. Граждане Российской Федерации, выехавшие на постоянное место жительства за пределы Российской Федерации\nF. Регулирует и контролирует цены на продукцию во всех отраслях экономики\nG. Организации, включенные в реестр производителей пива и пивных напитков, сидра, пуаре, медовухи.\nH. Указание на численность населения муниципального образования\nI. Резиденты обязаны обеспечить репатриацию только тех средств, которые были переданы нерезидентам в качестве добровольных пожертвований.\nJ. Ветераны труда имеют право на получение единовременной выплаты в размере 10 тысяч рублей в г. Москве и Московской области.\nK. Резиденты обязаны в сроки, предусмотренные соответствующими договорами, обеспечить получение на свои банковские счета в уполномоченных банках иностранной валюты или валюты РФ, причитающейся в соответствии с условиями указанных договоров за переданные нерезидентам товары и услуги, либо возврат денежных средств за неввезенные товары и невыполненные работы.\nL. Указание на его статус и субъект Российской Федерации, в котором расположено данное муниципальное образование\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 321, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0008824898395687342, + "B": 0.0016487082466483116, + "C": 0.0016487082466483116, + "D": 0.9677676558494568, + "E": 0.002253516810014844, + "F": 0.0012062207097187638, + "G": 0.0027182602789252996, + "H": 0.000569778261706233, + "I": 0.00012713472824543715, + "J": 0.00015335374337155372, + "K": 0.0005352571606636047, + "L": 1.7205815311172046e-05 + }, + "sample": { + "question": "Какие организации имеют право на производство пива и пивных напитков согласно Федеральному закону N 171-ФЗ \"О государственном регулировании производства и оборота этилового спирта, алкогольной и спиртосодержащей продукции и об ограничении потребления (распития) алкогольной продукции\"?", + "answerA": "Любые организации, независимо от их формы собственности.", + "answerB": "Организации, включенные в реестр производителей пива и пивных напитков, сидра, пуаре, медовухи.", + "answerC": "Организации, имеющие лицензию на производство любых видов алкогольной продукции.", + "answerD": "Организации, производящие алкогольную продукцию только из импортного сырья.", + "correct_answer": "Организации, включенные в реестр производителей пива и пивных напитков, сидра, пуаре, медовухи.", + "choices": [ + "Ветераны труда имеют право на получение единовременной выплаты в размере 10 тысяч рублей в г. Москве и Московской области.", + "Организации, производящие алкогольную продукцию только из импортного сырья.", + "Ежегодные налоговые сборы, введенные правительством.", + "Организации, включенные в реестр производителей пива и пивных напитков, сидра, пуаре, медовухи.", + "Любые организации, независимо от их формы собственности.", + "Граждане Российской Федерации, выехавшие на постоянное место жительства за пределы Российской Федерации", + "Организации, имеющие лицензию на производство любых видов алкогольной продукции.", + "Регулирует и контролирует цены на продукцию во всех отраслях экономики", + "Резиденты обязаны в сроки, предусмотренные соответствующими договорами, обеспечить получение на свои банковские счета в уполномоченных банках иностранной валюты или валюты РФ, причитающейся в соответствии с условиями указанных договоров за переданны�� нерезидентам товары и услуги, либо возврат денежных средств за неввезенные товары и невыполненные работы.", + "Меры социальной поддержки ветеранов труда, а также граждан, приравненных к ним по состоянию на 31 декабря 2004 года, определяются законами и иными нормативными правовыми актами субъектов Российской Федерации.", + "Граждане Российской Федерации, проживающие на территории Российской Федерации", + "Резиденты обязаны обеспечить репатриацию только тех средств, которые были переданы нерезидентам в качестве добровольных пожертвований." + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКакие организации имеют право на производство пива и пивных напитков согласно Федеральному закону N 171-ФЗ \"О государственном регулировании производства и оборота этилового спирта, алкогольной и спиртосодержащей продукции и об ограничении потребления (распития) алкогольной продукции\"?\nA. Ветераны труда имеют право на получение единовременной выплаты в размере 10 тысяч рублей в г. Москве и Московской области.\nB. Организации, производящие алкогольную продукцию только из импортного сырья.\nC. Ежегодные налоговые сборы, введенные правительством.\nD. Организации, включенные в реестр производителей пива и пивных напитков, сидра, пуаре, медовухи.\nE. Любые организации, независимо от их формы собственности.\nF. Граждане Российской Федерации, выехавшие на постоянное место жительства за пределы Российской Федерации\nG. Организации, имеющие лицензию на производство любых видов алкогольной продукции.\nH. Регулирует и контролирует цены на продукцию во всех отраслях экономики\nI. Резиденты обязаны в сроки, предусмотренные соответствующими договорами, обеспечить получение на свои банковские счета в уполномоченных банках иностранной валюты или валюты РФ, причитающейся в соответствии с условиями указанных договоров за переданные нерезидентам товары и услуги, либо возврат денежных средств за неввезенные товары и невыполненные работы.\nJ. Меры социальной поддержки ветеранов труда, а также граждан, приравненных к ним по состоянию на 31 декабря 2004 года, определяются законами и иными нормативными правовыми актами субъектов Российской Федерации.\nK. Граждане Российской Федерации, проживающие на территории Российской Федерации\nL. Резиденты обязаны обеспечить репатриацию только тех средств, которые были переданы нерезидентам в качестве добровольных пожертвований.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 383, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0015216909814625978, + "B": 0.0022140471264719963, + "C": 0.0014294962165877223, + "D": 0.007259581238031387, + "E": 0.01741483062505722, + "F": 0.010562627576291561, + "G": 0.009922671131789684, + "H": 0.8932103514671326, + "I": 0.007727783638983965, + "J": 0.0023568407632410526, + "K": 0.005653766915202141, + "L": 0.0011850940063595772 + }, + "sample": { + "question": "В соответствии с Федеральным законом 'О валютном регулировании и валютном контроле' N 173-ФЗ, какие требования предъявляются к резидентам при осуществлении внешнеторговой деятельности и (или) предоставлении и возврате займов нерезидентам?", + "answerA": "Резиденты обязаны обеспечить репатриацию только тех средств, которые были переданы нерезидентам в качестве добровольных пожертвований.", + "answerB": "Резиденты обязаны в сроки, предусмотренные соответствующими договорами, обеспечить получение на свои банковские счета в уполномоченных банках иностранной валюты или валюты РФ, причитающейся в соответствии с условиями указанных договоров за переданные нерезидентам товары и услуги, либо возврат денежных средств за неввезенные товары и невыполненные работы.", + "answerC": "Резиденты должны использовать только рубли при расчетах с нерезидентами.", + "answerD": "Резиденты свободны в выборе валюты для расчетов с нерезидентами и не обязаны репатриировать полученные средства.", + "correct_answer": "B", + "choices": [ + "Резиденты свободны в выборе валюты для расчетов с нерезидентами и не обязаны репатриировать полученные средства.", + "Резиденты обязаны обеспечить репатриацию только тех средств, которые были переданы нерезидентам в качестве добровольных пожертвований.", + "Меры социальной поддержки ветеранов труда, а также граждан, приравненных к ним по состоянию на 31 декабря 2004 года, определяются законами и иными нормативными правовыми актами субъектов Российской Федерации.", + "Осуществляет нормативно-правовое регулирование деятельности в сфере стандартизации", + "Ветераны труда имеют право на получение единовременной выплаты в размере 10 тысяч рублей в г. Москве и Московской области.", + "Граждане Российской Федерации, проживающие на территории Российской Федерации", + "Резиденты должны использовать только рубли при расчетах с нерезидентами.", + "Резиденты обязаны в сроки, предусмотренные соответствующими договорами, обеспечить получение на свои банковские счета в уполномоченных банках иностранной валюты или валюты РФ, причитающейся в соответствии с условиями указанных договоров за переданные нерезидентам товары и услуги, либо возврат денежных средств за неввезенные товары и невыполненные работы.", + "Граждане Российской Федерации, выехавшие на постоянное место жительства за пределы Российской Федерации", + "Регулирует и контролирует цены на продукцию во всех отраслях экономики", + "50 процентов", + "Ежегодные налоговые сборы, введенные правительством." + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nВ соответствии с Федеральным законом 'О валютном регулировании и валютном контроле' N 173-ФЗ, какие требования предъявляются к резидентам при осуществлении внешнеторговой деятельности и (или) предоставлении и возврате займов нерезидентам?\nA. Резиденты свободны в выборе валюты для расчетов с нерезидентами и не обязаны репатриировать полученные средства.\nB. Резиденты обязаны обеспечить репатриацию только тех средств, которые были переданы нерезидентам в качестве добровольных пожертвований.\nC. Меры социальной поддержки ветеранов труда, а также граждан, приравненных к ним по состоянию на 31 декабря 2004 года, определяются законами и иными нормативными правовыми актами субъектов Российской Федерации.\nD. Осуществляет нормативно-правовое регулирование деятельности в сфере стандартизации\nE. Ветераны труда имеют право на получение единовременной выплаты в размере 10 тысяч рублей в г. Москве и Московской области.\nF. Граждане Российской Федерации, проживающие на территории Российской Федерации\nG. Резиденты должны использовать только рубли при расчетах с нерезидентами.\nH. Резиденты обязаны в сроки, предусмотренные соответствующими договорами, обеспечить получение на свои банковские счета в уполномоченных банках иностранной валюты или валюты РФ, причитающейся в соответствии с условиями указанных договоров за переданные нерезидентам товары и услуги, либо возврат денежных средств за неввезенные товары и невыполненные работы.\nI. Граждане Российской Федерации, выехавшие на постоянное место жительства за пределы Российской Федерации\nJ. Регулирует и контролирует цены на продукцию во всех отраслях экономики\nK. 50 процентов\nL. Ежегодные налоговые сборы, введенные правительством.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 375, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.003945110831409693, + "B": 0.012935521081089973, + "C": 0.0032706118654459715, + "D": 0.012935521081089973, + "E": 0.07443878799676895, + "F": 0.012151798233389854, + "G": 0.03984421119093895, + "H": 0.08435019105672836, + "I": 0.016609536483883858, + "J": 0.15758690237998962, + "K": 0.25981688499450684, + "L": 0.22928759455680847 + }, + "sample": { + "question": "На какие категории граждан РФ распространяется действие Федерального закона 'О государственных пособиях гражданам, имеющим детей' N 81-ФЗ?", + "answerA": "Граждане Российской Федерации, выехавшие на постоянное место жительства за пределы Российской Федерации", + "answerB": "Граждане Российской Федерации, проживающие на территории Российской Федерации", + "answerC": "Иностранные граждане и лица без гражданства, проживающие на территории Российской Федерации на законных основаниях по состоянию на 31 декабря 2006 года", + "answerD": "Граждане Российской Федерации (иностранные граждане и лица без гражданства), дети которых находятся на полном государственном обеспечении", + "correct_answer": "B", + "choices": [ + "Осуществляет нормативно-правовое регулирование деятельности в сфере стандартизации", + "50 проценто��", + "Ветераны труда имеют право на получение единовременной выплаты в размере 10 тысяч рублей в г. Москве и Московской области.", + "Обучающиеся и родители не имеют права обращаться в комиссию по урегулированию споров.", + "Граждане Российской Федерации (иностранные граждане и лица без гражданства), дети которых находятся на полном государственном обеспечении", + "Ежегодные налоговые сборы, введенные правительством.", + "Регулирует и контролирует цены на продукцию во всех отраслях экономики", + "Разовые платежи граждан для решения конкретных вопросов местного значения.", + "Граждане Российской Федерации, выехавшие на постоянное место жительства за пределы Российской Федерации", + "Меры социальной поддержки ветеранов труда, а также граждан, приравненных к ним по состоянию на 31 декабря 2004 года, определяются законами и иными нормативными правовыми актами субъектов Российской Федерации.", + "Иностранные граждане и лица без гражданства, проживающие на территории Российской Федерации на законных основаниях по состоянию на 31 декабря 2006 года", + "Граждане Российской Федерации, проживающие на территории Российской Федерации" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nНа какие категории граждан РФ распространяется действие Федерального закона 'О государственных пособиях гражданам, имеющим детей' N 81-ФЗ?\nA. Осуществляет нормативно-правовое регулирование деятельности в сфере стандартизации\nB. 50 процентов\nC. Ветераны труда имеют право на получение единовременной выплаты в размере 10 тысяч рублей в г. Москве и Московской области.\nD. Обучающиеся и родители не имеют права обращаться в комиссию по урегулированию споров.\nE. Граждане Российской Федерации (иностранные граждане и лица без гражданства), дети которых находятся на полном государственном обеспечении\nF. Ежегодные налоговые сборы, введенные правительством.\nG. Регулирует и контролирует цены на продукцию во всех отраслях экономики\nH. Разовые платежи граждан для решения конкретных вопросов местного значения.\nI. Граждане Российской Федерации, выехавшие на постоянное место жительства за пределы Российской Федерации\nJ. Меры социальной поддержки ветеранов труда, а также граждан, приравненных к ним по состоянию на 31 декабря 2004 года, определяются законами и иными нормативными правовыми актами субъектов Российской Федерации.\nK. Иностранные граждане и лица без гражданства, проживающие на территории Российской Федерации на законных основаниях по состоянию на 31 декабря 2006 года\nL. Граждане Российской Федерации, проживающие на территории Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 298, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0013203014386817813, + "B": 0.0052218930795788765, + "C": 0.0010945684043690562, + "D": 0.0059171803295612335, + "E": 0.006298805586993694, + "F": 0.0059171803295612335, + "G": 0.03198797628283501, + "H": 0.009755780920386314, + "I": 0.007597810588777065, + "J": 0.6839330792427063, + "K": 0.1188497394323349, + "L": 0.038584865629673004 + }, + "sample": { + "question": "Какой пункт верно описывает меры социальной поддержки ветеранов труда в соответствии со Статьей 22 Федерального закона 'О ветеранах' N 5-ФЗ?", + "answerA": "Ветераны труда имеют право на получение единовременной выплаты в размере 10 тысяч рублей в г. Москве и Московской области.", + "answerB": "Меры социальной поддержки ветеранов труда, а также граждан, приравненных к ним по состоянию на 31 декабря 2004 года, определяются законами и иными нормативными правовыми актами субъектов Российской Федерации.", + "answerC": "Все ветераны труда автоматически получают бесплатную медицинскую страховку от государства.", + "answerD": "Ветеранам труда предоставляется право на приоритетное обслуживание в общественном транспорте.", + "correct_answer": "B", + "choices": [ + "Все ветераны труда автоматически получают бесплатную медицинскую страховку от государства.", + "Регулирует и контролирует цены на продукцию во всех отраслях экономики", + "Личное собеседование с оператором финансовой платформы", + "Ежегодные налоговые сборы, введенные правительством.", + "50 процентов", + "75 процентов", + "Осуществляет нормативно-правовое регулирование деятельности в сфере стандартизации", + "Обучающиеся и родители не имеют права обращаться в комиссию по урегулированию споров.", + "Разовые платежи граждан для решения конкретных вопросов местного значения.", + "Меры социальной поддержки ветеранов труда, а также граждан, приравненных к ним по состоянию на 31 декабря 2004 года, определяются законами и иными нормативными правовыми актами субъектов Российской Федерации.", + "Ветераны труда имеют право на получение единовременной выплаты в размере 10 тысяч рублей в г. Москве и Московской области.", + "Ветеранам труда предоставляется право на приоритетное обслуживание в общественном транспорте." + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКакой пункт верно описывает меры социальной поддержки ветеранов труда в соответствии со Статьей 22 Федерального закона 'О ветеранах' N 5-ФЗ?\nA. Все ветераны труда автоматически получают бесплатную медицинскую страховку от государства.\nB. Регулирует и контролирует цены на продукцию во всех отраслях экономики\nC. Личное собеседование с оператором финансовой платформы\nD. Ежегодные налоговые сборы, введенные правительством.\nE. 50 процентов\nF. 75 процентов\nG. Осуществляет нормативно-правовое регулирование деятельности в сфере стандартизации\nH. Обучающиеся и родители не имеют права обращаться в комиссию по урегулированию споров.\nI. Разовые платежи граждан для решения кон��ретных вопросов местного значения.\nJ. Меры социальной поддержки ветеранов труда, а также граждан, приравненных к ним по состоянию на 31 декабря 2004 года, определяются законами и иными нормативными правовыми актами субъектов Российской Федерации.\nK. Ветераны труда имеют право на получение единовременной выплаты в размере 10 тысяч рублей в г. Москве и Московской области.\nL. Ветеранам труда предоставляется право на приоритетное обслуживание в общественном транспорте.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 263, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0006180349737405777, + "B": 0.00456669507548213, + "C": 0.0031386406626552343, + "D": 0.04332759603857994, + "E": 0.012413564138114452, + "F": 0.8702580332756042, + "G": 0.007073036395013332, + "H": 0.0033410657197237015, + "I": 0.00010089144052471966, + "J": 0.002444376004859805, + "K": 0.0009572312701493502, + "L": 0.00039903336437419057 + }, + "sample": { + "question": "Какие функции выполняет федеральный орган исполнительной власти, осуществляющий при ведении государственной политики и нормативно-правовому регулированию в сфере стандартизации, согласно Федеральному закону 'О стандартизации в Российской Федерации' N 162-ФЗ?", + "answerA": "Регулирует и контролирует цены на продукцию во всех отраслях экономики", + "answerB": "Осуществляет нормативно-правовое регулирование деятельности в сфере стандартизации", + "answerC": "Выдает лицензии на ведение туристической деятельности", + "answerD": "Ведет учет всех видов животных на территории Российской Федерации", + "correct_answer": "Осуществляет нормативно-правовое регулирование деятельности в сфере стандартизации", + "choices": [ + "3 месяца с даты представления всех необходимых документов", + "Ведет учет всех видов животных на территории Российской Федерации", + "Выдает лицензии на ведение туристической деятельности", + "75 процентов", + "Обучающиеся и родители не имеют права обращаться в комиссию по урегулированию споров.", + "Осуществляет нормативно-правовое регулирование деятельности в сфере стандартизации", + "Разовые платежи граждан для решения конкретных вопросов местного значения.", + "Личное собеседование с оператором финансовой платформы", + "Ежегодные налоговые сборы, введенные правительством.", + "Регулирует и контролирует цены на продукцию во всех отраслях экономики", + "50 процентов", + "Решения комиссии по урегулированию споров не имеют обязательной силы и не подлежат исполнению." + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКакие функции выполняет федеральный орган исполнительной власти, осуществляющий при ведении государственной политики и нормативно-правовому регулированию в сфере стандартизации, согласно Федеральному закону 'О стандартизации в Российской Федерации' N 162-ФЗ?\nA. 3 месяца с даты представления всех необходимых документов\nB. Ведет учет всех видов животных на территории Российской Федерации\nC. Выдает лицензии на ведение туристической деятельности\nD. 75 процентов\nE. Обучающиеся и родители не имеют права обращаться в комиссию по урегулированию споров.\nF. Осуществляет нормативно-правовое регулирование деятельности в сфере стандартизации\nG. Разовые платежи граждан для решения конкретных вопросов местного значения.\nH. Личное собеседование с оператором финансовой платформы\nI. Ежегодные налоговые сборы, введенные правительством.\nJ. Регулирует и контролирует цены на продукцию во всех отраслях экономики\nK. 50 процентов\nL. Решения комиссии по урегулированию споров не имеют обязательной силы и не подлежат исполнению.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 229, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.5456729531288147, + "B": 0.007783606648445129, + "C": 0.25775766372680664, + "D": 0.014541691169142723, + "E": 0.021158035844564438, + "F": 0.0025269673205912113, + "G": 0.006061879452317953, + "H": 0.0032446898985654116, + "I": 0.00881998147815466, + "J": 0.0008732965216040611, + "K": 0.006061879452317953, + "L": 6.734138878528029e-05 + }, + "sample": { + "question": "Что такое средства самообложения граждан согласно Федеральному закону 'Об общих принципах организации местного самоуправления в РФ' (закон о МСУ) N 131-ФЗ?", + "answerA": "Ежегодные налоговые сборы, введенные правительством.", + "answerB": "Разовые платежи граждан для решения конкретных вопросов местного значения.", + "answerC": "Обязательные выплаты, устанавливаемые федеральным законодательством.", + "answerD": "Добровольные пожертвования на благоустройство города.", + "correct_answer": "answerB", + "choices": [ + "Разовые платежи граждан для решения конкретных вопросов местного значения.", + "Прохождение интервью с профессиональным участником рынка ценных бумаг", + "Обязательные выплаты, устанавливаемые федеральным законодательством.", + "75 процентов", + "Решения комиссии по урегулированию споров не имеют обязательной силы и не подлежат исполнению.", + "Личное собеседование с оператором финансовой платформы", + "Обучающиеся и родители не имеют права обращаться в комиссию по урегулированию споров.", + "Наличие гражданства иностранного государства", + "Добровольные пожертвования на благоустройство города.", + "3 месяца с даты представления всех необходимых документов", + "Ежегодные налоговые сборы, введенные правительством.", + "50 процентов" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nЧто такое средства самообложения граждан согласно Федеральному закону 'Об общих принципах организации местного самоуправления в РФ' (закон о МСУ) N 131-ФЗ?\nA. Разовые платежи граждан для решения конкретных вопросов местного значения.\nB. Прохождение интервью с профессиональным участником рынка ценных бумаг\nC. Обязательные выплаты, устанавливаемые федеральным законодательством.\nD. 75 процентов\nE. Решения комиссии по урегулированию споров не имеют обязательной силы и не подлежат исполнению.\nF. Личное собеседование с оператором финансовой платформы\nG. Обучающиеся и родители не имеют права обращаться в комиссию по урегулированию споров.\nH. Наличие гражданства иностранного государства\nI. Добровольные пожертвования на благоустройство города.\nJ. 3 месяца с даты представления всех необходимых документов\nK. Ежегодные налоговые сборы, введенные правительством.\nL. 50 процентов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 197, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.3546104431152344, + "B": 0.06982693076133728, + "C": 0.061622049659490585, + "D": 0.08965956419706345, + "E": 0.07912428677082062, + "F": 0.03298391029238701, + "G": 0.1675061285495758, + "H": 0.04235218092799187, + "I": 0.005731743760406971, + "J": 0.008339638821780682, + "K": 0.008339638821780682, + "L": 0.004463886842131615 + }, + "sample": { + "question": "На какую долю величины прожиточного минимума для детей устанавливается ежемесячное пособие в связи с рождением и воспитанием ребенка, если размер среднедушевого дохода семьи, учитывая это пособие, не превышает прожиточного минимума на душу населения?", + "answerA": "50 процентов", + "answerB": "75 процентов", + "answerC": "100 процентов", + "answerD": "25 процентов", + "correct_answer": "100 процентов", + "choices": [ + "75 процентов", + "Решения комиссии по урегулированию споров не имеют обязательной силы и не подлежат исполнению.", + "Личное собеседование с оператором финансовой платформы", + "3 месяца с даты представления всех необходимых документов", + "6 месяцев с даты представления всех необходимых документов", + "Обучающиеся и родители не имеют права обращаться в комиссию по урегулированию споров.", + "50 процентов", + "100 процентов", + "Утверждает размеры тарифов на жилищно-коммунальные услуги", + "Прохождение интервью с профессиональным участником рынка ценных бумаг", + "25 процентов", + "Наличие гражданства иностранного государства" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nНа какую долю величины прожиточного минимума для детей устанавливается ежемесячное пособие в связи с рождением и воспитанием ребенка, если размер среднедушевого дохода семьи, учитывая это пособие, не превышает прожиточного минимума на душу населения?\nA. 75 процентов\nB. Решения комиссии по урегулированию споров не имеют обязательной силы и не подлежат исполнению.\nC. Личное собеседование с оператором финансовой платформы\nD. 3 месяца с даты представления всех необходимых документов\nE. 6 месяцев с даты представления всех необходимых документов\nF. Обучающиеся и родители не имеют права обращаться в комиссию по урегулированию споров.\nG. 50 процентов\nH. 100 процентов\nI. Утверждает размеры тарифов на жилищно-коммунальные услуги\nJ. Прохождение интервью с профессиональным участником рынка ценных бумаг\nK. 25 процентов\nL. Наличие гражданства иностранного государства\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 207, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0028840680606663227, + "B": 0.007839708589017391, + "C": 0.035135138779878616, + "D": 0.02414800226688385, + "E": 0.008345327340066433, + "F": 0.012142379768192768, + "G": 0.02414800226688385, + "H": 0.016596663743257523, + "I": 0.008345327340066433, + "J": 0.05112132430076599, + "K": 0.622785210609436, + "L": 0.00270933099091053 + }, + "sample": { + "question": "Какое из следующих утверждений верно в отношении защиты прав обучающихся и родителей (законных представителей) несовершеннолетних обучающихся, согласно статье 45 Федерального закона 'Об образовании в Российской Федерации' N 273-ФЗ?", + "answerA": "Обучающиеся и родители не имеют права обращаться в комиссию по урегулированию споров.", + "answerB": "Решения комиссии по урегулированию споров не имеют обязательной силы и не подлежат исполнению.", + "answerC": "Решение комиссии по урегулированию споров между участниками образовательных отношений является обязательным для всех участников образовательных отношений в организации и подлежит исполнению в установленные сроки.", + "answerD": "Комиссия по урегулированию споров между участниками образовательных отношений состоит исключительно из представителей работников организации.", + "correct_answer": "answerC", + "choices": [ + "Комиссия по урегулированию споров между участниками образовательных отношений состоит исключительно из представителей работников организации.", + "Постоянное проживание в Российской Федерации и отсутствие иностранного гражданства или вида на жительство", + "Личное собеседование с оператором финансовой платформы", + "Прохождение интервью с профессиональным участником рынка ценных бумаг", + "Утверждает размеры тарифов на жилищно-коммунальные услуги", + "6 месяцев с даты представления всех необходимых документов", + "Обучающиеся и родители не имеют права обращаться в комиссию по урегулированию споров.", + "Наличие гражданства иностранного государства", + "Решения комиссии по урегулированию споров не имеют обязательной силы и не подлежат исполнению.", + "3 месяца с даты представления всех необходимых документов", + "Решение комиссии по урегулированию споров между участниками образовательных отношений является обязательным для всех участников образовательных отношений в организации и подлежит исполнению в установленные сроки.", + "Лишение свободы на срок до 5 лет" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКакое из следующих утверждений верно в отношении защиты прав обучающихся и родителей (законных представителей) несовершеннолетних обучающихся, согласно статье 45 Федерального закона 'Об образовании в Российской Федерации' N 273-ФЗ?\nA. Комиссия по урегулированию споров между участниками образовательных отношений состоит исключительно из представителей работников организации.\nB. Постоянное проживание в Российской Федерации и отсутствие иностранного гражданства или вида на жительство\nC. Личное собеседование с оператором финансовой платформы\nD. Прохождение интервью с профессиональным участником рынка ценных бумаг\nE. Утверждает размеры тарифов на жилищно-коммунальные услуги\nF. 6 месяцев с даты представления всех необходимых документов\nG. Обучающиеся и родители не имеют права обращаться в комиссию по урегулированию споров.\nH. Наличие гражданства иностранного государства\nI. Решения комиссии по урегулированию споров не имеют обязательной силы и не подлежат исполнению.\nJ. 3 месяца с даты представления всех необходимых документов\nK. Решение комиссии по урегулированию споров между участниками образовательных отношений является обязательным для всех участников образовательных отношений в организации и подлежит исполнению в установленные сроки.\nL. Лишение свободы на срок до 5 лет\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 248, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0018948164070025086, + "B": 0.007040097378194332, + "C": 0.001780015416443348, + "D": 0.0033255063463002443, + "E": 0.007494145072996616, + "F": 0.014903885312378407, + "G": 0.021685026586055756, + "H": 0.16023187339305878, + "I": 0.0140009056776762, + "J": 0.26417770981788635, + "K": 0.05537465587258339, + "L": 0.38437628746032715 + }, + "sample": { + "question": "Какой процесс, согласно Федеральному закону от 20.07.2020 N 211-ФЗ, должен проходить получатель финансовых услуг перед совершением сделок, используя финансовую платформу?", + "answerA": "Личное собеседование с оператором финансовой платформы", + "answerB": "Прохождение интервью с профессиональным участником рынка ценных бумаг", + "answerC": "Тестирование, проводимое оператором финансовой платформы", + "answerD": "Подача заявления в письменной форме без дополнительных условий", + "correct_answer": "Тестирование, проводимое оператором финансовой платформы", + "choices": [ + "Общество может обратиться за помощью к государственному органу для взыскания долгов без судебного решения.", + "Принимает решение о наличии дефицита фонда обязательного страхования вкладов", + "Лишение свободы на срок до 5 лет", + "Тестирование, проводимое оператором финансовой платформы", + "Утверждает размеры тарифов на жилищно-коммунальные услуги", + "Подача заявления в письменной форме без дополнительных условий", + "Наличие гражданства иностранного государства", + "Постоянное проживание в Российской Федерации и отсутствие иностранного гражданства или вида на жительство", + "Прохождение интервью с профессиональным участником рынка ценных бумаг", + "6 месяцев с даты представления всех необходимых документов", + "Личное собеседование с оператором финансовой платформы", + "3 месяца с даты представления всех необходимых документов" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКакой процесс, согласно Федеральному закону от 20.07.2020 N 211-ФЗ, должен проходить получатель финансовых услуг перед совершением сделок, используя финансовую платформу?\nA. Общество может обратиться за помощью к государственному органу для взыскания долгов без судебного решения.\nB. Принимает решение о наличии дефицита фонда обязательного страхования вкладов\nC. Лишение свободы на срок до 5 лет\nD. Тестирование, проводимое оператором финансовой платформы\nE. Утверждает размеры тарифов на жилищно-коммунальные услуги\nF. Подача заявления в письменной форме без дополнительных условий\nG. Наличие гражданства иностранного государства\nH. Постоянное проживание в Российской Федерации и отсутствие иностранного гражданства или вида на жительство\nI. Прохождение интервью с профессиональным участником рынка ценных бумаг\nJ. 6 месяцев с даты представления всех необходимых документов\nK. Личное собеседование с оператором финансовой платформы\nL. 3 месяца с даты представления всех необходимых документов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 226, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.010914478451013565, + "B": 0.46409541368484497, + "C": 0.3189678192138672, + "D": 0.029668625444173813, + "E": 0.015880471095442772, + "F": 0.020390929654240608, + "G": 0.03361896052956581, + "H": 0.020390929654240608, + "I": 0.00045049426262266934, + "J": 0.006218882277607918, + "K": 0.014014466665685177, + "L": 0.0016737894620746374 + }, + "sample": { + "question": "Какой срок установлен для принятия решения Банком России о государственной регистрации кредитной организации и выдаче лицензии на осуществление банковских операций в соответствии со Статьей 15 Федерального закона \"О банках и банковской деятельности\" N 395-1?", + "answerA": "3 месяца с даты представления всех необходимых документов", + "answerB": "6 месяцев с даты представления всех необходимых документов", + "answerC": "1 месяц с даты представления всех необходимых документов", + "answerD": "12 месяцев с даты представления всех необходимых документов", + "correct_answer": "B", + "choices": [ + "Принимает решение о наличии дефицита фонда обязательного страхования вкладов", + "6 месяцев с даты представления всех необходимых документов", + "1 месяц с даты представления всех необходимых документов", + "Утверждает размеры тарифов на жилищно-коммунальные услуги", + "Ответственн��сть в соответствии с законодательством РФ об административных правонарушениях или уголовным законодательством", + "Постоянное проживание в Российской Федерации и отсутствие иностранного гражданства или вида на жительство", + "Лишение свободы на срок до 5 лет", + "С первого дня работы на производстве", + "Наличие гражданства иностранного государства", + "Общество может обратиться за помощью к государственному органу для взыскания долгов без судебного решения.", + "3 месяца с даты представления всех необходимых документов", + "12 месяцев с даты представления всех необходимых документов" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКакой срок установлен для принятия решения Банком России о государственной регистрации кредитной организации и выдаче лицензии на осуществление банковских операций в соответствии со Статьей 15 Федерального закона \"О банках и банковской деятельности\" N 395-1?\nA. Принимает решение о наличии дефицита фонда обязательного страхования вкладов\nB. 6 месяцев с даты представления всех необходимых документов\nC. 1 месяц с даты представления всех необходимых документов\nD. Утверждает размеры тарифов на жилищно-коммунальные услуги\nE. Ответственность в соответствии с законодательством РФ об административных правонарушениях или уголовным законодательством\nF. Постоянное проживание в Российской Федерации и отсутствие иностранного гражданства или вида на жительство\nG. Лишение свободы на срок до 5 лет\nH. С первого дня работы на производстве\nI. Наличие гражданства иностранного государства\nJ. Общество может обратиться за помощью к государственному органу для взыскания долгов без судебного решения.\nK. 3 месяца с даты представления всех необходимых документов\nL. 12 месяцев с даты представления всех необходимых документов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 238, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.6142099499702454, + "B": 0.10673367977142334, + "C": 0.057130422443151474, + "D": 0.050417423248291016, + "E": 0.018547533079981804, + "F": 0.012747520580887794, + "G": 0.016368141397833824, + "H": 0.008230417966842651, + "I": 0.0038877741899341345, + "J": 0.004138513933867216, + "K": 0.0038877741899341345, + "L": 0.00024853707873262465 + }, + "sample": { + "question": "Что является условием для назначения уполномоченного по правам ребенка в субъекте Российской Федерации согласно Федеральному закону 'Об уполномоченных по правам ребенка в Российской Федерации' N 501-ФЗ?", + "answerA": "Наличие гражданства иностранного государства", + "answerB": "Постоянное проживание в Российской Федерации и отсутствие иностранного гражданства или вида на жительство", + "answerC": "Не менее 5 лет работы в международных правозащитных организациях", + "answerD": "Специализированное юридическое образование", + "correct_answer": "B", + "choices": [ + "Постоянное проживание в Российской Федерации и отсутствие иностранного гражданства или вида на жительство", + "Ответственность в соответствии с законодательством РФ об административных правонарушениях или уголовным законодательством", + "Наличие гражданства иностранного государства", + "Лишение свободы на срок до 5 лет", + "В форме устных поручений", + "С первого дня работы на производстве", + "Принимает решение о наличии дефицита фонда обязательного страхования вкладов", + "Не менее 5 лет работы в международных правозащитных организациях", + "Общество может обратиться за помощью к государственному органу для взыскания долгов без судебного решения.", + "Утверждает размеры тарифов на жилищно-коммунальные услуги", + "Специализированное юридическое образование", + "Общество может самостоятельно продать долю или часть доли участника общества без согласия кредиторов." + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nЧто является условием для назначения уполномоченного по правам ребенка в субъекте Российской Федерации согласно Федеральному закону 'Об уполномоченных по правам ребенка в Российской Федерации' N 501-ФЗ?\nA. Постоянное проживание в Российской Федерации и отсутствие иностранного гражданства или вида на жительство\nB. Ответственность в соответствии с законодательством РФ об административных правонарушениях или уголовным законодательством\nC. Наличие гражданства иностранного государства\nD. Лишение свободы на срок до 5 лет\nE. В форме устных поручений\nF. С первого дня работы на производстве\nG. Принимает решение о наличии дефицита фонда обязательного страхования вкладов\nH. Не менее 5 лет работы в международных правозащитных организациях\nI. Общество может обратиться за помощью к государственному органу для взыскания долгов без судебного решения.\nJ. Утверждает размеры тарифов на жилищно-коммунальные услуги\nK. Специализированное юридическое образование\nL. Общество может самостоятельно продать долю или часть доли участника общества без согласия кредиторов.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 232, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.18556825816631317, + "B": 0.041405871510505676, + "C": 0.04691900312900543, + "D": 0.08765623718500137, + "E": 0.06826674938201904, + "F": 0.21027638018131256, + "G": 0.05316619575023651, + "H": 0.06826674938201904, + "I": 0.05316619575023651, + "J": 0.06826674938201904, + "K": 0.017260536551475525, + "L": 0.015232371166348457 + }, + "sample": { + "question": "Какое из нижеперечисленных полномочий принадлежит совету директоров Агентства по Федеральному закону 'О страховании вкладов физических лиц в банках Российской Федерации' N 177-ФЗ?", + "answerA": "Утверждает размеры тарифов на жилищно-коммунальные услуги", + "answerB": "Принимает решение �� наличии дефицита фонда обязательного страхования вкладов", + "answerC": "Осуществляет контроль за деятельностью всех банков России", + "answerD": "Назначает министра финансов Российской Федерации", + "correct_answer": "Принимает решение о наличии дефицита фонда обязательного страхования вкладов", + "choices": [ + "Ответственность в соответствии с законодательством РФ об административных правонарушениях или уголовным законодательством", + "Назначает министра финансов Российской Федерации", + "Осуществляет контроль за деятельностью всех банков России", + "Лишение свободы на срок до 5 лет", + "После одного года непрерывной работы на производстве", + "Принимает решение о наличии дефицита фонда обязательного страхования вкладов", + "Только генеральный директор кредитной организации", + "Утверждает размеры тарифов на жилищно-коммунальные услуги", + "Общество может самостоятельно продать долю или часть доли участника общества без согласия кредиторов.", + "С первого дня работы на производстве", + "Общество может обратиться за помощью к государственному органу для взыскания долгов без судебного решения.", + "В форме устных поручений" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКакое из нижеперечисленных полномочий принадлежит совету директоров Агентства по Федеральному закону 'О страховании вкладов физических лиц в банках Российской Федерации' N 177-ФЗ?\nA. Ответственность в соответствии с законодательством РФ об административных правонарушениях или уголовным законодательством\nB. Назначает министра финансов Российской Федерации\nC. Осуществляет контроль за деятельностью всех банков России\nD. Лишение свободы на срок до 5 лет\nE. После одного года непрерывной работы на производстве\nF. Принимает решение о наличии дефицита фонда обязательного страхования вкладов\nG. Только генеральный директор кредитной организации\nH. Утверждает размеры тарифов на жилищно-коммунальные услуги\nI. Общество может самостоятельно продать долю или часть доли участника общества без согласия кредиторов.\nJ. С первого дня работы на производстве\nK. Общество может обратиться за помощью к государственному органу для взыскания долгов без судебного решения.\nL. В форме устных поручений\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 223, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.010977385565638542, + "B": 0.02633337862789631, + "C": 0.010977385565638542, + "D": 0.012439007870852947, + "E": 0.6791468262672424, + "F": 0.008031226694583893, + "G": 0.012439007870852947, + "H": 0.007544639986008406, + "I": 0.0015814423095434904, + "J": 0.012439007870852947, + "K": 0.009687508456408978, + "L": 0.0010210558539256454 + }, + "sample": { + "question": "Какие последствия наступают за разглашение сотрудниками антимонопольного органа сведений, составляю��их коммерческую, служебную и иную охраняемую законом тайну, в соответствии с Федеральным законом \"О рекламе\" N 38-ФЗ?", + "answerA": "Лишение свободы на срок до 5 лет", + "answerB": "Ответственность в соответствии с законодательством РФ об административных правонарушениях или уголовным законодательством", + "answerC": "Обязательство пройти профессиональное переобучение", + "answerD": "Предупреждение без применения других мер воздействия", + "correct_answer": "Ответственность в соответствии с законодательством РФ об административных правонарушениях или уголовным законодательством", + "choices": [ + "С первого дня работы на производстве", + "Лишение свободы на срок до 5 лет", + "В форме письменного распоряжения без нотариального удостоверения", + "Обязательство пройти профессиональное переобучение", + "Ответственность в соответствии с законодательством РФ об административных правонарушениях или уголовным законодательством", + "Кредиторы теряют право на предъявление требований по денежным обязательствам до начала процесса банкротства.", + "Только генеральный директор кредитной организации", + "В форме устных поручений", + "Предупреждение без применения других мер воздействия", + "Общество может самостоятельно продать долю или часть доли участника общества без согласия кредиторов.", + "После одного года непрерывной работы на производстве", + "Общество может обратиться за помощью к государственному органу для взыскания долгов без судебного решения." + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКакие последствия наступают за разглашение сотрудниками антимонопольного органа сведений, составляющих коммерческую, служебную и иную охраняемую законом тайну, в соответствии с Федеральным законом \"О рекламе\" N 38-ФЗ?\nA. С первого дня работы на производстве\nB. Лишение свободы на срок до 5 лет\nC. В форме письменного распоряжения без нотариального удостоверения\nD. Обязательство пройти профессиональное переобучение\nE. Ответственность в соответствии с законодательством РФ об административных правонарушениях или уголовным законодательством\nF. Кредиторы теряют право на предъявление требований по денежным обязательствам до начала процесса банкротства.\nG. Только генеральный директор кредитной организации\nH. В форме устных поручений\nI. Предупреждение без применения других мер воздействия\nJ. Общество может самостоятельно продать долю или часть доли участника общества без согласия кредиторов.\nK. После одного года непрерывной работы на производстве\nL. Общество может обратиться за помощью к государственному органу для взыскания долгов без судебного решения.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 230, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.002392688300460577, + "B": 0.0021115399431437254, + "C": 0.0005338808987289667, + "D": 0.0022477225866168737, + "E": 0.013768969103693962, + "F": 0.0034813410602509975, + "G": 0.002392688300460577, + "H": 0.2943935692310333, + "I": 0.001061749062500894, + "J": 0.001863427460193634, + "K": 0.010073593817651272, + "L": 0.6232311725616455 + }, + "sample": { + "question": "Каким образом общество с ограниченной ответственностью может обращать взыскание на долю или часть доли участника общества в уставном капитале по долгам участника?", + "answerA": "Общество может обратиться за помощью к государственному органу для взыскания долгов без судебного решения.", + "answerB": "Общество может самостоятельно продать долю или часть доли участника общества без согласия кредиторов.", + "answerC": "Общество может обратить взыскание на долю или часть доли участника в уставном капитале только на основании решения суда при недостаточности для покрытия долгов другого имущества участника.", + "answerD": "Общество вправе требовать от участника общества лично погасить долги без обращения в суд или к кредиторам.", + "correct_answer": "answerC", + "choices": [ + "Общество вправе требовать от участника общества лично погасить долги без обращения в суд или к кредиторам.", + "Исключительно представительный орган государственной власти субъекта РФ", + "Только Банк России", + "После одного года непрерывной работы на производстве", + "Общество может самостоятельно продать долю или часть доли участника общества без согласия кредиторов.", + "Общество может обратиться за помощью к государственному органу для взыскания долгов без судебного решения.", + "С первого дня работы на производстве", + "Общество может обратить взыскание на долю или часть доли участника в уставном капитале только на основании решения суда при недостаточности для покрытия долгов другого имущества участника.", + "Только генеральный директор кредитной организации", + "В форме письменного распоряжения без нотариального удостоверения", + "В форме устных поручений", + "Кредиторы теряют право на предъявление требований по денежным обязательствам до начала процесса банкротства." + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКаким образом общество с ограниченной ответственностью может обращать взыскание на долю или часть доли участника общества в уставном капитале по долгам участника?\nA. Общество вправе требовать от участника общества лично погасить долги без обращения в суд или к кредиторам.\nB. Исключительно представительный орган государственной власти субъекта РФ\nC. Только Банк России\nD. После одного года непрерывной работы на производстве\nE. Общество может самостоятельно продать долю или часть доли участника общества без согласия кредиторов.\nF. Общество может обратиться за помощью к государственному органу для взыскания долгов без судебного решения.\nG. С первого дня работы на производстве\nH. Общество может обратить взыскание на долю или часть доли участника в уставном капитале только на основании решения суда при недостаточности для покрытия долгов другого имущества участника.\nI. Только генеральный директор кредитной организации\nJ. В форме письменного распоряжения без нотариального удостоверения\nK. В форме устных поручений\nL. Кредиторы теряют право на предъявление требований по денежным обязательствам до начала процесса банкротства.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 226, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.15956537425518036, + "B": 0.15956537425518036, + "C": 0.0356038473546505, + "D": 0.05870082229375839, + "E": 0.06651674956083298, + "F": 0.26307883858680725, + "G": 0.0356038473546505, + "H": 0.024470143020153046, + "I": 0.014841892756521702, + "J": 0.09678130596876144, + "K": 0.011558877304196358, + "L": 0.009002062492072582 + }, + "sample": { + "question": "Когда возникает право застрахованных на обеспечение по страхованию согласно Федеральному закону \"Об обязательном социальном страховании от несчастных случаев на производстве и профессиональных заболеваний\" N 125-ФЗ, статья 7?", + "answerA": "С первого дня работы на производстве", + "answerB": "После одного года непрерывной работы на производстве", + "answerC": "Со дня наступления страхового случая", + "answerD": "После двух лет работы на производстве", + "correct_answer": "Со дня наступления страхового случая", + "choices": [ + "После одного года непрерывной работы на производстве", + "Все решения о управлении имуществом должника принимаются исключительно собственником имущества.", + "Исключительно представительный орган государственной власти субъекта РФ", + "В форме письменного распоряжения без нотариального удостоверения", + "Кредиторы теряют право на предъявление требований по денежным обязательствам до начала процесса банкротства.", + "С первого дня работы на производстве", + "Только генеральный директор кредитной организации", + "Подать иск в суд.", + "В форме устных поручений", + "Со дня наступления страхового случая", + "Только Банк России", + "После двух лет работы на производстве" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКогда возникает право застрахованных на обеспечение по страхованию согласно Федеральному закону \"Об обязательном социальном страховании от несчастных случаев на производстве и профессиональных заболеваний\" N 125-ФЗ, статья 7?\nA. После одного года непрерывной работы на производстве\nB. Все решения о управлении имуществом должника принимаются исключительно собственником имущества.\nC. Исключительно представительный орган государственной власти субъекта РФ\nD. В форме письменного распоряжения без нотариального удостоверения\nE. Кредиторы теряют право на предъявление требований по денежным обязательствам до начала процесса банкротства.\nF. С первого дня работы на производстве\nG. Только генеральный директор кредитной организации\nH. Подать иск в суд.\nI. В форме устных поручений\nJ. Со дня наступления страхового случая\nK. Только Банк России\nL. После двух лет работы на производстве\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 194, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0014679592568427324, + "B": 0.9172436594963074, + "C": 0.003748565213754773, + "D": 0.003308097366243601, + "E": 0.00017532272613607347, + "F": 7.308538624783978e-05, + "G": 0.00012826886086259037, + "H": 6.865737668704242e-05, + "I": 5.294287348078797e-06, + "J": 4.718747368315235e-05, + "K": 2.5257635570596904e-05, + "L": 1.8296569805897889e-06 + }, + "sample": { + "question": "Как в соответствии со Статьёй 39 Федерального закона \"Об обществах с ограниченной ответственностью\" (ООО) N 14-ФЗ должны быть оформлены решения, принятые единственным участником общества?", + "answerA": "В форме устных поручений", + "answerB": "В форме письменного распоряжения без нотариального удостоверения", + "answerC": "Оформляются письменно и в случаях, предусмотренных федеральным законом, должны быть подтверждены путем нотариального удостоверения", + "answerD": "Через публикацию в средствах массовой информации", + "correct_answer": "Оформляются письменно и в случаях, предусмотренных федеральным законом, должны быть подтверждены путем нотариального удостоверения", + "choices": [ + "Подать иск в суд.", + "Оформляются письменно и в случаях, предусмотренных федеральным законом, должны быть подтверждены путем нотариального удостоверения", + "В форме письменного распоряжения без нотариального удостоверения", + "Только Банк России", + "Все граждане Российской Федерации", + "В форме устных поручений", + "Любой житель муниципального образования, независимо от возраста", + "Кредиторы теряют право на предъявление требований по денежным обязательствам до начала процесса банкротства.", + "Все решения о управлении имуществом должника принимаются исключительно собственником имущества.", + "Через публикацию в средствах массовой информации", + "Исключительно представительный орган государственной власти субъекта РФ", + "Только генеральный директор кредитной организации" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКак в соответствии со Статьёй 39 Федерального закона \"Об обществах с ограниченной ответственностью\" (ООО) N 14-ФЗ должны быть оформлены решения, принятые единственным участником общества?\nA. Подать иск в суд.\nB. Оформляются письменно и в случаях, предусмотренных федеральным законом, должны быть подтверждены путем нотариального удостоверения\nC. В форме письменного распоряжения без нотариального удостоверения\nD. Только Банк России\nE. Все граждане Российской Федерации\nF. В форме устных поручений\nG. Любой житель муниципального образования, независимо от возраста\nH. Кредиторы теряют право на предъявление требований по денежным обязательствам до начала процесса банкротства.\nI. Все решения о управлении имуществом должника принимаются исключительно собственником имущества.\nJ. Через публикацию в средствах массовой информации\nK. Исключительно представительный орган государственной власти субъекта РФ\nL. Только генеральный директор кредитной организации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 207, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.23946726322174072, + "B": 0.04715389758348465, + "C": 0.16458328068256378, + "D": 0.03240836784243584, + "E": 0.07774363458156586, + "F": 0.06860852241516113, + "G": 0.1864972859621048, + "H": 0.011200033128261566, + "I": 0.004969984292984009, + "J": 0.008194118738174438, + "K": 0.028600286692380905, + "L": 0.00012442113074939698 + }, + "sample": { + "question": "Кто имеет право подать заявление о признании ликвидируемой кредитной организации банкротом согласно статье 189.102 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?", + "answerA": "Только генеральный директор кредитной организации", + "answerB": "Только Банк России", + "answerC": "Кредиторы кредитной организации и Банк России", + "answerD": "Только председатель правления кредитной организации", + "correct_answer": "Кредиторы кредитной организации и Банк России", + "choices": [ + "Кредиторы теряют право на предъявление требований по денежным обязательствам до начала процесса банкротства.", + "Только Банк России", + "Только председатель правления кредитной организации", + "Исключительно представительный орган государственной власти субъекта РФ", + "Любой житель муниципального образования, независимо от возраста", + "Подать иск в суд.", + "Кредиторы кредитной организации и Банк России", + "Сообщить страховщику о наступлении страхового случая в установленные сроки.", + "Все решения о управлении имуществом должника принимаются исключительно собственником имущества.", + "Все граждане Российской Федерации", + "Только генеральный директор кредитной организации", + "Только акты об обследовании" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКто имеет право подать заявление о признании ликвидируемой кредитной организации банкротом согласно статье 189.102 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?\nA. Кредиторы теряют право на предъявление требований по денежным обязательствам до начала процесса банкротства.\nB. Только Банк России\nC. Только председатель правления кредитной организации\nD. Исключительно представительный орган государственной власти субъекта РФ\nE. Любой житель муниципаль��ого образования, независимо от возраста\nF. Подать иск в суд.\nG. Кредиторы кредитной организации и Банк России\nH. Сообщить страховщику о наступлении страхового случая в установленные сроки.\nI. Все решения о управлении имуществом должника принимаются исключительно собственником имущества.\nJ. Все граждане Российской Федерации\nK. Только генеральный директор кредитной организации\nL. Только акты об обследовании\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 195, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.011345664039254189, + "B": 0.024018770083785057, + "C": 0.4824299216270447, + "D": 0.05761803686618805, + "E": 0.024018770083785057, + "F": 0.016507843509316444, + "G": 0.09499607235193253, + "H": 0.011345664039254189, + "I": 0.0020987368188798428, + "J": 0.006072896532714367, + "K": 0.09499607235193253, + "L": 0.0009313088376075029 + }, + "sample": { + "question": "Какое из утверждений верно относительно последствий введения внешнего управления после применения статьи 94 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?", + "answerA": "Кредиторы теряют право на предъявление требований по денежным обязательствам до начала процесса банкротства.", + "answerB": "Все решения о управлении имуществом должника принимаются исключительно собственником имущества.", + "answerC": "Полномочия руководителя должника прекращаются, управление делами возлагается на внешнего управляющего.", + "answerD": "Мораторий на удовлетворение требований кредиторов распространяется только на текущие платежи.", + "correct_answer": "C", + "choices": [ + "Мораторий на удовлетворение требований кредиторов распространяется только на текущие платежи.", + "В связи с лишением его воинского звания.", + "Любой житель муниципального образования, независимо от возраста", + "Военнослужащие и граждане, призванные на военные сборы", + "Подать иск в суд.", + "Кредиторы теряют право на предъявление требований по денежным обязательствам до начала процесса банкротства.", + "Полномочия руководителя должника прекращаются, управление делами возлагается на внешнего управляющего.", + "Все решения о управлении имуществом должника принимаются исключительно собственником имущества.", + "Сообщить страховщику о наступлении страхового случая в установленные сроки.", + "Исключительно представительный орган государственной власти субъекта РФ", + "Все граждане Российской Федерации", + "Только акты об обследовании" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКакое из утверждений верно относительно последствий введения внешнего управления после применения статьи 94 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?\nA. Мораторий на удовлетворение требований кредиторов распространяется только на текущие платежи.\nB. В связи с лишением его воинск��го звания.\nC. Любой житель муниципального образования, независимо от возраста\nD. Военнослужащие и граждане, призванные на военные сборы\nE. Подать иск в суд.\nF. Кредиторы теряют право на предъявление требований по денежным обязательствам до начала процесса банкротства.\nG. Полномочия руководителя должника прекращаются, управление делами возлагается на внешнего управляющего.\nH. Все решения о управлении имуществом должника принимаются исключительно собственником имущества.\nI. Сообщить страховщику о наступлении страхового случая в установленные сроки.\nJ. Исключительно представительный орган государственной власти субъекта РФ\nK. Все граждане Российской Федерации\nL. Только акты об обследовании\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 218, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0022384405601769686, + "B": 0.0022384405601769686, + "C": 0.003690564539283514, + "D": 0.008853204548358917, + "E": 0.7032971382141113, + "F": 0.004181957338005304, + "G": 0.010031994432210922, + "H": 0.0060847122222185135, + "I": 0.03501509875059128, + "J": 0.008853204548358917, + "K": 0.006894882768392563, + "L": 0.0002511460625100881 + }, + "sample": { + "question": "Кто имеет право инициировать опрос граждан согласно статье 31 Федерального закона \"Об общих принципах организации местного самоуправления в РФ\" (закон о МСУ) N 131-ФЗ?", + "answerA": "Исключительно представительный орган государственной власти субъекта РФ", + "answerB": "Любой житель муниципального образования, независимо от возраста", + "answerC": "Представительный орган муниципального образования, глава муниципального образования, органы государственной власти субъектов РФ, жители муниципального образования или его части старше 16 лет", + "answerD": "Только глава муниципального образования", + "correct_answer": "Представительный орган муниципального образования, глава муниципального образования, органы государственной власти субъектов РФ, жители муниципального образования или его части старше 16 лет", + "choices": [ + "Только документы, подтверждающие личность владельца", + "Подать иск в суд.", + "В связи с лишением его воинского звания.", + "Только глава муниципального образования", + "Представительный орган муниципального образования, глава муниципального образования, органы государственной власти субъектов РФ, жители муниципального образования или его части старше 16 лет", + "Любой житель муниципального образования, независимо от возраста", + "Исключительно представительный орган государственной власти субъекта РФ", + "Все граждане Российской Федерации", + "Военнослужащие и граждане, призванные на военные сборы", + "Сообщить страховщику о наступлении страхового случая в установленные сроки.", + "Не менее 5 процентов", + "Только акты об обследовании" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКто имеет право инициировать опрос граждан согласно статье 31 Федерального закона \"Об общих принципах организации местного самоуправления в РФ\" (закон о МСУ) N 131-ФЗ?\nA. Только документы, подтверждающие личность владельца\nB. Подать иск в суд.\nC. В связи с лишением его воинского звания.\nD. Только глава муниципального образования\nE. Представительный орган муниципального образования, глава муниципального образования, органы государственной власти субъектов РФ, жители муниципального образования или его части старше 16 лет\nF. Любой житель муниципального образования, независимо от возраста\nG. Исключительно представительный орган государственной власти субъекта РФ\nH. Все граждане Российской Федерации\nI. Военнослужащие и граждане, призванные на военные сборы\nJ. Сообщить страховщику о наступлении страхового случая в установленные сроки.\nK. Не менее 5 процентов\nL. Только акты об обследовании\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 200, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0007099085487425327, + "B": 0.0018128148512914777, + "C": 0.046753112226724625, + "D": 0.005583863239735365, + "E": 0.0015028762863948941, + "F": 0.0015998035669326782, + "G": 0.0012459282297641039, + "H": 0.0019297313410788774, + "I": 0.0003799866244662553, + "J": 0.0015028762863948941, + "K": 0.56956946849823, + "L": 0.0008044317364692688 + }, + "sample": { + "question": "Какой первый шаг должен предпринять страхователь в случае страхового случая по ОСАГО, согласно Федеральному закону N 40-ФЗ?", + "answerA": "Подать иск в суд.", + "answerB": "Сообщить страховщику о наступлении страхового случая в установленные сроки.", + "answerC": "Сообщить другим участникам происшествия информацию о своем договоре обязательного страхования.", + "answerD": "Выплатить компенсацию из своего кармана.", + "correct_answer": "C", + "choices": [ + "Военнослужащие и граждане, призванные на военные сборы", + "Выплатить компенсацию из своего кармана.", + "Подать иск в суд.", + "Только документы, подтверждающие личность владельца", + "В связи с признанием его военно-врачебной комиссией не годным к военной службе.", + "Только акты об обследовании", + "В связи с лишением его воинского звания.", + "Все граждане Российской Федерации", + "Не менее 5 процентов", + "Не требуется получение согласия управляющего товарища.", + "Сообщить страховщику о наступлении страхового случая в установленные сроки.", + "Сообщить другим участникам происшествия информацию о своем договоре обязательного страхования." + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКакой первый шаг должен предпринять страхователь в случае страхового случая по ОСАГО, согласно Федеральному закону N 40-ФЗ?\nA. Военнослужащие и граждане, призванные на военные сборы\nB. Выплатить компенсацию из своего к��рмана.\nC. Подать иск в суд.\nD. Только документы, подтверждающие личность владельца\nE. В связи с признанием его военно-врачебной комиссией не годным к военной службе.\nF. Только акты об обследовании\nG. В связи с лишением его воинского звания.\nH. Все граждане Российской Федерации\nI. Не менее 5 процентов\nJ. Не требуется получение согласия управляющего товарища.\nK. Сообщить страховщику о наступлении страхового случая в установленные сроки.\nL. Сообщить другим участникам происшествия информацию о своем договоре обязательного страхования.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 187, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0015480521833524108, + "B": 0.0027169163804501295, + "C": 0.6648074984550476, + "D": 0.009482969529926777, + "E": 0.0014542605495080352, + "F": 0.0011325792875140905, + "G": 0.11552620679140091, + "H": 0.0018673075828701258, + "I": 0.0001848884712671861, + "J": 0.00019681276171468198, + "K": 0.029209602624177933, + "L": 4.976206037099473e-05 + }, + "sample": { + "question": "Кто подлежит обязательному государственному личному страхованию согласно Федеральному закону 'О статусе военнослужащих' N 76-ФЗ, статья 18?", + "answerA": "Все граждане Российской Федерации", + "answerB": "Военнослужащие и граждане, призванные на военные сборы", + "answerC": "Только граждане, работающие в отраслях экономики критической важности", + "answerD": "Зарубежные волонтеры, участвующие в гуманитарных операциях на территории России", + "correct_answer": "B", + "choices": [ + "Только граждане, работающие в отраслях экономики критической важности", + "7 дней", + "В связи с признанием его военно-врачебной комиссией не годным к военной службе.", + "Не менее 5 процентов", + "Только акты об обследовании", + "Не менее 10 процентов", + "Военнослужащие и граждане, призванные на военные сборы", + "Только документы, подтверждающие личность владельца", + "Зарубежные волонтеры, участвующие в гуманитарных операциях на территории России", + "Все граждане Российской Федерации", + "В связи с лишением его воинского звания.", + "Не требуется получение согласия управляющего товарища." + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКто подлежит обязательному государственному личному страхованию согласно Федеральному закону 'О статусе военнослужащих' N 76-ФЗ, статья 18?\nA. Только граждане, работающие в отраслях экономики критической важности\nB. 7 дней\nC. В связи с признанием его военно-врачебной комиссией не годным к военной службе.\nD. Не менее 5 процентов\nE. Только акты об обследовании\nF. Не менее 10 процентов\nG. Военнослужащие и граждане, призванные на военные сборы\nH. Только документы, подтверждающие личность владельца\nI. Зарубежные волонтеры, участвующие в гуманитарных операциях на территории России\nJ. Все граждане Российской Федерации\nK. В связи с лишением его воинского звания.\nL. Не требуется получение согласия управляющего товарища.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 185, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0008757297182455659, + "B": 0.008308691903948784, + "C": 0.042195022106170654, + "D": 0.05417947843670845, + "E": 0.0022362542804330587, + "F": 0.0016360785812139511, + "G": 0.0022362542804330587, + "H": 0.001356356660835445, + "I": 0.00038860272616147995, + "J": 0.00046874434337951243, + "K": 0.5824843049049377, + "L": 0.00019540170615073293 + }, + "sample": { + "question": "Какие документы являются основанием для государственного кадастрового учета и государственной регистрации прав согласно Федеральному закону \"О государственной регистрации недвижимости\" N 218-ФЗ, Статья 14?", + "answerA": "Только акты об обследовании", + "answerB": "Только документы, подтверждающие личность владельца", + "answerC": "Акты, выданные органами государственной власти, договоры и другие сделки, свидетельства о приватизации и другие указанные в статье", + "answerD": "Только электронные документы, подтвержденные цифровой подписью", + "correct_answer": "C", + "choices": [ + "В связи с лишением его воинского звания.", + "7 дней", + "Только акты об обследовании", + "Не менее 5 процентов", + "Не менее 10 процентов", + "Не требуется получение согласия управляющего товарища.", + "Требуется согласие только одного из товарищей-вкладчиков.", + "Выполнение обязанностей судебного пристава-исполнителя в случаях, предусмотренных законодательством Российской Федерации о налогах и сборах.", + "Только электронные документы, подтвержденные цифровой подписью", + "В связи с признанием его военно-врачебной комиссией не годным к военной службе.", + "Акты, выданные органами государственной власти, договоры и другие сделки, свидетельства о приватизации и другие указанные в статье", + "Только документы, подтверждающие личность владельца" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКакие документы являются основанием для государственного кадастрового учета и государственной регистрации прав согласно Федеральному закону \"О государственной регистрации недвижимости\" N 218-ФЗ, Статья 14?\nA. В связи с лишением его воинского звания.\nB. 7 дней\nC. Только акты об обследовании\nD. Не менее 5 процентов\nE. Не менее 10 процентов\nF. Не требуется получение согласия управляющего товарища.\nG. Требуется согласие только одного из товарищей-вкладчиков.\nH. Выполнение обязанностей судебного пристава-исполнителя в случаях, предусмотренных законодательством Российской Федерации о налогах и сборах.\nI. Только электронные документы, подтвержденные цифровой подписью\nJ. В связи с признанием его военно-врачебной комиссией не годным к военной службе.\nK. Акты, выданные органами государственной власти, договоры и другие сделки, свидетел��ства о приватизации и другие указанные в статье\nL. Только документы, подтверждающие личность владельца\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 217, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.2261194884777069, + "B": 0.06478431820869446, + "C": 0.12103305011987686, + "D": 0.1371484100818634, + "E": 0.06478431820869446, + "F": 0.04452556371688843, + "G": 0.06478431820869446, + "H": 0.05045408010482788, + "I": 0.022388862445950508, + "J": 0.057171959429979324, + "K": 0.023832818493247032, + "L": 0.010575749911367893 + }, + "sample": { + "question": "Какое из перечисленных оснований НЕ является причиной для исключения гражданина из резерва в соответствии со статьей 57.8 Федерального закона 'О воинской обязанности и военной службе' N 53-ФЗ?", + "answerA": "В связи с лишением его воинского звания.", + "answerB": "В связи с признанием его военно-врачебной комиссией не годным к военной службе.", + "answerC": "В связи с отказом от выполнения воинской присяги.", + "answerD": "В связи с прекращением гражданства Российской Федерации.", + "correct_answer": "В связи с отказом от выполнения воинской присяги.", + "choices": [ + "Исключительно посредством личного визита инспектора на место осуществления деятельности контролируемого лица", + "В связи с признанием его военно-врачебной комиссией не годным к военной службе.", + "В связи с прекращением гражданства Российской Федерации.", + "Не менее 10 процентов", + "Не требуется получение согласия управляющего товарища.", + "Выполнение обязанностей судебного пристава-исполнителя в случаях, предусмотренных законодательством Российской Федерации о налогах и сборах.", + "14 дней", + "7 дней", + "Требуется согласие только одного из товарищей-вкладчиков.", + "Не менее 5 процентов", + "В связи с лишением его воинского звания.", + "В связи с отказом от выполнения воинской присяги." + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКакое из перечисленных оснований НЕ является причиной для исключения гражданина из резерва в соответствии со статьей 57.8 Федерального закона 'О воинской обязанности и военной службе' N 53-ФЗ?\nA. Исключительно посредством личного визита инспектора на место осуществления деятельности контролируемого лица\nB. В связи с признанием его военно-врачебной комиссией не годным к военной службе.\nC. В связи с прекращением гражданства Российской Федерации.\nD. Не менее 10 процентов\nE. Не требуется получение согласия управляющего товарища.\nF. Выполнение обязанностей судебного пристава-исполнителя в случаях, предусмотренных законодательством Российской Федерации о налогах и сборах.\nG. 14 дней\nH. 7 дней\nI. Требуется согласие только одного из товарищей-вкладчиков.\nJ. Не менее 5 процентов\nK. В связи с лишением его воинского звания.\nL. В связи с отказом от выполнения воинской присяги.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 213, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.02379649505019188, + "B": 0.02379649505019188, + "C": 0.011240667663514614, + "D": 0.011240667663514614, + "E": 0.42180296778678894, + "F": 0.026964960619807243, + "G": 0.03923378512263298, + "H": 0.09411696344614029, + "I": 0.009318840689957142, + "J": 0.030555304139852524, + "K": 0.08305792510509491, + "L": 0.12084857374429703 + }, + "sample": { + "question": "Какой минимальный процент голосующих акций должен быть у акционеров для предъявления требования о созыве внеочередного общего собрания по Федеральному закону \"Об акционерных обществах\" N 208-ФЗ?", + "answerA": "Не менее 5 процентов", + "answerB": "Не менее 10 процентов", + "answerC": "Не менее 15 процентов", + "answerD": "Не менее 20 процентов", + "correct_answer": "answerB", + "choices": [ + "Исключительно посредством личного визита инспектора на место осуществления деятельности контролируемого лица", + "7 дней", + "Не требуется получение согласия управляющего товарища.", + "Любые региональные органы исполнительной власти", + "Не менее 10 процентов", + "Разработка программных продуктов для автоматизации деятельности судебных органов.", + "Не менее 20 процентов", + "Не менее 15 процентов", + "Выполнение обязанностей судебного пристава-исполнителя в случаях, предусмотренных законодательством Российской Федерации о налогах и сборах.", + "Не менее 5 процентов", + "14 дней", + "Требуется согласие только одного из товарищей-вкладчиков." + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКакой минимальный процент голосующих акций должен быть у акционеров для предъявления требования о созыве внеочередного общего собрания по Федеральному закону \"Об акционерных обществах\" N 208-ФЗ?\nA. Исключительно посредством личного визита инспектора на место осуществления деятельности контролируемого лица\nB. 7 дней\nC. Не требуется получение согласия управляющего товарища.\nD. Любые региональные органы исполнительной власти\nE. Не менее 10 процентов\nF. Разработка программных продуктов для автоматизации деятельности судебных органов.\nG. Не менее 20 процентов\nH. Не менее 15 процентов\nI. Выполнение обязанностей судебного пристава-исполнителя в случаях, предусмотренных законодательством Российской Федерации о налогах и сборах.\nJ. Не менее 5 процентов\nK. 14 дней\nL. Требуется согласие только одного из товарищей-вкладчиков.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 198, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0008412541938014328, + "B": 0.03807807341217995, + "C": 0.0029362658970057964, + "D": 0.023095518350601196, + "E": 0.010909550823271275, + "F": 0.8666529655456543, + "G": 0.012362140230834484, + "H": 0.004547777585685253, + "I": 0.00011385138350306079, + "J": 0.004547777585685253, + "K": 0.009627645835280418, + "L": 0.0018957956926897168 + }, + "sample": { + "question": "Каково условие для полной передачи прав и обязанностей товарища-вкладчика, не являющегося управляющим товарищем, по договору инвестиционного товарищества?", + "answerA": "Не требуется получение согласия управляющего товарища.", + "answerB": "Требуется согласие только одного из товарищей-вкладчиков.", + "answerC": "Требуется согласие всех товарищей, если иное не предусмотрено договором инвестиционного товарищества.", + "answerD": "Можно передать права и обязанности без согласия всех товарищей, если передача производится в пользу управляющего товарища.", + "correct_answer": "Требуется согласие всех товарищей, если иное не предусмотрено договором инвестиционного товарищества.", + "choices": [ + "Можно передать права и обязанности без согласия всех товарищей, если передача производится в пользу управляющего товарища.", + "Выполнение обязанностей судебного пристава-исполнителя в случаях, предусмотренных законодательством Российской Федерации о налогах и сборах.", + "Процесс уголовного судопроизводства в Российской Федерации.", + "Исключительно посредством личного визита инспектора на место осуществления деятельности контролируемого лица", + "14 дней", + "Требуется согласие всех товарищей, если иное не предусмотрено договором инвестиционного товарищества.", + "Любые региональные органы исполнительной власти", + "Не требуется получение согласия управляющего товарища.", + "Требуется согласие только одного из товарищей-вкладчиков.", + "Разработка программных продуктов для автоматизации деятельности судебных органов.", + "Путем отправки письменных запросов и ожидания ответа от контролируемого лица", + "7 дней" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКаково условие для полной передачи прав и обязанностей товарища-вкладчика, не являющегося управляющим товарищем, по договору инвестиционного товарищества?\nA. Можно передать права и обязанности без согласия всех товарищей, если передача производится в пользу управляющего товарища.\nB. Выполнение обязанностей судебного пристава-исполнителя в случаях, предусмотренных законодательством Российской Федерации о налогах и сборах.\nC. Процесс уголовного судопроизводства в Российской Федерации.\nD. Исключительно посредством личного визита инспектора на место осуществления деятельности контролируемого лица\nE. 14 дней\nF. Требуется согласие всех товарищей, если иное не предусмотрено договором инвестиционного товарищества.\nG. Любые региональные органы исполнительной власти\nH. Не требуется получение согласия управляющего товарища.\nI. Требуется согласие только одного из товарищей-вкладчиков.\nJ. Разработка программных продуктов для автоматизации деятельности судебных органов.\nK. Путем отправки письменных запросов и ожидания о��вета от контролируемого лица\nL. 7 дней\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 208, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.13781440258026123, + "B": 0.22721754014492035, + "C": 0.10732997208833694, + "D": 0.09471835941076279, + "E": 0.05069908872246742, + "F": 0.13781440258026123, + "G": 0.08358866721391678, + "H": 0.05069908872246742, + "I": 0.006055142264813185, + "J": 0.018651152029633522, + "K": 0.012818736955523491, + "L": 0.014525530859827995 + }, + "sample": { + "question": "Сколько дней отведено на завершение передачи имущества и обязательств банка приобретателю согласно статье 189.52 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?", + "answerA": "7 дней", + "answerB": "14 дней", + "answerC": "21 день", + "answerD": "30 дней", + "correct_answer": "B", + "choices": [ + "21 день", + "Путем отправки письменных запросов и ожидания ответа от контролируемого лица", + "10-кратный годовой размер денежного содержания", + "Разработка программных продуктов для автоматизации деятельности судебных органов.", + "Федеральные государственные органы и организации, определенные Федеральным законом", + "30 дней", + "14 дней", + "Выполнение обязанностей судебного пристава-исполнителя в случаях, предусмотренных законодательством Российской Федерации о налогах и сборах.", + "7 дней", + "Процесс уголовного судопроизводства в Российской Федерации.", + "Любые региональные органы исполнительной власти", + "Исключительно посредством личного визита инспектора на место осуществления деятельности контролируемого лица" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nСколько дней отведено на завершение передачи имущества и обязательств банка приобретателю согласно статье 189.52 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?\nA. 21 день\nB. Путем отправки письменных запросов и ожидания ответа от контролируемого лица\nC. 10-кратный годовой размер денежного содержания\nD. Разработка программных продуктов для автоматизации деятельности судебных органов.\nE. Федеральные государственные органы и организации, определенные Федеральным законом\nF. 30 дней\nG. 14 дней\nH. Выполнение обязанностей судебного пристава-исполнителя в случаях, предусмотренных законодательством Российской Федерации о налогах и сборах.\nI. 7 дней\nJ. Процесс уголовного судопроизводства в Российской Федерации.\nK. Любые региональные органы исполнительной власти\nL. Исключительно посредством личного визита инспектора на место осуществления деятельности контролируемого лица\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 204, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.00556150684133172, + "B": 0.8786345720291138, + "C": 0.014201804995536804, + "D": 0.009760748594999313, + "E": 0.005920193158090115, + "F": 0.0029768601525574923, + "G": 0.002627069829031825, + "H": 0.00132097362075001, + "I": 0.00010843211930477992, + "J": 0.003168851137161255, + "K": 0.0008012110483832657, + "L": 0.000276891136309132 + }, + "sample": { + "question": "Какое из перечисленных полномочий принадлежит старшему судебному приставу в соответствии с Федеральным законом 'О судебных приставах' N 118-ФЗ?", + "answerA": "Выполнение обязанностей судебного пристава-исполнителя в случаях, предусмотренных законодательством Российской Федерации о налогах и сборах.", + "answerB": "Разработка программных продуктов для автоматизации деятельности судебных органов.", + "answerC": "Возложение на своих заместителей исполнение обязанностей судебного пристава-исполнителя.", + "answerD": "Принятие решений о вынесении судебных актов.", + "correct_answer": "C", + "choices": [ + "Любые региональные органы исполнительной власти", + "Выполнение обязанностей судебного пристава-исполнителя в случаях, предусмотренных законодательством Российской Федерации о налогах и сборах.", + "Исключительно посредством личного визита инспектора на место осуществления деятельности контролируемого лица", + "Путем отправки письменных запросов и ожидания ответа от контролируемого лица", + "Федеральные государственные органы и организации, определенные Федеральным законом", + "Процесс уголовного судопроизводства в Российской Федерации.", + "Разработка программных продуктов для автоматизации деятельности судебных органов.", + "Проверка финансовой деятельности коммерческих организаций", + "Процедуры по работе с обращениями граждан.", + "Возложение на своих заместителей исполнение обязанностей судебного пристава-исполнителя.", + "Принятие решений о вынесении судебных актов.", + "10-кратный годовой размер денежного содержания" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКакое из перечисленных полномочий принадлежит старшему судебному приставу в соответствии с Федеральным законом 'О судебных приставах' N 118-ФЗ?\nA. Любые региональные органы исполнительной власти\nB. Выполнение обязанностей судебного пристава-исполнителя в случаях, предусмотренных законодательством Российской Федерации о налогах и сборах.\nC. Исключительно посредством личного визита инспектора на место осуществления деятельности контролируемого лица\nD. Путем отправки письменных запросов и ожидания ответа от контролируемого лица\nE. Федеральные государственные органы и организации, определенные Федеральным законом\nF. Процесс уголовного судопроизводства в Российской Федерации.\nG. Разработка программных продуктов для автоматизации деятельности судебных органов.\nH. Проверка финансовой деятельности коммерческих организаций\nI. Процедуры по работе с обращениями граждан.\nJ. Возложение на своих заместителей исполнение обязанностей судебного пристава-исполнителя.\nK. П��инятие решений о вынесении судебных актов.\nL. 10-кратный годовой размер денежного содержания\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 215, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0016525245737284422, + "B": 0.010775812901556492, + "C": 0.0012090126983821392, + "D": 0.0030873219948261976, + "E": 0.009509621188044548, + "F": 0.003286437364295125, + "G": 0.006535861175507307, + "H": 0.062010519206523895, + "I": 0.003286437364295125, + "J": 0.1487555056810379, + "K": 0.04829384386539459, + "L": 0.5883394479751587 + }, + "sample": { + "question": "Каким образом может проводиться профилактический визит согласно Федеральному закону от 31.07.2020 N 248-ФЗ \"О государственном контроле (надзоре) и муниципальном контроле в Российской Федерации\"?", + "answerA": "Исключительно посредством личного визита инспектора на место осуществления деятельности контролируемого лица", + "answerB": "Путем отправки письменных запросов и ожидания ответа от контролируемого лица", + "answerC": "В форме профилактической беседы по месту осуществления деятельности контролируемого лица либо путем использования видео-конференц-связи", + "answerD": "Через публикацию предупреждений в средствах массовой информации", + "correct_answer": "C", + "choices": [ + "Любые региональные органы исполнительной власти", + "Пункт 1 статьи 11", + "Проверка финансовой деятельности коммерческих организаций", + "Процесс уголовного судопроизводства в Российской Федерации.", + "Федеральные государственные органы и организации, определенные Федеральным законом", + "Через публикацию предупреждений в средствах массовой информации", + "Процедуры по работе с обращениями граждан.", + "10-кратный годовой размер денежного содержания", + "5-кратный годовой размер денежного содержания", + "В форме профилактической беседы по месту осуществления деятельности контролируемого лица либо путем использования видео-конференц-связи", + "Путем отправки письменных запросов и ожидания ответа от контролируемого лица", + "Исключительно посредством личного визита инспектора на место осуществления деятельности контролируемого лица" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКаким образом может проводиться профилактический визит согласно Федеральному закону от 31.07.2020 N 248-ФЗ \"О государственном контроле (надзоре) и муниципальном контроле в Российской Федерации\"?\nA. Любые региональные органы исполнительной власти\nB. Пункт 1 статьи 11\nC. Проверка финансовой деятельности коммерческих организаций\nD. Процесс уголовного судопроизводства в Российской Федерации.\nE. Федеральные государственные органы и организации, определенные Федеральным законом\nF. Через публикацию предупреждений в средствах массовой информации\nG. Процедуры по работе с обращениями граждан.\nH. 10-кратный годовой размер денежного содержания\nI. 5-кратный годовой размер денежного содержания\nJ. В форме профилактической беседы по месту осуществления деятельности контролируемого лица либо путем использования видео-конференц-связи\nK. Путем отправки письменных запросов и ожидания ответа от контролируемого лица\nL. Исключительно посредством личного визита инспектора на место осуществления деятельности контролируемого лица\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 226, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.7366231083869934, + "B": 0.011185030452907085, + "C": 0.01732371561229229, + "D": 0.011185030452907085, + "E": 0.01349172368645668, + "F": 0.003411242039874196, + "G": 0.011906403116881847, + "H": 0.0036312479060143232, + "I": 0.007687352132052183, + "J": 0.0017152799991890788, + "K": 0.0028280187398195267, + "L": 4.2941195715684444e-05 + }, + "sample": { + "question": "Какие органы имеют право на создание ведомственной охраны согласно Федеральному закону \"О ведомственной охране\" N 77-ФЗ?", + "answerA": "Любые региональные органы исполнительной власти", + "answerB": "Федеральные государственные органы и организации, определенные Федеральным законом", + "answerC": "Частные охранные компании", + "answerD": "Международные организации", + "correct_answer": "B", + "choices": [ + "Федеральные государственные органы и организации, определенные Федеральным законом", + "Процедуры по работе с обращениями граждан.", + "Проверка финансовой деятельности коммерческих организаций", + "Немедленно принять все предложенные ценные бумаги без оценки их рыночной стоимости", + "Международные организации", + "Процесс уголовного судопроизводства в Российской Федерации.", + "10-кратный годовой размер денежного содержания", + "Частные охранные компании", + "Пункт 1 статьи 11", + "Любые региональные органы исполнительной власти", + "Надзор за законностью нахождения лиц в местах содержания задержанных и условиями их содержания", + "5-кратный годовой размер денежного содержания" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКакие органы имеют право на создание ведомственной охраны согласно Федеральному закону \"О ведомственной охране\" N 77-ФЗ?\nA. Федеральные государственные органы и организации, определенные Федеральным законом\nB. Процедуры по работе с обращениями граждан.\nC. Проверка финансовой деятельности коммерческих организаций\nD. Немедленно принять все предложенные ценные бумаги без оценки их рыночной стоимости\nE. Международные организации\nF. Процесс уголовного судопроизводства в Российской Федерации.\nG. 10-кратный годовой размер денежного содержания\nH. Частные охранные компании\nI. Пункт 1 статьи 11\nJ. Любые региональные органы исполнительной власти\nK. Надзор за законностью нахождения лиц в местах содержания задержанных и условиями их содержания\nL. 5-кратный годовой размер денежного содержания\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 185, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.006653463933616877, + "B": 0.020494110882282257, + "C": 0.133638396859169, + "D": 0.021815866231918335, + "E": 0.03828803822398186, + "F": 0.04075740650296211, + "G": 0.1944427192211151, + "H": 0.11793547123670578, + "I": 0.014993812888860703, + "J": 0.07153148204088211, + "K": 0.15143214166164398, + "L": 0.0026055339258164167 + }, + "sample": { + "question": "Какой процесс описывает Статья 12.1 Федерального закона \"О прокуратуре Российской Федерации\" N 2202-1-ФЗ?", + "answerA": "Процесс уголовного судопроизводства в Российской Федерации.", + "answerB": "Процедуры по работе с обращениями граждан.", + "answerC": "Назначение на должность и освобождение от должности заместителей Генерального прокурора Российской Федерации.", + "answerD": "Меры по борьбе с коррупцией в органах прокуратуры.", + "correct_answer": "C", + "choices": [ + "Если сотрудник не прошел специальную подготовку", + "10-кратный годовой размер денежного содержания", + "Надзор за законностью нахождения лиц в местах содержания задержанных и условиями их содержания", + "5-кратный годовой размер денежного содержания", + "Немедленно принять все предложенные ценные бумаги без оценки их рыночной стоимости", + "Проверка финансовой деятельности коммерческих организаций", + "Меры по борьбе с коррупцией в органах прокуратуры.", + "Процедуры по работе с обращениями граждан.", + "Процесс уголовного судопроизводства в Российской Федерации.", + "Назначение на должность и освобождение от должности заместителей Генерального прокурора Российской Федерации.", + "Пункт 2 статьи 11", + "Пункт 1 статьи 11" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКакой процесс описывает Статья 12.1 Федерального закона \"О прокуратуре Российской Федерации\" N 2202-1-ФЗ?\nA. Если сотрудник не прошел специальную подготовку\nB. 10-кратный годовой размер денежного содержания\nC. Надзор за законностью нахождения лиц в местах содержания задержанных и условиями их содержания\nD. 5-кратный годовой размер денежного содержания\nE. Немедленно принять все предложенные ценные бумаги без оценки их рыночной стоимости\nF. Проверка финансовой деятельности коммерческих организаций\nG. Меры по борьбе с коррупцией в органах прокуратуры.\nH. Процедуры по работе с обращениями граждан.\nI. Процесс уголовного судопроизводства в Российской Федерации.\nJ. Назначение на должность и освобождение от должности заместителей Генерального прокурора Российской Федерации.\nK. Пункт 2 статьи 11\nL. Пункт 1 статьи 11\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 199, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.5711134076118469, + "B": 0.036510057747364044, + "C": 0.2101009041070938, + "D": 0.028434062376618385, + "E": 0.0322200171649456, + "F": 0.008146494626998901, + "G": 0.019542425870895386, + "H": 0.013431300409138203, + "I": 0.004360504448413849, + "J": 0.0018177288584411144, + "K": 0.0020597565453499556, + "L": 0.00014920825196895748 + }, + "sample": { + "question": "Какой размер единовременного пособия выплачивается должностному лицу таможенного органа РФ в случае получения телесного повреждения, исключающего возможность в дальнейшем заниматься служебной деятельностью?", + "answerA": "10-кратный годовой размер денежного содержания", + "answerB": "5-кратный годовой размер денежного содержания", + "answerC": "12,5-кратный годовой размер денежного содержания", + "answerD": "7,5-кратный годовой размер денежного содержания", + "correct_answer": "answerB", + "choices": [ + "7,5-кратный годовой размер денежного содержания", + "В течение 15 дней направить предложение владельцам ценных бумаг, которым оно адресовано, с указанием даты его поступления и рекомендациями совета директоров (наблюдательного совета)", + "12,5-кратный годовой размер денежного содержания", + "Если сотрудник не прошел специальную подготовку", + "Проверка финансовой деятельности коммерческих организаций", + "10-кратный годовой размер денежного содержания", + "Пункт 1 статьи 11", + "Надзор за законностью нахождения лиц в местах содержания задержанных и условиями их содержания", + "5-кратный годовой размер денежного содержания", + "Пункт 2 статьи 11", + "После принятия Банком России решения о лицензировании новой кредитной организации", + "Немедленно принять все предложенные ценные бумаги без оценки их рыночной стоимости" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКакой размер единовременного пособия выплачивается должностному лицу таможенного органа РФ в случае получения телесного повреждения, исключающего возможность в дальнейшем заниматься служебной деятельностью?\nA. 7,5-кратный годовой размер денежного содержания\nB. В течение 15 дней направить предложение владельцам ценных бумаг, которым оно адресовано, с указанием даты его поступления и рекомендациями совета директоров (наблюдательного совета)\nC. 12,5-кратный годовой размер денежного содержания\nD. Если сотрудник не прошел специальную подготовку\nE. Проверка финансовой деятельности коммерческих организаций\nF. 10-кратный годовой размер денежного содержания\nG. Пункт 1 статьи 11\nH. Надзор за законностью нахождения лиц в местах содержания задержанных и условиями их содержания\nI. 5-кратный годовой размер денежного содержания\nJ. Пункт 2 статьи 11\nK. После принятия Банком России решения о лицензировании новой кредитной организации\nL. Немедленно принять все предложенные ценные бумаги без оценки их рыночной стоимости\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 230, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.835071325302124, + "B": 0.010511997155845165, + "C": 0.01191165205091238, + "D": 0.013497671112418175, + "E": 0.01191165205091238, + "F": 0.0024968180805444717, + "G": 0.002829265547916293, + "H": 0.002657849108800292, + "I": 0.003867147723212838, + "J": 0.000761486473493278, + "K": 0.000491652637720108, + "L": 4.8680201871320605e-05 + }, + "sample": { + "question": "Что является предметом надзора в рамках Федерального закона 'О прокуратуре Российской Федерации' N 2202-1-ФЗ, согласно статье 32?", + "answerA": "Проверка финансовой деятельности коммерческих организаций", + "answerB": "Надзор за законностью нахождения лиц в местах содержания задержанных и условиями их содержания", + "answerC": "Контроль качества образовательных услуг в вузах", + "answerD": "Регулирование вопросов миграции граждан из других государств", + "correct_answer": "answerB", + "choices": [ + "Надзор за законностью нахождения лиц в местах содержания задержанных и условиями их содержания", + "Пункт 1 статьи 11", + "Немедленно принять все предложенные ценные бумаги без оценки их рыночной стоимости", + "Проверка финансовой деятельности коммерческих организаций", + "По инициативе должника", + "Если сотрудник не прошел специальную подготовку", + "В течение 15 дней направить предложение владельцам ценных бумаг, которым оно адресовано, с указанием даты его поступления и рекомендациями совета директоров (наблюдательного совета)", + "После принятия Банком России решения о лицензировании новой кредитной организации", + "При возникновении обстоятельств, создающих угрозу жизни и здоровью сотрудника войск национальной гвардии или иных лиц", + "Регулирование вопросов миграции граждан из других государств", + "Пункт 2 статьи 11", + "Контроль качества образовательных услуг в вузах" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nЧто является предметом надзора в рамках Федерального закона 'О прокуратуре Российской Федерации' N 2202-1-ФЗ, согласно статье 32?\nA. Надзор за законностью нахождения лиц в местах содержания задержанных и условиями их содержания\nB. Пункт 1 статьи 11\nC. Немедленно принять все предложенные ценные бумаги без оценки их рыночной стоимости\nD. Проверка финансовой деятельности коммерческих организаций\nE. По инициативе должника\nF. Если сотрудник не прошел специальную подготовку\nG. В течение 15 дней направить предложение владельцам ценных бумаг, которым оно адресовано, с указанием даты его поступления и рекомендациями совета директоров (наблюдательного совета)\nH. После принятия Банком России решения о лицензировании новой кредитной организации\nI. При возникновении обстоятельств, создающих угрозу жизни и здоровью сотрудника войск национальной гвардии или иных лиц\nJ. Регулирование вопросов миграции граждан из других государств\nK. Пункт 2 статьи 11\nL. Контроль качества образовательных услуг в вузах\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 226, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0699143260717392, + "B": 0.21535128355026245, + "C": 0.07922331988811493, + "D": 0.042405180633068085, + "E": 0.07922331988811493, + "F": 0.1152692437171936, + "G": 0.07922331988811493, + "H": 0.1152692437171936, + "I": 0.007844170555472374, + "J": 0.048051368445158005, + "K": 0.02269785851240158, + "L": 0.01767710968852043 + }, + "sample": { + "question": "Какой пункт статьи 11 Закона Российской Федерации от 9 октября 1992 года N 3615-1 'О валютном регулировании и валютном контроле' был признан утратившим силу с дня официального опубликования Федерального закона 'О валютном регулировании и валютном контроле' N 173-ФЗ?", + "answerA": "Пункт 1 статьи 11", + "answerB": "Пункт 2 статьи 11", + "answerC": "Пункт 3 статьи 11", + "answerD": "Пункт 4 статьи 11", + "correct_answer": "Пункт 2 статьи 11", + "choices": [ + "После принятия Банком России решения о лицензировании новой кредитной организации", + "Пункт 1 статьи 11", + "Немедленно принять все предложенные ценные бумаги без оценки их рыночной стоимости", + "Если сотрудник не прошел специальную подготовку", + "Пункт 3 статьи 11", + "В течение 15 дней направить предложение владельцам ценных бумаг, которым оно адресовано, с указанием даты его поступления и рекомендациями совета директоров (наблюдательного совета)", + "Иностранный банковский офис", + "После устранения причин, послуживших основанием для её назначения", + "Пункт 4 статьи 11", + "При возникновении обстоятельств, создающих угрозу жизни и здоровью сотрудника войск национальной гвардии или иных лиц", + "Пункт 2 статьи 11", + "По инициативе должника" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКакой пункт статьи 11 Закона Российской Федерации от 9 октября 1992 года N 3615-1 'О валютном регулировании и валютном контроле' был признан утратившим силу с дня официального опубликования Федерального закона 'О валютном регулировании и валютном контроле' N 173-ФЗ?\nA. После принятия Банком России решения о лицензировании новой кредитной организации\nB. Пункт 1 статьи 11\nC. Немедленно принять все предложенные ценные бумаги без оценки их рыночной стоимости\nD. Если сотрудник не прошел специальную подготовку\nE. Пункт 3 статьи 11\nF. В течение 15 дней направить предложение владельцам ценных бумаг, которым оно адресовано, с указанием даты его поступления и рекомендациями совета директоров (наблюдательного совета)\nG. Иностранный банковский офис\nH. После устранения причин, послуживших основанием для её назначения\nI. Пункт 4 статьи 11\nJ. При возникновении обстоятельств, создающих угрозу жизни и здоровью сотрудника войск национальной гвардии или иных лиц\nK. Пункт 2 статьи 11\nL. По инициативе должника\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 257, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.010209314525127411, + "B": 0.007951022125780582, + "C": 0.9190132021903992, + "D": 0.005464652087539434, + "E": 0.0005082918214611709, + "F": 0.00030829457682557404, + "G": 0.0005759700434282422, + "H": 0.0005082918214611709, + "I": 5.032770422985777e-05, + "J": 1.5349083696492016e-05, + "K": 7.322637975448743e-05, + "L": 2.211244918726152e-06 + }, + "sample": { + "question": "Что обязано сделать публичное общество после получения добровольного или обязательного предложения согласно Федеральному закону \"Об акционерных обществах\" (АО) N 208-ФЗ, Статье 84.3?", + "answerA": "Немедленно принять все предложенные ценные бумаги без оценки их рыночной стоимости", + "answerB": "В течение 15 дней направить предложение владельцам ценных бумаг, которым оно адресовано, с указанием даты его поступления и рекомендациями совета директоров (наблюдательного совета)", + "answerC": "Отклонить предложение без рассмотрения его условий и влияния на стоимость ценных бумаг", + "answerD": "Автоматически изменить устав общества в соответствии с условиями предложения", + "correct_answer": "B", + "choices": [ + "В случае аннулирования Банком России аккредитации", + "При возникновении обстоятельств, создающих угрозу жизни и здоровью сотрудника войск национальной гвардии или иных лиц", + "В течение 15 дней направить предложение владельцам ценных бумаг, которым оно адресовано, с указанием даты его поступления и рекомендациями совета директоров (наблюдательного совета)", + "По инициативе должника", + "После принятия Банком России решения о лицензировании новой кредитной организации", + "Если сотрудник не прошел специальную подготовку", + "Отклонить предложение без рассмотрения его условий и влияния на стоимость ценных бумаг", + "Иностранный банковский офис", + "После устранения причин, послуживших основанием для её назначения", + "Только после признания должника банкротом", + "Автоматически изменить устав общества в соответствии с условиями предложения", + "Немедленно принять все предложенные ценные бумаги без оценки их рыночной стоимости" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nЧто обязано сделать публичное общество после получения добровольного или обязательного предложения согласно Федеральному закону \"Об акционерных обществах\" (АО) N 208-ФЗ, Статье 84.3?\nA. В случае аннулирования Банком России аккредитации\nB. При возникновении обстоятельств, создающих угрозу жизни и здоровью сотрудника войск национальной гвардии или иных лиц\nC. В течение 15 дней направить предложение владельцам ценных бумаг, которым оно адресовано, с указанием даты его поступления и рекомендациями совета директоров (наблюдательного совета)\nD. По инициативе должника\nE. После принятия Банком России решения о лицензировании новой кредитной организа��ии\nF. Если сотрудник не прошел специальную подготовку\nG. Отклонить предложение без рассмотрения его условий и влияния на стоимость ценных бумаг\nH. Иностранный банковский офис\nI. После устранения причин, послуживших основанием для её назначения\nJ. Только после признания должника банкротом\nK. Автоматически изменить устав общества в соответствии с условиями предложения\nL. Немедленно принять все предложенные ценные бумаги без оценки их рыночной стоимости\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 245, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.007509789429605007, + "B": 0.019176919013261795, + "C": 0.003547373227775097, + "D": 0.013180091045796871, + "E": 0.027902252972126007, + "F": 0.009642759338021278, + "G": 0.02621173858642578, + "H": 0.015898223966360092, + "I": 0.018015047535300255, + "J": 0.6760096549987793, + "K": 0.10366944223642349, + "L": 0.0014787651598453522 + }, + "sample": { + "question": "В каких случаях сотрудник войск национальной гвардии Российской Федерации имеет право не исполнять требования, предусмотренные частью 1 статьи 4.1 Федерального закона \"О войсках национальной гвардии Российской Федерации\" N 226-ФЗ?", + "answerA": "Если сотрудник не прошел специальную подготовку", + "answerB": "При возникновении обстоятельств, создающих угрозу жизни и здоровью сотрудника войск национальной гвардии или иных лиц", + "answerC": "Если сотрудник не в рабочее время", + "answerD": "При отсутствии непосредственных руководителей", + "correct_answer": "B", + "choices": [ + "По инициативе должника", + "Иностранный банковский офис", + "Если сотрудник не прошел специальную подготовку", + "Если сотрудник не в рабочее время", + "В случае аннулирования Банком России аккредитации", + "Первыми удовлетворяются требования кредиторов по текущим платежам", + "Внутреннее структурное подразделение", + "После устранения причин, послуживших основанием для её назначения", + "После принятия Банком России решения о лицензировании новой кредитной организации", + "При возникновении обстоятельств, создающих угрозу жизни и здоровью сотрудника войск национальной гвардии или иных лиц", + "Только после признания должника банкротом", + "При отсутствии непосредственных руководителей" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nВ каких случаях сотрудник войск национальной гвардии Российской Федерации имеет право не исполнять требования, предусмотренные частью 1 статьи 4.1 Федерального закона \"О войсках национальной гвардии Российской Федерации\" N 226-ФЗ?\nA. По инициативе должника\nB. Иностранный банковский офис\nC. Если сотрудник не прошел специальную подготовку\nD. Если сотрудник не в рабочее время\nE. В случае аннулирования Банком России аккредитации\nF. Первыми удовлетворяются требования кредиторов по текущим платежам\nG. Внутреннее ��труктурное подразделение\nH. После устранения причин, послуживших основанием для её назначения\nI. После принятия Банком России решения о лицензировании новой кредитной организации\nJ. При возникновении обстоятельств, создающих угрозу жизни и здоровью сотрудника войск национальной гвардии или иных лиц\nK. Только после признания должника банкротом\nL. При отсутствии непосредственных руководителей\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 200, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.00841554719954729, + "B": 0.00953606329858303, + "C": 0.00543348491191864, + "D": 0.013034253381192684, + "E": 0.14013142883777618, + "F": 0.008958302438259125, + "G": 0.013034253381192684, + "H": 0.26179996132850647, + "I": 0.035430774092674255, + "J": 0.05841546505689621, + "K": 0.024351192638278008, + "L": 0.33615782856941223 + }, + "sample": { + "question": "Когда Банк России принимает решение о прекращении деятельности временной администрации по управлению кредитной организацией согласно Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ?", + "answerA": "После принятия Банком России решения о лицензировании новой кредитной организации", + "answerB": "После устранения причин, послуживших основанием для её назначения", + "answerC": "По требованию кредиторов кредитной организации", + "answerD": "После проведения полной инвентаризации активов кредитной организации", + "correct_answer": "B", + "choices": [ + "Только до начала процедуры наблюдения", + "Иностранный банковский офис", + "В случае аннулирования Банком России аккредитации", + "После принятия Банком России решения о лицензировании новой кредитной организации", + "После устранения причин, послуживших основанием для её назначения", + "Министерство здравоохранения Российской Федерации", + "Первыми удовлетворяются требования кредиторов по текущим платежам", + "Только после признания должника банкротом", + "Внутреннее структурное подразделение", + "После проведения полной инвентаризации активов кредитной организации", + "По инициативе должника", + "По требованию кредиторов кредитной организации" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКогда Банк России принимает решение о прекращении деятельности временной администрации по управлению кредитной организацией согласно Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ?\nA. Только до начала процедуры наблюдения\nB. Иностранный банковский офис\nC. В случае аннулирования Банком России аккредитации\nD. После принятия Банком России решения о лицензировании новой кредитной организации\nE. После устранения причин, послуживших основанием для её назначения\nF. Министерство здравоохранения Российской Федерации\nG. Первыми удовлетворяются требования кредиторов по текущим платежам\nH. Только после признания должника банкротом\nI. Внутреннее структурное подразделение\nJ. После проведения полной инвентаризации активов кредитной организации\nK. По инициативе должника\nL. По требованию кредиторов кредитной организации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 183, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0016375909326598048, + "B": 0.003059422830119729, + "C": 0.5476992130279541, + "D": 0.016539083793759346, + "E": 0.005715754348784685, + "F": 0.003690368263050914, + "G": 0.2931622564792633, + "H": 0.004181734751909971, + "I": 0.0005316479364410043, + "J": 0.00026732939295470715, + "K": 0.012880651280283928, + "L": 0.00019558233907446265 + }, + "sample": { + "question": "На каком основании конкурсный управляющий, аккредитованный при Банке России, может быть отстранен арбитражным судом от исполнения обязанностей конкурсного управляющего?", + "answerA": "По инициативе должника", + "answerB": "В случае аннулирования Банком России аккредитации", + "answerC": "По желанию самого конкурсного управляющего", + "answerD": "По решению всех кредиторов без исключения", + "correct_answer": "B", + "choices": [ + "О лицах, проживающих за границей.", + "Только до начала процедуры наблюдения", + "В первую очередь производятся расчеты по требованиям граждан, перед которыми должник несет ответственность за причинение вреда жизни или здоровью", + "Иностранный банковский офис", + "По желанию самого конкурсного управляющего", + "Внутреннее структурное подразделение", + "В случае аннулирования Банком России аккредитации", + "Министерство здравоохранения Российской Федерации", + "Только после признания должника банкротом", + "Первыми удовлетворяются требования кредиторов по текущим платежам", + "По инициативе должника", + "По решению всех кредиторов без исключения" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nНа каком основании конкурсный управляющий, аккредитованный при Банке России, может быть отстранен арбитражным судом от исполнения обязанностей конкурсного управляющего?\nA. О лицах, проживающих за границей.\nB. Только до начала процедуры наблюдения\nC. В первую очередь производятся расчеты по требованиям граждан, перед которыми должник несет ответственность за причинение вреда жизни или здоровью\nD. Иностранный банковский офис\nE. По желанию самого конкурсного управляющего\nF. Внутреннее структурное подразделение\nG. В случае аннулирования Банком России аккредитации\nH. Министерство здравоохранения Российской Федерации\nI. Только после признания должника банкротом\nJ. Первыми удовлетворяются требования кредиторов по текущим платежам\nK. По инициативе должника\nL. По решению всех кредиторов без исключения\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 175, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0017278683371841908, + "B": 0.6548383831977844, + "C": 0.015400323085486889, + "D": 0.27297723293304443, + "E": 0.002361716004088521, + "F": 0.0028487732633948326, + "G": 0.0044122664257884026, + "H": 0.0014324531657621264, + "I": 7.131764868972823e-05, + "J": 0.0032280830200761557, + "K": 0.002361716004088521, + "L": 0.001048005186021328 + }, + "sample": { + "question": "Что является обособленным подразделением кредитной организации, расположенным вне места нахождения кредитной организации и осуществляющим от ее имени все или часть банковских операций, предусмотренных лицензией Банка России, выданной кредитной организации?", + "answerA": "Иностранный банковский офис", + "answerB": "Внутреннее структурное подразделение", + "answerC": "Филиал", + "answerD": "Представительство", + "correct_answer": "C", + "choices": [ + "О лицах, проживающих за границей.", + "Филиал", + "Министерство здравоохранения Российской Федерации", + "Иностранный банковский офис", + "Внутреннее структурное подразделение", + "Первыми удовлетворяются требования кредиторов по текущим платежам", + "В первую очередь производятся расчеты по требованиям граждан, перед которыми должник несет ответственность за причинение вреда жизни или здоровью", + "Счетная палата Российской Федерации", + "Только после признания должника банкротом", + "Представительство", + "Только до начала процедуры наблюдения", + "Официальные разъяснения могут вносить новые обязательные требования." + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nЧто является обособленным подразделением кредитной организации, расположенным вне места нахождения кредитной организации и осуществляющим от ее имени все или часть банковских операций, предусмотренных лицензией Банка России, выданной кредитной организации?\nA. О лицах, проживающих за границей.\nB. Филиал\nC. Министерство здравоохранения Российской Федерации\nD. Иностранный банковский офис\nE. Внутреннее структурное подразделение\nF. Первыми удовлетворяются требования кредиторов по текущим платежам\nG. В первую очередь производятся расчеты по требованиям граждан, перед которыми должник несет ответственность за причинение вреда жизни или здоровью\nH. Счетная палата Российской Федерации\nI. Только после признания должника банкротом\nJ. Представительство\nK. Только до начала процедуры наблюдения\nL. Официальные разъяснения могут вносить новые обязательные требования.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 185, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.00441491324454546, + "B": 0.015409561805427074, + "C": 0.00441491324454546, + "D": 0.015409561805427074, + "E": 0.3095093369483948, + "F": 0.06906086951494217, + "G": 0.03696561977267265, + "H": 0.21272245049476624, + "I": 0.08867590874433517, + "J": 0.11386213451623917, + "K": 0.008248144760727882, + "L": 0.053784653544425964 + }, + "sample": { + "question": "На какой стадии дела о банкротстве возможно заключение мирового соглашения по Федеральному закону \"О несостоятельности (банкротстве)\" N 127-ФЗ?", + "answerA": "Только после признания должника банкротом", + "answerB": "Только до начала процедуры наблюдения", + "answerC": "На любой стадии рассмотрения дела арбитражным судом", + "answerD": "Только после начала процедуры распределения активов", + "correct_answer": "На любой стадии рассмотрения дела арбитражным судом", + "choices": [ + "Счетная палата Российской Федерации", + "Только до начала процедуры наблюдения", + "Министерство здравоохранения Российской Федерации", + "О лицах, проживающих за границей.", + "В первую очередь производятся расчеты по требованиям граждан, перед которыми должник несет ответственность за причинение вреда жизни или здоровью", + "О лицах, получивших удостоверение частного охранника.", + "Только коммерческие организации, являющиеся операторами электронных площадок", + "На любой стадии рассмотрения дела арбитражным судом", + "Только после признания должника банкротом", + "Первыми удовлетворяются требования кредиторов по текущим платежам", + "Официальные разъяснения могут вносить новые обязательные требования.", + "Только после начала процедуры распределения активов" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nНа какой стадии дела о банкротстве возможно заключение мирового соглашения по Федеральному закону \"О несостоятельности (банкротстве)\" N 127-ФЗ?\nA. Счетная палата Российской Федерации\nB. Только до начала процедуры наблюдения\nC. Министерство здравоохранения Российской Федерации\nD. О лицах, проживающих за границей.\nE. В первую очередь производятся расчеты по требованиям граждан, перед которыми должник несет ответственность за причинение вреда жизни или здоровью\nF. О лицах, получивших удостоверение частного охранника.\nG. Только коммерческие организации, являющиеся операторами электронных площадок\nH. На любой стадии рассмотрения дела арбитражным судом\nI. Только после признания должника банкротом\nJ. Первыми удовлетворяются требования кредиторов по текущим платежам\nK. Официальные разъяснения могут вносить новые обязательные требования.\nL. Только после начала процедуры распределения активов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 192, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.00479173893108964, + "B": 0.018951697275042534, + "C": 0.01780347153544426, + "D": 0.027574554085731506, + "E": 0.013025296851992607, + "F": 0.008409764617681503, + "G": 0.027574554085731506, + "H": 0.031246062368154526, + "I": 0.0042286948300898075, + "J": 0.031246062368154526, + "K": 0.3359268605709076, + "L": 0.3359268605709076 + }, + "sample": { + "question": "Какова очередность удовлетворения требований кредиторов в деле о банкротстве застройщика согласно Федеральному закону \"О несостоятельности (банкротстве)\" N 127-ФЗ?", + "answerA": "Первыми удовлетворяются требования кредиторов по текущим платежам", + "answerB": "В первую очередь производятся расчеты по требованиям граждан, перед которыми должник несет ответственность за причинение вреда жизни или здоровью", + "answerC": "Сначала удовлетворяются требования кредиторов по обязательствам, обеспеченным залогом имущества должника", + "answerD": "В первую очередь удовлетворяются требования авторов результатов интеллектуальной деятельности", + "correct_answer": "B", + "choices": [ + "В срок не позднее трех месяцев со дня вывоза", + "О лицах, получивших удостоверение частного охранника.", + "В первую очередь удовлетворяются требования авторов результатов интеллектуальной деятельности", + "Официальные разъяснения обязательных требований утверждаются исключительно Правительством РФ.", + "Официальные разъяснения могут вносить новые обязательные требования.", + "В первую очередь производятся расчеты по требованиям граждан, перед которыми должник несет ответственность за причинение вреда жизни или здоровью", + "Первыми удовлетворяются требования кредиторов по текущим платежам", + "О лицах, проживающих за границей.", + "Только коммерческие организации, являющиеся операторами электронных площадок", + "Министерство здравоохранения Российской Федерации", + "Счетная палата Российской Федерации", + "Сначала удовлетворяются требования кредиторов по обязательствам, обеспеченным залогом имущества должника" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКакова очередность удовлетворения требований кредиторов в деле о банкротстве застройщика согласно Федеральному закону \"О несостоятельности (банкротстве)\" N 127-ФЗ?\nA. В срок не позднее трех месяцев со дня вывоза\nB. О лицах, получивших удостоверение частного охранника.\nC. В первую очередь удовлетворяются требования авторов результатов интеллектуальной деятельности\nD. Официальные разъяснения обязательных требований утверждаются исключительно Правительством РФ.\nE. Официальные разъяснения могут вносить новые обязательные требования.\nF. В первую очередь производятся расчеты по требованиям граждан, перед которыми должник несет ответственность за причинение вреда жизни или здоровью\nG. Первыми удовлетворяются требования кредиторов по текущим платежам\nH. О лицах, проживающих за границей.\nI. Только коммерческие организации, являющиеся операторами электронных площадок\nJ. Министерство здравоохранения Российской Федерации\nK. Счетная палата Российской Федерации\nL. Сначала удовлетворяются требования кредиторов по обязательствам, обеспеченным залогом имущества должника\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 222, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.006374211050570011, + "B": 0.0323709137737751, + "C": 0.005988017655909061, + "D": 0.1280294507741928, + "E": 0.18628175556659698, + "F": 0.01844439096748829, + "G": 0.0323709137737751, + "H": 0.019633952528238297, + "I": 0.005284406710416079, + "J": 0.3071267008781433, + "K": 0.11298561096191406, + "L": 0.01118708960711956 + }, + "sample": { + "question": "Какие органы осуществляют контроль за соблюдением прав субъектов страхования в рамках Федерального закона \"Об обязательном социальном страховании от несчастных случаев на производстве и профессиональных заболеваний\" N 125-ФЗ?", + "answerA": "Министерство здравоохранения Российской Федерации", + "answerB": "Счетная палата Российской Федерации", + "answerC": "Федеральная налоговая служба", + "answerD": "Роспотребнадзор", + "correct_answer": "B", + "choices": [ + "Счетная палата Российской Федерации", + "Роспотребнадзор", + "В срок не позднее трех месяцев со дня вывоза", + "Только федеральные органы исполнительной власти", + "Официальные разъяснения могут вносить новые обязательные требования.", + "О лицах, проживающих за границей.", + "Только коммерческие организации, являющиеся операторами электронных площадок", + "Официальные разъяснения обязательных требований утверждаются исключительно Правительством РФ.", + "О лицах, получивших удостоверение частного охранника.", + "Министерство здравоохранения Российской Федерации", + "Федеральная налоговая служба", + "Только знаки соответствия" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКакие органы осуществляют контроль за соблюдением прав субъектов страхования в рамках Федерального закона \"Об обязательном социальном страховании от несчастных случаев на производстве и профессиональных заболеваний\" N 125-ФЗ?\nA. Счетная палата Российской Федерации\nB. Роспотребнадзор\nC. В срок не позднее трех месяцев со дня вывоза\nD. Только федеральные органы исполнительной власти\nE. Официальные разъяснения могут вносить новые обязательные требования.\nF. О лицах, проживающих за границей.\nG. Только коммерческие организации, являющиеся операторами электронных площадок\nH. Официальные разъяснения обязательных требований утверждаются исключительно Правительством РФ.\nI. О лицах, получивших удостоверение частного охранника.\nJ. Министерство здравоохранения Российской Федерации\nK. Федеральная налоговая служба\nL. Только знаки соответствия\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 182, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.00661978404968977, + "B": 0.00904817320406437, + "C": 0.001572336652316153, + "D": 0.00904817320406437, + "E": 0.016904212534427643, + "F": 0.005487993825227022, + "G": 0.009631730616092682, + "H": 0.8670206665992737, + "I": 0.002149129519239068, + "J": 0.001896600122563541, + "K": 0.004549706820398569, + "L": 0.03361804038286209 + }, + "sample": { + "question": "Какая информация вносится в банки данных войск национальной гвардии в соответствии с Федеральным законом \"О войсках национальной гвардии Российской Федерации\" N 226-ФЗ?", + "answerA": "О лицах, проживающих за границей.", + "answerB": "О лицах, получивших удостоверение частного охранника.", + "answerC": "О лицах, посещавших массовые мероприятия.", + "answerD": "О лицах, заключивших договор о медицинском обслуживании.", + "correct_answer": "B", + "choices": [ + "О лицах, заключивших договор о медицинском обслуживании.", + "Только знаки соответствия", + "О лицах, проживающих за границей.", + "Только федеральные органы исполнительной власти", + "О лицах, получивших удостоверение частного охранника.", + "В срок не позднее трех месяцев со дня вывоза", + "Применяется обязательное мировое соглашение.", + "Официальные разъяснения обязательных требований утверждаются исключительно Правительством РФ.", + "О лицах, посещавших массовые мероприятия.", + "В срок не позднее шести месяцев со дня вывоза", + "Только коммерческие организации, являющиеся операторами электронных площадок", + "Официальные разъяснения могут вносить новые обязательные требования." + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКакая информация вносится в банки данных войск национальной гвардии в соответствии с Федеральным законом \"О войсках национальной гвардии Российской Федерации\" N 226-ФЗ?\nA. О лицах, заключивших договор о медицинском обслуживании.\nB. Только знаки соответствия\nC. О лицах, проживающих за границей.\nD. Только федеральные органы исполнительной власти\nE. О лицах, получивших удостоверение частного охранника.\nF. В срок не позднее трех месяцев со дня вывоза\nG. Применяется обязательное мировое соглашение.\nH. Официальные разъяснения обязательных требований утверждаются исключительно Правительством РФ.\nI. О лицах, посещавших массовые мероприятия.\nJ. В срок не позднее шести месяцев со дня вывоза\nK. Только коммерческие организации, являющиеся операторами электронных площадок\nL. Официальные разъяснения могут вносить новые обязательные требования.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 191, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.003456579986959696, + "B": 0.0028656055219471455, + "C": 0.009395958855748177, + "D": 0.95841383934021, + "E": 0.004438336938619614, + "F": 0.0007712672231718898, + "G": 0.0017380774952471256, + "H": 0.00026654283283278346, + "I": 9.211473661707714e-05, + "J": 0.00014267009100876749, + "K": 0.000564271176699549, + "L": 3.388711775187403e-05 + }, + "sample": { + "question": "Какое утверждение верно согласно статье 14 Федерального закона от 31.07.2020 N 247-ФЗ \"Об обязательных требованиях в Российской Федерации\"?", + "answerA": "Официальные разъяснения ��огут вносить новые обязательные требования.", + "answerB": "Официальные разъяснения обязательных требований утверждаются исключительно Правительством РФ.", + "answerC": "Руководства по соблюдению обязательных требований применяются контролируемыми лицами на обязательной основе.", + "answerD": "Официальные разъяснения не могут устанавливать новые обязательные требования, а также изменять смысл обязательных требований.", + "correct_answer": "D", + "choices": [ + "Только федеральные органы исполнительной власти", + "В течение трех месяцев со дня принятия решения", + "Официальные разъяснения могут вносить новые обязательные требования.", + "Официальные разъяснения не могут устанавливать новые обязательные требования, а также изменять смысл обязательных требований.", + "Официальные разъяснения обязательных требований утверждаются исключительно Правительством РФ.", + "Только знаки соответствия", + "Применяется обязательное мировое соглашение.", + "В срок не позднее трех месяцев со дня вывоза", + "Руководства по соблюдению обязательных требований применяются контролируемыми лицами на обязательной основе.", + "В срок не позднее шести месяцев со дня вывоза", + "Только коммерческие организации, являющиеся операторами электронных площадок", + "Только протоколы исследований (испытаний)" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКакое утверждение верно согласно статье 14 Федерального закона от 31.07.2020 N 247-ФЗ \"Об обязательных требованиях в Российской Федерации\"?\nA. Только федеральные органы исполнительной власти\nB. В течение трех месяцев со дня принятия решения\nC. Официальные разъяснения могут вносить новые обязательные требования.\nD. Официальные разъяснения не могут устанавливать новые обязательные требования, а также изменять смысл обязательных требований.\nE. Официальные разъяснения обязательных требований утверждаются исключительно Правительством РФ.\nF. Только знаки соответствия\nG. Применяется обязательное мировое соглашение.\nH. В срок не позднее трех месяцев со дня вывоза\nI. Руководства по соблюдению обязательных требований применяются контролируемыми лицами на обязательной основе.\nJ. В срок не позднее шести месяцев со дня вывоза\nK. Только коммерческие организации, являющиеся операторами электронных площадок\nL. Только протоколы исследований (испытаний)\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 215, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0029878243803977966, + "B": 0.0059419977478682995, + "C": 0.014254112727940083, + "D": 0.16312968730926514, + "E": 0.09894315153360367, + "F": 0.34534552693367004, + "G": 0.12704552710056305, + "H": 0.015173424035310745, + "I": 0.0014113482320681214, + "J": 0.01181707438081503, + "K": 0.04124564304947853, + "L": 0.010428531095385551 + }, + "sample": { + "question": "Какие организации или органы обязаны представлять информацию в органы, уполномоченные на осуществление контроля в сфере размещения заказов, согласно Статье 17.1 Федерального закона \"О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд\" N 44-ФЗ?", + "answerA": "Только коммерческие организации, являющиеся операторами электронных площадок", + "answerB": "Только федеральные органы исполнительной власти", + "answerC": "Коммерческие и некоммерческие организации, федеральные органы исполнительной власти, органы государственной власти субъектов Российской Федерации, органы местного самоуправления, казенные и бюджетные учреждения, и иные получатели бюджетных средств", + "answerD": "Только органы местного самоуправления", + "correct_answer": "answerC", + "choices": [ + "В течение трех месяцев со дня принятия решения", + "Только коммерческие организации, являющиеся операторами электронных площадок", + "Применяется обязательное мировое соглашение.", + "В срок не позднее трех месяцев со дня вывоза", + "Только финансовые обязательства реорганизованного общества", + "Коммерческие и некоммерческие организации, федеральные органы исполнительной власти, органы государственной власти субъектов Российской Федерации, органы местного самоуправления, казенные и бюджетные учреждения, и иные получатели бюджетных средств", + "Только федеральные органы исполнительной власти", + "Только протоколы исследований (испытаний)", + "Только знаки соответствия", + "Только органы местного самоуправления", + "Назначается временная администрация негосударственного пенсионного фонда.", + "В срок не позднее шести месяцев со дня вывоза" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКакие организации или органы обязаны представлять информацию в органы, уполномоченные на осуществление контроля в сфере размещения заказов, согласно Статье 17.1 Федерального закона \"О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд\" N 44-ФЗ?\nA. В течение трех месяцев со дня принятия решения\nB. Только коммерческие организации, являющиеся операторами электронных площадок\nC. Применяется обязательное мировое соглашение.\nD. В срок не позднее трех месяцев со дня вывоза\nE. Только финансовые обязательства реорганизованного общества\nF. Коммерческие и некоммерческие организации, федеральные органы исполнительной власти, органы государственной власти субъектов Российской Федерации, органы местного самоуправления, казенные и бюджетные учреждения, и иные получатели бюджетных средств\nG. Только федеральные органы исполнительной власти\nH. Только протоколы исследований (испытаний)\nI. Только знаки соответствия\nJ. Только органы местного самоу��равления\nK. Назначается временная администрация негосударственного пенсионного фонда.\nL. В срок не позднее шести месяцев со дня вывоза\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 238, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.3040250539779663, + "B": 0.12673649191856384, + "C": 0.06783715635538101, + "D": 0.05283162742853165, + "E": 0.07686956971883774, + "F": 0.09870248287916183, + "G": 0.06783715635538101, + "H": 0.05283162742853165, + "I": 0.07686956971883774, + "J": 0.02495589479804039, + "K": 0.004336684010922909, + "L": 0.0014079153770580888 + }, + "sample": { + "question": "Согласно статье 174 Федерального закона \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ, в какой срок должны быть помещены товары под таможенную процедуру реимпорта, чтобы произвести возврат сумм вывозных таможенных пошлин при применении периодического таможенного декларирования?", + "answerA": "В срок не позднее трех месяцев со дня вывоза", + "answerB": "В срок не позднее шести месяцев со дня вывоза", + "answerC": "В срок не позднее двенадцати месяцев со дня вывоза", + "answerD": "В срок не позднее девяти месяцев со дня вывоза", + "correct_answer": "В срок не позднее шести месяцев со дня вывоза", + "choices": [ + "В срок не позднее шести месяцев со дня вывоза", + "В срок не позднее двенадцати месяцев со дня вывоза", + "Только знаки соответствия", + "Только финансовые обязательства реорганизованного общества", + "Применяется обязательное мировое соглашение.", + "Постановлением Правительства РФ", + "Только протоколы исследований (испытаний)", + "В течение шести месяцев со дня принятия решения", + "В срок не позднее трех месяцев со дня вывоза", + "В течение трех месяцев со дня принятия решения", + "В срок не позднее девяти месяцев со дня вывоза", + "Назначается временная администрация негосударственного пенсионного фонда." + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nСогласно статье 174 Федерального закона \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ, в какой срок должны быть помещены товары под таможенную процедуру реимпорта, чтобы произвести возврат сумм вывозных таможенных пошлин при применении периодического таможенного декларирования?\nA. В срок не позднее шести месяцев со дня вывоза\nB. В срок не позднее двенадцати месяцев со дня вывоза\nC. Только знаки соответствия\nD. Только финансовые обязательства реорганизованного общества\nE. Применяется обязательное мировое соглашение.\nF. Постановлением Правительства РФ\nG. Только протоколы исследований (испытаний)\nH. В течение шести месяцев со дня принятия решения\nI. В срок не позднее трех месяцев со дня вывоза\nJ. В течен��е трех месяцев со дня принятия решения\nK. В срок не позднее девяти месяцев со дня вывоза\nL. Назначается временная администрация негосударственного пенсионного фонда.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 222, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0014310382539406419, + "B": 0.0011863723630085588, + "C": 0.17607328295707703, + "D": 0.015385111793875694, + "E": 0.004994814284145832, + "F": 0.0026735314168035984, + "G": 0.47861677408218384, + "H": 0.0087661724537611, + "I": 0.0002194568223785609, + "J": 0.00019366997003089637, + "K": 0.015385111793875694, + "L": 8.073365461314097e-05 + }, + "sample": { + "question": "Согласно Федеральному закону \"О техническом регулировании\" N 184-ФЗ, какие документы, полученные за пределами территории Российской Федерации, могут быть признаны в Российской Федерации?", + "answerA": "Только знаки соответствия", + "answerB": "Только протоколы исследований (испытаний)", + "answerC": "Документы о подтверждении соответствия, знаки соответствия, протоколы исследований (испытаний) и измерений продукции", + "answerD": "Только измерения продукции", + "correct_answer": "Документы о подтверждении соответствия, знаки соответствия, протоколы исследований (испытаний) и измерений продукции", + "choices": [ + "В течение трех месяцев со дня принятия решения", + "Только финансовые обязательства реорганизованного общества", + "Постановлением Правительства РФ", + "Назначается временная администрация негосударственного пенсионного фонда.", + "Только знаки соответствия", + "Только измерения продукции", + "Документы о подтверждении соответствия, знаки соответствия, протоколы исследований (испытаний) и измерений продукции", + "Применяется обязательное мировое соглашение.", + "Любое юридическое лицо, зарегистрированное в Российской Федерации", + "Только права на недвижимость реорганизованного общества", + "Только протоколы исследований (испытаний)", + "В течение шести месяцев со дня принятия решения" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nСогласно Федеральному закону \"О техническом регулировании\" N 184-ФЗ, какие документы, полученные за пределами территории Российской Федерации, могут быть признаны в Российской Федерации?\nA. В течение трех месяцев со дня принятия решения\nB. Только финансовые обязательства реорганизованного общества\nC. Постановлением Правительства РФ\nD. Назначается временная администрация негосударственного пенсионного фонда.\nE. Только знаки соответствия\nF. Только измерения продукции\nG. Документы о подтверждении соответствия, знаки соответствия, протоколы исследований (испытаний) и измерений продукции\nH. Применяется обязательное мировое соглашение.\nI. Любое юридическое лицо, зарегистрированное в Российской Федерации\nJ. Только права на недвижимость реорганизованного общества\nK. Только протоколы исследований (испытаний)\nL. В течение шести месяцев со дня принятия решения\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 186, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.012819025665521622, + "B": 0.06929899752140045, + "C": 0.01985449530184269, + "D": 0.05745088309049606, + "E": 0.061156149953603745, + "F": 0.08898166567087173, + "G": 0.06929899752140045, + "H": 0.45188623666763306, + "I": 0.005688407924026251, + "J": 0.03484572470188141, + "K": 0.018651572987437248, + "L": 0.061156149953603745 + }, + "sample": { + "question": "Какой особенности подлежат применению при рассмотрении дела о банкротстве негосударственного пенсионного фонда согласно статье 186.3-1 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?", + "answerA": "Применяется обязательное мировое соглашение.", + "answerB": "Назначается временная администрация негосударственного пенсионного фонда.", + "answerC": "Проводится финансовое оздоровление до начала судебного процесса.", + "answerD": "Подлежит немедленному исполнению решение арбитражного суда о банкротстве.", + "correct_answer": "B", + "choices": [ + "Министерство сельского хозяйства Российской Федерации", + "Только финансовые обязательства реорганизованного общества", + "Документом, подтверждающим статус товара, выданным уполномоченным органом в соответствии со статьей 218 Кодекса Союза", + "Только права на недвижимость реорганизованного общества", + "Применяется обязательное мировое соглашение.", + "Назначается временная администрация негосударственного пенсионного фонда.", + "В течение шести месяцев со дня принятия решения", + "Подлежит немедленному исполнению решение арбитражного суда о банкротстве.", + "Постановлением Правительства РФ", + "Любое юридическое лицо, зарегистрированное в Российской Федерации", + "Проводится финансовое оздоровление до начала судебного процесса.", + "В течение трех месяцев со дня принятия решения" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКакой особенности подлежат применению при рассмотрении дела о банкротстве негосударственного пенсионного фонда согласно статье 186.3-1 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?\nA. Министерство сельского хозяйства Российской Федерации\nB. Только финансовые обязательства реорганизованного общества\nC. Документом, подтверждающим статус товара, выданным уполномоченным органом в соответствии со статьей 218 Кодекса Союза\nD. Только права на недвижимость реорганизованного общества\nE. Применяется обязательное мировое соглашение.\nF. Назначается временная администрация негосударственного пенсионного фонда.\nG. В течение шести месяцев со дня принятия решения\nH. Подлежит немедленному исполнению решение арбитражного суда о банкротстве.\nI. Постановлением Правительства РФ\nJ. Любое юридическое лицо, зарегистрированное в Российской Федерации\nK. Проводится финансовое оздоровление до начала судебного процесса.\nL. В течение трех месяцев со дня принятия решения\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 218, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.10630123317241669, + "B": 0.02371900901198387, + "C": 0.006795610301196575, + "D": 0.007700435351580381, + "E": 0.6931710839271545, + "F": 0.01269587129354477, + "G": 0.009887553751468658, + "H": 0.039106037467718124, + "I": 0.003210019087418914, + "J": 0.0016140987863764167, + "K": 0.0007162520196288824, + "L": 0.0004922723164781928 + }, + "sample": { + "question": "Какой срок установлен для подачи запроса в таможенный орган о причинах принятого решения или совершенного действия (бездействия) согласно статье 265 Федерального закона \"О таможенном регулировании в Российской Федерации\" N 289-ФЗ?", + "answerA": "В течение трех месяцев со дня принятия решения", + "answerB": "В течение шести месяцев со дня принятия решения", + "answerC": "В течение одного года со дня принятия решения", + "answerD": "В течение одного месяца со дня принятия решения", + "correct_answer": "B", + "choices": [ + "В течение одного года со дня принятия решения", + "Документом, подтверждающим статус товара, выданным уполномоченным органом в соответствии со статьей 218 Кодекса Союза", + "Постановлением Правительства РФ", + "Любое юридическое лицо, зарегистрированное в Российской Федерации", + "В течение шести месяцев со дня принятия решения", + "В течение одного месяца со дня принятия решения", + "Подача жалобы автоматически приостанавливает исполнение обжалуемого решения или действия.", + "В течение трех месяцев со дня принятия решения", + "Иностранное юридическое лицо, не имеющее аккредитованных филиалов, представительств на территории Российской Федерации", + "Только права на недвижимость реорганизованного общества", + "Только финансовые обязательства реорганизованного общества", + "Министерство сельского хозяйства Российской Федерации" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКакой срок установлен для подачи запроса в таможенный орган о причинах принятого решения или совершенного действия (бездействия) согласно статье 265 Федерального закона \"О таможенном регулировании в Российской Федерации\" N 289-ФЗ?\nA. В течение одного года со дня принятия решения\nB. Документом, подтверждающим статус товара, выданным уполномоченным органом в соответствии со статьей 218 Кодекса Союза\nC. Постановлением Правительства РФ\nD. Любое юридическое лицо, зарегистрированное в Российской Федерации\nE. В течение шести месяцев со дня принятия решения\nF. В течение одного месяца со дня принятия решения\nG. Подача жалобы автоматически приостанавливает исполнение обжалуемого решения или дей��твия.\nH. В течение трех месяцев со дня принятия решения\nI. Иностранное юридическое лицо, не имеющее аккредитованных филиалов, представительств на территории Российской Федерации\nJ. Только права на недвижимость реорганизованного общества\nK. Только финансовые обязательства реорганизованного общества\nL. Министерство сельского хозяйства Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 233, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0014876503264531493, + "B": 0.00048296936438418925, + "C": 0.0004003956855740398, + "D": 0.0005825722473673522, + "E": 0.8203228116035461, + "F": 0.00029293569969013333, + "G": 0.0003118284803349525, + "H": 0.00042621896136552095, + "I": 0.00042621896136552095, + "J": 0.0001472973235649988, + "K": 0.00042621896136552095, + "L": 4.782044197781943e-05 + }, + "sample": { + "question": "Какие права и обязанности переходят к юридическому лицу, созданному в результате преобразования общества с ограниченной ответственностью?", + "answerA": "Только финансовые обязательства реорганизованного общества", + "answerB": "Только права на недвижимость реорганизованного общества", + "answerC": "Все права и обязанности реорганизованного общества в соответствии с передаточным актом", + "answerD": "Только долги перед сотрудниками реорганизованного общества", + "correct_answer": "Все права и обязанности реорганизованного общества в соответствии с передаточным актом", + "choices": [ + "Иностранное юридическое лицо, не имеющее аккредитованных филиалов, представительств на территории Российской Федерации", + "Только финансовые обязательства реорганизованного общества", + "Только права на недвижимость реорганизованного общества", + "Федеральная антимонопольная служба", + "Все права и обязанности реорганизованного общества в соответствии с передаточным актом", + "Подача жалобы автоматически приостанавливает исполнение обжалуемого решения или действия.", + "Министерство сельского хозяйства Российской Федерации", + "Постановлением Правительства РФ", + "Любое юридическое лицо, зарегистрированное в Российской Федерации", + "Документом, подтверждающим статус товара, выданным уполномоченным органом в соответствии со статьей 218 Кодекса Союза", + "Привилегии на приобретение автомобилей без налогообложения.", + "Только долги перед сотрудниками реорганизованного общества" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКакие права и обязанности переходят к юридическому лицу, созданному в результате преобразования общества с ограниченной ответственностью?\nA. Иностранное юридическое лицо, не имеющее аккредитованных филиалов, представительств на территории Российской Федерации\nB. Только финансовые обязательства реорганизованного общества\nC. Только права на недвижимость реорганизованного общества\nD. Федеральная антимонопольная служба\nE. Все права и обязанности реорганизованного общества в соответствии с передаточным актом\nF. Подача жалобы автоматически приостанавливает исполнение обжалуемого решения или действия.\nG. Министерство сельского хозяйства Российской Федерации\nH. Постановлением Правительства РФ\nI. Любое юридическое лицо, зарегистрированное в Российской Федерации\nJ. Документом, подтверждающим статус товара, выданным уполномоченным органом в соответствии со статьей 218 Кодекса Союза\nK. Привилегии на приобретение автомобилей без налогообложения.\nL. Только долги перед сотрудниками реорганизованного общества\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 206, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.008793174289166927, + "B": 0.6164491176605225, + "C": 0.009963971562683582, + "D": 0.012793992646038532, + "E": 0.018615150824189186, + "F": 0.05733869597315788, + "G": 0.03940827026963234, + "H": 0.1766156256198883, + "I": 0.00046602115617133677, + "J": 0.0036655401345342398, + "K": 0.0018431495409458876, + "L": 0.0017314788419753313 + }, + "sample": { + "question": "Согласно Федеральному закону 'О таможенном регулировании в Российской Федерации' N 289-ФЗ, каким документом определяется статус товаров, изготовленных из иностранных товаров, помещенных под таможенную процедуру свободного склада?", + "answerA": "Постановлением Правительства РФ", + "answerB": "Документом, подтверждающим статус товара, выданным уполномоченным органом в соответствии со статьей 218 Кодекса Союза", + "answerC": "Уведомлением от Федеральной таможенной службы", + "answerD": "Сертификатом соответствия", + "correct_answer": "B", + "choices": [ + "Иностранное юридическое лицо, не имеющее аккредитованных филиалов, представительств на территории Российской Федерации", + "Документом, подтверждающим статус товара, выданным уполномоченным органом в соответствии со статьей 218 Кодекса Союза", + "Сертификатом соответствия", + "Подача жалобы автоматически приостанавливает исполнение обжалуемого решения или действия.", + "Федеральная антимонопольная служба", + "Привилегии на приобретение автомобилей без налогообложения.", + "Таможенный орган, решение которого обжалуется, обязан приостановить исполнение своего решения без каких-либо условий с момента получения жалобы.", + "Уведомлением от Федеральной таможенной службы", + "Любое юридическое лицо, зарегистрированное в Российской Федерации", + "Законы субъекта Российской Федерации", + "Министерство сельского хозяйства Российской Федерации", + "Постановлением Правительства РФ" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nСогласно Федеральному закону 'О таможенном регулировании в Российской Федерации' N 289-ФЗ, каким документом определяется статус товаров, изготовленных из ино��транных товаров, помещенных под таможенную процедуру свободного склада?\nA. Иностранное юридическое лицо, не имеющее аккредитованных филиалов, представительств на территории Российской Федерации\nB. Документом, подтверждающим статус товара, выданным уполномоченным органом в соответствии со статьей 218 Кодекса Союза\nC. Сертификатом соответствия\nD. Подача жалобы автоматически приостанавливает исполнение обжалуемого решения или действия.\nE. Федеральная антимонопольная служба\nF. Привилегии на приобретение автомобилей без налогообложения.\nG. Таможенный орган, решение которого обжалуется, обязан приостановить исполнение своего решения без каких-либо условий с момента получения жалобы.\nH. Уведомлением от Федеральной таможенной службы\nI. Любое юридическое лицо, зарегистрированное в Российской Федерации\nJ. Законы субъекта Российской Федерации\nK. Министерство сельского хозяйства Российской Федерации\nL. Постановлением Правительства РФ\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 238, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.05540919303894043, + "B": 0.03808213770389557, + "C": 0.09135430306196213, + "D": 0.13291972875595093, + "E": 0.06278683245182037, + "F": 0.023097986355423927, + "G": 0.10351798683404922, + "H": 0.07114680856466293, + "I": 0.029658397659659386, + "J": 0.08061989396810532, + "K": 0.150617778301239, + "L": 0.029658397659659386 + }, + "sample": { + "question": "Кто не может быть концессионером согласно Федеральному закону \"О концессионных соглашениях\" N 115-ФЗ, в контексте объектов теплоснабжения, централизованных систем горячего водоснабжения, холодного водоснабжения и (или) водоотведения?", + "answerA": "Любое юридическое лицо, зарегистрированное в Российской Федерации", + "answerB": "Иностранное юридическое лицо, не имеющее аккредитованных филиалов, представительств на территории Российской Федерации", + "answerC": "Объединения юридических лиц, в том числе созданные на территории Российской Федерации", + "answerD": "Государственное или муниципальное предприятие Российской Федерации", + "correct_answer": "B", + "choices": [ + "Федеральная антимонопольная служба", + "Только уплату основной суммы долга по кредитному договору", + "Объединения юридических лиц, в том числе созданные на территории Российской Федерации", + "Подача жалобы автоматически приостанавливает исполнение обжалуемого решения или действия.", + "Любое юридическое лицо, зарегистрированное в Российской Федерации", + "Дополнительные выходные дни в течение года.", + "Привилегии на приобретение автомобилей без налогообложения.", + "Таможенный орган, решение которого обжалуется, обязан приостановить исполнение своего решения без каких-либо условий с момента получения жалобы.", + "Министерство сельского хозяйства Российской Федерации", + "Законы субъекта Российской Федерации", + "Государственное или муниципальное предприятие Российской Федерации", + "Иностранное юридическое лицо, не имеющее аккредитованных филиалов, представительств на территории Российской Федерации" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКто не может быть концессионером согласно Федеральному закону \"О концессионных соглашениях\" N 115-ФЗ, в контексте объектов теплоснабжения, централизованных систем горячего водоснабжения, холодного водоснабжения и (или) водоотведения?\nA. Федеральная антимонопольная служба\nB. Только уплату основной суммы долга по кредитному договору\nC. Объединения юридических лиц, в том числе созданные на территории Российской Федерации\nD. Подача жалобы автоматически приостанавливает исполнение обжалуемого решения или действия.\nE. Любое юридическое лицо, зарегистрированное в Российской Федерации\nF. Дополнительные выходные дни в течение года.\nG. Привилегии на приобретение автомобилей без налогообложения.\nH. Таможенный орган, решение которого обжалуется, обязан приостановить исполнение своего решения без каких-либо условий с момента получения жалобы.\nI. Министерство сельского хозяйства Российской Федерации\nJ. Законы субъекта Российской Федерации\nK. Государственное или муниципальное предприятие Российской Федерации\nL. Иностранное юридическое лицо, не имеющее аккредитованных филиалов, представительств на территории Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 241, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.00045273799332790077, + "B": 0.004867392126470804, + "C": 0.0017906135180965066, + "D": 0.007082013413310051, + "E": 0.11078133434057236, + "F": 0.040754176676273346, + "G": 0.0862765908241272, + "H": 0.010304269380867481, + "I": 0.001906098215840757, + "J": 0.18264755606651306, + "K": 0.12553170323371887, + "L": 0.0017906135180965066 + }, + "sample": { + "question": "Какой федеральный орган исполнительной власти совместно с федеральным органом исполнительной власти, осуществляющим функции в сфере топливно-энергетического комплекса, определяет перечень технологически обусловленных мест с приборами учета для перемещения товаров трубопроводным транспортом и по линиям электропередачи в соответствии с Федеральным законом \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ, Статьёй 207?", + "answerA": "Министерство сельского хозяйства Российской Федерации", + "answerB": "Федеральная антимонопольная служба", + "answerC": "Федеральная служба по тарифам", + "answerD": "Федеральный орган исполнительной власти, осуществляющий функции по выработке государственной политики и нормативно-правовому регулированию в области таможенного дела", + "correct_answer": "D", + "choices": [ + "Тол��ко уплату основной суммы долга по кредитному договору", + "Создание условий для подготовки кадров.", + "Федеральная антимонопольная служба", + "Подача жалобы автоматически приостанавливает исполнение обжалуемого решения или действия.", + "Привилегии на приобретение автомобилей без налогообложения.", + "Законы субъекта Российской Федерации", + "Министерство сельского хозяйства Российской Федерации", + "Дополнительные выходные дни в течение года.", + "Таможенный орган, решение которого обжалуется, обязан приостановить исполнение своего решения без каких-либо условий с момента получения жалобы.", + "Федеральный орган исполнительной власти, осуществляющий функции по выработке государственной политики и нормативно-правовому регулированию в области таможенного дела", + "Муниципальные правовые акты", + "Федеральная служба по тарифам" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКакой федеральный орган исполнительной власти совместно с федеральным органом исполнительной власти, осуществляющим функции в сфере топливно-энергетического комплекса, определяет перечень технологически обусловленных мест с приборами учета для перемещения товаров трубопроводным транспортом и по линиям электропередачи в соответствии с Федеральным законом \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ, Статьёй 207?\nA. Только уплату основной суммы долга по кредитному договору\nB. Создание условий для подготовки кадров.\nC. Федеральная антимонопольная служба\nD. Подача жалобы автоматически приостанавливает исполнение обжалуемого решения или действия.\nE. Привилегии на приобретение автомобилей без налогообложения.\nF. Законы субъекта Российской Федерации\nG. Министерство сельского хозяйства Российской Федерации\nH. Дополнительные выходные дни в течение года.\nI. Таможенный орган, решение которого обжалуется, обязан приостановить исполнение своего решения без каких-либо условий с момента получения жалобы.\nJ. Федеральный орган исполнительной власти, осуществляющий функции по выработке государственной политики и нормативно-правовому регулированию в области таможенного дела\nK. Муниципальные правовые акты\nL. Федеральная служба по тарифам\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 273, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " Е" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0008063233108259737, + "B": 0.0029958547092974186, + "C": 0.019535424187779427, + "D": 0.9412695169448853, + "E": 0.0012488579377532005, + "F": 0.0019342689774930477, + "G": 0.002483650576323271, + "H": 0.00038088017026893795, + "I": 5.8409859775565565e-05, + "J": 8.498585521010682e-05, + "K": 0.0019342689774930477, + "L": 2.0185909306746908e-05 + }, + "sample": { + "question": "Каковы последствия подачи жалобы согла��но Статье 292 Федерального закона \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?", + "answerA": "Подача жалобы автоматически приостанавливает исполнение обжалуемого решения или действия.", + "answerB": "Таможенный орган, решение которого обжалуется, обязан приостановить исполнение своего решения без каких-либо условий с момента получения жалобы.", + "answerC": "Подача жалобы не приостанавливает исполнение обжалуемого решения таможенного органа или совершения таможенным органом обжалуемого действия, за исключением особых случаев.", + "answerD": "Таможенный орган прекращает все операции до вынесения решения по жалобе.", + "correct_answer": "Подача жалобы не приостанавливает исполнение обжалуемого решения таможенного органа или совершения таможенным органом обжалуемого действия, за исключением особых случаев.", + "choices": [ + "Создание условий для подготовки кадров.", + "Законы субъекта Российской Федерации", + "Таможенный орган прекращает все операции до вынесения решения по жалобе.", + "Подача жалобы не приостанавливает исполнение обжалуемого решения таможенного органа или совершения таможенным органом обжалуемого действия, за исключением особых случаев.", + "Только уплату причитающихся процентов за пользование заемными средствами", + "Привилегии на приобретение автомобилей без налогообложения.", + "Таможенный орган, решение которого обжалуется, обязан приостановить исполнение своего решения без каких-либо условий с момента получения жалобы.", + "Общественное объединение будет обязано возместить убытки государству", + "Дополнительные выходные дни в течение года.", + "Подача жалобы автоматически приостанавливает исполнение обжалуемого решения или действия.", + "Только уплату основной суммы долга по кредитному договору", + "Муниципальные правовые акты" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКаковы последствия подачи жалобы согласно Статье 292 Федерального закона \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?\nA. Создание условий для подготовки кадров.\nB. Законы субъекта Российской Федерации\nC. Таможенный орган прекращает все операции до вынесения решения по жалобе.\nD. Подача жалобы не приостанавливает исполнение обжалуемого решения таможенного органа или совершения таможенным органом обжалуемого действия, за исключением особых случаев.\nE. Только уплату причитающихся процентов за пользование заемными средствами\nF. Привилегии на приобретение автомобилей без налогообложения.\nG. Таможенный орган, решение которого обжалуется, обязан приостановить исполнение своего решения без каких-либо условий с м��мента получения жалобы.\nH. Общественное объединение будет обязано возместить убытки государству\nI. Дополнительные выходные дни в течение года.\nJ. Подача жалобы автоматически приостанавливает исполнение обжалуемого решения или действия.\nK. Только уплату основной суммы долга по кредитному договору\nL. Муниципальные правовые акты\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 254, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0006851497455500066, + "B": 0.001061180722899735, + "C": 0.0065005202777683735, + "D": 0.9647627472877502, + "E": 0.0006046424969099462, + "F": 0.00014361519424710423, + "G": 0.00011906117288162932, + "H": 1.5136931324377656e-05, + "I": 3.6311608710093424e-05, + "J": 8.102214451355394e-06, + "K": 0.00016273734217975289, + "L": 2.980638328153873e-06 + }, + "sample": { + "question": "Какие дополнительные социальные гарантии предусмотрены Федеральным законом \"О статусе военнослужащих\" N 76-ФЗ для военнослужащих, выполняющих задачи в условиях чрезвычайного положения и при вооруженных конфликтах?", + "answerA": "Привилегии на приобретение автомобилей без налогообложения.", + "answerB": "Дополнительные выходные дни в течение года.", + "answerC": "Социальные гарантии и компенсации, установленные федеральными законами и иными нормативными правовыми актами РФ.", + "answerD": "Бесплатное предоставление жилья в собственность.", + "correct_answer": "answerC", + "choices": [ + "Законы субъекта Российской Федерации", + "Муниципальные правовые акты", + "Дополнительные выходные дни в течение года.", + "Социальные гарантии и компенсации, установленные федеральными законами и иными нормативными правовыми актами РФ.", + "Только уплату причитающихся процентов за пользование заемными средствами", + "Получить уведомление от Министерства иностранных дел", + "Только уплату основной суммы долга по кредитному договору", + "Бесплатное предоставление жилья в собственность.", + "Создание условий для подготовки кадров.", + "Привилегии на приобретение автомобилей без налогообложения.", + "Общественное объединение будет обязано возместить убытки государству", + "Учебно-методическая и научно-методическая помощь." + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКакие дополнительные социальные гарантии предусмотрены Федеральным законом \"О статусе военнослужащих\" N 76-ФЗ для военнослужащих, выполняющих задачи в условиях чрезвычайного положения и при вооруженных конфликтах?\nA. Законы субъекта Российской Федерации\nB. Муниципальные правовые акты\nC. Дополнительные выходные дни в течение года.\nD. Социальные гарантии и компенсации, установленные федеральными законами и иными нормативными правовыми актами РФ.\nE. Только уплату причитающихся процентов за пользование заемными средствами\nF. Получить уведомление от Министерства иностранных дел\nG. Только уплату основной суммы долга по кредитному договору\nH. Бесплатное предоставление жилья в собственность.\nI. Создание условий для подготовки кадров.\nJ. Привилегии на приобретение автомобилей без налогообложения.\nK. Общественное объединение будет обязано возместить убытки государству\nL. Учебно-методическая и научно-методическая помощь.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 203, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.03735697269439697, + "B": 0.02567504718899727, + "C": 0.7503348588943481, + "D": 0.02567504718899727, + "E": 0.0053817820735275745, + "F": 0.0028806605841964483, + "G": 0.010702951811254025, + "H": 0.005055716726928949, + "I": 0.002107536420226097, + "J": 0.0022434606216847897, + "K": 0.0034747400786727667, + "L": 0.0001265673927264288 + }, + "sample": { + "question": "Какие акты должны быть исполнены на всей территории муниципального образования согласно Федеральному закону 'Об общих принципах организации местного самоуправления в РФ' (закон о МСУ) N 131-ФЗ?", + "answerA": "Законы субъекта Российской Федерации", + "answerB": "Муниципальные правовые акты", + "answerC": "Федеральные конституционные законы", + "answerD": "Договоры о разграничении предметов ведения", + "correct_answer": "answerB", + "choices": [ + "Законы субъекта Российской Федерации", + "Создание условий для подготовки кадров.", + "Муниципальные правовые акты", + "Учебно-методическая и научно-методическая помощь.", + "Только уплату основной суммы долга по кредитному договору", + "Общественное объединение будет обязано возместить убытки государству", + "Получить уведомление от Министерства иностранных дел", + "Государство не несет ответственности за убытки", + "Федеральные конституционные законы", + "До 1 января 2018 года", + "Договоры о разграничении предметов ведения", + "Только уплату причитающихся процентов за пользование заемными средствами" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКакие акты должны быть исполнены на всей территории муниципального образования согласно Федеральному закону 'Об общих принципах организации местного самоуправления в РФ' (закон о МСУ) N 131-ФЗ?\nA. Законы субъекта Российской Федерации\nB. Создание условий для подготовки кадров.\nC. Муниципальные правовые акты\nD. Учебно-методическая и научно-методическая помощь.\nE. Только уплату основной суммы долга по кредитному договору\nF. Общественное объединение будет обязано возместить убытки государству\nG. Получить уведомление от Министерства иностранных дел\nH. Государство не несет ответственности за убытки\nI. Федеральные конституционные законы\nJ. До 1 января 2018 года\nK. Договоры о разграничении предметов ведения\nL. Только уплату причитающихся процентов за пользование заемными средствами\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 192, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.017216015607118607, + "B": 0.0021887707989662886, + "C": 0.0038414124865084887, + "D": 0.93996262550354, + "E": 0.0007105898694135249, + "F": 0.0001489477144787088, + "G": 0.00019125266408082098, + "H": 6.209064304130152e-05, + "I": 3.3234729926334694e-05, + "J": 2.1457954062498175e-05, + "K": 9.616787428967655e-05, + "L": 8.945005902205594e-06 + }, + "sample": { + "question": "Какие требования обеспечивает ипотека согласно Федеральному закону 'Об ипотеке (залоге недвижимости)' N 102-ФЗ, Статья 3?", + "answerA": "Только уплату основной суммы долга по кредитному договору", + "answerB": "Только уплату причитающихся процентов за пользование заемными средствами", + "answerC": "Уплату основной суммы долга, процентов за пользование заемными средствами, возмещение убытков, судебных издержек и расходов по реализации заложенного имущества", + "answerD": "Только в возмещение убытков вследствие неисполнения обязательств", + "correct_answer": "C", + "choices": [ + "Только в возмещение убытков вследствие неисполнения обязательств", + "Учебно-методическая и научно-методическая помощь.", + "До 1 января 2018 года", + "Уплату основной суммы долга, процентов за пользование заемными средствами, возмещение убытков, судебных издержек и расходов по реализации заложенного имущества", + "Создание условий для подготовки кадров.", + "Государство не несет ответственности за убытки", + "Президент Российской Федерации", + "Получить уведомление от Министерства иностранных дел", + "Только уплату причитающихся процентов за пользование заемными средствами", + "Пройти проверку Федеральной антимонопольной службы", + "Только уплату основной суммы долга по кредитному договору", + "Общественное объединение будет обязано возместить убытки государству" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКакие требования обеспечивает ипотека согласно Федеральному закону 'Об ипотеке (залоге недвижимости)' N 102-ФЗ, Статья 3?\nA. Только в возмещение убытков вследствие неисполнения обязательств\nB. Учебно-методическая и научно-методическая помощь.\nC. До 1 января 2018 года\nD. Уплату основной суммы долга, процентов за пользование заемными средствами, возмещение убытков, судебных издержек и расходов по реализации заложенного имущества\nE. Создание условий для подготовки кадров.\nF. Государство не несет ответственности за убытки\nG. Президент Российской Федерации\nH. Получить уведомление от Министерства иностранных дел\nI. Только уплату причитающихся процентов за пользование заемными средствами\nJ. Пройти проверку Федеральной антимонопольной службы\nK. Только уплату основной суммы долга по кредитному договору\nL. Общественное объединение будет обязано возместить убытки государству\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 208, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.08837912231683731, + "B": 0.12859086692333221, + "C": 0.0688297301530838, + "D": 0.06074202433228493, + "E": 0.12859086692333221, + "F": 0.053604647517204285, + "G": 0.0688297301530838, + "H": 0.10014666616916656, + "I": 0.017402879893779755, + "J": 0.12859086692333221, + "K": 0.01972004771232605, + "L": 0.04174733906984329 + }, + "sample": { + "question": "Какая форма поддержки субъектов малого и среднего предпринимательства в сфере образования не упоминается в статье 21 Федерального закона 'О развитии малого и среднего предпринимательства в Российской Федерации' N 209-ФЗ?", + "answerA": "Создание условий для подготовки кадров.", + "answerB": "Учебно-методическая и научно-методическая помощь.", + "answerC": "Предоставление финансовых субсидий.", + "answerD": "Организация дополнительного профессионального образования.", + "correct_answer": "Предоставление финансовых субсидий.", + "choices": [ + "Организация дополнительного профессионального образования.", + "Пройти проверку Федеральной антимонопольной службы", + "До 1 января 2016 года", + "Учебно-методическая и научно-методическая помощь.", + "Общественное объединение будет обязано возместить убытки государству", + "Создание условий для подготовки кадров.", + "Предоставление финансовых субсидий.", + "Получить уведомление от Министерства иностранных дел", + "Только идентификационный номер налогоплательщика", + "Государство не несет ответственности за убытки", + "До 1 января 2018 года", + "Президент Российской Федерации" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКакая форма поддержки субъектов малого и среднего предпринимательства в сфере образования не упоминается в статье 21 Федерального закона 'О развитии малого и среднего предпринимательства в Российской Федерации' N 209-ФЗ?\nA. Организация дополнительного профессионального образования.\nB. Пройти проверку Федеральной антимонопольной службы\nC. До 1 января 2016 года\nD. Учебно-методическая и научно-методическая помощь.\nE. Общественное объединение будет обязано возместить убытки государству\nF. Создание условий для подготовки кадров.\nG. Предоставление финансовых субсидий.\nH. Получить уведомление от Министерства иностранных дел\nI. Только идентификационный номер налогоплательщика\nJ. Государство не несет ответственности за убытки\nK. До 1 января 2018 года\nL. Президент Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 187, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.4449956715106964, + "B": 0.0773286446928978, + "C": 0.06824229657649994, + "D": 0.12749339640140533, + "E": 0.11251252144575119, + "F": 0.03223538026213646, + "G": 0.01185873243957758, + "H": 0.008676034398376942, + "I": 0.013437705114483833, + "J": 0.006347522139549255, + "K": 0.0013305130414664745, + "L": 0.00045981295988895 + }, + "sample": { + "question": "Что произойдет после отмены решения о ликвидации общественного объединения согласно Федеральному закону \"Об общественных объединениях\" N 82-ФЗ, Статья 45?", + "answerA": "Общественное объединение будет обязано возместить убытки государству", + "answerB": "Государство не несет ответственности за убытки", + "answerC": "Государство возместит все убытки, понесенные общественным объединением", + "answerD": "Дело будет пересмотрено без каких-либо финансовых последствий", + "correct_answer": "answerC", + "choices": [ + "Государство не несет ответственности за убытки", + "Российское правительство", + "Президент Российской Федерации", + "До 1 января 2016 года", + "Плановая проверка финансово-хозяйственной деятельности общества", + "Общественное объединение будет обязано возместить убытки государству", + "Пройти проверку Федеральной антимонопольной службы", + "Только идентификационный номер налогоплательщика", + "Государство возместит все убытки, понесенные общественным объединением", + "До 1 января 2018 года", + "Получить уведомление от Министерства иностранных дел", + "Дело будет пересмотрено без каких-либо финансовых последствий" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nЧто произойдет после отмены решения о ликвидации общественного объединения согласно Федеральному закону \"Об общественных объединениях\" N 82-ФЗ, Статья 45?\nA. Государство не несет ответственности за убытки\nB. Российское правительство\nC. Президент Российской Федерации\nD. До 1 января 2016 года\nE. Плановая проверка финансово-хозяйственной деятельности общества\nF. Общественное объединение будет обязано возместить убытки государству\nG. Пройти проверку Федеральной антимонопольной службы\nH. Только идентификационный номер налогоплательщика\nI. Государство возместит все убытки, понесенные общественным объединением\nJ. До 1 января 2018 года\nK. Получить уведомление от Министерства иностранных дел\nL. Дело будет пересмотрено без каких-либо финансовых последствий\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 185, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.3396812677383423, + "B": 0.0520918108522892, + "C": 0.016911733895540237, + "D": 0.03159527853131294, + "E": 0.14160020649433136, + "F": 0.2060271054506302, + "G": 0.03159527853131294, + "H": 0.07579313218593597, + "I": 0.006622730754315853, + "J": 0.007049859501421452, + "K": 0.0025934982113540173, + "L": 0.011623253114521503 + }, + "sample": { + "question": "Что должен сделать банк с универсальной лицензией, чтобы создать на территории иностранного государства филиалы?", + "answerA": "Получить уведомление от Министерства иностранных дел", + "answerB": "Пройти проверку Федеральной антимонопольной службы", + "answerC": "Получить разрешение Банка России", + "answerD": "Уведомить местные финансовые органы страны размещения", + "correct_answer": "Получить разрешение Банка России", + "choices": [ + "Уведомить местные финансовые органы страны размещения", + "До 1 января 2016 года", + "Цвет эмиссионных ценных бумаг", + "Получить уведомление от Министерства иностранных дел", + "Плановая проверка финансово-хозяйственной деятельности общества", + "Получить разрешение Банка России", + "Президент Российской Федерации", + "До 1 января 2018 года", + "Фамилию, имя, отчество, адрес места жительства и номер телефона", + "Только идентификационный номер налогоплательщика", + "Пройти проверку Федеральной антимонопольной службы", + "Российское правительство" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nЧто должен сделать банк с универсальной лицензией, чтобы создать на территории иностранного государства филиалы?\nA. Уведомить местные финансовые органы страны размещения\nB. До 1 января 2016 года\nC. Цвет эмиссионных ценных бумаг\nD. Получить уведомление от Министерства иностранных дел\nE. Плановая проверка финансово-хозяйственной деятельности общества\nF. Получить разрешение Банка России\nG. Президент Российской Федерации\nH. До 1 января 2018 года\nI. Фамилию, имя, отчество, адрес места жительства и номер телефона\nJ. Только идентификационный номер налогоплательщика\nK. Пройти проверку Федеральной антимонопольной службы\nL. Российское правительство\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 169, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.011185089126229286, + "B": 0.0442378856241703, + "C": 0.03445250168442726, + "D": 0.28846725821495056, + "E": 0.03445250168442726, + "F": 0.19826045632362366, + "G": 0.09365160018205643, + "H": 0.050128087401390076, + "I": 0.0034112592693418264, + "J": 0.02683163248002529, + "K": 0.0442378856241703, + "L": 0.12025103718042374 + }, + "sample": { + "question": "Какой законодательный срок был установлен Федеральным законом \"О стратегическом планировании в Российской Федерации\" N 172-ФЗ для разработки стратегического прогноза Российской Федерации?", + "answerA": "До 1 января 2018 года", + "answerB": "До 1 января 2016 года", + "answerC": "До 1 января 2019 года", + "answerD": "До 1 января 2017 года", + "correct_answer": "D", + "choices": [ + "Российское правительство", + "Решение учредителя общества, не зависимо от доли его участия", + "Цвет эмиссионных ценных бумаг", + "До 1 января 2017 года", + "Только идентификационный номер налогоплательщика", + "До 1 января 2018 года", + "До 1 января 2019 года", + "Фамилию, имя, отчество, адрес места жительства и номер телефона", + "Президент Российской Федерации", + "Плановая проверка финансово-хозяйственной деятельности общества", + "Денежные средства, полученные от продажи активов инвестиционного товарищества.", + "До 1 января 2016 года" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКакой законодательный срок был установлен Федеральным законом \"О стратегическом планировании в Российской Федерации\" N 172-ФЗ для разработки стратегического прогноза Российской Федерации?\nA. Российское правительство\nB. Решение учредителя общества, не зависимо от доли его участия\nC. Цвет эмиссионных ценных бумаг\nD. До 1 января 2017 года\nE. Только идентификационный номер налогоплательщика\nF. До 1 января 2018 года\nG. До 1 января 2019 года\nH. Фамилию, имя, отчество, адрес места жительства и номер телефона\nI. Президент Российской Федерации\nJ. Плановая проверка финансово-хозяйственной деятельности общества\nK. Денежные средства, полученные от продажи активов инвестиционного товарищества.\nL. До 1 января 2016 года\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 199, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0007262266590259969, + "B": 0.796404242515564, + "C": 0.003464633598923683, + "D": 0.02404932491481304, + "E": 0.006472788285464048, + "F": 0.07407712936401367, + "G": 0.004448677878826857, + "H": 0.003688083728775382, + "I": 2.645280255819671e-05, + "J": 0.003464633598923683, + "K": 0.003464633598923683, + "L": 0.005712214857339859 + }, + "sample": { + "question": "Кто устанавливает порядок и сроки проведения аттестации прокурорских работников согласно Федеральному закону \"О прокуратуре Российской Федерации\" N 2202-1-ФЗ?", + "answerA": "Президент Российской Федерации", + "answerB": "Российское правительство", + "answerC": "Генеральный прокурор Российской Федерации", + "answerD": "Министерство юстиции Российской Федерации", + "correct_answer": "Генеральный прокурор Российской Федерации", + "choices": [ + "Президент Российской Федерации", + "Генеральный прокурор Российской Федерации", + "Вид, категорию (тип) эмиссионных ценных бумаг", + "Фамилию, имя, отчество, адрес места жительства и номер телефона", + "Денежные средства, полученные от продажи активов инвестиционного товарищества.", + "Министерство юстиции Российской Федерации", + "Отказ от оказания первой помощи", + "Плановая проверка финансово-хозяйственной деятельности общества", + "Только идентификационный номер налогоплательщика", + "Цвет эмиссионных ценных бумаг", + "Российское правительство", + "Решение учредителя общества, не зависимо от доли его участия" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКто устанавливает порядок и сроки проведения аттестации прокурорских работников согласно Федеральному закону \"О прокуратуре Российской Федерации\" N 2202-1-ФЗ?\nA. Президент Российской Федерации\nB. Генеральный прокурор Российской Федерации\nC. Вид, категорию (тип) эмиссионных ценных бумаг\nD. Фамилию, имя, отчество, адрес места жительства и номер телефона\nE. Денежные средства, полученные от продажи активов инвестиционного товарищества.\nF. Министерство юстиции Российской Федерации\nG. Отказ от оказания первой помощи\nH. Плановая проверка финансово-хозяйственной деятельности общества\nI. Только идентификационный номер налогоплательщика\nJ. Цвет эмиссионных ценных бумаг\nK. Российское правительство\nL. Решение учредителя общества, не зависимо от доли его участия\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 182, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.004977586213499308, + "B": 0.0032137709204107523, + "C": 0.039151743054389954, + "D": 0.12059585750102997, + "E": 0.030491409823298454, + "F": 0.006803553551435471, + "G": 0.01440312247723341, + "H": 0.007709436118602753, + "I": 0.6124363541603088, + "J": 0.01440312247723341, + "K": 0.01440312247723341, + "L": 0.0008125685271807015 + }, + "sample": { + "question": "В соответствии со Статьей 7.2 Федерального закона \"О противодействии легализации (отмыванию) доходов, полученных преступным путем, и финансированию терроризма\" N 115-ФЗ, что обязана содержать информация о плательщике - физическом лице?", + "answerA": "Только идентификационный номер налогоплательщика", + "answerB": "Фамилию, имя, отчество, адрес места жительства и номер телефона", + "answerC": "Фамилию, имя, отчество (если иное не вытекает из закона или национального обычая), номер банковского счета и адрес места жительства (регистрации) или места пребывания", + "answerD": "Только наименование и адрес места нахождения, если это юридическое лицо", + "correct_answer": "C", + "choices": [ + "Решение учредителя общества, не зависимо от доли его участия", + "Частные денежные средства управляющего товарища.", + "Только наименование и адрес места нахождения, если это юридическое лицо", + "Фамилию, имя, отчество, адрес места жительства и номер телефона", + "Только идентификационный номер налогоплательщика", + "Денежные средства, полученные от продажи активов инвестиционного товарищества.", + "Плановая проверка финансово-хозяйственной деятельности общества", + "Цвет эмиссионных ценных бумаг", + "Фамилию, имя, отчество (если иное не вытекает из закона или национального обычая), номер банковского счета и адрес места жительства (регистрации) или места пребывания", + "Отказ от оказания первой помощи", + "Нарушения игнорируются, если они не касаются финансовых вопросов", + "Вид, категорию (тип) эмиссионных ценных бумаг" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nВ соответствии со Статьей 7.2 Федерального закона \"О противодействии легализации (отмыванию) доходов, полученных преступным путем, и финансированию терроризма\" N 115-ФЗ, что обязана содержать информация о плательщике - физическом лице?\nA. Решение учредителя общества, не зависимо от доли его участия\nB. Частные денежные средства управляющего товарища.\nC. Только наименование и адрес места нахождения, если это юридическое лицо\nD. Ф��милию, имя, отчество, адрес места жительства и номер телефона\nE. Только идентификационный номер налогоплательщика\nF. Денежные средства, полученные от продажи активов инвестиционного товарищества.\nG. Плановая проверка финансово-хозяйственной деятельности общества\nH. Цвет эмиссионных ценных бумаг\nI. Фамилию, имя, отчество (если иное не вытекает из закона или национального обычая), номер банковского счета и адрес места жительства (регистрации) или места пребывания\nJ. Отказ от оказания первой помощи\nK. Нарушения игнорируются, если они не касаются финансовых вопросов\nL. Вид, категорию (тип) эмиссионных ценных бумаг\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 257, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0010851898696273565, + "B": 0.0019045674707740545, + "C": 0.0014832786982879043, + "D": 0.016975225880742073, + "E": 0.004292009398341179, + "F": 0.0014832786982879043, + "G": 0.005866480991244316, + "H": 0.926815927028656, + "I": 0.0015789420576766133, + "J": 0.0016807748470455408, + "K": 0.004031969700008631, + "L": 0.013220318593084812 + }, + "sample": { + "question": "В соответствии со статьей 35 Федерального закона \"Об обществах с ограниченной ответственностью\" (ООО) N 14-ФЗ, что является основанием для проведения внеочередного общего собрания участников общества?", + "answerA": "Плановая проверка финансово-хозяйственной деятельности общества", + "answerB": "Решение учредителя общества, не зависимо от доли его участия", + "answerC": "Продажа значительной части имущества общества", + "answerD": "Требование участников общества, обладающих в совокупности не менее чем одной десятой от общего числа голосов участников общества", + "correct_answer": "D", + "choices": [ + "Плановая проверка финансово-хозяйственной деятельности общества", + "Частные денежные средства управляющего товарища.", + "Решение учредителя общества, не зависимо от доли его участия", + "Продажа значительной части имущества общества", + "Цвет эмиссионных ценных бумаг", + "Отказ от оказания первой помощи", + "Вид, категорию (тип) эмиссионных ценных бумаг", + "Требование участников общества, обладающих в совокупности не менее чем одной десятой от общего числа голосов участников общества", + "Осуществление эвтаназии", + "Денежные средства, полученные от продажи активов инвестиционного товарищества.", + "Нарушения игнорируются, если они не касаются финансовых вопросов", + "Гражданский суд" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nВ соответствии со статьей 35 Федерального закона \"Об обществах с ограниченной ответственностью\" (ООО) N 14-ФЗ, что является основанием для проведения внеочередного общего собрания участников общества?\nA. Плановая проверка финансово-хозяйственной деятельности общества\nB. Частные денежные средства управляющего товарища.\nC. Реше��ие учредителя общества, не зависимо от доли его участия\nD. Продажа значительной части имущества общества\nE. Цвет эмиссионных ценных бумаг\nF. Отказ от оказания первой помощи\nG. Вид, категорию (тип) эмиссионных ценных бумаг\nH. Требование участников общества, обладающих в совокупности не менее чем одной десятой от общего числа голосов участников общества\nI. Осуществление эвтаназии\nJ. Денежные средства, полученные от продажи активов инвестиционного товарищества.\nK. Нарушения игнорируются, если они не касаются финансовых вопросов\nL. Гражданский суд\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 209, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0005353799206204712, + "B": 0.0010002213530242443, + "C": 0.0014553135260939598, + "D": 0.00540714617818594, + "E": 0.0027188837993890047, + "F": 0.0003247243585065007, + "G": 0.0010002213530242443, + "H": 0.9679896235466003, + "I": 0.0008826922858133912, + "J": 0.0002375734329689294, + "K": 0.0006874414393678308, + "L": 0.00025289555196650326 + }, + "sample": { + "question": "Что должно быть указано в решении о выпуске эмиссионных ценных бумаг согласно Федеральному закону 'О рынке ценных бумаг' N 39-ФЗ, Статье 17?", + "answerA": "Цвет эмиссионных ценных бумаг", + "answerB": "Вид, категорию (тип) эмиссионных ценных бумаг", + "answerC": "Любимую пиццу директора эмитента", + "answerD": "Среднюю температуру на Марсе", + "correct_answer": "B", + "choices": [ + "Частные денежные средства управляющего товарища.", + "Гражданский суд", + "Некоммерческая организация может быть немедленно ликвидирована без судебного решения", + "Отказ от оказания первой помощи", + "5 дней", + "Среднюю температуру на Марсе", + "Любимую пиццу директора эмитента", + "Вид, категорию (тип) эмиссионных ценных бумаг", + "Денежные средства, полученные от продажи активов инвестиционного товарищества.", + "Нарушения игнорируются, если они не касаются финансовых вопросов", + "Осуществление эвтаназии", + "Цвет эмиссионных ценных бумаг" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nЧто должно быть указано в решении о выпуске эмиссионных ценных бумаг согласно Федеральному закону 'О рынке ценных бумаг' N 39-ФЗ, Статье 17?\nA. Частные денежные средства управляющего товарища.\nB. Гражданский суд\nC. Некоммерческая организация может быть немедленно ликвидирована без судебного решения\nD. Отказ от оказания первой помощи\nE. 5 дней\nF. Среднюю температуру на Марсе\nG. Любимую пиццу директора эмитента\nH. Вид, категорию (тип) эмиссионных ценных бумаг\nI. Денежные средства, полученные от продажи активов инвестиционного товарищества.\nJ. Нарушения игнорируются, если они не касаются финансовых вопросов\nK. Осуществление эвтаназии\nL. Цвет эмиссионных ценных бумаг\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 187, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.003639633534476161, + "B": 0.12052810937166214, + "C": 0.011933899484574795, + "D": 0.026893459260463715, + "E": 0.006000741384923458, + "F": 0.0569334514439106, + "G": 0.4766979217529297, + "H": 0.039129748940467834, + "I": 0.000864488712977618, + "J": 0.12052810937166214, + "K": 0.0569334514439106, + "L": 0.0020738006569445133 + }, + "sample": { + "question": "Какие средства должны поступать на отдельный банковский счет в рамках инвестиционного товарищества, согласно Федеральному закону 'Об инвестиционном товариществе' N 335-ФЗ?", + "answerA": "Денежные средства, полученные от продажи активов инвестиционного товарищества.", + "answerB": "Частные денежные средства управляющего товарища.", + "answerC": "Денежные средства, переданные в общее имущество товарищей по одному договору инвестиционного товарищества.", + "answerD": "Денежные средства, полученные от аренды имущества, принадлежащего инвестиционному товариществу.", + "correct_answer": "Денежные средства, переданные в общее имущество товарищей по одному договору инвестиционного товарищества.", + "choices": [ + "Некоммерческая организация может быть немедленно ликвидирована без судебного решения", + "Денежные средства, полученные от аренды имущества, принадлежащего инвестиционному товариществу.", + "Гражданский суд", + "5 дней", + "Нарушения игнорируются, если они не касаются финансовых вопросов", + "Отказ от оказания первой помощи", + "Денежные средства, переданные в общее имущество товарищей по одному договору инвестиционного товарищества.", + "Осуществление эвтаназии", + "Частные денежные средства управляющего товарища.", + "Денежные средства, полученные от продажи активов инвестиционного товарищества.", + "Когда услуга связи будет оказываться исключительно внутри административных зданий", + "Специальная комиссия Министерства обороны" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКакие средства должны поступать на отдельный банковский счет в рамках инвестиционного товарищества, согласно Федеральному закону 'Об инвестиционном товариществе' N 335-ФЗ?\nA. Некоммерческая организация может быть немедленно ликвидирована без судебного решения\nB. Денежные средства, полученные от аренды имущества, принадлежащего инвестиционному товариществу.\nC. Гражданский суд\nD. 5 дней\nE. Нарушения игнорируются, если они не касаются финансовых вопросов\nF. Отказ от оказания первой помощи\nG. Денежные средства, переданные в общее имущество товарищей по одному договору инвестиционного товарищества.\nH. Осуществление эвтаназии\nI. Частные денежные средства управляющего товарища.\nJ. Денежные средства, полученные от продажи активов инвестиционного товарищества.\nK. Когда услуга связи будет оказываться исключительно внутри административных зданий\nL. Специальная комиссия Министерства обороны\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 200, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.032113514840602875, + "B": 0.03638938069343567, + "C": 0.1120871752500534, + "D": 0.059995945543050766, + "E": 0.0872935876250267, + "F": 0.041234567761421204, + "G": 0.1120871752500534, + "H": 0.06798431277275085, + "I": 0.032113514840602875, + "J": 0.12701141834259033, + "K": 0.0872935876250267, + "L": 0.005580492317676544 + }, + "sample": { + "question": "Что запрещено медицинским работникам согласно Статье 45 Федерального закона \"Об основах охраны здоровья граждан в Российской Федерации\" N 323-ФЗ?", + "answerA": "Отказ от оказания первой помощи", + "answerB": "Осуществление эвтаназии", + "answerC": "Проведение исследований без согласия пациента", + "answerD": "Проведение профилактических прививок", + "correct_answer": "B", + "choices": [ + "5 дней", + "Проведение профилактических прививок", + "Когда услуга связи будет оказываться исключительно внутри административных зданий", + "Порядок налогообложения вкладов физических лиц", + "Осуществление эвтаназии", + "Специальная комиссия Министерства обороны", + "Гражданский суд", + "Нарушения игнорируются, если они не касаются финансовых вопросов", + "Некоммерческая организация может быть немедленно ликвидирована без судебного решения", + "Проведение исследований без согласия пациента", + "Отказ от оказания первой помощи", + "3 дня" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nЧто запрещено медицинским работникам согласно Статье 45 Федерального закона \"Об основах охраны здоровья граждан в Российской Федерации\" N 323-ФЗ?\nA. 5 дней\nB. Проведение профилактических прививок\nC. Когда услуга связи будет оказываться исключительно внутри административных зданий\nD. Порядок налогообложения вкладов физических лиц\nE. Осуществление эвтаназии\nF. Специальная комиссия Министерства обороны\nG. Гражданский суд\nH. Нарушения игнорируются, если они не касаются финансовых вопросов\nI. Некоммерческая организация может быть немедленно ликвидирована без судебного решения\nJ. Проведение исследований без согласия пациента\nK. Отказ от оказания первой помощи\nL. 3 дня\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 173, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.4335978627204895, + "B": 0.05178588256239891, + "C": 0.09674876183271408, + "D": 0.027718983590602875, + "E": 0.040330883115530014, + "F": 0.07534800469875336, + "G": 0.09674876183271408, + "H": 0.040330883115530014, + "I": 0.005127496086061001, + "J": 0.005458191502839327, + "K": 0.014836902730166912, + "L": 0.0007386859506368637 + }, + "sample": { + "question": "Каковы последствия для некоммерческой организации в случае нарушения Федерального закона \"О некоммерческих организациях\" N 7-ФЗ?", + "answerA": "Нарушения игнорируются, если они не касаются финансовых вопросов", + "answerB": "Некоммерческая организация может быть немедленно ликвидирована без судебного решения", + "answerC": "Некоммерческая организация несет ответственность в соответствии с законодательством Российской Федерации", + "answerD": "Организация получит предупреждение, и дело будет закрыто без дополнительных мер", + "correct_answer": "answerC", + "choices": [ + "Некоммерческая организация несет ответственность в соответствии с законодательством Российской Федерации", + "Когда услуга связи будет оказываться исключительно внутри административных зданий", + "Некоммерческая организация может быть немедленно ликвидирована без судебного решения", + "3 дня", + "Нарушения игнорируются, если они не касаются финансовых вопросов", + "Гражданский суд", + "Когда услуга связи будет оказываться с использованием радиочастотного спектра, а государственная комиссия по радиочастотам установит, что доступный спектр ограничивает возможное количество операторов на территории", + "Специальная комиссия Министерства обороны", + "Не более 30 рабочих дней", + "5 дней", + "Порядок налогообложения вкладов физических лиц", + "Организация получит предупреждение, и дело будет закрыто без дополнительных мер" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКаковы последствия для некоммерческой организации в случае нарушения Федерального закона \"О некоммерческих организациях\" N 7-ФЗ?\nA. Некоммерческая организация несет ответственность в соответствии с законодательством Российской Федерации\nB. Когда услуга связи будет оказываться исключительно внутри административных зданий\nC. Некоммерческая организация может быть немедленно ликвидирована без судебного решения\nD. 3 дня\nE. Нарушения игнорируются, если они не касаются финансовых вопросов\nF. Гражданский суд\nG. Когда услуга связи будет оказываться с использованием радиочастотного спектра, а государственная комиссия по радиочастотам установит, что доступный спектр ограничивает возможное количество операторов на территории\nH. Специальная комиссия Министерства обороны\nI. Не более 30 рабочих дней\nJ. 5 дней\nK. Порядок налогообложения вкладов физических лиц\nL. Организация получит предупреждение, и дело будет закрыто без дополнительных мер\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 210, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.003749881638213992, + "B": 0.04291512072086334, + "C": 0.006581247318536043, + "D": 0.03787246346473694, + "E": 0.08017600327730179, + "F": 0.24695947766304016, + "G": 0.05510411038994789, + "H": 0.07075507938861847, + "I": 0.029495105147361755, + "J": 0.21794097125530243, + "K": 0.08017600327730179, + "L": 0.08017600327730179 + }, + "sample": { + "question": "В соответствии со Статьёй 28.9 Федерального закона \"О статусе военнослужащих\" N 76-ФЗ, кто определяет ��орядок и сроки рассмотрения командиром материалов о дисциплинарном проступке?", + "answerA": "Гражданский суд", + "answerB": "Специальная комиссия Министерства обороны", + "answerC": "Общевоинские уставы", + "answerD": "Президент Российской Федерации", + "correct_answer": "Общевоинские уставы", + "choices": [ + "Ограничения на размеры страховых выплат по вкладам", + "Порядок налогообложения вкладов физических лиц", + "Общевоинские уставы", + "Гражданский суд", + "3 дня", + "Когда услуга связи будет оказываться исключительно внутри административных зданий", + "Когда услуга связи будет оказываться с использованием радиочастотного спектра, а государственная комиссия по радиочастотам установит, что доступный спектр ограничивает возможное количество операторов на территории", + "Президент Российской Федерации", + "5 дней", + "Специальная комиссия Министерства обороны", + "Сумма требований кредиторов составляет не менее ста тысяч рублей и они не исполнены в течение четырнадцати дней с даты наступления их исполнения.", + "Не более 30 рабочих дней" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nВ соответствии со Статьёй 28.9 Федерального закона \"О статусе военнослужащих\" N 76-ФЗ, кто определяет порядок и сроки рассмотрения командиром материалов о дисциплинарном проступке?\nA. Ограничения на размеры страховых выплат по вкладам\nB. Порядок налогообложения вкладов физических лиц\nC. Общевоинские уставы\nD. Гражданский суд\nE. 3 дня\nF. Когда услуга связи будет оказываться исключительно внутри административных зданий\nG. Когда услуга связи будет оказываться с использованием радиочастотного спектра, а государственная комиссия по радиочастотам установит, что доступный спектр ограничивает возможное количество операторов на территории\nH. Президент Российской Федерации\nI. 5 дней\nJ. Специальная комиссия Министерства обороны\nK. Сумма требований кредиторов составляет не менее ста тысяч рублей и они не исполнены в течение четырнадцати дней с даты наступления их исполнения.\nL. Не более 30 рабочих дней\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 218, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.031333450227975845, + "B": 0.02023039571940899, + "C": 0.01677158661186695, + "D": 0.04558990150690079, + "E": 0.08517315238714218, + "F": 0.04023294895887375, + "G": 0.04558990150690079, + "H": 0.55539870262146, + "I": 0.01390413474291563, + "J": 0.010828550904989243, + "K": 0.007442346774041653, + "L": 0.08517315238714218 + }, + "sample": { + "question": "Сколько дней отведено на решение вопроса об отводе судебного пристава-исполнителя после поступления заявления об отводе или о самоотводе согласно статье 63 Федерального закона 'Об исполнительном производстве' N 229-ФЗ?", + "answerA": "5 дней", + "answerB": "3 дня", + "answerC": "7 дней", + "answerD": "10 дней", + "correct_answer": "B", + "choices": [ + "7 дней", + "Порядок налогообложения вкладов физических лиц", + "Когда услуга связи будет оказываться с использованием радиочастотного спектра, а государственная комиссия по радиочастотам установит, что доступный спектр ограничивает возможное количество операторов на территории", + "3 дня", + "Три месяца", + "Не более 10 рабочих дней", + "Ограничения на размеры страховых выплат по вкладам", + "Не более 30 рабочих дней", + "Сумма требований кредиторов составляет не менее ста тысяч рублей и они не исполнены в течение четырнадцати дней с даты наступления их исполнения.", + "10 дней", + "Когда услуга связи будет оказываться исключительно внутри административных зданий", + "5 дней" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nСколько дней отведено на решение вопроса об отводе судебного пристава-исполнителя после поступления заявления об отводе или о самоотводе согласно статье 63 Федерального закона 'Об исполнительном производстве' N 229-ФЗ?\nA. 7 дней\nB. Порядок налогообложения вкладов физических лиц\nC. Когда услуга связи будет оказываться с использованием радиочастотного спектра, а государственная комиссия по радиочастотам установит, что доступный спектр ограничивает возможное количество операторов на территории\nD. 3 дня\nE. Три месяца\nF. Не более 10 рабочих дней\nG. Ограничения на размеры страховых выплат по вкладам\nH. Не более 30 рабочих дней\nI. Сумма требований кредиторов составляет не менее ста тысяч рублей и они не исполнены в течение четырнадцати дней с даты наступления их исполнения.\nJ. 10 дней\nK. Когда услуга связи будет оказываться исключительно внутри административных зданий\nL. 5 дней\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 225, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0035254403483122587, + "B": 0.04866720363497734, + "C": 0.026049675419926643, + "D": 0.0429486520588398, + "E": 0.10302846878767014, + "F": 0.4074854850769043, + "G": 0.04866720363497734, + "H": 0.06248992681503296, + "I": 0.0008913709316402674, + "J": 0.04866720363497734, + "K": 0.02951815165579319, + "L": 0.07081035524606705 + }, + "sample": { + "question": "В каком случае лицензии на оказание услуг связи предоставляются по результатам торгов (аукциона, конкурса) согласно Федеральному закону 'О связи' N 126-ФЗ?", + "answerA": "Когда услуга связи будет оказываться исключительно внутри административных зданий", + "answerB": "Когда услуга связи будет оказываться с использованием радиочастотного спектра, а государственная комиссия по радиочастотам установит, что доступный спектр ограничивает возможное количество операторов на территории", + "answerC": "При наличии неограниченного числа желающих оказывать услуги связи без использования радиочастот", + "answerD": "Если услуги связи могут быть оказаны без дополнитель��ых лицензий и регуляции", + "correct_answer": "answerB", + "choices": [ + "Порядок налогообложения вкладов физических лиц", + "Если услуги связи могут быть оказаны без дополнительных лицензий и регуляции", + "При наличии неограниченного числа желающих оказывать услуги связи без использования радиочастот", + "Сумма требований кредиторов составляет не менее ста тысяч рублей и они не исполнены в течение четырнадцати дней с даты наступления их исполнения.", + "Когда услуга связи будет оказываться исключительно внутри административных зданий", + "Когда услуга связи будет оказываться с использованием радиочастотного спектра, а государственная комиссия по радиочастотам установит, что доступный спектр ограничивает возможное количество операторов на территории", + "Не более 10 рабочих дней", + "Не более 30 рабочих дней", + "Не исполненные требования кредиторов в течение четырнадцати дней после вступления решения суда в законную силу.", + "Три месяца", + "Ограничения на размеры страховых выплат по вкладам", + "Только сотрудники федеральной противопожарной службы" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nВ каком случае лицензии на оказание услуг связи предоставляются по результатам торгов (аукциона, конкурса) согласно Федеральному закону 'О связи' N 126-ФЗ?\nA. Порядок налогообложения вкладов физических лиц\nB. Если услуги связи могут быть оказаны без дополнительных лицензий и регуляции\nC. При наличии неограниченного числа желающих оказывать услуги связи без использования радиочастот\nD. Сумма требований кредиторов составляет не менее ста тысяч рублей и они не исполнены в течение четырнадцати дней с даты наступления их исполнения.\nE. Когда услуга связи будет оказываться исключительно внутри административных зданий\nF. Когда услуга связи будет оказываться с использованием радиочастотного спектра, а государственная комиссия по радиочастотам установит, что доступный спектр ограничивает возможное количество операторов на территории\nG. Не более 10 рабочих дней\nH. Не более 30 рабочих дней\nI. Не исполненные требования кредиторов в течение четырнадцати дней после вступления решения суда в законную силу.\nJ. Три месяца\nK. Ограничения на размеры страховых выплат по вкладам\nL. Только сотрудники федеральной противопожарной службы\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 254, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.013659924268722534, + "B": 0.33094966411590576, + "C": 0.018670903518795967, + "D": 0.04478916525840759, + "E": 0.12174958735704422, + "F": 0.08367717266082764, + "G": 0.07384485006332397, + "H": 0.05751042068004608, + "I": 0.0012705709086731076, + "J": 0.07384485006332397, + "K": 0.030783111229538918, + "L": 0.05075277388095856 + }, + "sample": { + "question": "Что определяется в статье 49 Федерального закона \"О страховании вкладов физических лиц в банках Российской Федерации\" N 177-ФЗ?", + "answerA": "Порядок налогообложения вкладов физических лиц", + "answerB": "Ограничения на размеры страховых выплат по вкладам", + "answerC": "Особенности возврата вкладов физических лиц в кредитных организациях, в капитале которых участвует Банк России", + "answerD": "Процедуру регистрации кредитных организаций в системе страхования вкладов", + "correct_answer": "Особенности возврата вкладов физических лиц в кредитных организациях, в капитале которых участвует Банк России", + "choices": [ + "Только сотрудники федеральной противопожарной службы", + "Сумма требований кредиторов составляет не менее ста тысяч рублей и они не исполнены в течение четырнадцати дней с даты наступления их исполнения.", + "Рекомендации могут базироваться исключительно на общедоступной информации о финансовых инструментах", + "Три месяца", + "Не исполненные требования кредиторов в течение четырнадцати дней после вступления решения суда в законную силу.", + "Ограничения на размеры страховых выплат по вкладам", + "Процедуру регистрации кредитных организаций в системе страхования вкладов", + "Не более 10 рабочих дней", + "Шесть месяцев", + "Особенности возврата вкладов физических лиц в кредитных организациях, в капитале которых участвует Банк России", + "Порядок налогообложения вкладов физических лиц", + "Не более 30 рабочих дней" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nЧто определяется в статье 49 Федерального закона \"О страховании вкладов физических лиц в банках Российской Федерации\" N 177-ФЗ?\nA. Только сотрудники федеральной противопожарной службы\nB. Сумма требований кредиторов составляет не менее ста тысяч рублей и они не исполнены в течение четырнадцати дней с даты наступления их исполнения.\nC. Рекомендации могут базироваться исключительно на общедоступной информации о финансовых инструментах\nD. Три месяца\nE. Не исполненные требования кредиторов в течение четырнадцати дней после вступления решения суда в законную силу.\nF. Ограничения на размеры страховых выплат по вкладам\nG. Процедуру регистрации кредитных организаций в системе страхования вкладов\nH. Не более 10 рабочих дней\nI. Шесть месяцев\nJ. Особенности возврата вкладов физических лиц в кредитных организациях, в капитале которых участвует Банк России\nK. Порядок налогообложения вкладов физических лиц\nL. Не более 30 рабочих дней\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 219, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.00791155081242323, + "B": 0.03330887109041214, + "C": 0.14928001165390015, + "D": 0.07990382611751556, + "E": 0.07051488757133484, + "F": 0.14928001165390015, + "G": 0.16915640234947205, + "H": 0.19167932868003845, + "I": 0.010158631950616837, + "J": 0.02289283089339733, + "K": 0.03330887109041214, + "L": 0.024369290098547935 + }, + "sample": { + "question": "Какой срок проведения выездной проверки установлен Федеральным законом от 31.07.2020 N 248-ФЗ \"О государственном контроле (надзоре) и муниципальном контроле в Российской Федерации\"?", + "answerA": "Не более 30 рабочих дней", + "answerB": "Не более 10 рабочих дней", + "answerC": "Не более 20 рабочих дней", + "answerD": "Не более 15 рабочих дней", + "correct_answer": "Не более 10 рабочих дней", + "choices": [ + "Только законы Российской Федерации и нормативные акты федерального органа исполнительной власти в сфере внутренних дел", + "Только военнослужащие федеральной противопожарной службы", + "Шесть месяцев", + "Только сотрудники федеральной противопожарной службы", + "Сумма требований кредиторов составляет не менее ста тысяч рублей и они не исполнены в течение четырнадцати дней с даты наступления их исполнения.", + "Не более 20 рабочих дней", + "Не исполненные требования кредиторов в течение четырнадцати дней после вступления решения суда в законную силу.", + "Не более 15 рабочих дней", + "Рекомендации могут базироваться исключительно на общедоступной информации о финансовых инструментах", + "Три месяца", + "Не более 30 рабочих дней", + "Не более 10 рабочих дней" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКакой срок проведения выездной проверки установлен Федеральным законом от 31.07.2020 N 248-ФЗ \"О государственном контроле (надзоре) и муниципальном контроле в Российской Федерации\"?\nA. Только законы Российской Федерации и нормативные акты федерального органа исполнительной власти в сфере внутренних дел\nB. Только военнослужащие федеральной противопожарной службы\nC. Шесть месяцев\nD. Только сотрудники федеральной противопожарной службы\nE. Сумма требований кредиторов составляет не менее ста тысяч рублей и они не исполнены в течение четырнадцати дней с даты наступления их исполнения.\nF. Не более 20 рабочих дней\nG. Не исполненные требования кредиторов в течение четырнадцати дней после вступления решения суда в законную силу.\nH. Не более 15 рабочих дней\nI. Рекомендации могут базироваться исключительно на общедоступной информации о финансовых инструментах\nJ. Три месяца\nK. Не более 30 рабочих дней\nL. Не более 10 рабочих дней\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 222, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.10322413593530655, + "B": 0.0803910419344902, + "C": 0.0910949856042862, + "D": 0.3179527223110199, + "E": 0.055251896381378174, + "F": 0.0458054356276989, + "G": 0.04875963181257248, + "H": 0.033511970192193985, + "I": 0.007477531675249338, + "J": 0.06260859966278076, + "K": 0.02303241938352585, + "L": 0.01232836488634348 + }, + "sample": { + "question": "Какой из перечисленных ниже признаков НЕ является признаком банкротства финансовой организации согласно Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ?", + "answerA": "Сумма требований кредиторов составляет не менее ста тысяч рублей и они не исполнены в течение четырнадцати дней с даты наступления их исполнения.", + "answerB": "Не исполненные требования кредиторов в течение четырнадцати дней после вступления решения суда в законную силу.", + "answerC": "Страхование ответственности руководителей финансовой организации за убытки, вызванные их действиями.", + "answerD": "Стоимость имущества (активов) финансовой организации недостаточна для исполнения денежных обязательств.", + "correct_answer": "answerC", + "choices": [ + "Три месяца", + "Осуществлять массовую рассылку уведомлений о банкротстве по списку всех зарегистрированных юридических лиц.", + "Стоимость имущества (активов) финансовой организации недостаточна для исполнения денежных обязательств.", + "Только сотрудники федеральной противопожарной службы", + "Только военнослужащие федеральной противопожарной службы", + "Рекомендации могут базироваться исключительно на общедоступной информации о финансовых инструментах", + "Не исполненные требования кредиторов в течение четырнадцати дней после вступления решения суда в законную силу.", + "Только законы Российской Федерации и нормативные акты федерального органа исполнительной власти в сфере внутренних дел", + "Сумма требований кредиторов составляет не менее ста тысяч рублей и они не исполнены в течение четырнадцати дней с даты наступления их исполнения.", + "Должна быть предоставлена информация о всех известных инвестиционных советнику квалифицированных инвесторах", + "Шесть месяцев", + "Страхование ответственности руководителей финансовой организации за убытки, вызванные их действиями." + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКакой из перечисленных ниже признаков НЕ является признаком банкротства финансовой организации согласно Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ?\nA. Три месяца\nB. Осуществлять массовую рассылку уведомлений о банкротстве по списку всех зарегистрированных юридических лиц.\nC. Стоимость имущества (активов) финансовой организации недостаточна для исполнения денежных обязательств.\nD. Только сотрудники федеральной противопожарной службы\nE. Только военнослужащие федеральной противопожарной службы\nF. Рекомендации могут базироваться исключительно на общедоступной информации о финансовых инструментах\nG. Не исполненные требования кредиторов в течение четырнадцати дней после вступления решения суда в законную силу.\nH. Только законы Российской Федерации и нормативные акты федерального органа исполнительной власти в сфере внутренних дел\nI. Сумма требований кредиторов составляет не менее ста тысяч рублей и они не исп��лнены в течение четырнадцати дней с даты наступления их исполнения.\nJ. Должна быть предоставлена информация о всех известных инвестиционных советнику квалифицированных инвесторах\nK. Шесть месяцев\nL. Страхование ответственности руководителей финансовой организации за убытки, вызванные их действиями.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 246, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.01610160805284977, + "B": 0.030081765726208687, + "C": 0.6042084097862244, + "D": 0.10499567538499832, + "E": 0.01824551448225975, + "F": 0.03408711031079292, + "G": 0.09265836328268051, + "H": 0.020674875006079674, + "I": 0.0014976829988881946, + "J": 0.004333688877522945, + "K": 0.005227426998317242, + "L": 0.0003786735178437084 + }, + "sample": { + "question": "Какой максимальный срок устанавливается для проведения процедуры установления личности иностранного гражданина, если из дипломатических представительств или консульских учреждений иностранных государств в РФ и международных организаций не поступают ответы на запросы?", + "answerA": "Три месяца", + "answerB": "Шесть месяцев", + "answerC": "Девять месяцев", + "answerD": "Один год", + "correct_answer": "Шесть месяцев", + "choices": [ + "Только сотрудники федеральной противопожарной службы", + "Должна быть предоставлена информация о всех известных инвестиционных советнику квалифицированных инвесторах", + "Шесть месяцев", + "Девять месяцев", + "Только международные договоры Российской Федерации и Конституция Российской Федерации", + "Таможенные сборы за регистрацию в таможенных органах", + "Три месяца", + "Только законы Российской Федерации и нормативные акты федерального органа исполнительной власти в сфере внутренних дел", + "Осуществлять массовую рассылку уведомлений о банкротстве по списку всех зарегистрированных юридических лиц.", + "Один год", + "Только военнослужащие федеральной противопожарной службы", + "Рекомендации могут базироваться исключительно на общедоступной информации о финансовых инструментах" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКакой максимальный срок устанавливается для проведения процедуры установления личности иностранного гражданина, если из дипломатических представительств или консульских учреждений иностранных государств в РФ и международных организаций не поступают ответы на запросы?\nA. Только сотрудники федеральной противопожарной службы\nB. Должна быть предоставлена информация о всех известных инвестиционных советнику квалифицированных инвесторах\nC. Шесть месяцев\nD. Девять месяцев\nE. Только международные договоры Российской Федерации и Конституция Российской Федерации\nF. Таможенные сборы за регистрацию в таможенных органах\nG. Три месяца\nH. Только законы Российской Федерации и нормативные акты федерального органа исполнительной власти в сфере внутренних дел\nI. Осуществлять массовую рассылку уведомлений о банкротстве по списку всех зарегистрированных юридических лиц.\nJ. Один год\nK. Только военнослужащие федеральной противопожарной службы\nL. Рекомендации могут базироваться исключительно на общедоступной информации о финансовых инструментах\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 206, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.018398629501461983, + "B": 0.0028215216007083654, + "C": 0.003003493882715702, + "D": 0.8864956498146057, + "E": 0.02362430840730667, + "F": 0.01623673550784588, + "G": 0.01623673550784588, + "H": 0.002650574082508683, + "I": 0.005973160732537508, + "J": 0.001607654383406043, + "K": 0.001332792337052524, + "L": 0.00020439032232388854 + }, + "sample": { + "question": "Кто входит в личный состав Государственной противопожарной службы согласно Федеральному закону 'О пожарной безопасности' N 69-ФЗ?", + "answerA": "Только сотрудники федеральной противопожарной службы", + "answerB": "Только военнослужащие федеральной противопожарной службы", + "answerC": "Сотрудники федеральной противопожарной службы, военнослужащие и работники", + "answerD": "Только государственные гражданские служащие", + "correct_answer": "Сотрудники федеральной противопожарной службы, военнослужащие и работники", + "choices": [ + "Только законы Российской Федерации и нормативные акты федерального органа исполнительной власти в сфере внутренних дел", + "Осуществлять массовую рассылку уведомлений о банкротстве по списку всех зарегистрированных юридических лиц.", + "Должна быть предоставлена информация о всех известных инвестиционных советнику квалифицированных инвесторах", + "Сотрудники федеральной противопожарной службы, военнослужащие и работники", + "Принимать непосредственное участие в оперативном управлении активами банкрота.", + "Только сотрудники федеральной противопожарной службы", + "Таможенные сборы за регистрацию в таможенных органах", + "Только государственные гражданские служащие", + "Только военнослужащие федеральной противопожарной службы", + "20 календарных дней", + "Рекомендации могут базироваться исключительно на общедоступной информации о финансовых инструментах", + "Только международные договоры Российской Федерации и Конституция Российской Федерации" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКто входит в личный состав Государственной противопожарной службы согласно Федеральному закону 'О пожарной безопасности' N 69-ФЗ?\nA. Только законы Российской Федерации и нормативные акты федерального органа исполнительной власти в сфере внутренних дел\nB. Осуществлять массовую рассылку уведомлений о банкротстве по списку всех зарегистрированных юридических лиц.\nC. Должна быть предоставлена информация о всех известных инвестиционных советнику квалифицированных инвесторах\nD. Сотрудники федеральной противопожарной службы, военнослужащие и работники\nE. Принимать непосредственное участие в оперативном управлении активами банкрота.\nF. Только сотрудники федеральной противопожарной службы\nG. Таможенные сборы за регистрацию в таможенных органах\nH. Только государственные гражданские служащие\nI. Только военнослужащие федеральной противопожарной службы\nJ. 20 календарных дней\nK. Рекомендации могут базироваться исключительно на общедоступной информации о финансовых инструментах\nL. Только международные договоры Российской Федерации и Конституция Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 222, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0006829937919974327, + "B": 0.003060966031625867, + "C": 0.0004142566758673638, + "D": 0.001856569666415453, + "E": 0.006480064708739519, + "F": 0.0017440856900066137, + "G": 0.0032583812717348337, + "H": 0.9617269039154053, + "I": 0.00038915814366191626, + "J": 0.0007270431378856301, + "K": 0.0013582954416051507, + "L": 0.0008238477748818696 + }, + "sample": { + "question": "В соответствии с Федеральным законом \"О рынке ценных бумаг\" N 39-ФЗ, какие требования предъявляются к индивидуальным инвестиционным рекомендациям, предоставляемым инвестиционным советником?", + "answerA": "Рекомендации могут базироваться исключительно на общедоступной информации о финансовых инструментах", + "answerB": "Должна быть предоставлена информация о всех известных инвестиционных советнику квалифицированных инвесторах", + "answerC": "Рекомендация должна включать описание ценной бумаги, рисков, связанных с ней, и информацию о наличии или отсутствии конфликта интересов", + "answerD": "Инвестиционный советник должен гарантировать получение клиентом дохода в соответствии с рекомендациями", + "correct_answer": "C", + "choices": [ + "Осуществлять массовую рассылку уведомлений о банкротстве по списку всех зарегистрированных юридических лиц.", + "Инвестиционный советник должен гарантировать получение клиентом дохода в соответствии с рекомендациями", + "Должна быть предоставлена информация о всех известных инвестиционных советнику квалифицированных инвесторах", + "Только международные договоры Российской Федерации и Конституция Российской Федерации", + "20 календарных дней", + "Рекомендации могут базироваться исключительно на общедоступной информации о финансовых инструментах", + "Таможенные сборы за регистрацию в таможенных органах", + "Рекомендация должна включать описание ценной бумаги, рисков, связанных с ней, и информацию о наличии или отсутствии конфликта интересов", + "Принимать непосредственное участие в оперативном управлении активами банкрота.", + "Заявление о признании ипотечного агента банкротом подается согласно статье 212", + "Таможенные сборы за таможенные операции, сопровождение и хранение", + "Только законы Российской Федерации и нормативные акты федерального органа исполнительной власти в сфере внутренних дел" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nВ соответствии с Федеральным законом \"О рынке ценных бумаг\" N 39-ФЗ, какие требования предъявляются к индивидуальным инвестиционным рекомендациям, предоставляемым инвестиционным советником?\nA. Осуществлять массовую рассылку уведомлений о банкротстве по списку всех зарегистрированных юридических лиц.\nB. Инвестиционный советник должен гарантировать получение клиентом дохода в соответствии с рекомендациями\nC. Должна быть предоставлена информация о всех известных инвестиционных советнику квалифицированных инвесторах\nD. Только международные договоры Российской Федерации и Конституция Российской Федерации\nE. 20 календарных дней\nF. Рекомендации могут базироваться исключительно на общедоступной информации о финансовых инструментах\nG. Таможенные сборы за регистрацию в таможенных органах\nH. Рекомендация должна включать описание ценной бумаги, рисков, связанных с ней, и информацию о наличии или отсутствии конфликта интересов\nI. Принимать непосредственное участие в оперативном управлении активами банкрота.\nJ. Заявление о признании ипотечного агента банкротом подается согласно статье 212\nK. Таможенные сборы за таможенные операции, сопровождение и хранение\nL. Только законы Российской Федерации и нормативные акты федерального органа исполнительной власти в сфере внутренних дел\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 276, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0016366374911740422, + "B": 0.0012746145948767662, + "C": 0.25856414437294006, + "D": 0.014587190933525562, + "E": 0.006080845836549997, + "F": 0.0016366374911740422, + "G": 0.376208633184433, + "H": 0.0015374786453321576, + "I": 4.942217128700577e-05, + "J": 7.190882752183825e-05, + "K": 0.02725246176123619, + "L": 1.935399996000342e-05 + }, + "sample": { + "question": "Что входит в правовую основу деятельности полиции согласно Федеральному закону \"О полиции\" N 3-ФЗ?", + "answerA": "Только законы Российской Федерации и нормативные акты федерального органа исполнительной власти в сфере внутренних дел", + "answerB": "Только международные договоры Российской Федерации и Конституция Российской Федерации", + "answerC": "Конституция Российской Федерации, общепризнанные принципы и нормы международного права, международные договоры Российской Федерации, федеральные конституционные законы, федеральные законы, нормативные правовые акты Президента Российской Федерации и Правительства РФ, а также нормативные акты федерального органа исполнительной власти в сфере внутренних дел", + "answerD": "Только законодательство субъектов Российской Федерации", + "correct_answer": "answerC", + "choices": [ + "Только законы Российской Федерации и нормативные акты федерального органа исполнительной власти в сфере внутренних дел", + "20 календарных дней", + "Таможенные сборы за таможенные операции, сопровождение и хранение", + "Осуществлять массовую рассылку уведомлений о банкротстве по списку всех зарегистрированных юридических лиц.", + "Все требования удовлетворяются после полного выполнения требований всех остальных кредиторов.", + "Таможенные сборы за регистрацию в таможенных органах", + "Конституция Российской Федерации, общепризнанные принципы и нормы международного права, международные договоры Российской Федерации, федеральные конституционные законы, федеральные законы, нормативные правовые акты Президента Российской Федерации и Правительства РФ, а также нормативные акты федерального органа исполнительной власти в сфере внутренних дел", + "Только законодательство субъектов Российской Федерации", + "30 календарных дней", + "Принимать непосредственное участие в оперативном управлении активами банкрота.", + "Только международные договоры Российской Федерации и Конституция Российской Федерации", + "Заявление о признании ипотечного агента банкротом подается согласно статье 212" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nЧто входит в правовую основу деятельности полиции согласно Федеральному закону \"О полиции\" N 3-ФЗ?\nA. Только законы Российской Федерации и нормативные акты федерального органа исполнительной власти в сфере внутренних дел\nB. 20 календарных дней\nC. Таможенные сборы за таможенные операции, сопровождение и хранение\nD. Осуществлять массовую рассылку уведомлений о банкротстве по списку всех зарегистрированных юридических лиц.\nE. Все требования удовлетворяются после полного выполнения требований всех остальных кредиторов.\nF. Таможенные сборы за регистрацию в таможенных органах\nG. Конституция Российской Федерации, общепризнанные принципы и нормы международного права, международные договоры Российской Федерации, федеральные конституционные законы, федеральные законы, нормативные правовые акты Президента Российской Федерации и Правительства РФ, а также нормативные акты федерального органа исполнительной власти в сфере внутренних дел\nH. Только законодательство субъектов Российской Федерации\nI. 30 календарных дней\nJ. Принимать непосредственное участие в оперативном управлении активами банкрота.\nK. Только международные договоры Российской Федерации и Конституция Российской Федерации\nL. Заявление о признании ипотечного агента банкротом подается согласно статье 212\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 262, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.1179642304778099, + "B": 0.15146906673908234, + "C": 0.15146906673908234, + "D": 0.22038619220256805, + "E": 0.0382973738014698, + "F": 0.04917480796575546, + "G": 0.08107555657625198, + "H": 0.029826026409864426, + "I": 0.006655086297541857, + "J": 0.023228533565998077, + "K": 0.023228533565998077, + "L": 0.0020296864677220583 + }, + "sample": { + "question": "Какая из перечисленных обязанностей относится к полномочиям финансового управляющего, утверждаемого арбитражным судом в деле о банкротстве гражданина согласно Статье 213.9 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?", + "answerA": "Осуществлять массовую рассылку уведомлений о банкротстве по списку всех зарегистрированных юридических лиц.", + "answerB": "Принимать непосредственное участие в оперативном управлении активами банкрота.", + "answerC": "Вести реестр требований кредиторов.", + "answerD": "Выпускать ценные бумаги от имени гражданина-банкрота.", + "correct_answer": "Вести реестр требований кредиторов.", + "choices": [ + "В течение трех операционных дней, следующих за днем получения такого поручения.", + "Принимать непосредственное участие в оперативном управлении активами банкрота.", + "Осуществлять массовую рассылку уведомлений о банкротстве по списку всех зарегистрированных юридических лиц.", + "Вести реестр требований кредиторов.", + "Все требования удовлетворяются после полного выполнения требований всех остальных кредиторов.", + "30 календарных дней", + "Рассмотрение дела о банкротстве ипотечного агента не отличается от рассмотрения дел других юридических лиц", + "Таможенные сборы за регистрацию в таможенных органах", + "Таможенные сборы за таможенные операции, сопровождение и хранение", + "Заявление о признании ипотечного агента банкротом подается согласно статье 212", + "Выпускать ценные бумаги от имени гражданина-банкрота.", + "20 календарных дней" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКакая из перечисленных обязанностей относится к полномочиям финансового управляющего, утверждаемого арбитражным судом в деле о банкротстве гражданина согласно Статье 213.9 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?\nA. В течение трех операционных дней, следующих за днем получения такого поручения.\nB. Принимать непосредственное участие в оперативном управлении активами банкрота.\nC. Осуществлять массовую рассылку уведомлений о банкротстве по списку всех зарегистрированных юридических лиц.\nD. Вести реестр требований кредиторов.\nE. Все требования удовлетворяются после полного выполнения требований всех остальных кредиторов.\nF. 30 календарных дней\nG. Рассмотрение дела о банкротстве ипотечного агента не отличается от рассмотрения дел других юридических лиц\nH. Таможенные сборы за регистрацию в таможенных органах\nI. Таможенные сборы за таможенные операции, сопровождение и хранение\nJ. Заявление о признании ипотечного агента банкротом подается согласно статье 212\nK. Выпускать ценные бумаги от имени гражданина-банкрота.\nL. 20 календарных дней\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 253, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.2030000388622284, + "B": 0.0513264462351799, + "C": 0.03527611494064331, + "D": 0.12312574684619904, + "E": 0.15809659659862518, + "F": 0.024244897067546844, + "G": 0.0513264462351799, + "H": 0.058160487562417984, + "I": 0.09589043259620667, + "J": 0.0513264462351799, + "K": 0.008919198997318745, + "L": 0.002118495525792241 + }, + "sample": { + "question": "Какие виды таможенных сборов предусмотрены Федеральным законом \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?", + "answerA": "Таможенные сборы за регистрацию в таможенных органах", + "answerB": "Таможенные сборы за таможенные операции, сопровождение и хранение", + "answerC": "Таможенные сборы за консультационные услуги", + "answerD": "Таможенные сборы за перевод документов", + "correct_answer": "Таможенные сборы за таможенные операции, сопровождение и хранение", + "choices": [ + "20 календарных дней", + "Таможенные сборы за перевод документов", + "Рассмотрение дела о банкротстве ипотечного агента не отличается от рассмотрения дел других юридических лиц", + "30 календарных дней", + "Таможенные сборы за регистрацию в таможенных органах", + "В течение трех операционных дней, следующих за днем получения такого поручения.", + "Требования удовлетворяются в порядке очередности, установленном для кредиторов первой очереди.", + "Таможенные сборы за консультационные услуги", + "Таможенные сборы за таможенные операции, сопровождение и хранение", + "Все требования удовлетворяются после полного выполнения требований всех остальных кредиторов.", + "Заявление о признании ипотечного агента банкротом подается согласно статье 212", + "Имущество клиентов, включая денежные средства и ценные бумаги, входит в конкурсную массу и может быть использовано для покрытия долгов компании." + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКакие виды таможенных сборов предусмотрены Федеральным законом \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?\nA. 20 календарных дней\nB. Таможенные сборы за перевод документов\nC. Рассмотрение дела о банкротстве ипотечного агента не отличается от рассмотрения дел других юридических лиц\nD. 30 календарных дней\nE. Таможенные сборы за регистрацию в таможенных органах\nF. В течение трех операционных дней, следующих за днем получения такого поручения.\nG. Требования удовлетворяются в порядке очередности, установленном для кредиторов первой очереди.\nH. Таможенные сборы за консультационные услуги\nI. Таможенные сборы за таможенные операции, сопровождение и хранение\nJ. Все требования удовлетворяются после полного выполнения требований всех остальных кредиторов.\nK. Заявление о признании ипотечного агента банкротом подается согласно статье 212\nL. Имущество клиентов, включая денежные средства и ценные бумаги, входит в конкурсную массу и может быть использовано для покрытия долгов компании.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 247, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.01095440424978733, + "B": 0.029777156189084053, + "C": 0.4657931327819824, + "D": 0.06303824484348297, + "E": 0.043325506150722504, + "F": 0.07143168896436691, + "G": 0.11777094006538391, + "H": 0.06303824484348297, + "I": 0.00624163169413805, + "J": 0.02046552114188671, + "K": 0.029777156189084053, + "L": 0.009667227044701576 + }, + "sample": { + "question": "Каков максимальный срок для принятия предварительного решения по вопросам применения методов определения таможенной стоимости товаров, ввозимых в Российскую Федерацию, согласно Федеральному закону 'О таможенном регулировании в Российской Федерации' N 289-ФЗ?", + "answerA": "20 календарных дней", + "answerB": "30 календарных дней", + "answerC": "45 календарных дней", + "answerD": "60 календарных дней", + "correct_answer": "answerB", + "choices": [ + "Рассмотрение дела о банкротстве ипотечного агента не отличается от рассмотрения дел других юридических лиц", + "Требования удовлетворяются в порядке очередности, установленном для кредиторов первой очереди.", + "60 календарных дней", + "Имущество клиентов, включая денежные средства и ценные бумаги, входит в конкурсную массу и может быть использовано для покрытия долгов компании.", + "Заявление о признании ипотечного агента банкротом подается согласно статье 212", + "30 календарных дней", + "В течение пяти операционных дней, следующих за днем получения такого поручения.", + "Операции с ценными бумагами", + "Все требования удовлетворяются после полного выполнения требований всех остальных кредиторов.", + "20 календарных дней", + "В течение трех операционных дней, следующих за днем получения такого поручения.", + "45 календарных дней" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКаков максимальный срок для принятия предварительного решения по вопросам применения методов определения таможенной стоимости товаров, ввозимых в Российскую Федерацию, согласно Федеральному закону 'О таможенном регулировании в Российской Федерации' N 289-ФЗ?\nA. Рассмотрение дела о банкротстве ипотечного агента не отличается от рассмотрения дел других юридических лиц\nB. Требования удовлетворяются в порядке очередности, установленном для кредиторов перв��й очереди.\nC. 60 календарных дней\nD. Имущество клиентов, включая денежные средства и ценные бумаги, входит в конкурсную массу и может быть использовано для покрытия долгов компании.\nE. Заявление о признании ипотечного агента банкротом подается согласно статье 212\nF. 30 календарных дней\nG. В течение пяти операционных дней, следующих за днем получения такого поручения.\nH. Операции с ценными бумагами\nI. Все требования удовлетворяются после полного выполнения требований всех остальных кредиторов.\nJ. 20 календарных дней\nK. В течение трех операционных дней, следующих за днем получения такого поручения.\nL. 45 календарных дней\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 249, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.07719844579696655, + "B": 0.18518945574760437, + "C": 0.03425660356879234, + "D": 0.06812740117311478, + "E": 0.09912477433681488, + "F": 0.060122210532426834, + "G": 0.05305766686797142, + "H": 0.14422568678855896, + "I": 0.009814681485295296, + "J": 0.07719844579696655, + "K": 0.022117726504802704, + "L": 0.04132135212421417 + }, + "sample": { + "question": "Какие особенности предусмотрены Федеральным законом 'О несостоятельности (банкротстве)' N 127-ФЗ для банкротства ипотечного агента?", + "answerA": "Заявление о признании ипотечного агента банкротом подается согласно статье 212", + "answerB": "Рассмотрение дела о банкротстве ипотечного агента не отличается от рассмотрения дел других юридических лиц", + "answerC": "Заявление о признании ипотечного агента банкротом подается по правилам статьи 230.1", + "answerD": "Рассмотрение дела о банкротстве ипотечного агента осуществляется согласно законам о защите прав потребителей", + "correct_answer": "Заявление о признании ипотечного агента банкротом подается по правилам статьи 230.1", + "choices": [ + "В течение трех операционных дней, следующих за днем получения такого поручения.", + "Имущество клиентов, включая денежные средства и ценные бумаги, входит в конкурсную массу и может быть использовано для покрытия долгов компании.", + "В течение пяти операционных дней, следующих за днем получения такого поручения.", + "Имущество клиентов передается конкурсному управляющему, который вправе использовать его по своему усмотрению.", + "Заявление о признании ипотечного агента банкротом подается согласно статье 212", + "Операции с ценными бумагами", + "Требования о возмещении вреда, причиненного жизни или здоровью", + "Рассмотрение дела о банкротстве ипотечного агента не отличается от рассмотрения дел других юридических лиц", + "Рассмотрение дела о банкротстве ипотечного агента осуществляется согласно законам о защите прав потребителей", + "Заявление о признании ипотечного агента банкротом подается по правилам статьи 230.1", + "Все требования удовлетворяются после полного выполнения требов��ний всех остальных кредиторов.", + "Требования удовлетворяются в порядке очередности, установленном для кредиторов первой очереди." + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКакие особенности предусмотрены Федеральным законом 'О несостоятельности (банкротстве)' N 127-ФЗ для банкротства ипотечного агента?\nA. В течение трех операционных дней, следующих за днем получения такого поручения.\nB. Имущество клиентов, включая денежные средства и ценные бумаги, входит в конкурсную массу и может быть использовано для покрытия долгов компании.\nC. В течение пяти операционных дней, следующих за днем получения такого поручения.\nD. Имущество клиентов передается конкурсному управляющему, который вправе использовать его по своему усмотрению.\nE. Заявление о признании ипотечного агента банкротом подается согласно статье 212\nF. Операции с ценными бумагами\nG. Требования о возмещении вреда, причиненного жизни или здоровью\nH. Рассмотрение дела о банкротстве ипотечного агента не отличается от рассмотрения дел других юридических лиц\nI. Рассмотрение дела о банкротстве ипотечного агента осуществляется согласно законам о защите прав потребителей\nJ. Заявление о признании ипотечного агента банкротом подается по правилам статьи 230.1\nK. Все требования удовлетворяются после полного выполнения требований всех остальных кредиторов.\nL. Требования удовлетворяются в порядке очередности, установленном для кредиторов первой очереди.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 268, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.07527793943881989, + "B": 0.013081345707178116, + "C": 0.06643255054950714, + "D": 0.05862651765346527, + "E": 0.03138051554560661, + "F": 0.00330748176202178, + "G": 0.014823106117546558, + "H": 0.014823106117546558, + "I": 0.5562329292297363, + "J": 0.024439170956611633, + "K": 0.035558782517910004, + "L": 0.00044761900790035725 + }, + "sample": { + "question": "Как удовлетворяются требования клиентов профессионального участника рынка ценных бумаг в случае несостоятельности (банкротства) согласно Федеральному закону \"О несостоятельности (банкротстве)\" N 127-ФЗ, Статья 185.5?", + "answerA": "Все требования удовлетворяются после полного выполнения требований всех остальных кредиторов.", + "answerB": "Требования удовлетворяются в порядке очередности, установленном для кредиторов первой очереди.", + "answerC": "Требования удовлетворяются пропорционально размеру указанных требований, если имущество нескольких клиентов объединено на одном счете и его недостаточно для полного удовлетворения.", + "answerD": "Требования удовлетворяются в полном объеме вне зависимости от наличия имущества.", + "correct_answer": "C", + "choices": [ + "В течение пяти операционных дней, следующих за днем получения такого поручения.", + "Все требования удовлетворяются после полного выполнени�� требований всех остальных кредиторов.", + "Имущество клиентов передается конкурсному управляющему, который вправе использовать его по своему усмотрению.", + "Требования удовлетворяются пропорционально размеру указанных требований, если имущество нескольких клиентов объединено на одном счете и его недостаточно для полного удовлетворения.", + "Требования о возмещении вреда, причиненного жизни или здоровью", + "Требования удовлетворяются в полном объеме вне зависимости от наличия имущества.", + "Операции с ценными бумагами", + "Валютные операции движения капитала", + "Имущество клиентов, включая денежные средства и ценные бумаги, входит в конкурсную массу и может быть использовано для покрытия долгов компании.", + "Требования удовлетворяются в порядке очередности, установленном для кредиторов первой очереди.", + "В течение трех операционных дней, следующих за днем получения такого поручения.", + "Из-за неисполнения обязанности сторонами договора купли-продажи" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКак удовлетворяются требования клиентов профессионального участника рынка ценных бумаг в случае несостоятельности (банкротства) согласно Федеральному закону \"О несостоятельности (банкротстве)\" N 127-ФЗ, Статья 185.5?\nA. В течение пяти операционных дней, следующих за днем получения такого поручения.\nB. Все требования удовлетворяются после полного выполнения требований всех остальных кредиторов.\nC. Имущество клиентов передается конкурсному управляющему, который вправе использовать его по своему усмотрению.\nD. Требования удовлетворяются пропорционально размеру указанных требований, если имущество нескольких клиентов объединено на одном счете и его недостаточно для полного удовлетворения.\nE. Требования о возмещении вреда, причиненного жизни или здоровью\nF. Требования удовлетворяются в полном объеме вне зависимости от наличия имущества.\nG. Операции с ценными бумагами\nH. Валютные операции движения капитала\nI. Имущество клиентов, включая денежные средства и ценные бумаги, входит в конкурсную массу и может быть использовано для покрытия долгов компании.\nJ. Требования удовлетворяются в порядке очередности, установленном для кредиторов первой очереди.\nK. В течение трех операционных дней, следующих за днем получения такого поручения.\nL. Из-за неисполнения обязанности сторонами договора купли-продажи\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 264, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.010349199175834656, + "B": 0.20786921679973602, + "C": 0.04638189077377319, + "D": 0.03612225502729416, + "E": 0.14286628365516663, + "F": 0.23554669320583344, + "G": 0.04638189077377319, + "H": 0.07647081464529037, + "I": 0.03612225502729416, + "J": 0.09819046407938004, + "K": 0.007112893741577864, + "L": 0.0010247094323858619 + }, + "sample": { + "question": "В какой срок обязаны банки (иные кредитные организации) исполнять поручение страхователя на перечисление страховых взносов, пеней и штрафов по Федеральному закону \"Об обязательном социальном страховании от несчастных случаев на производстве и профессиональных заболеваний\" N 125-ФЗ?", + "answerA": "В течение трех операционных дней, следующих за днем получения такого поручения.", + "answerB": "В течение пяти операционных дней, следующих за днем получения такого поручения.", + "answerC": "В течение одного операционного дня, следующего за днем получения такого поручения.", + "answerD": "В течение семи операционных дней, следующих за днем получения такого поручения.", + "correct_answer": "В течение одного операционного дня, следующего за днем получения такого поручения.", + "choices": [ + "Из-за неисполнения обязанности сторонами договора купли-продажи", + "В течение пяти операционных дней, следующих за днем получения такого поручения.", + "Имущество клиентов, включая денежные средства и ценные бумаги, входит в конкурсную массу и может быть использовано для покрытия долгов компании.", + "Имущество клиентов передается конкурсному управляющему, который вправе использовать его по своему усмотрению.", + "Операции с ценными бумагами", + "Валютные операции движения капитала", + "Требования по делам об истребовании имущества из чужого незаконного владения", + "Требования о возмещении вреда, причиненного жизни или здоровью", + "В течение трех операционных дней, следующих за днем получения такого поручения.", + "В течение одного операционного дня, следующего за днем получения такого поручения.", + "Предоставление лицензий на право ведения предпринимательской деятельности", + "В течение семи операционных дней, следующих за днем получения такого поручения." + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nВ какой срок обязаны банки (иные кредитные организации) исполнять поручение страхователя на перечисление страховых взносов, пеней и штрафов по Федеральному закону \"Об обязательном социальном страховании от несчастных случаев на производстве и профессиональных заболеваний\" N 125-ФЗ?\nA. Из-за неисполнения обязанности сторонами договора купли-продажи\nB. В течение пяти операционных дней, следующих за днем получения такого поручения.\nC. Имущество клиентов, включая денежные средства и ценные бумаги, входит в конкурсную массу и может быть использовано для покрытия долгов компании.\nD. Имущество клиентов передается конкурсному управляющему, который вправе использовать его по своему усмотрению.\nE. Операции с ценными бумагами\nF. Валютные операции движения капитала\nG. Требования по делам об истребовании имущества из чужого незаконного владения\nH. Требования о возмещении вреда, причиненного жизни или здоровью\nI. В течение трех операционных дней, следующих за днем получения такого поручения.\nJ. В течение одного операционного дня, следующего за днем получения такого поручения.\nK. Предоставление лицензий на право ведения предпринимательской деятельности\nL. В течение семи операционных дней, следующих за днем получения такого поручения.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 265, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.5834546685218811, + "B": 0.006481596268713474, + "C": 0.009430666454136372, + "D": 0.004742037504911423, + "E": 0.2146410048007965, + "F": 0.0028761907014995813, + "G": 0.0022399798035621643, + "H": 0.00445473100990057, + "I": 0.007344610523432493, + "J": 0.00418483279645443, + "K": 0.0060888961888849735, + "L": 0.0003031482920050621 + }, + "sample": { + "question": "Что происходит с имуществом клиентов в случае банкротства профессионального участника рынка ценных бумаг, управляющей компании или клиринговой организации в соответствии со Статьей 185.6 Федерального закона \"О несостоятельности (банкротстве)\"?", + "answerA": "Имущество клиентов, включая денежные средства и ценные бумаги, входит в конкурсную массу и может быть использовано для покрытия долгов компании.", + "answerB": "Имущество клиентов передается конкурсному управляющему, который вправе использовать его по своему усмотрению.", + "answerC": "Имущество клиентов, находящееся на особых счетах или в доверительном управлении, не включается в конкурсную массу и должно быть возвращено клиентам.", + "answerD": "Все денежные средства и ценные бумаги клиентов автоматически передаются государству.", + "correct_answer": "C", + "choices": [ + "Имущество клиентов, находящееся на особых счетах или в доверительном управлении, не включается в конкурсную массу и должно быть возвращено клиентам.", + "Требования по делам об истребовании имущества из чужого незаконного владения", + "Предоставление лицензий на право ведения предпринимательской деятельности", + "По причине отсутствия договора кредитования между потерпевшим и банком", + "Имущество клиентов, включая денежные средства и ценные бумаги, входит в конкурсную массу и может быть использовано для покрытия долгов компании.", + "Регистрационный номер и дату создания юридического лица", + "Из-за неисполнения обязанности сторонами договора купли-продажи", + "Операции с ценными бумагами", + "Все денежные средства и ценные бумаги клиентов автоматически передаются государству.", + "Требования о возмещении вреда, причиненного жизни или здоровью", + "Имущество клиентов передается конкурсному управляющему, который вправе использовать его по своему усмотрению.", + "Валютные операции движения капитала" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nЧто происходит с имуществом клиентов в случае банкротства профессионального участника рынка ценных бумаг, управляющей компании или клиринговой организации в соответствии со Статьей 185.6 Федерального закона \"О несостоятельности (банкротстве)\"?\nA. Имущество клиентов, находящееся на особых счетах или в доверительном управлении, не включается в конкурсную массу и должно быть возвращено клиентам.\nB. Требования по делам об истребовании имущества из чужого незаконного владения\nC. Предоставление лицензий на право ведения предпринимательской деятельности\nD. По причине отсутствия договора кредитования между потерпевшим и банком\nE. Имущество клиентов, включая денежные средства и ценные бумаги, входит в конкурсную массу и может быть использовано для покрытия долгов компании.\nF. Регистрационный номер и дату создания юридического лица\nG. Из-за неисполнения обязанности сторонами договора купли-продажи\nH. Операции с ценными бумагами\nI. Все денежные средства и ценные бумаги клиентов автоматически передаются государству.\nJ. Требования о возмещении вреда, причиненного жизни или здоровью\nK. Имущество клиентов передается конкурсному управляющему, который вправе использовать его по своему усмотрению.\nL. Валютные операции движения капитала\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 263, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.05427078530192375, + "B": 0.2146451324224472, + "C": 0.02262342907488346, + "D": 0.05427078530192375, + "E": 0.08947739750146866, + "F": 0.06968507170677185, + "G": 0.06149686127901077, + "H": 0.16716578602790833, + "I": 0.011375774629414082, + "J": 0.13018885254859924, + "K": 0.01554884109646082, + "L": 0.03291689604520798 + }, + "sample": { + "question": "Что регулировало Правительство Российской Федерации согласно статье 7 Федерального закона \"О валютном регулировании и валютном контроле\" N 173-ФЗ, которая действовала до 1 июля 2006 года?", + "answerA": "Операции с ценными бумагами", + "answerB": "Валютные операции движения капитала", + "answerC": "Таможенное регулирование", + "answerD": "Лицензирование внешнеторговой деятельности", + "correct_answer": "Валютные операции движения капитала", + "choices": [ + "Требования о возмещении вреда, причиненного жизни или здоровью", + "Валютные операции движения капитала", + "Из-за неисполнения обязанности сторонами договора купли-продажи", + "Предоставление лицензий на право ведения предпринимательской деятельности", + "Лицензирование внешнеторговой деятельности", + "По причине отсутствия договора кредитования между потерпевшим и банком", + "Федеральная служба по интеллектуальной собственности", + "Операции с ценными бумагами", + "Требования по делам об истребовании имущества из чужого незаконного владения", + "Участие в реализации единой государственной политики в области государственного контро��я (надзора) и муниципального контроля", + "Регистрационный номер и дату создания юридического лица", + "Таможенное регулирование" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nЧто регулировало Правительство Российской Федерации согласно статье 7 Федерального закона \"О валютном регулировании и валютном контроле\" N 173-ФЗ, которая действовала до 1 июля 2006 года?\nA. Требования о возмещении вреда, причиненного жизни или здоровью\nB. Валютные операции движения капитала\nC. Из-за неисполнения обязанности сторонами договора купли-продажи\nD. Предоставление лицензий на право ведения предпринимательской деятельности\nE. Лицензирование внешнеторговой деятельности\nF. По причине отсутствия договора кредитования между потерпевшим и банком\nG. Федеральная служба по интеллектуальной собственности\nH. Операции с ценными бумагами\nI. Требования по делам об истребовании имущества из чужого незаконного владения\nJ. Участие в реализации единой государственной политики в области государственного контроля (надзора) и муниципального контроля\nK. Регистрационный номер и дату создания юридического лица\nL. Таможенное регулирование\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 221, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.17733080685138702, + "B": 0.08376514166593552, + "C": 0.1564938873052597, + "D": 0.12187755852937698, + "E": 0.05757088214159012, + "F": 0.03491850197315216, + "G": 0.05757088214159012, + "H": 0.04483624920248985, + "I": 0.014556198380887508, + "J": 0.03956785053014755, + "K": 0.027194559574127197, + "L": 0.008293872699141502 + }, + "sample": { + "question": "Какое из следующих требований НЕ приостанавливается судебным приставом-исполнителем при введении реструктуризации долгов должника в соответствии со статьей 69.1 Федерального закона \"Об исполнительном производстве\" N 229-ФЗ?", + "answerA": "Требования о возмещении вреда, причиненного жизни или здоровью", + "answerB": "Требования по делам об истребовании имущества из чужого незаконного владения", + "answerC": "Требования об обращении взыскания на заложенное жилое помещение, если на дату введения указанной процедуры кредитор, являющийся залогодержателем, не выразил согласие на оставление заложенного жилого помещения за собой", + "answerD": "Требования о взыскании алиментов", + "correct_answer": "C", + "choices": [ + "Участие в реализации единой государственной политики в области государственного контроля (надзора) и муниципального контроля", + "По причине отсутствия договора кредитования между потерпевшим и банком", + "Требования о взыскании алиментов", + "Регистрационный номер и дату создания юридического лица", + "Из-за неисполнения обязанности сторонами договора купли-продажи", + "Федеральная служба по интеллектуальной собственности", + "Статьи 201 - 205", + "Требования о возмещении вреда, причиненного жизни или здоровью", + "Сведения о размере уставного капитала", + "Требования по делам об истребовании имущества из чужого незаконного владения", + "Требования об обращении взыскания на заложенное жилое помещение, если на дату введения указанной процедуры кредитор, являющийся залогодержателем, не выразил согласие на оставление заложенного жилого помещения за собой", + "Предоставление лицензий на право ведения предпринимательской деятельности" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКакое из следующих требований НЕ приостанавливается судебным приставом-исполнителем при введении реструктуризации долгов должника в соответствии со статьей 69.1 Федерального закона \"Об исполнительном производстве\" N 229-ФЗ?\nA. Участие в реализации единой государственной политики в области государственного контроля (надзора) и муниципального контроля\nB. По причине отсутствия договора кредитования между потерпевшим и банком\nC. Требования о взыскании алиментов\nD. Регистрационный номер и дату создания юридического лица\nE. Из-за неисполнения обязанности сторонами договора купли-продажи\nF. Федеральная служба по интеллектуальной собственности\nG. Статьи 201 - 205\nH. Требования о возмещении вреда, причиненного жизни или здоровью\nI. Сведения о размере уставного капитала\nJ. Требования по делам об истребовании имущества из чужого незаконного владения\nK. Требования об обращении взыскания на заложенное жилое помещение, если на дату введения указанной процедуры кредитор, являющийся залогодержателем, не выразил согласие на оставление заложенного жилого помещения за собой\nL. Предоставление лицензий на право ведения предпринимательской деятельности\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 264, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.11159948259592056, + "B": 0.010380368679761887, + "C": 0.01711433380842209, + "D": 0.09848619997501373, + "E": 0.11159948259592056, + "F": 0.00860562827438116, + "G": 0.008084239438176155, + "H": 0.011762498877942562, + "I": 0.34375059604644775, + "J": 0.09848619997501373, + "K": 0.05973489582538605, + "L": 0.009751454927027225 + }, + "sample": { + "question": "По каким основаниям компенсационная выплата в счет возмещения вреда, причиненного имуществу потерпевшего, может быть осуществлена, если страховое возмещение по обязательному страхованию не может быть осуществлено?", + "answerA": "Из-за неисполнения обязанности сторонами договора купли-продажи", + "answerB": "По причине отсутствия договора кредитования между потерпевшим и банком", + "answerC": "В случае принятия арбитражным судом решения о признании страховщика банкротом", + "answerD": "При невозможности определения владельца брошенного транспортного средства", + "correct_answer": "В случае принятия арбитражным судом решения о признании страховщика банкротом", + "choices": [ + "Федеральная служба по интеллектуальной собственности", + "Осуществлять вложения в недвижимость", + "Сведения о размере уставного капитала", + "По причине отсутствия договора кредитования между потерпевшим и банком", + "При невозможности определения владельца брошенного транспортного средства", + "Из-за неисполнения обязанности сторонами договора купли-продажи", + "Министерство экономического развития Российской Федерации", + "Участие в реализации единой государственной политики в области государственного контроля (надзора) и муниципального контроля", + "В случае принятия арбитражным судом решения о признании страховщика банкротом", + "Предоставление лицензий на право ведения предпринимательской деятельности", + "Регистрационный номер и дату создания юридического лица", + "Статьи 201 - 205" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nПо каким основаниям компенсационная выплата в счет возмещения вреда, причиненного имуществу потерпевшего, может быть осуществлена, если страховое возмещение по обязательному страхованию не может быть осуществлено?\nA. Федеральная служба по интеллектуальной собственности\nB. Осуществлять вложения в недвижимость\nC. Сведения о размере уставного капитала\nD. По причине отсутствия договора кредитования между потерпевшим и банком\nE. При невозможности определения владельца брошенного транспортного средства\nF. Из-за неисполнения обязанности сторонами договора купли-продажи\nG. Министерство экономического развития Российской Федерации\nH. Участие в реализации единой государственной политики в области государственного контроля (надзора) и муниципального контроля\nI. В случае принятия арбитражным судом решения о признании страховщика банкротом\nJ. Предоставление лицензий на право ведения предпринимательской деятельности\nK. Регистрационный номер и дату создания юридического лица\nL. Статьи 201 - 205\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 218, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.009143791161477566, + "B": 0.008069368079304695, + "C": 0.26722076535224915, + "D": 0.16207759082317352, + "E": 0.02485540136694908, + "F": 0.019357407465577126, + "G": 0.12622615694999695, + "H": 0.013304137624800205, + "I": 0.003580760210752487, + "J": 0.003160009626299143, + "K": 0.11139418184757233, + "L": 0.0005491273477673531 + }, + "sample": { + "question": "Какое из перечисленных полномочий относится к органам местного самоуправления в области муниципального контроля согласно Федеральному закону от 31.07.2020 N 248-ФЗ?", + "answerA": "Предоставление лицензий на право ведения предпринимательской деятельности", + "answerB": "Участие в реализации единой государственной политики в области государственного контроля (надзора) и муниципального контроля", + "answerC": "Регулирование международных торговых отношений", + "answerD": "Выдача санитарных заключений на продукты питания", + "correct_answer": "B", + "choices": [ + "Регистрационный номер и дату создания юридического лица", + "Федеральная служба по интеллектуальной собственности", + "Предоставление лицензий на право ведения предпринимательской деятельности", + "Статьи 201 - 210, 454 и 455", + "Пятнадцать календарных дней", + "Сведения о размере уставного капитала", + "Участие в реализации единой государственной политики в области государственного контроля (надзора) и муниципального контроля", + "Выдача санитарных заключений на продукты питания", + "Статьи 201 - 205", + "Регулирование международных торговых отношений", + "Министерство экономического развития Российской Федерации", + "Осуществлять вложения в недвижимость" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКакое из перечисленных полномочий относится к органам местного самоуправления в области муниципального контроля согласно Федеральному закону от 31.07.2020 N 248-ФЗ?\nA. Регистрационный номер и дату создания юридического лица\nB. Федеральная служба по интеллектуальной собственности\nC. Предоставление лицензий на право ведения предпринимательской деятельности\nD. Статьи 201 - 210, 454 и 455\nE. Пятнадцать календарных дней\nF. Сведения о размере уставного капитала\nG. Участие в реализации единой государственной политики в области государственного контроля (надзора) и муниципального контроля\nH. Выдача санитарных заключений на продукты питания\nI. Статьи 201 - 205\nJ. Регулирование международных торговых отношений\nK. Министерство экономического развития Российской Федерации\nL. Осуществлять вложения в недвижимость\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 208, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.008691542781889439, + "B": 0.7349853515625, + "C": 0.025149814784526825, + "D": 0.019586695358157158, + "E": 0.019586695358157158, + "F": 0.04146503657102585, + "G": 0.013461725786328316, + "H": 0.011160162277519703, + "I": 0.0003818797704298049, + "J": 0.009848808869719505, + "K": 0.0034036575816571712, + "L": 0.0006702198879793286 + }, + "sample": { + "question": "Какие сведения должно подтверждать заявление при исключении юридического лица, отнесенного к субъекту малого или среднего предпринимательства, из единого государственного реестра юридических лиц в соответствии со статьей 21.3 Федерального закона N 129-ФЗ?", + "answerA": "Регистрационный номер и дату создания юридического лица", + "answerB": "Сведения о размере уставного капитала", + "answerC": "Подтверждение завершения расчетов с кредиторами и выполнение обязательств перед работниками", + "answerD": "Список недвижимости и транспортных средств, принадлежащих юридическому лицу", + "correct_answer": "answerC", + "choices": [ + "Выплачивать зарплату сотрудникам", + "Подтверждение завершения расчетов с кредиторами и выполнение обязательств перед работниками", + "Сведения о размере уставного капитала", + "Список недвижимости и транспортных средств, принадлежащих юридическому лицу", + "Федеральная служба по интеллектуальной собственности", + "Статьи 201 - 210, 454 и 455", + "Пятнадцать календарных дней", + "Регистрационный номер и дату создания юридического лица", + "Сведения о датах и размерах платежей только граждан за коммунальные услуги.", + "Осуществлять вложения в недвижимость", + "Статьи 201 - 205", + "Министерство экономического развития Российской Федерации" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКакие сведения должно подтверждать заявление при исключении юридического лица, отнесенного к субъекту малого или среднего предпринимательства, из единого государственного реестра юридических лиц в соответствии со статьей 21.3 Федерального закона N 129-ФЗ?\nA. Выплачивать зарплату сотрудникам\nB. Подтверждение завершения расчетов с кредиторами и выполнение обязательств перед работниками\nC. Сведения о размере уставного капитала\nD. Список недвижимости и транспортных средств, принадлежащих юридическому лицу\nE. Федеральная служба по интеллектуальной собственности\nF. Статьи 201 - 210, 454 и 455\nG. Пятнадцать календарных дней\nH. Регистрационный номер и дату создания юридического лица\nI. Сведения о датах и размерах платежей только граждан за коммунальные услуги.\nJ. Осуществлять вложения в недвижимость\nK. Статьи 201 - 205\nL. Министерство экономического развития Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 219, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0017384799430146813, + "B": 0.005354895722121, + "C": 0.047727663069963455, + "D": 0.03717034310102463, + "E": 0.0025294735096395016, + "F": 0.002097007120028138, + "G": 0.0017384799430146813, + "H": 0.0011948385508731008, + "I": 0.0003879072901327163, + "J": 0.000990555970929563, + "K": 0.6588600277900696, + "L": 0.0005644017946906388 + }, + "sample": { + "question": "Какая организация в соответствии с Федеральным законом \"О государственной регистрации недвижимости\" N 218-ФЗ осуществляет полномочия в сфере государственного кадастрового учета и государственной регистрации прав?", + "answerA": "Федеральная служба по интеллектуальной собственности", + "answerB": "Министерство экономического развития Российской Федерации", + "answerC": "Публично-правовая компания \"Роскадастр\"", + "answerD": "Федеральная налоговая служба", + "correct_answer": "answerC", + "choices": [ + "Выплачивать зарплату сотрудникам", + "Осуществлять вложения в недвижимость", + "Статьи 201 - 210, 454 и 455", + "Министерство экономического развития Российской Федерации", + "Статьи 201 - 205", + "Федеральная налоговая с��ужба", + "Пятнадцать календарных дней", + "Тридцать календарных дней", + "Не позднее 10 рабочих дней после завершения размещения", + "Федеральная служба по интеллектуальной собственности", + "Публично-правовая компания \"Роскадастр\"", + "Сведения о датах и размерах платежей только граждан за коммунальные услуги." + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКакая организация в соответствии с Федеральным законом \"О государственной регистрации недвижимости\" N 218-ФЗ осуществляет полномочия в сфере государственного кадастрового учета и государственной регистрации прав?\nA. Выплачивать зарплату сотрудникам\nB. Осуществлять вложения в недвижимость\nC. Статьи 201 - 210, 454 и 455\nD. Министерство экономического развития Российской Федерации\nE. Статьи 201 - 205\nF. Федеральная налоговая служба\nG. Пятнадцать календарных дней\nH. Тридцать календарных дней\nI. Не позднее 10 рабочих дней после завершения размещения\nJ. Федеральная служба по интеллектуальной собственности\nK. Публично-правовая компания \"Роскадастр\"\nL. Сведения о датах и размерах платежей только граждан за коммунальные услуги.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 199, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0019665721338242292, + "B": 0.10737118870019913, + "C": 0.03949965536594391, + "D": 0.03485831990838051, + "E": 0.007777942810207605, + "F": 0.008813563734292984, + "G": 0.021142641082406044, + "H": 0.008813563734292984, + "I": 0.0010526301339268684, + "J": 0.04475897178053856, + "K": 0.5452759265899658, + "L": 0.0008726610685698688 + }, + "sample": { + "question": "Какие статьи Кодекса Союза определяют содержание и применение таможенной процедуры свободной таможенной зоны, условия помещения товаров под эту процедуру, их использование и завершение действия процедуры?", + "answerA": "Статьи 201 - 205", + "answerB": "Статьи 201 - 210, 454 и 455", + "answerC": "Статьи 210 - 215", + "answerD": "Статьи 450 - 460", + "correct_answer": "Статьи 201 - 210, 454 и 455", + "choices": [ + "Сведения о всех жилых помещениях, независимо от наличия договорных отношений с застройщиком.", + "Статьи 210 - 215", + "Выплачивать зарплату сотрудникам", + "Тридцать календарных дней", + "Статьи 201 - 205", + "Не позднее 10 рабочих дней после завершения размещения", + "Статьи 450 - 460", + "Специализированное подразделение Банка России, занимающееся инвестициями.", + "Осуществлять вложения в недвижимость", + "Сведения о датах и размерах платежей только граждан за коммунальные услуги.", + "Статьи 201 - 210, 454 и 455", + "Пятнадцать календарных дней" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКакие статьи Кодекса Союза определяют содержание и применение таможенной процедуры свободной таможенной зоны, условия помещения товаров под эту процедуру, их использование и завершение действия процедуры?\nA. Сведения о всех жилых помещениях, независимо от наличия договорных отношений с застройщиком.\nB. Статьи 210 - 215\nC. Выплачивать зарплату сотрудникам\nD. Тридцать календарных дней\nE. Статьи 201 - 205\nF. Не позднее 10 рабочих дней после завершения размещения\nG. Статьи 450 - 460\nH. Специализированное подразделение Банка России, занимающееся инвестициями.\nI. Осуществлять вложения в недвижимость\nJ. Сведения о датах и размерах платежей только граждан за коммунальные услуги.\nK. Статьи 201 - 210, 454 и 455\nL. Пятнадцать календарных дней\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 211, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.3561708331108093, + "B": 0.02276923879981041, + "C": 0.07013419270515442, + "D": 0.2773861289024353, + "E": 0.07013419270515442, + "F": 0.020093783736228943, + "G": 0.01773270033299923, + "H": 0.01773270033299923, + "I": 0.01773270033299923, + "J": 0.013810241594910622, + "K": 0.010103789158165455, + "L": 0.0022544600069522858 + }, + "sample": { + "question": "Какие операции может осуществлять оператор информационной системы по номинальному счету в соответствии с Федеральным законом от 31.07.2020 N 259-ФЗ \"О цифровых финансовых активах, цифровой валюте и о внесении изменений в отдельные законодательные акты Российской Федерации\"?", + "answerA": "Осуществлять вложения в недвижимость", + "answerB": "Выплачивать зарплату сотрудникам", + "answerC": "Совершать операции, связанные с переводом денежных средств в соответствии со статьей 14.3 Федерального закона от 27 июня 2011 года N 161-ФЗ \"О национальной платежной системе\"", + "answerD": "Открывать счета в иностранных банках", + "correct_answer": "Совершать операции, связанные с переводом денежных средств в соответствии со статьей 14.3 Федерального закона от 27 июня 2011 года N 161-ФЗ \"О национальной платежной системе\"", + "choices": [ + "Не позднее 10 рабочих дней после завершения размещения", + "Поощрять культурное разнообразие и обеспечивать защиту прав человека.", + "Специализированное подразделение Банка России, занимающееся инвестициями.", + "Не позднее 20 рабочих дней после завершения размещения", + "Совершать операции, связанные с переводом денежных средств в соответствии со статьей 14.3 Федерального закона от 27 июня 2011 года N 161-ФЗ \"О национальной платежной системе\"", + "Тридцать календарных дней", + "Открывать счета в иностранных банках", + "Выплачивать зарплату сотрудникам", + "Сведения о датах и размерах платежей только граждан за коммунальные услуги.", + "Осуществлять вложения в недвижимость", + "Пятнадцать календарных дней", + "Сведения о всех жилых помещениях, независимо от наличия договорных отношений с застройщиком." + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКакие операции может осуществлять оператор информационной системы по номинальному счету в соответствии с Федеральным законом от 31.07.2020 N 259-ФЗ \"О цифровых финансовых активах, цифровой валюте и о внесении изменений в отдельные законодательные акты Российской Федерации\"?\nA. Не позднее 10 рабочих дней после завершения размещения\nB. Поощрять культурное разнообразие и обеспечивать защиту прав человека.\nC. Специализированное подразделение Банка России, занимающееся инвестициями.\nD. Не позднее 20 рабочих дней после завершения размещения\nE. Совершать операции, связанные с переводом денежных средств в соответствии со статьей 14.3 Федерального закона от 27 июня 2011 года N 161-ФЗ \"О национальной платежной системе\"\nF. Тридцать календарных дней\nG. Открывать счета в иностранных банках\nH. Выплачивать зарплату сотрудникам\nI. Сведения о датах и размерах платежей только граждан за коммунальные услуги.\nJ. Осуществлять вложения в недвижимость\nK. Пятнадцать календарных дней\nL. Сведения о всех жилых помещениях, независимо от наличия договорных отношений с застройщиком.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 266, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.1897432655096054, + "B": 0.1015622541308403, + "C": 0.07909675687551498, + "D": 0.0698026493191719, + "E": 0.1015622541308403, + "F": 0.08962837606668472, + "G": 0.0479746088385582, + "H": 0.054362356662750244, + "I": 0.02909807302057743, + "J": 0.13040851056575775, + "K": 0.019998792558908463, + "L": 0.007357144728302956 + }, + "sample": { + "question": "Какой срок установлен для кредиторов для предъявления своих требований к должнику с момента публикации сообщения о введении наблюдения?", + "answerA": "Пятнадцать календарных дней", + "answerB": "Тридцать календарных дней", + "answerC": "Два месяца", + "answerD": "Сорок пять календарных дней", + "correct_answer": "Тридцать календарных дней", + "choices": [ + "Не позднее 20 рабочих дней после завершения размещения", + "Государственная организация, предоставляющая банковские услуги населению.", + "Пятнадцать календарных дней", + "Сведения о всех жилых помещениях, независимо от наличия договорных отношений с застройщиком.", + "Поощрять культурное разнообразие и обеспечивать защиту прав человека.", + "Специализированное подразделение Банка России, занимающееся инвестициями.", + "Два месяца", + "Сведения о датах и размерах платежей только граждан за коммунальные услуги.", + "Дата погашения облигаций на три месяца", + "Не позднее 10 рабочих дней после завершения размещения", + "Сорок пять календарных дней", + "Тридцать календарных дней" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКакой срок установлен для кредиторов для предъявления своих требований к должнику с момента публикации сообщения о введении наблюдения?\nA. Не позднее 20 рабочих дней после завершения размещения\nB. Государственная организация, предоставляющая банковские услуги населению.\nC. Пятнадцать кале��дарных дней\nD. Сведения о всех жилых помещениях, независимо от наличия договорных отношений с застройщиком.\nE. Поощрять культурное разнообразие и обеспечивать защиту прав человека.\nF. Специализированное подразделение Банка России, занимающееся инвестициями.\nG. Два месяца\nH. Сведения о датах и размерах платежей только граждан за коммунальные услуги.\nI. Дата погашения облигаций на три месяца\nJ. Не позднее 10 рабочих дней после завершения размещения\nK. Сорок пять календарных дней\nL. Тридцать календарных дней\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 187, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.08831101655960083, + "B": 0.10006948560476303, + "C": 0.11339358240365982, + "D": 0.11339358240365982, + "E": 0.11339358240365982, + "F": 0.0687766894698143, + "G": 0.08831101655960083, + "H": 0.0687766894698143, + "I": 0.019704848527908325, + "J": 0.06069521605968475, + "K": 0.02867038920521736, + "L": 0.014416375197470188 + }, + "sample": { + "question": "Какое из следующих утверждений верно относительно сведений, включаемых в реестр требований участников строительства в соответствии со статьей 201.7 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?", + "answerA": "Сведения о датах и размерах платежей только граждан за коммунальные услуги.", + "answerB": "Сведения о всех жилых помещениях, независимо от наличия договорных отношений с застройщиком.", + "answerC": "Сведения об уплате застройщиком по договору участия в долевом строительстве взноса в компенсационный фонд.", + "answerD": "Только сведения, касающиеся размера и планировки земельных участков.", + "correct_answer": "Сведения об уплате застройщиком по договору участия в долевом строительстве взноса в компенсационный фонд.", + "choices": [ + "Дата погашения облигаций на три месяца", + "Только сведения, касающиеся размера и планировки земельных участков.", + "Специализированное подразделение Банка России, занимающееся инвестициями.", + "Сведения, раскрывающие коммерческую тайну страхователя", + "Не позднее 10 рабочих дней после завершения размещения", + "Быть верными Военной присяге, мужественно и умело защищать Российскую Федерацию, строго соблюдать Конституцию Российской Федерации и законы Российской Федерации.", + "Государственная организация, предоставляющая банковские услуги населению.", + "Поощрять культурное разнообразие и обеспечивать защиту прав человека.", + "Сведения о всех жилых помещениях, независимо от наличия договорных отношений с застройщиком.", + "Не позднее 20 рабочих дней после завершения размещения", + "Сведения о датах и размерах платежей только граждан за коммунальные услуги.", + "Сведения об уплате застройщиком по договору участия в долевом строительстве взноса в компенсационный фонд." + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКакое из следующих утверждений верно относительно сведений, включаемых в реестр требований участников строительства в соответствии со статьей 201.7 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?\nA. Дата погашения облигаций на три месяца\nB. Только сведения, касающиеся размера и планировки земельных участков.\nC. Специализированное подразделение Банка России, занимающееся инвестициями.\nD. Сведения, раскрывающие коммерческую тайну страхователя\nE. Не позднее 10 рабочих дней после завершения размещения\nF. Быть верными Военной присяге, мужественно и умело защищать Российскую Федерацию, строго соблюдать Конституцию Российской Федерации и законы Российской Федерации.\nG. Государственная организация, предоставляющая банковские услуги населению.\nH. Поощрять культурное разнообразие и обеспечивать защиту прав человека.\nI. Сведения о всех жилых помещениях, независимо от наличия договорных отношений с застройщиком.\nJ. Не позднее 20 рабочих дней после завершения размещения\nK. Сведения о датах и размерах платежей только граждан за коммунальные услуги.\nL. Сведения об уплате застройщиком по договору участия в долевом строительстве взноса в компенсационный фонд.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 256, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.007868767715990543, + "B": 0.12308824062347412, + "C": 0.17909233272075653, + "D": 0.0581427663564682, + "E": 0.011448988690972328, + "F": 0.03112157993018627, + "G": 0.15804842114448547, + "H": 0.027464699000120163, + "I": 0.002719373209401965, + "J": 0.016658181324601173, + "K": 0.22995910048484802, + "L": 0.0019895359873771667 + }, + "sample": { + "question": "Каков срок для представления отчета или уведомления об итогах выпуска (дополнительного выпуска) эмиссионных ценных бумаг в Банк России согласно статье 25 Федерального закона \"О рынке ценных бумаг\" N 39-ФЗ?", + "answerA": "Не позднее 10 рабочих дней после завершения размещения", + "answerB": "Не позднее 20 рабочих дней после завершения размещения", + "answerC": "Не позднее 30 дней после завершения размещения", + "answerD": "Не позднее 40 рабочих дней после завершения размещения", + "correct_answer": "Не позднее 30 дней после завершения размещения", + "choices": [ + "Государственная организация, предоставляющая банковские услуги населению.", + "Не позднее 30 дней после завершения размещения", + "Быть верными Военной присяге, мужественно и умело защищать Российскую Федерацию, строго соблюдать Конституцию Российской Федерации и законы Российской Федерации.", + "Поощрять культурное разнообразие и обеспечивать защиту прав человека.", + "Дата погашения облигаций на три месяца", + "Ликвидация осуществляется исключительно федеральными органами исполнительной власти без участия местного самоуправления.", + "Не позднее 40 рабочих дней после завершения размещения", + "Дата погашения облигаций на шесть месяцев", + "Сведения, раскрывающие коммерческую тайну страхователя", + "Специализированное подразделение Банка России, занимающееся инвестициями.", + "Не позднее 20 рабочих дней после завершения размещения", + "Не позднее 10 рабочих дней после завершения размещения" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКаков срок для представления отчета или уведомления об итогах выпуска (дополнительного выпуска) эмиссионных ценных бумаг в Банк России согласно статье 25 Федерального закона \"О рынке ценных бумаг\" N 39-ФЗ?\nA. Государственная организация, предоставляющая банковские услуги населению.\nB. Не позднее 30 дней после завершения размещения\nC. Быть верными Военной присяге, мужественно и умело защищать Российскую Федерацию, строго соблюдать Конституцию Российской Федерации и законы Российской Федерации.\nD. Поощрять культурное разнообразие и обеспечивать защиту прав человека.\nE. Дата погашения облигаций на три месяца\nF. Ликвидация осуществляется исключительно федеральными органами исполнительной власти без участия местного самоуправления.\nG. Не позднее 40 рабочих дней после завершения размещения\nH. Дата погашения облигаций на шесть месяцев\nI. Сведения, раскрывающие коммерческую тайну страхователя\nJ. Специализированное подразделение Банка России, занимающееся инвестициями.\nK. Не позднее 20 рабочих дней после завершения размещения\nL. Не позднее 10 рабочих дней после завершения размещения\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 239, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.006692179944366217, + "B": 0.0007992669707164168, + "C": 0.004320796113461256, + "D": 0.016053706407546997, + "E": 0.033985696732997894, + "F": 0.004059012979269028, + "G": 0.0021726328413933516, + "H": 0.004599463660269976, + "I": 0.8765026330947876, + "J": 0.0031611621379852295, + "K": 0.0021726328413933516, + "L": 0.00048477991367690265 + }, + "sample": { + "question": "Что такое Фонд обязательного страхования вкладов согласно Федеральному закону \"О страховании вкладов физических лиц в банках Российской Федерации\" N 177-ФЗ?", + "answerA": "Специализированное подразделение Банка России, занимающееся инвестициями.", + "answerB": "Государственная организация, предоставляющая банковские услуги населению.", + "answerC": "Совокупность денежных средств и иного имущества, формируемых и используемых в соответствии с Федеральным законом для финансирования выплаты возмещения по вкладам.", + "answerD": "Некоммерческая организация, занимающаяся страхованием жилья.", + "correct_answer": "Совокупность денежных средств и иного имущества, формируемых и используемых в соответствии с Федеральным законом для финансирования выплаты возмещения по вкладам.", + "choices": [ + "Поощрять культурное разнообразие и обеспечивать защиту прав человека.", + "Гражданский кодекс Российской Федерации", + "Некоммерческая организация, занимающаяся страхованием жилья.", + "Сведения о нарушениях законодательства Российской Федерации об обязательном социальном страховании и мерах ответственности за эти нарушения", + "Быть верными Военной присяге, мужественно и умело защищать Российскую Федерацию, строго соблюдать Конституцию Российской Федерации и законы Российской Федерации.", + "Государственная организация, предоставляющая банковские услуги населению.", + "Дата погашения облигаций на три месяца", + "Ликвидация осуществляется исключительно федеральными органами исполнительной власти без участия местного самоуправления.", + "Совокупность денежных средств и иного имущества, формируемых и используемых в соответствии с Федеральным законом для финансирования выплаты возмещения по вкладам.", + "Специализированное подразделение Банка России, занимающееся инвестициями.", + "Сведения, раскрывающие коммерческую тайну страхователя", + "Дата погашения облигаций на шесть месяцев" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nЧто такое Фонд обязательного страхования вкладов согласно Федеральному закону \"О страховании вкладов физических лиц в банках Российской Федерации\" N 177-ФЗ?\nA. Поощрять культурное разнообразие и обеспечивать защиту прав человека.\nB. Гражданский кодекс Российской Федерации\nC. Некоммерческая организация, занимающаяся страхованием жилья.\nD. Сведения о нарушениях законодательства Российской Федерации об обязательном социальном страховании и мерах ответственности за эти нарушения\nE. Быть верными Военной присяге, мужественно и умело защищать Российскую Федерацию, строго соблюдать Конституцию Российской Федерации и законы Российской Федерации.\nF. Государственная организация, предоставляющая банковские услуги населению.\nG. Дата погашения облигаций на три месяца\nH. Ликвидация осуществляется исключительно федеральными органами исполнительной власти без участия местного самоуправления.\nI. Совокупность денежных средств и иного имущества, формируемых и используемых в соответствии с Федеральным законом для финансирования выплаты возмещения по вкладам.\nJ. Специализированное подразделение Банка России, занимающееся инвестициями.\nK. Сведения, раскрывающие коммерческую тайну страхователя\nL. Дата погашения облигаций на шесть месяцев\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 252, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0015029761707410216, + "B": 0.0020543248392641544, + "C": 0.28641656041145325, + "D": 0.012584265321493149, + "E": 0.005944385658949614, + "F": 0.008125011809170246, + "G": 0.3677661418914795, + "H": 0.0046294922940433025, + "I": 0.0001686292525846511, + "J": 0.00014881478273309767, + "K": 0.016158517450094223, + "L": 3.762626874959096e-05 + }, + "sample": { + "question": "Какие обязанности в соответствии со Статьей 26 Федерального закона 'О статусе военнослужащих' N 76-ФЗ включают в себя общие обязанности военнослужащих?", + "answerA": "Поощрять культурное разнообразие и обеспечивать защиту прав человека.", + "answerB": "Быть верными Военной присяге, мужественно и умело защищать Российскую Федерацию, строго соблюдать Конституцию Российской Федерации и законы Российской Федерации.", + "answerC": "Осуществлять исключительно административные функции и поддерживать инфраструктуру объектов.", + "answerD": "Принимать участие только в международных миротворческих миссиях без непосредственного участия в боевых действиях.", + "correct_answer": "Быть верными Военной присяге, мужественно и умело защищать Российскую Федерацию, строго соблюдать Конституцию Российской Федерации и законы Российской Федерации.", + "choices": [ + "Принимать участие только в международных миротворческих миссиях без непосредственного участия в боевых действиях.", + "Гражданский кодекс Российской Федерации", + "Дата погашения облигаций на шесть месяцев", + "Дата погашения облигаций на три месяца", + "Сведения о нарушениях законодательства Российской Федерации об обязательном социальном страховании и мерах ответственности за эти нарушения", + "Осуществлять исключительно административные функции и поддерживать инфраструктуру объектов.", + "Быть верными Военной присяге, мужественно и умело защищать Российскую Федерацию, строго соблюдать Конституцию Российской Федерации и законы Российской Федерации.", + "Ликвидация осуществляется только с использованием иностранных технологий.", + "Сведения, раскрывающие коммерческую тайну страхователя", + "Министерство юстиции Российской Федерации", + "Поощрять культурное разнообразие и обеспечивать защиту прав человека.", + "Ликвидация осуществляется исключительно федеральными органами исполнительной власти без участия местного самоуправления." + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКакие обязанности в соответствии со Статьей 26 Федерального закона 'О статусе военнослужащих' N 76-ФЗ включают в себя общие обязанности военнослужащих?\nA. Принимать участие только в международных миротворческих миссиях без непосредственного участия в боевых действиях.\nB. Гражданский кодекс Российской Федерации\nC. Дата погашения облигаций на шесть месяцев\nD. Дата погашения облигаций на три месяца\nE. Сведения о нарушениях законодательства Российской Федерации об обязательном социальном страховании и мерах ответственности за эти нарушения\nF. Осуществлять исключительно административные функции и поддерживать инфраструктуру объектов.\nG. Быть верными Военной присяге, мужественно и умело защищать Российскую Федерацию, строго соблюдать Конституцию Российской Федерации и законы Российской Федерации.\nH. Ликвидация осуществляется только с использованием иностранных технологий.\nI. Сведения, раскрывающие коммерческую тайну страхователя\nJ. Министерство юстиции Российской Федерации\nK. Поощрять культурное разнообразие и обеспечивать защиту прав человека.\nL. Ликвидация осуществляется исключительно федеральными органами исполнительной власти без участия местного самоуправления.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 238, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.31989994645118713, + "B": 0.09165287017822266, + "C": 0.04905824735760689, + "D": 0.03820659965276718, + "E": 0.10385630279779434, + "F": 0.17123010754585266, + "G": 0.03371720388531685, + "H": 0.08088336884975433, + "I": 0.012403866276144981, + "J": 0.011652354151010513, + "K": 0.003338455455377698, + "L": 0.0017869464354589581 + }, + "sample": { + "question": "Что должен превышать срок, на который выдается независимая гарантия, в соответствии со Статьей 27.5. Федерального закона 'О рынке ценных бумаг' N 39-ФЗ?", + "answerA": "Дата погашения облигаций на три месяца", + "answerB": "Дата погашения облигаций на шесть месяцев", + "answerC": "Дата окончания работы эмитента облигаций", + "answerD": "Дата начала обращения облигаций на рынке", + "correct_answer": "B", + "choices": [ + "Дата погашения облигаций на три месяца", + "Дата начала обращения облигаций на рынке", + "Сведения, раскрывающие коммерческую тайну страхователя", + "Гражданский кодекс Российской Федерации", + "Министерство юстиции Российской Федерации", + "Дата окончания работы эмитента облигаций", + "Федеральный закон \"О банках и банковской деятельности\"", + "Дата погашения облигаций на шесть месяцев", + "Ликвидация осуществляется исключительно федеральными органами исполнительной власти без участия местного самоуправления.", + "Сведения о нарушениях законодательства Российской Федерации об обязательном социальном страховании и мерах ответственности за эти нарушения", + "Исключительно в электронной форме, подписанной простой электронной подписью", + "Ликвидация осуществляется только с использованием иностранных технологий." + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nЧто должен превышать срок, на который выдается независимая гарантия, в соответствии со Статьей 27.5. Федерального закона 'О рынке ценных бумаг' N 39-ФЗ?\nA. Дата погашения облигаций на три месяца\nB. Дата начала обращения облигаций на рынке\nC. Сведения, раскрывающие коммерческую тайну страхователя\nD. Гражданский кодекс Российской Федерации\nE. Министерство юстиции Российской Федерации\nF. Дата окончания работы эмитента облигаций\nG. Федеральный закон \"О банках и банковской деятельности\"\nH. Дата погашения облигаций на шесть месяцев\nI. Ликвидация осуществляется исключительно федеральными органами исполнительной власти без участия местного самоуправления.\nJ. Сведения о нарушениях законодательства Российской Федерации об обязательном социальном страховании и мерах ответственности за эти нарушения\nK. Исключительно в электронной форме, подписанной простой электронной подписью\nL. Ликвидация осуществляется только с использованием иностранных технологий.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 209, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.05726318433880806, + "B": 0.06488769501447678, + "C": 0.09441103041172028, + "D": 0.10698171705007553, + "E": 0.02106594853103161, + "F": 0.027049213647842407, + "G": 0.05726318433880806, + "H": 0.030650774016976357, + "I": 0.008781593292951584, + "J": 0.06488769501447678, + "K": 0.22648029029369354, + "L": 0.005003601312637329 + }, + "sample": { + "question": "Какие сведения о страхователе не являются информацией ограниченного доступа согласно Федеральному закону \"Об обязательном социальном страховании от несчастных случаев на производстве и профессиональных заболеваний\" N 125-ФЗ?", + "answerA": "Сведения, раскрывающие коммерческую тайну страхователя", + "answerB": "Сведения о нарушениях законодательства Российской Федерации об обязательном социальном страховании и мерах ответственности за эти нарушения", + "answerC": "Любые персональные данные сотрудников страхователя", + "answerD": "Документы, подтверждающие факт страхования", + "correct_answer": "B", + "choices": [ + "Судебный пристав-исполнитель выносит предупреждение без применения мер ответственности.", + "Сведения о нарушениях законодательства Российской Федерации об обязательном социальном страховании и мерах ответственности за эти нарушения", + "Документы, подтверждающие факт страхования", + "Ликвидация осуществляется только с использованием иностранных технологий.", + "Правительство Российской Федерации", + "Ликвидация осуществляется исключительно федеральными органами исполнительной власти без участия местного самоуправления.", + "Исключительно в электронной форме, подписанной простой электронной подписью", + "Гражданский кодекс Российской Федерации", + "Министерство юстиции Российской Федерации", + "Федеральный закон \"О банках и банковской деятельности\"", + "Сведения, раскрывающие коммерческую тайну страхователя", + "Любые персональные данные сотрудников страхователя" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКакие сведения о страхователе не являются информацией ограниченного доступа согласно Федеральному закону \"Об обязательном социальном страховании от несчастных случаев на производстве и профессиональных заболеваний\" N 125-ФЗ?\nA. Судебный пристав-исполнитель выносит предупреждение без применения мер ответственности.\nB. Сведения о нарушениях законодательства Российской Федерации об обязательном социальном страховании и мерах ответственности за эти нарушения\nC. Документы, подтверждающие факт страхования\nD. Ликвидация осуществляется только с использованием иностранных технологий.\nE. Правительство Российской Федерации\nF. Ликвидация осуществляется исключительно федеральными органами исполнительной власти без участия местного самоуправления.\nG. Исключительно в электронной форме, подписанной простой электронной подписью\nH. Гражданский кодекс Российской Федерации\nI. Министерство юстиции Российской Федерации\nJ. Федеральный закон \"О банках и банковской деятельности\"\nK. Сведения, раскрывающие коммерческую тайну страхователя\nL. Любые персональные данные сотрудников страхователя\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 214, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.002101870020851493, + "B": 0.011362601071596146, + "C": 0.002101870020851493, + "D": 0.021228134632110596, + "E": 0.012095426209270954, + "F": 0.0026988545432686806, + "G": 0.0041800676845014095, + "H": 0.014589869417250156, + "I": 0.0007732347003184259, + "J": 0.015530833974480629, + "K": 0.021228134632110596, + "L": 0.748317539691925 + }, + "sample": { + "question": "Каков порядок ликвидации накопленного вреда окружающей среде по Федеральному закону \"Об охране окружающей среды\" N 7-ФЗ?", + "answerA": "Ликвидация осуществляется исключительно федеральными органами исполнительной власти без участия местного самоуправления.", + "answerB": "Ликвидация осуществляется только с использованием иностранных технологий.", + "answerC": "Ликвидация накопленного вреда окружающей среде осуществляется в отношении объектов, включенных в государственный реестр объектов накопленного вреда окружающей среде, с привлечением соответствующих органов в зависимости от территории.", + "answerD": "Ликвидация вреда производится автоматически без участия органов власти после внесения объекта в реестр.", + "correct_answer": "answerC", + "choices": [ + "Исключительно в электронной форме, подписанной простой электронной подписью", + "Правительство Российской Федерации", + "Министерство юстиции Российской Федерации", + "Ликвидация осуществляется исключительно федеральными органами исполнительной власти без участия местного самоуправления.", + "Путем направления по почте или вручения под роспись документа в письменной форме, или электронного документа, подписанного квалифицированной электронной подписью", + "Судебный пристав-исполнитель выносит предупреждение без применения мер ответственности.", + "Федеральный закон \"О банках и банковской деятельности\"", + "Ликвидация осуществляется только с использованием иностранных технологий.", + "Все заместители Генерального прокурора Р��ссийской Федерации", + "Гражданский кодекс Российской Федерации", + "Ликвидация вреда производится автоматически без участия органов власти после внесения объекта в реестр.", + "Ликвидация накопленного вреда окружающей среде осуществляется в отношении объектов, включенных в государственный реестр объектов накопленного вреда окружающей среде, с привлечением соответствующих органов в зависимости от территории." + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКаков порядок ликвидации накопленного вреда окружающей среде по Федеральному закону \"Об охране окружающей среды\" N 7-ФЗ?\nA. Исключительно в электронной форме, подписанной простой электронной подписью\nB. Правительство Российской Федерации\nC. Министерство юстиции Российской Федерации\nD. Ликвидация осуществляется исключительно федеральными органами исполнительной власти без участия местного самоуправления.\nE. Путем направления по почте или вручения под роспись документа в письменной форме, или электронного документа, подписанного квалифицированной электронной подписью\nF. Судебный пристав-исполнитель выносит предупреждение без применения мер ответственности.\nG. Федеральный закон \"О банках и банковской деятельности\"\nH. Ликвидация осуществляется только с использованием иностранных технологий.\nI. Все заместители Генерального прокурора Российской Федерации\nJ. Гражданский кодекс Российской Федерации\nK. Ликвидация вреда производится автоматически без участия органов власти после внесения объекта в реестр.\nL. Ликвидация накопленного вреда окружающей среде осуществляется в отношении объектов, включенных в государственный реестр объектов накопленного вреда окружающей среде, с привлечением соответствующих органов в зависимости от территории.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 230, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.9119436144828796, + "B": 0.0019948685076087713, + "C": 0.003288982203230262, + "D": 0.00422313716262579, + "E": 0.01670283079147339, + "F": 0.0003059229929931462, + "G": 0.0001445077796233818, + "H": 7.266307511599734e-05, + "I": 0.0009423091541975737, + "J": 9.931866225088015e-05, + "K": 0.00013575250341091305, + "L": 1.114324368245434e-05 + }, + "sample": { + "question": "Какой документ регулирует привлечение банком во вклады денежных средств физических лиц и ведение банковских счетов физических лиц?", + "answerA": "Гражданский кодекс Российской Федерации", + "answerB": "Федеральный закон \"О банках и банковской деятельности\"", + "answerC": "Федеральный закон \"О национальной платежной системе\"", + "answerD": "Федеральный закон \"О страховании вкладов физических лиц в банках Российской Федерации\"", + "correct_answer": "Федеральный закон \"О банках и банковской деятельности\"", + "choices": [ + "Федеральный закон \"О банках и банковской деятельности\"", + "Пра��ительство Российской Федерации", + "Судебный пристав-исполнитель имеет право обратиться за содействием к Верховному Суду Российской Федерации.", + "Путем направления по почте или вручения под роспись документа в письменной форме, или электронного документа, подписанного квалифицированной электронной подписью", + "Федеральный закон \"О страховании вкладов физических лиц в банках Российской Федерации\"", + "Разрешение на строительство", + "Все заместители Генерального прокурора Российской Федерации", + "Исключительно в электронной форме, подписанной простой электронной подписью", + "Министерство юстиции Российской Федерации", + "Судебный пристав-исполнитель выносит предупреждение без применения мер ответственности.", + "Федеральный закон \"О национальной платежной системе\"", + "Гражданский кодекс Российской Федерации" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКакой документ регулирует привлечение банком во вклады денежных средств физических лиц и ведение банковских счетов физических лиц?\nA. Федеральный закон \"О банках и банковской деятельности\"\nB. Правительство Российской Федерации\nC. Судебный пристав-исполнитель имеет право обратиться за содействием к Верховному Суду Российской Федерации.\nD. Путем направления по почте или вручения под роспись документа в письменной форме, или электронного документа, подписанного квалифицированной электронной подписью\nE. Федеральный закон \"О страховании вкладов физических лиц в банках Российской Федерации\"\nF. Разрешение на строительство\nG. Все заместители Генерального прокурора Российской Федерации\nH. Исключительно в электронной форме, подписанной простой электронной подписью\nI. Министерство юстиции Российской Федерации\nJ. Судебный пристав-исполнитель выносит предупреждение без применения мер ответственности.\nK. Федеральный закон \"О национальной платежной системе\"\nL. Гражданский кодекс Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 200, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.01458528358489275, + "B": 0.0212214644998312, + "C": 0.0013566428096964955, + "D": 0.019935719668865204, + "E": 0.006889600772410631, + "F": 0.008846422657370567, + "G": 0.004448260180652142, + "H": 0.005040538962930441, + "I": 0.019935719668865204, + "J": 0.8476883769035339, + "K": 0.012091624550521374, + "L": 0.0016364235198125243 + }, + "sample": { + "question": "Кто уполномочен устанавливать порядок ведения реестров социально ориентированных некоммерческих организаций - получателей поддержки согласно Федеральному закону 'О некоммерческих организациях' N 7-ФЗ?", + "answerA": "Министерство юстиции Российской Федерации", + "answerB": "Правительство Российской Федерации", + "answerC": "Уполномоченный федеральный орган исполнительной власти", + "answerD": "Генеральная прокуратура Российской Федерации", + "correct_answer": "answerC", + "choices": [ + "Правительство Российской Федерации", + "Путем направления по почте или вручения под роспись документа в письменной форме, или электронного документа, подписанного квалифицированной электронной подписью", + "Микрофинансовые организации", + "Судебный пристав-исполнитель имеет право обратиться за содействием к Верховному Суду Российской Федерации.", + "Генеральная прокуратура Российской Федерации", + "Разрешение на строительство", + "Все заместители Генерального прокурора Российской Федерации", + "Министерство юстиции Российской Федерации", + "Судебный пристав-исполнитель выносит предупреждение без применения мер ответственности.", + "Уполномоченный федеральный орган исполнительной власти", + "Исключительно в электронной форме, подписанной простой электронной подписью", + "Главный военный прокурор, его первый заместитель и заместители по должности" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКто уполномочен устанавливать порядок ведения реестров социально ориентированных некоммерческих организаций - получателей поддержки согласно Федеральному закону 'О некоммерческих организациях' N 7-ФЗ?\nA. Правительство Российской Федерации\nB. Путем направления по почте или вручения под роспись документа в письменной форме, или электронного документа, подписанного квалифицированной электронной подписью\nC. Микрофинансовые организации\nD. Судебный пристав-исполнитель имеет право обратиться за содействием к Верховному Суду Российской Федерации.\nE. Генеральная прокуратура Российской Федерации\nF. Разрешение на строительство\nG. Все заместители Генерального прокурора Российской Федерации\nH. Министерство юстиции Российской Федерации\nI. Судебный пристав-исполнитель выносит предупреждение без применения мер ответственности.\nJ. Уполномоченный федеральный орган исполнительной власти\nK. Исключительно в электронной форме, подписанной простой электронной подписью\nL. Главный военный прокурор, его первый заместитель и заместители по должности\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 210, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0008475064532831311, + "B": 0.9294036626815796, + "C": 0.0043039931915700436, + "D": 0.005526436027139425, + "E": 0.0003760787076316774, + "F": 0.00013835162098985165, + "G": 0.000400333694415167, + "H": 8.932652417570353e-05, + "I": 5.710453478968702e-06, + "J": 0.00029289041412994266, + "K": 5.089671685709618e-05, + "L": 4.177857135800878e-06 + }, + "sample": { + "question": "Согласно статье 76 Федерального закона \"Об акционерных обществах\" (АО) N 208-ФЗ, в какой форме может быть предъявлено требование акционера о выкупе акций?", + "answerA": "Исключительно в электронной форме, подписанной простой элек��ронной подписью", + "answerB": "Путем направления по почте или вручения под роспись документа в письменной форме, или электронного документа, подписанного квалифицированной электронной подписью", + "answerC": "Только устным заявлением в офисе компании", + "answerD": "Путем отправки SMS-сообщения на номер, указанный на официальном сайте компании", + "correct_answer": "B", + "choices": [ + "Судебный пристав-исполнитель выносит предупреждение без применения мер ответственности.", + "Путем направления по почте или вручения под роспись документа в письменной форме, или электронного документа, подписанного квалифицированной электронной подписью", + "Главный военный прокурор, его первый заместитель и заместители по должности", + "Проектная декларация", + "Разрешение на строительство", + "Исключительно в электронной форме, подписанной простой электронной подписью", + "Все заместители Генерального прокурора Российской Федерации", + "Микрофинансовые организации", + "Только устным заявлением в офисе компании", + "Министерство экономического развития Российской Федерации", + "Судебный пристав-исполнитель имеет право обратиться за содействием к Верховному Суду Российской Федерации.", + "Путем отправки SMS-сообщения на номер, указанный на официальном сайте компании" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nСогласно статье 76 Федерального закона \"Об акционерных обществах\" (АО) N 208-ФЗ, в какой форме может быть предъявлено требование акционера о выкупе акций?\nA. Судебный пристав-исполнитель выносит предупреждение без применения мер ответственности.\nB. Путем направления по почте или вручения под роспись документа в письменной форме, или электронного документа, подписанного квалифицированной электронной подписью\nC. Главный военный прокурор, его первый заместитель и заместители по должности\nD. Проектная декларация\nE. Разрешение на строительство\nF. Исключительно в электронной форме, подписанной простой электронной подписью\nG. Все заместители Генерального прокурора Российской Федерации\nH. Микрофинансовые организации\nI. Только устным заявлением в офисе компании\nJ. Министерство экономического развития Российской Федерации\nK. Судебный пристав-исполнитель имеет право обратиться за содействием к Верховному Суду Российской Федерации.\nL. Путем отправки SMS-сообщения на номер, указанный на официальном сайте компании\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 224, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.002789971185848117, + "B": 0.015082442201673985, + "C": 0.004059384111315012, + "D": 0.02336014248430729, + "E": 0.021944822743535042, + "F": 0.012503782287240028, + "G": 0.00807304959744215, + "H": 0.029995014891028404, + "I": 0.002172831678763032, + "J": 0.014168642461299896, + "K": 0.011034549213945866, + "L": 0.7735816240310669 + }, + "sample": { + "question": "Что происходит в случае невыполнения законных требований судебного пристава-исполнителя согласно Федеральному закону 'Об исполнительном производстве' N 229-ФЗ, статье 6?", + "answerA": "Судебный пристав-исполнитель выносит предупреждение без применения мер ответственности.", + "answerB": "Судебный пристав-исполнитель имеет право обратиться за содействием к Верховному Суду Российской Федерации.", + "answerC": "Судебный пристав-исполнитель применяет меры, предусмотренные настоящим Федеральным законом.", + "answerD": "Судебный пристав-исполнитель обращается за помощью к общественным организациям.", + "correct_answer": "answerC", + "choices": [ + "Судебный пристав-исполнитель выносит предупреждение без применения мер ответственности.", + "Министерство экономического развития Российской Федерации", + "Страховые организации, общества взаимного страхования", + "Микрофинансовые организации", + "Открытая", + "Судебный пристав-исполнитель обращается за помощью к общественным организациям.", + "Все заместители Генерального прокурора Российской Федерации", + "Главный военный прокурор, его первый заместитель и заместители по должности", + "Судебный пристав-исполнитель имеет право обратиться за содействием к Верховному Суду Российской Федерации.", + "Разрешение на строительство", + "Проектная декларация", + "Судебный пристав-исполнитель применяет меры, предусмотренные настоящим Федеральным законом." + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nЧто происходит в случае невыполнения законных требований судебного пристава-исполнителя согласно Федеральному закону 'Об исполнительном производстве' N 229-ФЗ, статье 6?\nA. Судебный пристав-исполнитель выносит предупреждение без применения мер ответственности.\nB. Министерство экономического развития Российской Федерации\nC. Страховые организации, общества взаимного страхования\nD. Микрофинансовые организации\nE. Открытая\nF. Судебный пристав-исполнитель обращается за помощью к общественным организациям.\nG. Все заместители Генерального прокурора Российской Федерации\nH. Главный военный прокурор, его первый заместитель и заместители по должности\nI. Судебный пристав-исполнитель имеет право обратиться за содействием к Верховному Суду Российской Федерации.\nJ. Разрешение на строительство\nK. Проектная декларация\nL. Судебный пристав-исполнитель применяет меры, предусмотренные настоящим Федеральным законом.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 200, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.001045237178914249, + "B": 0.0038835271261632442, + "C": 0.0011844089021906257, + "D": 0.002841249108314514, + "E": 0.01355484127998352, + "F": 0.0017233046237379313, + "G": 0.004133993294090033, + "H": 0.006402853410691023, + "I": 0.0119621055200696, + "J": 0.7400692701339722, + "K": 0.1286047399044037, + "L": 0.0009224185487255454 + }, + "sample": { + "question": "Какие должностные лица входят в состав коллегии Главной военной прокуратуры согласно Статье 46.1 Федерального закона \"О прокуратуре Российской Федерации\" N 2202-1-ФЗ?", + "answerA": "Все заместители Генерального прокурора Российской Федерации", + "answerB": "Главный военный прокурор, его первый заместитель и заместители по должности", + "answerC": "Все председатели высших судебных инстанций", + "answerD": "Все региональные прокуроры", + "correct_answer": "B", + "choices": [ + "Страховые организации, общества взаимного страхования", + "Министерство экономического развития Российской Федерации", + "Все региональные прокуроры", + "Общее количество производственных мощностей предприятия", + "Проектная декларация", + "Федеральная служба по надзору в сфере здравоохранения", + "Разрешение на строительство", + "Открытая", + "Все председатели высших судебных инстанций", + "Главный военный прокурор, его первый заместитель и заместители по должности", + "Все заместители Генерального прокурора Российской Федерации", + "Микрофинансовые организации" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКакие должностные лица входят в состав коллегии Главной военной прокуратуры согласно Статье 46.1 Федерального закона \"О прокуратуре Российской Федерации\" N 2202-1-ФЗ?\nA. Страховые организации, общества взаимного страхования\nB. Министерство экономического развития Российской Федерации\nC. Все региональные прокуроры\nD. Общее количество производственных мощностей предприятия\nE. Проектная декларация\nF. Федеральная служба по надзору в сфере здравоохранения\nG. Разрешение на строительство\nH. Открытая\nI. Все председатели высших судебных инстанций\nJ. Главный военный прокурор, его первый заместитель и заместители по должности\nK. Все заместители Генерального прокурора Российской Федерации\nL. Микрофинансовые организации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 167, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.09293492883443832, + "B": 0.2526233196258545, + "C": 0.17362529039382935, + "D": 0.1352195143699646, + "E": 0.04974447563290596, + "F": 0.020736584439873695, + "G": 0.03874104097485542, + "H": 0.015171208418905735, + "I": 0.004083275329321623, + "J": 0.03418884798884392, + "K": 0.015171208418905735, + "L": 0.007628562860190868 + }, + "sample": { + "question": "Какой документ НЕ требуется для государственной регистрации договора участия в долевом строительстве в соответствии со Статьей 48 Федерального закона 'О государственной регистрации недвижимости' N 218-ФЗ?", + "answerA": "Разрешение на строительство", + "answerB": "Проектная декларация", + "answerC": "Согласие залогодержателя, если земельный участок передан в залог", + "answerD": "Списки граждан, имеющих право на приобретение стандартного жилья", + "correct_answer": "Списки граждан, имеющих право на приобретение стандартного жилья", + "choices": [ + "Списки граждан, имеющих право на приобретение стандартного жилья", + "Федеральная служба по надзору в сфере здравоохранения", + "Страховые организации, общества взаимного страхования", + "Министерство экономического развития Российской Федерации", + "Микрофинансовые организации", + "Согласие залогодержателя, если земельный участок передан в залог", + "Проектная декларация", + "Разрешение на строительство", + "Открытая", + "Министерство юстиции Российской Федерации", + "Не подлежащая разглашению, кроме определенных случаев", + "Общее количество производственных мощностей предприятия" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКакой документ НЕ требуется для государственной регистрации договора участия в долевом строительстве в соответствии со Статьей 48 Федерального закона 'О государственной регистрации недвижимости' N 218-ФЗ?\nA. Списки граждан, имеющих право на приобретение стандартного жилья\nB. Федеральная служба по надзору в сфере здравоохранения\nC. Страховые организации, общества взаимного страхования\nD. Министерство экономического развития Российской Федерации\nE. Микрофинансовые организации\nF. Согласие залогодержателя, если земельный участок передан в залог\nG. Проектная декларация\nH. Разрешение на строительство\nI. Открытая\nJ. Министерство юстиции Российской Федерации\nK. Не подлежащая разглашению, кроме определенных случаев\nL. Общее количество производственных мощностей предприятия\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 177, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.1999601125717163, + "B": 0.09445446729660034, + "C": 0.09445446729660034, + "D": 0.09445446729660034, + "E": 0.06491754204034805, + "F": 0.021075639873743057, + "G": 0.04461713135242462, + "H": 0.030664876103401184, + "I": 0.023881830275058746, + "J": 0.07356122136116028, + "K": 0.021075639873743057, + "L": 0.003898601746186614 + }, + "sample": { + "question": "Какие организации признаются общественно значимыми согласно Федеральному закону 'Об аудиторской деятельности' N 307-ФЗ, статья 5.1?", + "answerA": "Микрофинансовые организации", + "answerB": "Страховые организации, общества взаимного страхования", + "answerC": "Частные образовательные учреждения", + "answerD": "Малые предприятия сектора услуг", + "correct_answer": "Страховые организации, общества взаимного страхования", + "choices": [ + "Министерство экономического развития Российской Федерации", + "Открытая", + "Микрофинансовые организации", + "Малые предприятия сектора услуг", + "Государственная регистрация ипотеки является конфиденциальной.", + "Министерство юстиции ��оссийской Федерации", + "Федеральная служба по надзору в сфере здравоохранения", + "Объем или масса выбросов загрязняющих веществ, сбросов загрязняющих веществ либо объем или масса размещенных в отчетном периоде отходов производства и потребления", + "Частные образовательные учреждения", + "Страховые организации, общества взаимного страхования", + "Не подлежащая разглашению, кроме определенных случаев", + "Общее количество производственных мощностей предприятия" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКакие организации признаются общественно значимыми согласно Федеральному закону 'Об аудиторской деятельности' N 307-ФЗ, статья 5.1?\nA. Министерство экономического развития Российской Федерации\nB. Открытая\nC. Микрофинансовые организации\nD. Малые предприятия сектора услуг\nE. Государственная регистрация ипотеки является конфиденциальной.\nF. Министерство юстиции Российской Федерации\nG. Федеральная служба по надзору в сфере здравоохранения\nH. Объем или масса выбросов загрязняющих веществ, сбросов загрязняющих веществ либо объем или масса размещенных в отчетном периоде отходов производства и потребления\nI. Частные образовательные учреждения\nJ. Страховые организации, общества взаимного страхования\nK. Не подлежащая разглашению, кроме определенных случаев\nL. Общее количество производственных мощностей предприятия\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 185, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.005353152751922607, + "B": 0.03490694239735603, + "C": 0.9002618789672852, + "D": 0.005353152751922607, + "E": 0.001353489002212882, + "F": 0.0008738781325519085, + "G": 0.0017379142809659243, + "H": 0.0006393429357558489, + "I": 5.5865162721602246e-05, + "J": 4.0871829696698114e-05, + "K": 0.00015185725351329893, + "L": 9.707910066936165e-06 + }, + "sample": { + "question": "Какой федеральный орган исполнительной власти обязан в срок не позднее двух рабочих дней направить в лицензирующий орган информацию о наличии или об отсутствии решения о согласовании установления контроля иностранного инвестора или группы лиц?", + "answerA": "Министерство экономического развития Российской Федерации", + "answerB": "Федеральная служба по надзору в сфере здравоохранения", + "answerC": "Федеральный орган исполнительной власти, уполномоченный на выполнение функций по контролю за осуществлением иностранных инвестиций в Российской Федерации", + "answerD": "Министерство иностранных дел Российской Федерации", + "correct_answer": "C", + "choices": [ + "Открытая", + "Центральный банк Российской Федерации и федеральные органы исполнительной власти", + "Федеральный орган исполнительной власти, уполномоченный на выполнение функций по контролю за осуществлением иностранных инвестиций в Российской Федерации", + "Право на безвозмездный проезд на такси в случае командировок", + "Общее количество производственных мощностей предприятия", + "Министерство экономического развития Российской Федерации", + "Министерство юстиции Российской Федерации", + "Не подлежащая разглашению, кроме определенных случаев", + "Государственная регистрация ипотеки является конфиденциальной.", + "Министерство иностранных дел Российской Федерации", + "Объем или масса выбросов загрязняющих веществ, сбросов загрязняющих веществ либо объем или масса размещенных в отчетном периоде отходов производства и потребления", + "Федеральная служба по надзору в сфере здравоохранения" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКакой федеральный орган исполнительной власти обязан в срок не позднее двух рабочих дней направить в лицензирующий орган информацию о наличии или об отсутствии решения о согласовании установления контроля иностранного инвестора или группы лиц?\nA. Открытая\nB. Центральный банк Российской Федерации и федеральные органы исполнительной власти\nC. Федеральный орган исполнительной власти, уполномоченный на выполнение функций по контролю за осуществлением иностранных инвестиций в Российской Федерации\nD. Право на безвозмездный проезд на такси в случае командировок\nE. Общее количество производственных мощностей предприятия\nF. Министерство экономического развития Российской Федерации\nG. Министерство юстиции Российской Федерации\nH. Не подлежащая разглашению, кроме определенных случаев\nI. Государственная регистрация ипотеки является конфиденциальной.\nJ. Министерство иностранных дел Российской Федерации\nK. Объем или масса выбросов загрязняющих веществ, сбросов загрязняющих веществ либо объем или масса размещенных в отчетном периоде отходов производства и потребления\nL. Федеральная служба по надзору в сфере здравоохранения\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 217, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.003479668637737632, + "B": 0.0025457802694290876, + "C": 0.002709968714043498, + "D": 0.005389416590332985, + "E": 0.549735426902771, + "F": 0.0146499527618289, + "G": 0.01881091110408306, + "H": 0.03982270136475563, + "I": 0.02736971527338028, + "J": 0.05794168636202812, + "K": 0.0351434089243412, + "L": 0.01881091110408306 + }, + "sample": { + "question": "Какой характер имеет информация, содержащаяся в профилях и индикаторах рисков, согласно Федеральному закону \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?", + "answerA": "Открытая", + "answerB": "Не подлежащая разглашению, кроме определенных случаев", + "answerC": "Исключительно для внутреннего пользования", + "answerD": "Публикуемая в массмедиа", + "correct_answer": "Не подлежащая разглашению, кроме определенных случаев", + "choices": [ + "За непредоставление документа, подтверждающего право владения интеллектуальной собственностью на предлагаемый товар.", + "Копия закладной в архиве является публично доступным документом.", + "Центральный банк Российской Федерации и федеральные органы исполнительной власти", + "Право на безвозмездный проезд на такси в случае командировок", + "Не подлежащая разглашению, кроме определенных случаев", + "Министерство юстиции Российской Федерации", + "Публикуемая в массмедиа", + "Объем или масса выбросов загрязняющих веществ, сбросов загрязняющих веществ либо объем или масса размещенных в отчетном периоде отходов производства и потребления", + "Открытая", + "Общее количество производственных мощностей предприятия", + "Государственная регистрация ипотеки является конфиденциальной.", + "Исключительно для внутреннего пользования" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКакой характер имеет информация, содержащаяся в профилях и индикаторах рисков, согласно Федеральному закону \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?\nA. За непредоставление документа, подтверждающего право владения интеллектуальной собственностью на предлагаемый товар.\nB. Копия закладной в архиве является публично доступным документом.\nC. Центральный банк Российской Федерации и федеральные органы исполнительной власти\nD. Право на безвозмездный проезд на такси в случае командировок\nE. Не подлежащая разглашению, кроме определенных случаев\nF. Министерство юстиции Российской Федерации\nG. Публикуемая в массмедиа\nH. Объем или масса выбросов загрязняющих веществ, сбросов загрязняющих веществ либо объем или масса размещенных в отчетном периоде отходов производства и потребления\nI. Открытая\nJ. Общее количество производственных мощностей предприятия\nK. Государственная регистрация ипотеки является конфиденциальной.\nL. Исключительно для внутреннего пользования\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 235, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.00044541206443682313, + "B": 0.0010037515312433243, + "C": 0.9714060425758362, + "D": 0.0029044514521956444, + "E": 0.00047413870925083756, + "F": 0.0008858076762408018, + "G": 0.0007817225414328277, + "H": 0.00034688724554143846, + "I": 2.0832199879805557e-05, + "J": 3.434648897382431e-05, + "K": 0.00019765039905905724, + "L": 1.263536796614062e-05 + }, + "sample": { + "question": "Что является платежной базой для исчисления платы за негативное воздействие на окружающую среду по итогам отчетного периода согласно Федеральному закону \"Об охране окружающей среды\" N 7-ФЗ, статье 16.2?", + "answerA": "Общее количество производственных мощностей предприятия", + "answerB": "Объем или масса выбросов загрязняющих веществ, сбросов загрязняющих веществ либо объем или масса размещенных в отчетном периоде отходов производства и потребления", + "answerC": "Количество сотрудников, занятых в производственном процессе", + "answerD": "Сумма затрат на экологические мероприятия в отчетном периоде", + "correct_answer": "B", + "choices": [ + "Общее количество производственных мощностей предприятия", + "Право на безвозмездный проезд на такси в случае командировок", + "Объем или масса выбросов загрязняющих веществ, сбросов загрязняющих веществ либо объем или масса размещенных в отчетном периоде отходов производства и потребления", + "За непредоставление документа, подтверждающего право владения интеллектуальной собственностью на предлагаемый товар.", + "Министерство юстиции Российской Федерации", + "Копия закладной в архиве является публично доступным документом.", + "Право на безвозмездный проезд на всех типах транспорта, включая личный, в любой момент военной службы", + "Государственная регистрация ипотеки является конфиденциальной.", + "Центральный банк Российской Федерации и федеральные органы исполнительной власти", + "Количество сотрудников, занятых в производственном процессе", + "Любой гражданин по выбору должника или взыскателя", + "Сумма затрат на экологические мероприятия в отчетном периоде" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nЧто является платежной базой для исчисления платы за негативное воздействие на окружающую среду по итогам отчетного периода согласно Федеральному закону \"Об охране окружающей среды\" N 7-ФЗ, статье 16.2?\nA. Общее количество производственных мощностей предприятия\nB. Право на безвозмездный проезд на такси в случае командировок\nC. Объем или масса выбросов загрязняющих веществ, сбросов загрязняющих веществ либо объем или масса размещенных в отчетном периоде отходов производства и потребления\nD. За непредоставление документа, подтверждающего право владения интеллектуальной собственностью на предлагаемый товар.\nE. Министерство юстиции Российской Федерации\nF. Копия закладной в архиве является публично доступным документом.\nG. Право на безвозмездный проезд на всех типах транспорта, включая личный, в любой момент военной службы\nH. Государственная регистрация ипотеки является конфиденциальной.\nI. Центральный банк Российской Федерации и федеральные органы исполнительной власти\nJ. Количество сотрудников, занятых в производственном процессе\nK. Любой гражданин по выбору должника или взыскателя\nL. Сумма затрат на экологические мероприятия в отчетном периоде\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 252, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0006517698056995869, + "B": 0.00037136723403818905, + "C": 0.0008368889684788883, + "D": 0.9769506454467773, + "E": 0.0002716980525292456, + "F": 4.435349183040671e-05, + "G": 8.820744551485404e-05, + "H": 2.527185824874323e-05, + "I": 1.8489285139366984e-05, + "J": 2.663634177224594e-06, + "K": 5.6951008446048945e-05, + "L": 2.350648628635099e-06 + }, + "sample": { + "question": "Какие органы осуществляют валютный контроль в Российской Федерации согласно Федеральному закону 'О валютном регулировании и валютном контроле' N 173-ФЗ?", + "answerA": "Министерство юстиции Российской Федерации", + "answerB": "Центральный банк Российской Федерации и федеральные органы исполнительной власти", + "answerC": "Федеральная налоговая служба", + "answerD": "Министерство внешнеэкономических связей", + "correct_answer": "B", + "choices": [ + "Любой гражданин по выбору должника или взыскателя", + "Право на безвозмездный проезд на всех типах транспорта, включая личный, в любой момент военной службы", + "Право на безвозмездный проезд на такси в случае командировок", + "Центральный банк Российской Федерации и федеральные органы исполнительной власти", + "Государственная регистрация ипотеки является конфиденциальной.", + "Федеральная налоговая служба", + "Только на основании настоящего Федерального закона", + "Министерство юстиции Российской Федерации", + "За несоответствие участника минимальным требованиям по размеру уставного капитала.", + "Министерство внешнеэкономических связей", + "За непредоставление документа, подтверждающего право владения интеллектуальной собственностью на предлагаемый товар.", + "Копия закладной в архиве является публично доступным документом." + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКакие органы осуществляют валютный контроль в Российской Федерации согласно Федеральному закону 'О валютном регулировании и валютном контроле' N 173-ФЗ?\nA. Любой гражданин по выбору должника или взыскателя\nB. Право на безвозмездный проезд на всех типах транспорта, включая личный, в любой момент военной службы\nC. Право на безвозмездный проезд на такси в случае командировок\nD. Центральный банк Российской Федерации и федеральные органы исполнительной власти\nE. Государственная регистрация ипотеки является конфиденциальной.\nF. Федеральная налоговая служба\nG. Только на основании настоящего Федерального закона\nH. Министерство юстиции Российской Федерации\nI. За несоответствие участника минимальным требованиям по размеру уставного капитала.\nJ. Министерство внешнеэкономических связей\nK. За непредоставление документа, подтверждающего право владения интеллектуальной собственностью на предлагаемый товар.\nL. Копия закладной в архиве является публично доступным документом.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 208, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.6725490093231201, + "B": 0.013958308845758438, + "C": 0.013958308845758438, + "D": 0.015816835686564445, + "E": 0.0074713448993861675, + "F": 0.0008923248387873173, + "G": 0.004531599581241608, + "H": 0.006593438796699047, + "I": 0.21834468841552734, + "J": 0.0012983250198885798, + "K": 0.00044868909753859043, + "L": 7.797047874191776e-05 + }, + "sample": { + "question": "Какое утверждение о государственной регистрации ипотеки согласно Статье 26 Федерального закона 'Об ипотеке (залоге недвижимости)' N 102-ФЗ верно?", + "answerA": "Государственная регистрация ипотеки является конфиденциальной.", + "answerB": "Копия закладной в архиве является публично доступным документом.", + "answerC": "Государственная регистрация ипотеки является публичной.", + "answerD": "Для получения информации о зарегистрированной ипотеке необходимо специальное разрешение.", + "correct_answer": "Государственная регистрация ипотеки является публичной.", + "choices": [ + "Государственная регистрация ипотеки является конфиденциальной.", + "Только на основании настоящего Федерального закона", + "Любой гражданин по выбору должника или взыскателя", + "Право на осуществление медицинской деятельности имеют только те лица, которые имеют сертификат о проходжении специализированных курсов по медицинской этике.", + "За непредоставление документа, подтверждающего право владения интеллектуальной собственностью на предлагаемый товар.", + "За несоответствие участника минимальным требованиям по размеру уставного капитала.", + "Для получения информации о зарегистрированной ипотеке необходимо специальное разрешение.", + "Адвокат, имеющий лицензию на право заниматься адвокатской деятельностью", + "Государственная регистрация ипотеки является публичной.", + "Право на безвозмездный проезд на такси в случае командировок", + "Право на безвозмездный проезд на всех типах транспорта, включая личный, в любой момент военной службы", + "Копия закладной в архиве является публично доступным документом." + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКакое утверждение о государственной регистрации ипотеки согласно Статье 26 Федерального закона 'Об ипотеке (залоге недвижимости)' N 102-ФЗ верно?\nA. Государственная регистрация ипотеки является конфиденциальной.\nB. Только на основании настоящего Федерального закона\nC. Любой гражданин по выбору должника или взыскателя\nD. Право на осуществление медицинской деятельности имеют только те лица, которые имеют сертификат о проходжении специализированных курсов по медицинской этике.\nE. За непредоставление документа, подтверждающего право владения интеллектуальной собственностью на предлагаемый товар.\nF. За несоответствие участника минимальным требованиям по размеру уставного капитала.\nG. Для получения информации о зарегистрированной ипотеке необходимо специальное разрешен��е.\nH. Адвокат, имеющий лицензию на право заниматься адвокатской деятельностью\nI. Государственная регистрация ипотеки является публичной.\nJ. Право на безвозмездный проезд на такси в случае командировок\nK. Право на безвозмездный проезд на всех типах транспорта, включая личный, в любой момент военной службы\nL. Копия закладной в архиве является публично доступным документом.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 243, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.004376028664410114, + "B": 0.9449589848518372, + "C": 0.001334613305516541, + "D": 0.00103939778637141, + "E": 0.0001696770341368392, + "F": 8.014975173864514e-05, + "G": 0.00010291432408848777, + "H": 0.00010291432408848777, + "I": 7.455088052665815e-06, + "J": 2.7699014026438817e-05, + "K": 2.4444294467684813e-05, + "L": 4.247781362209935e-06 + }, + "sample": { + "question": "Какие права на безвозмездный проезд предоставляются военнослужащим в соответствии с Федеральным законом \"О статусе военнослужащих\" N 76-ФЗ?", + "answerA": "Право на безвозмездный проезд на такси в случае командировок", + "answerB": "Право на безвозмездный проезд на всех типах транспорта, включая личный, в любой момент военной службы", + "answerC": "Право на безвозмездный проезд железнодорожным, воздушным, водным и автомобильным (за исключением такси) транспортом в определенных случаях", + "answerD": "Право на безвозмездный проезд на междугородних автобусах без ограничений", + "correct_answer": "Право на безвозмездный проезд железнодорожным, воздушным, водным и автомобильным (за исключением такси) транспортом в определенных случаях", + "choices": [ + "На основании настоящего Федерального закона и нормативных актов местных органов власти", + "Право на безвозмездный проезд железнодорожным, воздушным, водным и автомобильным (за исключением такси) транспортом в определенных случаях", + "Любой гражданин по выбору должника или взыскателя", + "Право на безвозмездный проезд на междугородних автобусах без ограничений", + "За несоответствие участника минимальным требованиям по размеру уставного капитала.", + "За непредоставление документа, подтверждающего право владения интеллектуальной собственностью на предлагаемый товар.", + "Право на безвозмездный проезд на такси в случае командировок", + "Адвокат, имеющий лицензию на право заниматься адвокатской деятельностью", + "Выдача лицензий на новые виды финансовых услуг", + "Только на основании настоящего Федерального закона", + "Право на осуществление медицинской деятельности имеют только те лица, которые имеют сертификат о проходжении специализированных курсов по медицинской этике.", + "Право на безвозмездный проезд на всех типах транспорта, включая личный, в любой момент военной службы" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКакие права на безвозмездный проезд предоставляются военнослужащим в соответствии с Федеральным законом \"О статусе военнослужащих\" N 76-ФЗ?\nA. На основании настоящего Федерального закона и нормативных актов местных органов власти\nB. Право на безвозмездный проезд железнодорожным, воздушным, водным и автомобильным (за исключением такси) транспортом в определенных случаях\nC. Любой гражданин по выбору должника или взыскателя\nD. Право на безвозмездный проезд на междугородних автобусах без ограничений\nE. За несоответствие участника минимальным требованиям по размеру уставного капитала.\nF. За непредоставление документа, подтверждающего право владения интеллектуальной собственностью на предлагаемый товар.\nG. Право на безвозмездный проезд на такси в случае командировок\nH. Адвокат, имеющий лицензию на право заниматься адвокатской деятельностью\nI. Выдача лицензий на новые виды финансовых услуг\nJ. Только на основании настоящего Федерального закона\nK. Право на осуществление медицинской деятельности имеют только те лица, которые имеют сертификат о проходжении специализированных курсов по медицинской этике.\nL. Право на безвозмездный проезд на всех типах транспорта, включая личный, в любой момент военной службы\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 260, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.026836736127734184, + "B": 0.03445905074477196, + "C": 0.02090047299861908, + "D": 0.692128598690033, + "E": 0.03445905074477196, + "F": 0.03445905074477196, + "G": 0.026836736127734184, + "H": 0.02090047299861908, + "I": 0.018444601446390152, + "J": 0.04424629732966423, + "K": 0.00871261302381754, + "L": 0.0026571969501674175 + }, + "sample": { + "question": "По какой причине участник не будет допущен к участию в аукционе или конкурсе согласно Федеральному закону 'О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд' N 44-ФЗ?", + "answerA": "За непредоставление документа, подтверждающего право владения интеллектуальной собственностью на предлагаемый товар.", + "answerB": "За несоответствие участника минимальным требованиям по размеру уставного капитала.", + "answerC": "За несоответствие требованиям, установленным в соответствии со статьей 11 Федерального закона.", + "answerD": "За предоставление заявки после указанного в документации времени окончания приема заявок.", + "correct_answer": "За несоответствие требованиям, установленным в соответствии со статьей 11 Федерального закона.", + "choices": [ + "Право на осуществление медицинской деятельности имеют только те лица, которые имеют сертификат о проходжении специализированных курсов по медицинской этике.", + "На основании настоящего Федерального закона и нормативных актов местных органов власти", + "Сроки установлены статьей 110 Кодекса таможенного тарифа РФ", + "За несоответствие требованиям, установленным в соответствии со статьей 11 Федерального закона.", + "Любой гражданин по выбору должника или взыскателя", + "За несоответствие участника минимальным требованиям по размеру уставного капитала.", + "Лица, прошедшие аккредитацию специалиста после получения медицинского или иного образования в иностранных организациях, осуществляющих образовательную деятельность.", + "За непредоставление документа, подтверждающего право владения интеллектуальной собственностью на предлагаемый товар.", + "За предоставление заявки после указанного в документации времени окончания приема заявок.", + "Только на основании настоящего Федерального закона", + "Выдача лицензий на новые виды финансовых услуг", + "Адвокат, имеющий лицензию на право заниматься адвокатской деятельностью" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nПо какой причине участник не будет допущен к участию в аукционе или конкурсе согласно Федеральному закону 'О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд' N 44-ФЗ?\nA. Право на осуществление медицинской деятельности имеют только те лица, которые имеют сертификат о проходжении специализированных курсов по медицинской этике.\nB. На основании настоящего Федерального закона и нормативных актов местных органов власти\nC. Сроки установлены статьей 110 Кодекса таможенного тарифа РФ\nD. За несоответствие требованиям, установленным в соответствии со статьей 11 Федерального закона.\nE. Любой гражданин по выбору должника или взыскателя\nF. За несоответствие участника минимальным требованиям по размеру уставного капитала.\nG. Лица, прошедшие аккредитацию специалиста после получения медицинского или иного образования в иностранных организациях, осуществляющих образовательную деятельность.\nH. За непредоставление документа, подтверждающего право владения интеллектуальной собственностью на предлагаемый товар.\nI. За предоставление заявки после указанного в документации времени окончания приема заявок.\nJ. Только на основании настоящего Федерального закона\nK. Выдача лицензий на новые виды финансовых услуг\nL. Адвокат, имеющий лицензию на право заниматься адвокатской деятельностью\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 267, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0017258713487535715, + "B": 0.012752559967339039, + "C": 0.0034323050640523434, + "D": 0.8940234780311584, + "E": 0.011254094541072845, + "F": 0.0060238828882575035, + "G": 0.008764698170125484, + "H": 0.00469140475615859, + "I": 0.0009833717485889792, + "J": 0.00993170402944088, + "K": 0.00993170402944088, + "L": 0.006825953256338835 + }, + "sample": { + "question": "Кто может представлять права и законные интересы несовершеннолетних, недееспосо��ных граждан и граждан, ограниченных в дееспособности, в исполнительном производстве согласно Федеральному закону \"Об исполнительном производстве\" N 229-ФЗ?", + "answerA": "Любой гражданин по выбору должника или взыскателя", + "answerB": "Адвокат, имеющий лицензию на право заниматься адвокатской деятельностью", + "answerC": "Законные представители - родители, усыновители, опекуны или попечители", + "answerD": "Представители государственных органов без специальных полномочий", + "correct_answer": "Законные представители - родители, усыновители, опекуны или попечители", + "choices": [ + "Лица, прошедшие аккредитацию специалиста после получения медицинского или иного образования в иностранных организациях, осуществляющих образовательную деятельность.", + "Только на основании настоящего Федерального закона", + "Выдача лицензий на новые виды финансовых услуг", + "Законные представители - родители, усыновители, опекуны или попечители", + "На основании настоящего Федерального закона и нормативных актов местных органов власти", + "Федеральное Собрание", + "Сроки установлены статьей 110 Кодекса таможенного тарифа РФ", + "Представители государственных органов без специальных полномочий", + "Привлечение и размещение средств в форме вкладов, кредитов, осуществление расчетов через корреспондентские счета", + "Право на осуществление медицинской деятельности имеют только те лица, которые имеют сертификат о проходжении специализированных курсов по медицинской этике.", + "Любой гражданин по выбору должника или взыскателя", + "Адвокат, имеющий лицензию на право заниматься адвокатской деятельностью" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКто может представлять права и законные интересы несовершеннолетних, недееспособных граждан и граждан, ограниченных в дееспособности, в исполнительном производстве согласно Федеральному закону \"Об исполнительном производстве\" N 229-ФЗ?\nA. Лица, прошедшие аккредитацию специалиста после получения медицинского или иного образования в иностранных организациях, осуществляющих образовательную деятельность.\nB. Только на основании настоящего Федерального закона\nC. Выдача лицензий на новые виды финансовых услуг\nD. Законные представители - родители, усыновители, опекуны или попечители\nE. На основании настоящего Федерального закона и нормативных актов местных органов власти\nF. Федеральное Собрание\nG. Сроки установлены статьей 110 Кодекса таможенного тарифа РФ\nH. Представители государственных органов без специальных полномочий\nI. Привлечение и размещение средств в форме вкладов, кредитов, осуществление расчетов через корреспондентские счета\nJ. Право на осуществление медицинской деятельности имеют только те лица, которые имеют сертификат о проходжении специализированных курсов по медицинской этике.\nK. Любой гражданин по выбору должника или взыскателя\nL. Адвокат, имеющий лицензию на право заниматься адвокатской деятельностью\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 260, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0010059723863378167, + "B": 0.0010059723863378167, + "C": 0.0012134343851357698, + "D": 0.0030986133497208357, + "E": 0.007912586443126202, + "F": 0.0008877675281837583, + "G": 0.0016585680423304439, + "H": 0.011512745171785355, + "I": 0.9145706295967102, + "J": 0.013045648112893105, + "K": 0.0012134343851357698, + "L": 0.0030986133497208357 + }, + "sample": { + "question": "На основании каких документов осуществляется правовое регулирование аудиторской деятельности в Российской Федерации согласно Федеральному закону 'Об аудиторской деятельности' N 307-ФЗ, Статья 2?", + "answerA": "Только на основании настоящего Федерального закона", + "answerB": "На основании настоящего Федерального закона и нормативных актов местных органов власти", + "answerC": "На основании настоящего Федерального закона, других федеральных законов и принятыми в соответствии с ними иными нормативными правовыми актами и нормативными актами Банка России", + "answerD": "Только на основании нормативных актов Банка России", + "correct_answer": "answerC", + "choices": [ + "Выдача лицензий на новые виды финансовых услуг", + "Лица, прошедшие аккредитацию специалиста после получения медицинского или иного образования в иностранных организациях, осуществляющих образовательную деятельность.", + "Привлечение и размещение средств в форме вкладов, кредитов, осуществление расчетов через корреспондентские счета", + "Право на осуществление медицинской деятельности имеют только те лица, которые имеют сертификат о проходжении специализированных курсов по медицинской этике.", + "Подписание международного соглашения о цифровых инновациях", + "Федеральное Собрание", + "Сроки определяются по усмотрению декларанта", + "Только на основании нормативных актов Банка России", + "На основании настоящего Федерального закона, других федеральных законов и принятыми в соответствии с ними иными нормативными правовыми актами и нормативными актами Банка России", + "Сроки установлены статьей 110 Кодекса таможенного тарифа РФ", + "На основании настоящего Федерального закона и нормативных актов местных органов власти", + "Только на основании настоящего Федерального закона" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nНа основании каких документов осуществляется правовое регулирование аудиторской деятельности в Российской Федерации согласно Федеральному закону 'Об аудиторской деятельности' N 307-ФЗ, Статья 2?\nA. Выдача лицензий на новые виды финансовых услуг\nB. Лица, прошедшие аккредитацию специалиста после получения медицинского ил�� иного образования в иностранных организациях, осуществляющих образовательную деятельность.\nC. Привлечение и размещение средств в форме вкладов, кредитов, осуществление расчетов через корреспондентские счета\nD. Право на осуществление медицинской деятельности имеют только те лица, которые имеют сертификат о проходжении специализированных курсов по медицинской этике.\nE. Подписание международного соглашения о цифровых инновациях\nF. Федеральное Собрание\nG. Сроки определяются по усмотрению декларанта\nH. Только на основании нормативных актов Банка России\nI. На основании настоящего Федерального закона, других федеральных законов и принятыми в соответствии с ними иными нормативными правовыми актами и нормативными актами Банка России\nJ. Сроки установлены статьей 110 Кодекса таможенного тарифа РФ\nK. На основании настоящего Федерального закона и нормативных актов местных органов власти\nL. Только на основании настоящего Федерального закона\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 258, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0016712772194296122, + "B": 0.5589656829833984, + "C": 0.01489593181759119, + "D": 0.035733480006456375, + "E": 0.016879301518201828, + "F": 0.23301157355308533, + "G": 0.03153469040989876, + "H": 0.010898097418248653, + "I": 0.0001654788648011163, + "J": 0.0058333310298621655, + "K": 0.005147896241396666, + "L": 0.0005775779136456549 + }, + "sample": { + "question": "Каков порядок получения права на осуществление медицинской деятельности в Российской Федерации согласно Федеральному закону 'Об основах охраны здоровья граждан в Российской Федерации' N 323-ФЗ?", + "answerA": "Право на осуществление медицинской деятельности имеют только те лица, которые имеют сертификат о проходжении специализированных курсов по медицинской этике.", + "answerB": "Лица, прошедшие аккредитацию специалиста после получения медицинского или иного образования в иностранных организациях, осуществляющих образовательную деятельность.", + "answerC": "Право на осуществление медицинской деятельности имеют лица, прошедшие аккредитацию специалиста после получения медицинского или иного образования в российских организациях, осуществляющих образовательную деятельность.", + "answerD": "Любое лицо может осуществлять медицинскую деятельность при наличии медицинской книжки, подтверждающей отсутствие медицинских противопоказаний.", + "correct_answer": "Право на осуществление медицинской деятельности имеют лица, прошедшие аккредитацию специалиста после получения медицинского или иного образования в российских организациях, осуществляющих образовательную деятельность.", + "choices": [ + "Президент Российской Федерации", + "Лица, прошедшие аккредитацию специалиста после получения медицинского или иного образования в иностранных организациях, осуществляющих образ��вательную деятельность.", + "Привлечение и размещение средств в форме вкладов, кредитов, осуществление расчетов через корреспондентские счета", + "Выдача лицензий на новые виды финансовых услуг", + "Любое лицо может осуществлять медицинскую деятельность при наличии медицинской книжки, подтверждающей отсутствие медицинских противопоказаний.", + "Право на осуществление медицинской деятельности имеют лица, прошедшие аккредитацию специалиста после получения медицинского или иного образования в российских организациях, осуществляющих образовательную деятельность.", + "Сроки определяются по усмотрению декларанта", + "Подписание международного соглашения о цифровых инновациях", + "На местные административные органы", + "Право на осуществление медицинской деятельности имеют только те лица, которые имеют сертификат о проходжении специализированных курсов по медицинской этике.", + "Сроки установлены статьей 110 Кодекса таможенного тарифа РФ", + "Федеральное Собрание" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКаков порядок получения права на осуществление медицинской деятельности в Российской Федерации согласно Федеральному закону 'Об основах охраны здоровья граждан в Российской Федерации' N 323-ФЗ?\nA. Президент Российской Федерации\nB. Лица, прошедшие аккредитацию специалиста после получения медицинского или иного образования в иностранных организациях, осуществляющих образовательную деятельность.\nC. Привлечение и размещение средств в форме вкладов, кредитов, осуществление расчетов через корреспондентские счета\nD. Выдача лицензий на новые виды финансовых услуг\nE. Любое лицо может осуществлять медицинскую деятельность при наличии медицинской книжки, подтверждающей отсутствие медицинских противопоказаний.\nF. Право на осуществление медицинской деятельности имеют лица, прошедшие аккредитацию специалиста после получения медицинского или иного образования в российских организациях, осуществляющих образовательную деятельность.\nG. Сроки определяются по усмотрению декларанта\nH. Подписание международного соглашения о цифровых инновациях\nI. На местные административные органы\nJ. Право на осуществление медицинской деятельности имеют только те лица, которые имеют сертификат о проходжении специализированных курсов по медицинской этике.\nK. Сроки установлены статьей 110 Кодекса таможенного тарифа РФ\nL. Федеральное Собрание\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 255, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.4923298954963684, + "B": 0.019089700654149055, + "C": 0.07550123333930969, + "D": 0.03147359564900398, + "E": 0.035664260387420654, + "F": 0.02777535282075405, + "G": 0.10985364764928818, + "H": 0.013120146468281746, + "I": 0.0457938127219677, + "J": 0.010876983404159546, + "K": 0.007475634105503559, + "L": 0.0001369210222037509 + }, + "sample": { + "question": "Согласно Статье 28 Федерального закона 'О банках и банковской деятельности' N 395-1, какие операции могут осуществлять кредитные организации на договорных началах?", + "answerA": "Выдача лицензий на новые виды финансовых услуг", + "answerB": "Привлечение и размещение средств в форме вкладов, кредитов, осуществление расчетов через корреспондентские счета", + "answerC": "Проведение аудита других кредитных организаций без согласования с Банком России", + "answerD": "Наложение санкций на иностранные банки", + "correct_answer": "B", + "choices": [ + "Привлечение и размещение средств в форме вкладов, кредитов, осуществление расчетов через корреспондентские счета", + "Президент Российской Федерации", + "Выдача лицензий на новые виды финансовых услуг", + "Федеральное Собрание", + "Подписание международного соглашения о цифровых инновациях", + "На местные административные органы", + "Сроки определяются по усмотрению декларанта", + "Наложение санкций на иностранные банки", + "Не более одного", + "Проведение аудита других кредитных организаций без согласования с Банком России", + "Обоснованная оценка рисков причинения вреда жизни, здоровью или имуществу человека", + "Сроки установлены статьей 110 Кодекса таможенного тарифа РФ" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nСогласно Статье 28 Федерального закона 'О банках и банковской деятельности' N 395-1, какие операции могут осуществлять кредитные организации на договорных началах?\nA. Привлечение и размещение средств в форме вкладов, кредитов, осуществление расчетов через корреспондентские счета\nB. Президент Российской Федерации\nC. Выдача лицензий на новые виды финансовых услуг\nD. Федеральное Собрание\nE. Подписание международного соглашения о цифровых инновациях\nF. На местные административные органы\nG. Сроки определяются по усмотрению декларанта\nH. Наложение санкций на иностранные банки\nI. Не более одного\nJ. Проведение аудита других кредитных организаций без согласования с Банком России\nK. Обоснованная оценка рисков причинения вреда жизни, здоровью или имуществу человека\nL. Сроки установлены статьей 110 Кодекса таможенного тарифа РФ\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 202, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.004283010493963957, + "B": 0.018032148480415344, + "C": 0.01591331511735916, + "D": 0.03817405551671982, + "E": 0.018032148480415344, + "F": 0.033688489347696304, + "G": 0.04325687512755394, + "H": 0.02315373532474041, + "I": 0.01404345128685236, + "J": 0.055542923510074615, + "K": 0.59714275598526, + "L": 0.03817405551671982 + }, + "sample": { + "question": "Какие сроки подачи декларации на товары установлены Федеральным законом \"О таможенном регулировании в Российской Федера��ии и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?", + "answerA": "Сроки установлены статьей 110 Кодекса таможенного тарифа РФ", + "answerB": "Сроки определяются по усмотрению декларанта", + "answerC": "Сроки подачи декларации на товары установлены статьей 110 Кодекса Союза", + "answerD": "Сроки зафиксированы в статье 101 Федерального закона", + "correct_answer": "Сроки подачи декларации на товары установлены статьей 110 Кодекса Союза", + "choices": [ + "Обоснованная оценка рисков причинения вреда жизни, здоровью или имуществу человека", + "Федеральное Собрание", + "На органы внутренних дел", + "Сроки определяются по усмотрению декларанта", + "Муниципальная служба", + "Сроки зафиксированы в статье 101 Федерального закона", + "Президент Российской Федерации", + "Сроки подачи декларации на товары установлены статьей 110 Кодекса Союза", + "На местные административные органы", + "Подписание международного соглашения о цифровых инновациях", + "Сроки установлены статьей 110 Кодекса таможенного тарифа РФ", + "Не более одного" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакие сроки подачи декларации на товары установлены Федеральным законом \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?\nA. Обоснованная оценка рисков причинения вреда жизни, здоровью или имуществу человека\nB. Федеральное Собрание\nC. На органы внутренних дел\nD. Сроки определяются по усмотрению декларанта\nE. Муниципальная служба\nF. Сроки зафиксированы в статье 101 Федерального закона\nG. Президент Российской Федерации\nH. Сроки подачи декларации на товары установлены статьей 110 Кодекса Союза\nI. На местные административные органы\nJ. Подписание международного соглашения о цифровых инновациях\nK. Сроки установлены статьей 110 Кодекса таможенного тарифа РФ\nL. Не более одного\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 190, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.006157718598842621, + "B": 0.45953094959259033, + "C": 0.05488314852118492, + "D": 0.1491878628730774, + "E": 0.03328831121325493, + "F": 0.03772059828042984, + "G": 0.025924963876605034, + "H": 0.008416603319346905, + "I": 0.0006096966681070626, + "J": 0.03772059828042984, + "K": 0.07985450327396393, + "L": 0.0004190379986539483 + }, + "sample": { + "question": "Кто утверждает Стратегию пространственного развития Российской Федерации согласно Федеральному закону \"О стратегическом планировании в Российской Федерации\" N 172-ФЗ, Статья 20?", + "answerA": "Федеральное Собрание", + "answerB": "Президент Российской Федерации", + "answerC": "Правительство Российской Федерации", + "answerD": "Министерство экономического развития", + "correct_answer": "Правительство Российской Федерации", + "choices": [ + "Подписание международного соглашения о цифровых инновациях", + "Правительство Российской Федерации", + "Не более двух", + "Муниципальная служба", + "На местные административные органы", + "3 года", + "Обоснованная оценка рисков причинения вреда жизни, здоровью или имуществу человека", + "Не более одного", + "На органы внутренних дел", + "Министерство экономического развития", + "Президент Российской Федерации", + "Федеральное Собрание" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКто утверждает Стратегию пространственного развития Российской Федерации согласно Федеральному закону \"О стратегическом планировании в Российской Федерации\" N 172-ФЗ, Статья 20?\nA. Подписание международного соглашения о цифровых инновациях\nB. Правительство Российской Федерации\nC. Не более двух\nD. Муниципальная служба\nE. На местные административные органы\nF. 3 года\nG. Обоснованная оценка рисков причинения вреда жизни, здоровью или имуществу человека\nH. Не более одного\nI. На органы внутренних дел\nJ. Министерство экономического развития\nK. Президент Российской Федерации\nL. Федеральное Собрание\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 151, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.002145390724763274, + "B": 0.12468887120485306, + "C": 0.002754736226052046, + "D": 0.027821850031614304, + "E": 0.009032431989908218, + "F": 0.02455269545316696, + "G": 0.045870475471019745, + "H": 0.7175349593162537, + "I": 0.0008943319553509355, + "J": 0.003322846256196499, + "K": 0.0037652780301868916, + "L": 0.007488149683922529 + }, + "sample": { + "question": "Что является одним из условий установления экспериментального правового режима согласно Федеральному закону от 31.07.2020 N 258-ФЗ?", + "answerA": "Подписание международного соглашения о цифровых инновациях", + "answerB": "Обоснованная оценка рисков причинения вреда жизни, здоровью или имуществу человека", + "answerC": "Полномасштабное внедрение цифровых инноваций во все сферы экономики без предварительного анализа", + "answerD": "Обязательное участие иностранных инвесторов в эксперименте", + "correct_answer": "Обоснованная оценка рисков причинения вреда жизни, здоровью или имуществу человека", + "choices": [ + "Муниципальная служба", + "Обоснованная оценка рисков причинения вреда жизни, здоровью или имуществу человека", + "Обязательное участие иностранных инвесторов в эксперименте", + "3 года", + "Не более двух", + "Полномасштабное внедрение цифровых инноваций во все сферы экономики без предварительного анализа", + "На органы внутренних дел", + "Обеспечение единообразных подходов к применению контрольным (надзорным) органом и его должностными лицами обязательных требований.", + "Государственная гражданская служба", + "На местные административные органы", + "Не более одного", + "Подписание международного соглашения о цифровых инновациях" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nЧто является одним из условий установления экспериментального правового режима согласно Федеральному закону от 31.07.2020 N 258-ФЗ?\nA. Муниципальная служба\nB. Обоснованная оценка рисков причинения вреда жизни, здоровью или имуществу человека\nC. Обязательное участие иностранных инвесторов в эксперименте\nD. 3 года\nE. Не более двух\nF. Полномасштабное внедрение цифровых инноваций во все сферы экономики без предварительного анализа\nG. На органы внутренних дел\nH. Обеспечение единообразных подходов к применению контрольным (надзорным) органом и его должностными лицами обязательных требований.\nI. Государственная гражданская служба\nJ. На местные административные органы\nK. Не более одного\nL. Подписание международного соглашения о цифровых инновациях\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 190, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0038782074116170406, + "B": 0.009303336031734943, + "C": 0.0023522519040852785, + "D": 0.011945719830691814, + "E": 0.009903350844979286, + "F": 0.016327863559126854, + "G": 0.02528909221291542, + "H": 0.004678011406213045, + "I": 0.004979717079550028, + "J": 0.540704607963562, + "K": 0.2554107904434204, + "L": 0.0009211551514454186 + }, + "sample": { + "question": "На кого возлагается принудительное исполнение судебных актов, актов других органов и должностных лиц в соответствии со статьёй 5 Федерального закона 'Об исполнительном производстве' N 229-ФЗ?", + "answerA": "На местные административные органы", + "answerB": "На органы внутренних дел", + "answerC": "На Федеральную службу судебных приставов и её территориальные органы", + "answerD": "На Министерство юстиции Российской Федерации", + "correct_answer": "На Федеральную службу судебных приставов и её территориальные органы", + "choices": [ + "На Федеральную службу судебных приставов и её территориальные органы", + "На местные административные органы", + "На Министерство юстиции Российской Федерации", + "Муниципальная служба", + "Государственная гражданская служба", + "Не более одного", + "На органы внутренних дел", + "3 года", + "Не более двух", + "Обеспечение единообразных подходов к применению контрольным (надзорным) органом и его должностными лицами обязательных требований.", + "С 1 января 2020 года", + "5 лет" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nНа кого возлагается принудительное исполнение судебных актов, актов других органов и должностных лиц в соответствии со статьёй 5 Федерального закона 'Об исполнительном производстве' N 229-ФЗ?\nA. На Федеральную службу судебных приставов и её территориальные органы\nB. На местные административные органы\nC. На Министерство юстиции Российской Федер��ции\nD. Муниципальная служба\nE. Государственная гражданская служба\nF. Не более одного\nG. На органы внутренних дел\nH. 3 года\nI. Не более двух\nJ. Обеспечение единообразных подходов к применению контрольным (надзорным) органом и его должностными лицами обязательных требований.\nK. С 1 января 2020 года\nL. 5 лет\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 177, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0053376550786197186, + "B": 0.009367875754833221, + "C": 0.022472364827990532, + "D": 0.656738817691803, + "E": 0.01750149577856064, + "F": 0.01750149577856064, + "G": 0.10071416199207306, + "H": 0.08887992799282074, + "I": 0.0016278928378596902, + "J": 0.0017328828107565641, + "K": 0.028855089098215103, + "L": 0.0017328828107565641 + }, + "sample": { + "question": "Сколько индивидуальных инвестиционных счетов может иметь одно физическое лицо согласно Федеральному закону \"О рынке ценных бумаг\" N 39-ФЗ?", + "answerA": "Не более одного", + "answerB": "Не более двух", + "answerC": "Не более трех", + "answerD": "Неограниченное количество", + "correct_answer": "Не более трех", + "choices": [ + "Неограниченное количество", + "Проект постановления о введении налога на воздух", + "Обеспечение единообразных подходов к применению контрольным (надзорным) органом и его должностными лицами обязательных требований.", + "Не более одного", + "Государственная гражданская служба", + "Выявление типичных нарушений обязательных требований.", + "5 лет", + "Не более трех", + "Муниципальная служба", + "3 года", + "Не более двух", + "С 1 января 2020 года" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nСколько индивидуальных инвестиционных счетов может иметь одно физическое лицо согласно Федеральному закону \"О рынке ценных бумаг\" N 39-ФЗ?\nA. Неограниченное количество\nB. Проект постановления о введении налога на воздух\nC. Обеспечение единообразных подходов к применению контрольным (надзорным) органом и его должностными лицами обязательных требований.\nD. Не более одного\nE. Государственная гражданская служба\nF. Выявление типичных нарушений обязательных требований.\nG. 5 лет\nH. Не более трех\nI. Муниципальная служба\nJ. 3 года\nK. Не более двух\nL. С 1 января 2020 года\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 159, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.6461548209190369, + "B": 0.006334679201245308, + "C": 0.009216902777552605, + "D": 0.01721944287419319, + "E": 0.01721944287419319, + "F": 0.0015046180924400687, + "G": 0.002810996724292636, + "H": 0.0016016577137634158, + "I": 0.16337352991104126, + "J": 0.0016016577137634158, + "K": 0.00043108031968586147, + "L": 4.836587322643027e-05 + }, + "sample": { + "question": "Что входит в систему государственной службы Российской Федерации согласно Федеральному закону \"О системе государственной службы Российской Федерации\" N 58-ФЗ?", + "answerA": "Муници��альная служба", + "answerB": "Государственная гражданская служба", + "answerC": "Частная служба безопасности", + "answerD": "Международная дипломатическая служба", + "correct_answer": "answerB", + "choices": [ + "Государственная гражданская служба", + "Муниципальная служба", + "Документ, устанавливающий налоговые обязательства аудируемого лица", + "Частная служба безопасности", + "С 1 января 2020 года", + "Международная дипломатическая служба", + "С 1 июля 2021 года", + "5 лет", + "Обеспечение единообразных подходов к применению контрольным (надзорным) органом и его должностными лицами обязательных требований.", + "3 года", + "Проект постановления о введении налога на воздух", + "Выявление типичных нарушений обязательных требований." + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nЧто входит в систему государственной службы Российской Федерации согласно Федеральному закону \"О системе государственной службы Российской Федерации\" N 58-ФЗ?\nA. Государственная гражданская служба\nB. Муниципальная служба\nC. Документ, устанавливающий налоговые обязательства аудируемого лица\nD. Частная служба безопасности\nE. С 1 января 2020 года\nF. Международная дипломатическая служба\nG. С 1 июля 2021 года\nH. 5 лет\nI. Обеспечение единообразных подходов к применению контрольным (надзорным) органом и его должностными лицами обязательных требований.\nJ. 3 года\nK. Проект постановления о введении налога на воздух\nL. Выявление типичных нарушений обязательных требований.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 173, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.005030395463109016, + "B": 0.008828619495034218, + "C": 0.018690187484025955, + "D": 0.016494033858180046, + "E": 0.7013441324234009, + "F": 0.05080519989132881, + "G": 0.06523516029119492, + "H": 0.03956713154911995, + "I": 0.0025294418446719646, + "J": 0.004439308773726225, + "K": 0.0030510893557220697, + "L": 0.0017384582897648215 + }, + "sample": { + "question": "Сколько лет действует комплексное экологическое разрешение до его первого продления?", + "answerA": "3 года", + "answerB": "5 лет", + "answerC": "7 лет", + "answerD": "10 лет", + "correct_answer": "C", + "choices": [ + "Документ, устанавливающий налоговые обязательства аудируемого лица", + "Проект постановления о введении налога на воздух", + "Только с согласия прокурорского работника, без учета его здоровья", + "Выявление типичных нарушений обязательных требований.", + "3 года", + "С 1 января 2020 года", + "5 лет", + "С 1 июля 2021 года", + "10 лет", + "Обеспечение единообразных подходов к применению контрольным (надзорным) органом и его должностными лицами обязательных требований.", + "Проект устава муниципального образования", + "7 лет" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nСколько лет действует комплексное экологическое разрешение до его первого продления?\nA. Документ, устанавливающий налоговые обязательства аудируемого лица\nB. Проект постановления о введении налога на воздух\nC. Только с согласия прокурорского работника, без учета его здоровья\nD. Выявление типичных нарушений обязательных требований.\nE. 3 года\nF. С 1 января 2020 года\nG. 5 лет\nH. С 1 июля 2021 года\nI. 10 лет\nJ. Обеспечение единообразных подходов к применению контрольным (надзорным) органом и его должностными лицами обязательных требований.\nK. Проект устава муниципального образования\nL. 7 лет\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 168, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.22318187355995178, + "B": 0.018319884315133095, + "C": 0.014267539605498314, + "D": 0.01616724021732807, + "E": 0.41695863008499146, + "F": 0.03878319263458252, + "G": 0.03020438365638256, + "H": 0.023523196578025818, + "I": 0.006739508360624313, + "J": 0.043947115540504456, + "K": 0.004930729512125254, + "L": 0.0023291120305657387 + }, + "sample": { + "question": "Какая задача НЕ входит в процесс обобщения правоприменительной практики по Федеральному закону от 31.07.2020 N 248-ФЗ \"О государственном контроле (надзоре) и муниципальном контроле в Российской Федерации\"?", + "answerA": "Обеспечение единообразных подходов к применению контрольным (надзорным) органом и его должностными лицами обязательных требований.", + "answerB": "Выявление типичных нарушений обязательных требований.", + "answerC": "Обучение контрольных (надзорных) органов эффективным методам дистанционного надзора.", + "answerD": "Анализ случаев причинения вреда (ущерба) охраняемым законом ценностям.", + "correct_answer": "C", + "choices": [ + "Только с согласия прокурорского работника, без учета его здоровья", + "Выявление типичных нарушений обязательных требований.", + "Обеспечение единообразных подходов к применению контрольным (надзорным) органом и его должностными лицами обязательных требований.", + "Анализ случаев причинения вреда (ущерба) охраняемым законом ценностям.", + "Проект постановления о введении налога на воздух", + "Документ, устанавливающий налоговые обязательства аудируемого лица", + "С 1 января 2020 года", + "Проект устава муниципального образования", + "Обучение контрольных (надзорных) органов эффективным методам дистанционного надзора.", + "С 1 июля 2021 года", + "Только юридические лица, зарегистрированные в Российской Федерации", + "Официальный документ, содержащий мнение о достоверности финансовой отчетности" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКакая задача НЕ входит в процесс обобщения правоприменительной практики по Федеральному закону от 31.07.2020 N 248-ФЗ \"О государственном контроле (надзоре) и муниципальном контроле в Российской Федерации\"?\nA. Только с согласия прокурорского работника, без учет�� его здоровья\nB. Выявление типичных нарушений обязательных требований.\nC. Обеспечение единообразных подходов к применению контрольным (надзорным) органом и его должностными лицами обязательных требований.\nD. Анализ случаев причинения вреда (ущерба) охраняемым законом ценностям.\nE. Проект постановления о введении налога на воздух\nF. Документ, устанавливающий налоговые обязательства аудируемого лица\nG. С 1 января 2020 года\nH. Проект устава муниципального образования\nI. Обучение контрольных (надзорных) органов эффективным методам дистанционного надзора.\nJ. С 1 июля 2021 года\nK. Только юридические лица, зарегистрированные в Российской Федерации\nL. Официальный документ, содержащий мнение о достоверности финансовой отчетности\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 242, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.03290415555238724, + "B": 0.022614674642682076, + "C": 0.14746619760990143, + "D": 0.04787526652216911, + "E": 0.13013845682144165, + "F": 0.02903781458735466, + "G": 0.16710110008716583, + "H": 0.31218594312667847, + "I": 0.008856033906340599, + "J": 0.006897085811942816, + "K": 0.014601131901144981, + "L": 0.02562578208744526 + }, + "sample": { + "question": "Когда утратила силу статья 23 Федерального закона 'Об аудиторской деятельности' N 307-ФЗ?", + "answerA": "С 1 января 2020 года", + "answerB": "С 1 июля 2021 года", + "answerC": "С 1 января 2022 года", + "answerD": "С 1 июля 2019 года", + "correct_answer": "С 1 января 2022 года", + "choices": [ + "Товары должны быть уничтожены в порядке, установленном таможенными органами.", + "Без согласия прокурорского работника, но с учетом его здоровья", + "С 1 июля 2021 года", + "Проект постановления о введении налога на воздух", + "С 1 января 2022 года", + "Проект устава муниципального образования", + "С 1 января 2020 года", + "С 1 июля 2019 года", + "Документ, устанавливающий налоговые обязательства аудируемого лица", + "Только юридические лица, зарегистрированные в Российской Федерации", + "Только с согласия прокурорского работника, без учета его здоровья", + "Официальный документ, содержащий мнение о достоверности финансовой отчетности" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКогда утратила силу статья 23 Федерального закона 'Об аудиторской деятельности' N 307-ФЗ?\nA. Товары должны быть уничтожены в порядке, установленном таможенными органами.\nB. Без согласия прокурорского работника, но с учетом его здоровья\nC. С 1 июля 2021 года\nD. Проект постановления о введении налога на воздух\nE. С 1 января 2022 года\nF. Проект устава муниципального образования\nG. С 1 января 2020 года\nH. С 1 июля 2019 года\nI. Документ, устанавливающий налоговые обязательства аудируемого лица\nJ. Только юридические лица, зарегистрированные в Российской Федерации\nK. Только с согласия прокурорского работника, без учета его здоровья\nL. Официальный документ, содержащий мнение о достоверности финансовой отчетности\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 197, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.29286742210388184, + "B": 0.01872238703072071, + "C": 0.01872238703072071, + "D": 0.057669010013341904, + "E": 0.2584545910358429, + "F": 0.016522450372576714, + "G": 0.01872238703072071, + "H": 0.057669010013341904, + "I": 0.0449126772582531, + "J": 0.021215245127677917, + "K": 0.004177529364824295, + "L": 0.004446956794708967 + }, + "sample": { + "question": "Какой из перечисленных документов должен выноситься на публичные слушания согласно Федеральному закону \"Об общих принципах организации местного самоуправления в РФ\" (закон о МСУ) N 131-ФЗ, Статье 28?", + "answerA": "Проект постановления о введении налога на воздух", + "answerB": "Проект устава муниципального образования", + "answerC": "Проект расписания движения муниципального транспорта", + "answerD": "Проект объявления городского праздника", + "correct_answer": "answerB", + "choices": [ + "Официальный документ, содержащий мнение о достоверности финансовой отчетности", + "Согласие всех жителей многоквартирного дома", + "Без согласия прокурорского работника, но с учетом его здоровья", + "Проект постановления о введении налога на воздух", + "Проект устава муниципального образования", + "Проект расписания движения муниципального транспорта", + "Проект объявления городского праздника", + "Документ, устанавливающий налоговые обязательства аудируемого лица", + "Товары должны быть уничтожены в порядке, установленном таможенными органами.", + "Только юридические лица, зарегистрированные в Российской Федерации", + "Только с согласия прокурорского работника, без учета его здоровья", + "Только физические лица, зарегистрированные по месту жительства в Российской Федерации" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКакой из перечисленных документов должен выноситься на публичные слушания согласно Федеральному закону \"Об общих принципах организации местного самоуправления в РФ\" (закон о МСУ) N 131-ФЗ, Статье 28?\nA. Официальный документ, содержащий мнение о достоверности финансовой отчетности\nB. Согласие всех жителей многоквартирного дома\nC. Без согласия прокурорского работника, но с учетом его здоровья\nD. Проект постановления о введении налога на воздух\nE. Проект устава муниципального образования\nF. Проект расписания движения муниципального транспорта\nG. Проект объявления городского праздника\nH. Документ, устанавливающий налоговые обязательства аудируемого лица\nI. Товары должны быть уничтожены в порядке, установленном таможенными органами.\nJ. Только юридические лица, зарегистрированные в Российской Федерации\nK. Только с согласия прокурорского работника, без учета его здоровья\nL. Только физические лица, з��регистрированные по месту жительства в Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 208, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0009775806684046984, + "B": 0.9460785388946533, + "C": 0.0010406292276456952, + "D": 0.0014223715988919139, + "E": 0.0002321958018001169, + "F": 8.024471026146784e-05, + "G": 0.00016987805429380387, + "H": 3.345097502460703e-05, + "I": 3.3120950320153497e-06, + "J": 7.538292993558571e-05, + "K": 1.5801120753167197e-05, + "L": 2.138449190169922e-06 + }, + "sample": { + "question": "Что представляет собой аудиторское заключение согласно Федеральному закону \"Об аудиторской деятельности\" N 307-ФЗ?", + "answerA": "Документ, устанавливающий налоговые обязательства аудируемого лица", + "answerB": "Официальный документ, содержащий мнение о достоверности финансовой отчетности", + "answerC": "Обзор финансового состояния компании без выражения мнения", + "answerD": "Консультационный отчет по вопросам улучшения бизнес-процессов", + "correct_answer": "B", + "choices": [ + "Документ, устанавливающий налоговые обязательства аудируемого лица", + "Официальный документ, содержащий мнение о достоверности финансовой отчетности", + "Товары должны быть уничтожены в порядке, установленном таможенными органами.", + "Без согласия прокурорского работника, но с учетом его здоровья", + "Обзор финансового состояния компании без выражения мнения", + "Согласие всех жителей многоквартирного дома", + "Только с согласия прокурорского работника, без учета его здоровья", + "Консультационный отчет по вопросам улучшения бизнес-процессов", + "Особенности определяются Уставом инновационного центра \"Сколково\"", + "Только юридические лица, зарегистрированные в Российской Федерации", + "Товары могут быть полностью или частично изъяты или заменены, товары, представляющие опасность для жизни, окружающей среды или могущие быть использованы для изготовления оружия массового уничтожения, подлежат замене.", + "Только физические лица, зарегистрированные по месту жительства в Российской Федерации" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nЧто представляет собой аудиторское заключение согласно Федеральному закону \"Об аудиторской деятельности\" N 307-ФЗ?\nA. Документ, устанавливающий налоговые обязательства аудируемого лица\nB. Официальный документ, содержащий мнение о достоверности финансовой отчетности\nC. Товары должны быть уничтожены в порядке, установленном таможенными органами.\nD. Без согласия прокурорского работника, но с учетом его здоровья\nE. Обзор финансового состояния компании без выражения мнения\nF. Согласие всех жителей многоквартирного дома\nG. Только с согласия прокурорского работника, без учета его здоровья\nH. Консультационный отчет по вопросам улучшения бизнес-процессов\nI. Особенности опред��ляются Уставом инновационного центра \"Сколково\"\nJ. Только юридические лица, зарегистрированные в Российской Федерации\nK. Товары могут быть полностью или частично изъяты или заменены, товары, представляющие опасность для жизни, окружающей среды или могущие быть использованы для изготовления оружия массового уничтожения, подлежат замене.\nL. Только физические лица, зарегистрированные по месту жительства в Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 228, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.013138636946678162, + "B": 0.010892312973737717, + "C": 0.03151794895529747, + "D": 0.8128586411476135, + "E": 0.021661950275301933, + "F": 0.016870342195034027, + "G": 0.021661950275301933, + "H": 0.005830234382301569, + "I": 0.001670390134677291, + "J": 0.011594805866479874, + "K": 0.01488802582025528, + "L": 0.00022606273705605417 + }, + "sample": { + "question": "Каковы условия перевода прокурорского работника на службу в другую местность согласно Федеральному закону \"О прокуратуре Российской Федерации\" N 2202-1-ФЗ, Статья 41.5?", + "answerA": "Только с согласия прокурорского работника, без учета его здоровья", + "answerB": "Без согласия прокурорского работника, но с учетом его здоровья", + "answerC": "Только с согласия прокурорского работника, и при переводе в тяжелые климатические условия - с медицинским заключением", + "answerD": "Без каких-либо условий, полностью на усмотрение руководства", + "correct_answer": "answerC", + "choices": [ + "Без согласия прокурорского работника, но с учетом его здоровья", + "Согласие всех жителей многоквартирного дома", + "Заключение Экспертного совета по реновации", + "Только с согласия прокурорского работника, и при переводе в тяжелые климатические условия - с медицинским заключением", + "Товары должны быть уничтожены в порядке, установленном таможенными органами.", + "Без каких-либо условий, полностью на усмотрение руководства", + "Только юридические лица, зарегистрированные в Российской Федерации", + "Только с согласия прокурорского работника, без учета его здоровья", + "Особенности определяются Уставом инновационного центра \"Сколково\"", + "Товары могут быть полностью или частично изъяты или заменены, товары, представляющие опасность для жизни, окружающей среды или могущие быть использованы для изготовления оружия массового уничтожения, подлежат замене.", + "Только физические лица, зарегистрированные по месту жительства в Российской Федерации", + "Каждые два года" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКаковы условия перевода прокурорского работника на службу в другую местность согласно Федеральному закону \"О прокуратуре Российской Федерации\" N 2202-1-ФЗ, Статья 41.5?\nA. Без согласия прокурорского работника, но с учетом его здоровья\nB. Согласие всех жителей многоквартирного дома\nC. Заключение Экспертного совета по реновации\nD. Только с согласия прокурорского работника, и при переводе в тяжелые климатические условия - с медицинским заключением\nE. Товары должны быть уничтожены в порядке, установленном таможенными органами.\nF. Без каких-либо условий, полностью на усмотрение руководства\nG. Только юридические лица, зарегистрированные в Российской Федерации\nH. Только с согласия прокурорского работника, без учета его здоровья\nI. Особенности определяются Уставом инновационного центра \"Сколково\"\nJ. Товары могут быть полностью или частично изъяты или заменены, товары, представляющие опасность для жизни, окружающей среды или могущие быть использованы для изготовления оружия массового уничтожения, подлежат замене.\nK. Только физические лица, зарегистрированные по месту жительства в Российской Федерации\nL. Каждые два года\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 251, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0025309287011623383, + "B": 0.9010729193687439, + "C": 0.008833808824419975, + "D": 0.01870117150247097, + "E": 0.0007718895794823766, + "F": 0.0005647264188155532, + "G": 0.002098213415592909, + "H": 0.00043980946065858006, + "I": 3.610175190260634e-05, + "J": 0.0005647264188155532, + "K": 0.00018333984189666808, + "L": 1.4137651305645704e-05 + }, + "sample": { + "question": "Какие категории лиц обязаны осуществлять государственный учет транспортных средств в соответствии с Федеральным законом N 283-ФЗ?", + "answerA": "Только юридические лица, зарегистрированные в Российской Федерации", + "answerB": "Только физические лица, зарегистрированные по месту жительства в Российской Федерации", + "answerC": "Юридические и физические лица, зарегистрированные в Российской Федерации, а также индивидуальные предприниматели", + "answerD": "Только владельцы транспортных средств, использующих их в коммерческих целях", + "correct_answer": "answerC", + "choices": [ + "Заключение Экспертного совета по реновации", + "Юридические и физические лица, зарегистрированные в Российской Федерации, а также индивидуальные предприниматели", + "Только физические лица, зарегистрированные по месту жительства в Российской Федерации", + "Только юридические лица, зарегистрированные в Российской Федерации", + "Согласие всех жителей многоквартирного дома", + "Только владельцы транспортных средств, использующих их в коммерческих целях", + "Особенности устанавливаются Федеральным законом \"О развитии инновационной экономики\"", + "Каждые два года", + "Товары должны быть уничтожены в порядке, установленном таможенными органами.", + "Особенности определяются Уставом инновационного центра \"Сколково\"", + "Согласие на изменение основной хозяйственной деятельности публичного общества.", + "Товары могут быть полностью или ��астично изъяты или заменены, товары, представляющие опасность для жизни, окружающей среды или могущие быть использованы для изготовления оружия массового уничтожения, подлежат замене." + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКакие категории лиц обязаны осуществлять государственный учет транспортных средств в соответствии с Федеральным законом N 283-ФЗ?\nA. Заключение Экспертного совета по реновации\nB. Юридические и физические лица, зарегистрированные в Российской Федерации, а также индивидуальные предприниматели\nC. Только физические лица, зарегистрированные по месту жительства в Российской Федерации\nD. Только юридические лица, зарегистрированные в Российской Федерации\nE. Согласие всех жителей многоквартирного дома\nF. Только владельцы транспортных средств, использующих их в коммерческих целях\nG. Особенности устанавливаются Федеральным законом \"О развитии инновационной экономики\"\nH. Каждые два года\nI. Товары должны быть уничтожены в порядке, установленном таможенными органами.\nJ. Особенности определяются Уставом инновационного центра \"Сколково\"\nK. Согласие на изменение основной хозяйственной деятельности публичного общества.\nL. Товары могут быть полностью или частично изъяты или заменены, товары, представляющие опасность для жизни, окружающей среды или могущие быть использованы для изготовления оружия массового уничтожения, подлежат замене.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 229, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.005950527731329203, + "B": 0.006742831785231829, + "C": 0.014274573884904385, + "D": 0.005590003915131092, + "E": 0.6877875328063965, + "F": 0.00981076154857874, + "G": 0.006742831785231829, + "H": 0.0036091776564717293, + "I": 0.0004884490626864135, + "J": 0.0020564475562423468, + "K": 0.004353499040007591, + "L": 0.00017969036707654595 + }, + "sample": { + "question": "В соответствии с Федеральным законом \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ, что предусмотрено для товаров, ввозимых или вывозимых из России при осуществлении контролируемой поставки по Статье 391?", + "answerA": "Товары должны быть уничтожены в порядке, установленном таможенными органами.", + "answerB": "Товары могут быть полностью или частично изъяты или заменены, товары, представляющие опасность для жизни, окружающей среды или могущие быть использованы для изготовления оружия массового уничтожения, подлежат замене.", + "answerC": "Все товары подлежат ограничению перемещения без возможности изъятия или замены.", + "answerD": "Товары могут быть временно задержаны на срок до 6 месяцев до получения всех необходимых разрешений.", + "correct_answer": "answerB", + "choices": [ + "Заключение Экспертного совета по реновации", + "Особенности определяются Уставом инновационного центра \"Сколково\"", + "С помощью специализированного программного обеспечения, разработанного таможенным органом", + "Согласие всех жителей многоквартирного дома", + "Товары могут быть полностью или частично изъяты или заменены, товары, представляющие опасность для жизни, окружающей среды или могущие быть использованы для изготовления оружия массового уничтожения, подлежат замене.", + "Товары должны быть уничтожены в порядке, установленном таможенными органами.", + "Товары могут быть временно задержаны на срок до 6 месяцев до получения всех необходимых разрешений.", + "Согласие на изменение основной хозяйственной деятельности публичного общества.", + "Каждые два года", + "Особенности устанавливаются Федеральным законом \"О развитии инновационной экономики\"", + "Все товары подлежат ограничению перемещения без возможности изъятия или замены.", + "Каждый год" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nВ соответствии с Федеральным законом \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ, что предусмотрено для товаров, ввозимых или вывозимых из России при осуществлении контролируемой поставки по Статье 391?\nA. Заключение Экспертного совета по реновации\nB. Особенности определяются Уставом инновационного центра \"Сколково\"\nC. С помощью специализированного программного обеспечения, разработанного таможенным органом\nD. Согласие всех жителей многоквартирного дома\nE. Товары могут быть полностью или частично изъяты или заменены, товары, представляющие опасность для жизни, окружающей среды или могущие быть использованы для изготовления оружия массового уничтожения, подлежат замене.\nF. Товары должны быть уничтожены в порядке, установленном таможенными органами.\nG. Товары могут быть временно задержаны на срок до 6 месяцев до получения всех необходимых разрешений.\nH. Согласие на изменение основной хозяйственной деятельности публичного общества.\nI. Каждые два года\nJ. Особенности устанавливаются Федеральным законом \"О развитии инновационной экономики\"\nK. Все товары подлежат ограничению перемещения без возможности изъятия или замены.\nL. Каждый год\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 263, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.017052780836820602, + "B": 0.007108656223863363, + "C": 0.23540636897087097, + "D": 0.019323332235217094, + "E": 0.05952005088329315, + "F": 0.017052780836820602, + "G": 0.0674450546503067, + "H": 0.017052780836820602, + "I": 0.0463542602956295, + "J": 0.031858786940574646, + "K": 0.23540636897087097, + "L": 0.002963328966870904 + }, + "sample": { + "question": "В соответствии со Статьей 57 Федерального закона 'О государственной регистрации недвижимости' N 218-ФЗ, что являет��я основанием для государственной регистрации перехода прав на жилое помещение в многоквартирном доме, включенном в программу реновации жилищного фонда?", + "answerA": "Согласие всех жителей многоквартирного дома", + "answerB": "Заключение Экспертного совета по реновации", + "answerC": "Договор, предусмотренный статьей 7.3 Закона Российской Федерации от 15 апреля 1993 года N 4802-1 'О статусе столицы Российской Федерации', или вступивший в силу судебный акт", + "answerD": "Акт государственной комиссии о приемке в эксплуатацию объектов жилищного строительства", + "correct_answer": "Договор, предусмотренный статьей 7.3 Закона Российской Федерации от 15 апреля 1993 года N 4802-1 'О статусе столицы Российской Федерации', или вступивший в силу судебный акт", + "choices": [ + "Решения, связанные с изменениями в размере стоимости арендуемого имущества публичного общества.", + "Каждый год", + "Акт государственной комиссии о приемке в эксплуатацию объектов жилищного строительства", + "Нормы поведения на общественных мероприятиях", + "Особенности определяются Уставом инновационного центра \"Сколково\"", + "Каждые два года", + "Согласие всех жителей многоквартирного дома", + "Согласие на изменение основной хозяйственной деятельности публичного общества.", + "Заключение Экспертного совета по реновации", + "С помощью специализированного программного обеспечения, разработанного таможенным органом", + "Договор, предусмотренный статьей 7.3 Закона Российской Федерации от 15 апреля 1993 года N 4802-1 'О статусе столицы Российской Федерации', или вступивший в силу судебный акт", + "Особенности устанавливаются Федеральным законом \"О развитии инновационной экономики\"" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nВ соответствии со Статьей 57 Федерального закона 'О государственной регистрации недвижимости' N 218-ФЗ, что является основанием для государственной регистрации перехода прав на жилое помещение в многоквартирном доме, включенном в программу реновации жилищного фонда?\nA. Решения, связанные с изменениями в размере стоимости арендуемого имущества публичного общества.\nB. Каждый год\nC. Акт государственной комиссии о приемке в эксплуатацию объектов жилищного строительства\nD. Нормы поведения на общественных мероприятиях\nE. Особенности определяются Уставом инновационного центра \"Сколково\"\nF. Каждые два года\nG. Согласие всех жителей многоквартирного дома\nH. Согласие на изменение основной хозяйственной деятельности публичного общества.\nI. Заключение Экспертного совета по реновации\nJ. С помощью специализированного программного обеспечения, разработанного таможенным органом\nK. Договор, предусмотренный статьей 7.3 Закона Российской Федерации от 15 апреля 1993 года N 4802-1 'О статусе столицы Российской Федерации', или вступивший в силу судебный акт\nL. Особенности устанавливаются Федеральным законом \"О развитии инновационной экономики\"\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 256, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.48689717054367065, + "B": 0.0047733718529343605, + "C": 0.13949838280677795, + "D": 0.012975369580090046, + "E": 0.17911946773529053, + "F": 0.0007320202421396971, + "G": 0.014703020453453064, + "H": 0.0015496870037168264, + "I": 0.02424118109047413, + "J": 0.0006068661459721625, + "K": 0.0011337751056998968, + "L": 1.6172432879102416e-05 + }, + "sample": { + "question": "Каким образом устанавливаются особенности организации местного самоуправления на территории инновационного центра \"Сколково\" согласно Федеральному закону \"Об общих принципах организации местного самоуправления в РФ\" N 131-ФЗ?", + "answerA": "Особенности определяются Уставом инновационного центра \"Сколково\"", + "answerB": "Особенности устанавливаются Федеральным законом \"О развитии инновационной экономики\"", + "answerC": "Особенности определяются муниципальными нормативными актами на основе закона о МСУ", + "answerD": "Особенности устанавливаются Федеральным законом \"Об инновационном центре \"Сколково\"", + "correct_answer": "answerD", + "choices": [ + "Путем учреждения или путем присоединения к другому юридическому лицу", + "С помощью декларирования товаров по упрощенной схеме", + "Особенности устанавливаются Федеральным законом \"Об инновационном центре \"Сколково\"", + "Согласие на изменение основной хозяйственной деятельности публичного общества.", + "Особенности определяются муниципальными нормативными актами на основе закона о МСУ", + "Особенности устанавливаются Федеральным законом \"О развитии инновационной экономики\"", + "Каждый год", + "С помощью специализированного программного обеспечения, разработанного таможенным органом", + "Особенности определяются Уставом инновационного центра \"Сколково\"", + "Решения, связанные с изменениями в размере стоимости арендуемого имущества публичного общества.", + "Нормы поведения на общественных мероприятиях", + "Каждые два года" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКаким образом устанавливаются особенности организации местного самоуправления на территории инновационного центра \"Сколково\" согласно Федеральному закону \"Об общих принципах организации местного самоуправления в РФ\" N 131-ФЗ?\nA. Путем учреждения или путем присоединения к другому юридическому лицу\nB. С помощью декларирования товаров по упрощенной схеме\nC. Особенности устанавливаются Федеральным законом \"Об инновационном центре \"Сколково\"\nD. Согласие на изменение основной хозяйственной деятельности публичного общества.\nE. Особенности определяются муниципальными нормативными актами на основе закона о МСУ\nF. Особенности устанавливаются Федеральным законом \"О развитии инновационной экономики\"\nG. Каждый год\nH. С помощью специализированного программного обеспечения, разработанного таможенным органом\nI. Особенности определяются Уставом инновационного центра \"Сколково\"\nJ. Решения, связанные с изменениями в размере стоимости арендуемого имущества публичного общества.\nK. Нормы поведения на общественных мероприятиях\nL. Каждые два года\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 213, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.008074091747403145, + "B": 0.03193365037441254, + "C": 0.6414045691490173, + "D": 0.046463191509246826, + "E": 0.028181349858641624, + "F": 0.028181349858641624, + "G": 0.04100361838936806, + "H": 0.015084389597177505, + "I": 0.0009643126977607608, + "J": 0.011747734621167183, + "K": 0.0075849066488444805, + "L": 0.0004848868993576616 + }, + "sample": { + "question": "Через какой период времени проводится периодическое подтверждение соответствия лицензионным требованиям лицензиата, если не предусмотрен больший период положением о лицензировании?", + "answerA": "Каждые два года", + "answerB": "Каждый год", + "answerC": "Каждые пять лет", + "answerD": "Каждые три года", + "correct_answer": "Каждые три года", + "choices": [ + "Согласие на изменение основной хозяйственной деятельности публичного общества.", + "Правовые основы производства и оборота пищевых продуктов", + "Каждые два года", + "С помощью декларирования товаров по упрощенной схеме", + "В течение одного месяца со дня представления", + "Каждые три года", + "Каждые пять лет", + "Решения, связанные с изменениями в размере стоимости арендуемого имущества публичного общества.", + "С помощью специализированного программного обеспечения, разработанного таможенным органом", + "Каждый год", + "Нормы поведения на общественных мероприятиях", + "Путем учреждения или путем присоединения к другому юридическому лицу" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nЧерез какой период времени проводится периодическое подтверждение соответствия лицензионным требованиям лицензиата, если не предусмотрен больший период положением о лицензировании?\nA. Согласие на изменение основной хозяйственной деятельности публичного общества.\nB. Правовые основы производства и оборота пищевых продуктов\nC. Каждые два года\nD. С помощью декларирования товаров по упрощенной схеме\nE. В течение одного месяца со дня представления\nF. Каждые три года\nG. Каждые пять лет\nH. Решения, связанные с изменениями в размере стоимости арендуемого имущества публичного общества.\nI. С помощью специализированного программного обеспечения, разработанного таможенным органом\nJ. Каждый год\nK. Нормы поведения на общественных мероприятиях\nL. Путем учреждения или путем присоединения к другому юридическому лицу\n\nОтветь одной бу��вой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 176, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.028527993708848953, + "B": 0.11283041536808014, + "C": 0.11283041536808014, + "D": 0.0173031035810709, + "E": 0.16416728496551514, + "F": 0.025175869464874268, + "G": 0.09957249462604523, + "H": 0.09957249462604523, + "I": 0.01117172371596098, + "J": 0.03232645243406296, + "K": 0.03232645243406296, + "L": 0.0009170309640467167 + }, + "sample": { + "question": "Какие решения принимаются только общим собранием акционеров публичного общества после получения добровольного или обязательного предложения, согласно Федеральному закону \"Об акционерных обществах\" (АО) N 208-ФЗ, Статья 84.6?", + "answerA": "Согласие на изменение основной хозяйственной деятельности публичного общества.", + "answerB": "Решения, связанные с изменениями в размере стоимости арендуемого имущества публичного общества.", + "answerC": "Увеличение уставного капитала публичного общества путем размещения дополнительных акций.", + "answerD": "Утверждение внутренних документов организации, регулирующих порядок проведения внутреннего аудита.", + "correct_answer": "answerC", + "choices": [ + "Нормы поведения на общественных мероприятиях", + "Решения, связанные с изменениями в размере стоимости арендуемого имущества публичного общества.", + "Увеличение уставного капитала публичного общества путем размещения дополнительных акций.", + "Только на гражданские объекты и жилищные комплексы", + "Согласие на изменение основной хозяйственной деятельности публичного общества.", + "С помощью декларирования товаров по упрощенной схеме", + "Утверждение внутренних документов организации, регулирующих порядок проведения внутреннего аудита.", + "Только путем учреждения", + "Правовые основы производства и оборота пищевых продуктов", + "Путем учреждения или путем присоединения к другому юридическому лицу", + "С помощью специализированного программного обеспечения, разработанного таможенным органом", + "В течение одного месяца со дня представления" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКакие решения принимаются только общим собранием акционеров публичного общества после получения добровольного или обязательного предложения, согласно Федеральному закону \"Об акционерных обществах\" (АО) N 208-ФЗ, Статья 84.6?\nA. Нормы поведения на общественных мероприятиях\nB. Решения, связанные с изменениями в размере стоимости арендуемого имущества публичного общества.\nC. Увеличение уставного капитала публичного общества путем размещения дополнительных акций.\nD. Только на гражданские объекты и жилищные комплексы\nE. Согласие на изменение основной хозяйственной деятельности публичного общества.\nF. С помощью декларирования товаров по упрощенной схеме\nG. Утверждение внутренних документов организации, р��гулирующих порядок проведения внутреннего аудита.\nH. Только путем учреждения\nI. Правовые основы производства и оборота пищевых продуктов\nJ. Путем учреждения или путем присоединения к другому юридическому лицу\nK. С помощью специализированного программного обеспечения, разработанного таможенным органом\nL. В течение одного месяца со дня представления\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 222, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.10373266041278839, + "B": 0.026227720081806183, + "C": 0.01590791717171669, + "D": 0.03367706388235092, + "E": 0.08078707754611969, + "F": 0.15093012154102325, + "G": 0.08078707754611969, + "H": 0.13319537043571472, + "I": 0.07129434496164322, + "J": 0.07129434496164322, + "K": 0.048999834805727005, + "L": 0.13319537043571472 + }, + "sample": { + "question": "Каким образом может проводиться идентификация иностранных товаров, помещенных под таможенную процедуру свободного склада, в товарах, изготовленных из этих иностранных товаров?", + "answerA": "С помощью специализированного программного обеспечения, разработанного таможенным органом", + "answerB": "С помощью декларирования товаров по упрощенной схеме", + "answerC": "Документы производственного, бухгалтерского и налогового учета, содержащие сведения об использовании иностранных товаров", + "answerD": "Исключительно путем физической проверки товаров таможенным органом", + "correct_answer": "answerC", + "choices": [ + "Документы производственного, бухгалтерского и налогового учета, содержащие сведения об использовании иностранных товаров", + "Правовые основы производства и оборота пищевых продуктов", + "В течение одного месяца со дня представления", + "Только на гражданские объекты и жилищные комплексы", + "Исключительно путем физической проверки товаров таможенным органом", + "С помощью специализированного программного обеспечения, разработанного таможенным органом", + "Нормы поведения на общественных мероприятиях", + "В течение шести месяцев со дня вступления закона в силу", + "В течение двух месяцев со дня представления", + "Только путем учреждения", + "Путем учреждения или путем присоединения к другому юридическому лицу", + "С помощью декларирования товаров по упрощенной схеме" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКаким образом может проводиться идентификация иностранных товаров, помещенных под таможенную процедуру свободного склада, в товарах, изготовленных из этих иностранных товаров?\nA. Документы производственного, бухгалтерского и налогового учета, содержащие сведения об использовании иностранных товаров\nB. Правовые основы производства и оборота пищевых продуктов\nC. В течение одного месяца со дня представления\nD. Только на гражданские объекты и жилищные комплексы\nE. Исключительно путем физической проверки товаров таможенным органом\nF. С помощью специализированного программного обеспечения, разработанного таможенным органом\nG. Нормы поведения на общественных мероприятиях\nH. В течение шести месяцев со дня вступления закона в силу\nI. В течение двух месяцев со дня представления\nJ. Только путем учреждения\nK. Путем учреждения или путем присоединения к другому юридическому лицу\nL. С помощью декларирования товаров по упрощенной схеме\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 194, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0018549219239503145, + "B": 0.012875709682703018, + "C": 0.0005314440350048244, + "D": 0.006082054693251848, + "E": 0.030887223780155182, + "F": 0.008849338628351688, + "G": 0.007809513248503208, + "H": 0.9026569724082947, + "I": 0.0007263979059644043, + "J": 0.0011976276291534305, + "K": 0.0012748680310323834, + "L": 0.005042200908064842 + }, + "sample": { + "question": "Что устанавливает Федеральный закон \"О государственном регулировании производства и оборота этилового спирта, алкогольной и спиртосодержащей продукции и об ограничении потребления (распития) алкогольной продукции\" N 171-ФЗ?", + "answerA": "Нормы поведения на общественных мероприятиях", + "answerB": "Правовые основы производства и оборота пищевых продуктов", + "answerC": "Правовые основы производства и оборота этилового спирта, алкогольной и спиртосодержащей продукции и ограничения потребления алкогольной продукции", + "answerD": "Ограничения на рекламу товаров и услуг", + "correct_answer": "answerC", + "choices": [ + "В течение одного месяца со дня представления", + "Путем учреждения или путем присоединения к другому юридическому лицу", + "Правовые основы производства и оборота пищевых продуктов", + "Только на гражданские объекты и жилищные комплексы", + "Только путем учреждения", + "На военные и оборонные объекты, вооружение и военную технику за исключением чрезвычайных ситуаций", + "В течение двух месяцев со дня представления", + "Правовые основы производства и оборота этилового спирта, алкогольной и спиртосодержащей продукции и ограничения потребления алкогольной продукции", + "Нормы поведения на общественных мероприятиях", + "3 рабочих дня", + "Ограничения на рекламу товаров и услуг", + "В течение шести месяцев со дня вступления закона в силу" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nЧто устанавливает Федеральный закон \"О государственном регулировании производства и оборота этилового спирта, алкогольной и спиртосодержащей продукции и об ограничении потребления (распития) алкогольной продукции\" N 171-ФЗ?\nA. В течение одного месяца со дня представления\nB. Путем учреждения или путем присоединения к другому юридическому лицу\nC. Правовые основы производства и оборота пищевых продуктов\nD. Только на гражданские объекты и жилищные комплексы\nE. Только путем учреждения\nF. На военные и оборонные объекты, вооружение и военную технику за исключением чрезвычайных ситуаций\nG. В течение двух месяцев со дня представления\nH. Правовые основы производства и оборота этилового спирта, алкогольной и спиртосодержащей продукции и ограничения потребления алкогольной продукции\nI. Нормы поведения на общественных мероприятиях\nJ. 3 рабочих дня\nK. Ограничения на рекламу товаров и услуг\nL. В течение шести месяцев со дня вступления закона в силу\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 221, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.003180421655997634, + "B": 0.0040837423875927925, + "C": 0.0015992163680493832, + "D": 0.0125788114964962, + "E": 0.0125788114964962, + "F": 0.001929023303091526, + "G": 0.004627486225217581, + "H": 0.8818427920341492, + "I": 0.001929023303091526, + "J": 0.0009112060652114451, + "K": 0.0014113036449998617, + "L": 0.05637432262301445 + }, + "sample": { + "question": "Каким образом может быть создано специализированное общество в соответствии с Федеральным законом \"О рынке ценных бумаг\" N 39-ФЗ?", + "answerA": "Путем учреждения или путем присоединения к другому юридическому лицу", + "answerB": "Только путем учреждения", + "answerC": "Путем слияния с другим акционерным обществом", + "answerD": "Через процедуру преобразования из некоммерческих организаций", + "correct_answer": "B", + "choices": [ + "Только путем учреждения", + "3 рабочих дня", + "Через процедуру преобразования из некоммерческих организаций", + "Путем слияния с другим акционерным обществом", + "На военные и оборонные объекты, вооружение и военную технику за исключением чрезвычайных ситуаций", + "В течение одного года со дня вступления закона в силу", + "В течение одного месяца со дня представления", + "Путем учреждения или путем присоединения к другому юридическому лицу", + "Только на гражданские объекты и жилищные комплексы", + "В течение шести месяцев со дня вступления закона в силу", + "Федеральный закон \"О международном медицинском кластере и внесении изменений в отдельные законодательные акты Российской Федерации\"", + "В течение двух месяцев со дня представления" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКаким образом может быть создано специализированное общество в соответствии с Федеральным законом \"О рынке ценных бумаг\" N 39-ФЗ?\nA. Только путем учреждения\nB. 3 рабочих дня\nC. Через процедуру преобразования из некоммерческих организаций\nD. Путем слияния с другим акционерным обществом\nE. На военные и оборонные объекты, вооружение и военную технику за исключением чрезвычайных ситуаций\nF. В течение одного года со дня вступления закона в силу\nG. В течение одного месяца со дня представления\nH. Путем учреждения или путем присоединения к другому юридическому ��ицу\nI. Только на гражданские объекты и жилищные комплексы\nJ. В течение шести месяцев со дня вступления закона в силу\nK. Федеральный закон \"О международном медицинском кластере и внесении изменений в отдельные законодательные акты Российской Федерации\"\nL. В течение двух месяцев со дня представления\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 192, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.08586368709802628, + "B": 0.5599015355110168, + "C": 0.18177342414855957, + "D": 0.040559135377407074, + "E": 0.027875855565071106, + "F": 0.0040158978663384914, + "G": 0.011620385572314262, + "H": 0.007986566051840782, + "I": 0.0004796306020580232, + "J": 0.005843097344040871, + "K": 0.0025928588584065437, + "L": 0.0006978584569878876 + }, + "sample": { + "question": "В соответствии с Федеральным законом 'Об обязательном социальном страховании от несчастных случаев на производстве и профессиональных заболеваний' N 125-ФЗ, каков срок проведения камеральной проверки после представления страхователем сведений?", + "answerA": "В течение одного месяца со дня представления", + "answerB": "В течение двух месяцев со дня представления", + "answerC": "В течение трех месяцев со дня представления", + "answerD": "В течение шести месяцев со дня представления", + "correct_answer": "В течение трех месяцев со дня представления", + "choices": [ + "На военные и оборонные объекты, вооружение и военную технику за исключением чрезвычайных ситуаций", + "В течение одного месяца со дня представления", + "В течение двух месяцев со дня представления", + "При проведении государственных праздников", + "В течение трех месяцев со дня представления", + "В течение шести месяцев со дня представления", + "В течение шести месяцев со дня вступления закона в силу", + "В течение одного года со дня вступления закона в силу", + "3 рабочих дня", + "Только на гражданские объекты и жилищные комплексы", + "Подписание производится в тот же день", + "Федеральный закон \"О международном медицинском кластере и внесении изменений в отдельные законодательные акты Российской Федерации\"" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nВ соответствии с Федеральным законом 'Об обязательном социальном страховании от несчастных случаев на производстве и профессиональных заболеваний' N 125-ФЗ, каков срок проведения камеральной проверки после представления страхователем сведений?\nA. На военные и оборонные объекты, вооружение и военную технику за исключением чрезвычайных ситуаций\nB. В течение одного месяца со дня представления\nC. В течение двух месяцев со дня представления\nD. При проведении государственных праздников\nE. В течение трех месяцев со дня представления\nF. В течение шести месяцев со дня представления\nG. В течение шести месяцев со дня вступления закона в силу\nH. В течение одного года со д��я вступления закона в силу\nI. 3 рабочих дня\nJ. Только на гражданские объекты и жилищные комплексы\nK. Подписание производится в тот же день\nL. Федеральный закон \"О международном медицинском кластере и внесении изменений в отдельные законодательные акты Российской Федерации\"\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 204, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.5294489860534668, + "B": 0.11813604086637497, + "C": 0.020528964698314667, + "D": 0.055803511291742325, + "E": 0.02326236665248871, + "F": 0.17188692092895508, + "G": 0.014109337702393532, + "H": 0.009697197005152702, + "I": 0.002303286222741008, + "J": 0.005525296553969383, + "K": 0.002032642951235175, + "L": 0.0007024625665508211 + }, + "sample": { + "question": "На что полностью распространяются требования в области охраны окружающей среды согласно Федеральному закону \"Об охране окружающей среды\" N 7-ФЗ, Статья 41?", + "answerA": "Только на гражданские объекты и жилищные комплексы", + "answerB": "На военные и оборонные объекты, вооружение и военную технику за исключением чрезвычайных ситуаций", + "answerC": "Только на объекты культурного наследия", + "answerD": "Исключительно на промышленные предприятия", + "correct_answer": "На военные и оборонные объекты, вооружение и военную технику за исключением чрезвычайных ситуаций", + "choices": [ + "На военные и оборонные объекты, вооружение и военную технику за исключением чрезвычайных ситуаций", + "В течение шести месяцев со дня вступления закона в силу", + "Только на объекты культурного наследия", + "Только на гражданские объекты и жилищные комплексы", + "Министерство финансов Российской Федерации", + "Федеральный закон \"О техническом регулировании\" N 184-ФЗ", + "Подписание производится в тот же день", + "Исключительно на промышленные предприятия", + "При проведении государственных праздников", + "В течение одного года со дня вступления закона в силу", + "Федеральный закон \"О международном медицинском кластере и внесении изменений в отдельные законодательные акты Российской Федерации\"", + "3 рабочих дня" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nНа что полностью распространяются требования в области охраны окружающей среды согласно Федеральному закону \"Об охране окружающей среды\" N 7-ФЗ, Статья 41?\nA. На военные и оборонные объекты, вооружение и военную технику за исключением чрезвычайных ситуаций\nB. В течение шести месяцев со дня вступления закона в силу\nC. Только на объекты культурного наследия\nD. Только на гражданские объекты и жилищные комплексы\nE. Министерство финансов Российской Федерации\nF. Федеральный закон \"О техническом регулировании\" N 184-ФЗ\nG. Подписание производится в тот же день\nH. Исключительно на промышленные предприятия\nI. При проведении государственных праздников\nJ. В течение одного года со дня вступления закона в силу\nK. Федеральный закон \"О международном медицинском кластере и внесении изменений в отдельные законодательные акты Российской Федерации\"\nL. 3 рабочих дня\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 193, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.020452525466680527, + "B": 0.004563575144857168, + "C": 0.012405084446072578, + "D": 0.7674753665924072, + "E": 0.15112484991550446, + "F": 0.0019023813074454665, + "G": 0.003136496525257826, + "H": 0.001577129471115768, + "I": 0.010947448201477528, + "J": 0.0014815760077908635, + "K": 0.001577129471115768, + "L": 0.00042447863961569965 + }, + "sample": { + "question": "Какой срок был установлен для приведения нормативных правовых актов в соответствие с Федеральным законом \"Об оружии\" N 150-ФЗ согласно Статье 30?", + "answerA": "В течение шести месяцев со дня вступления закона в силу", + "answerB": "В течение одного года со дня вступления закона в силу", + "answerC": "В течение трех месяцев со дня вступления закона в силу", + "answerD": "В течение двух лет со дня вступления закона в силу", + "correct_answer": "В течение трех месяцев со дня вступления закона в силу", + "choices": [ + "Подписание производится в тот же день", + "Министерство финансов Российской Федерации", + "При ликвидации последствий аварий и катастроф", + "В течение трех месяцев со дня вступления закона в силу", + "В течение одного года со дня вступления закона в силу", + "3 рабочих дня", + "Обработка персональных данных, отнесенных к сведениям, составляющим государственную тайну.", + "В течение двух лет со дня вступления закона в силу", + "В течение шести месяцев со дня вступления закона в силу", + "При проведении государственных праздников", + "Федеральный закон \"О техническом регулировании\" N 184-ФЗ", + "Федеральный закон \"О международном медицинском кластере и внесении изменений в отдельные законодательные акты Российской Федерации\"" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКакой срок был установлен для приведения нормативных правовых актов в соответствие с Федеральным законом \"Об оружии\" N 150-ФЗ согласно Статье 30?\nA. Подписание производится в тот же день\nB. Министерство финансов Российской Федерации\nC. При ликвидации последствий аварий и катастроф\nD. В течение трех месяцев со дня вступления закона в силу\nE. В течение одного года со дня вступления закона в силу\nF. 3 рабочих дня\nG. Обработка персональных данных, отнесенных к сведениям, составляющим государственную тайну.\nH. В течение двух лет со дня вступления закона в силу\nI. В течение шести месяцев со дня вступления закона в силу\nJ. При проведении государственных праздников\nK. Федеральный закон \"О техническом регулировании\" N 184-ФЗ\nL. Федеральный закон \"О международном медицинском кластере и внесении изменений в отдельные законодательны�� акты Российской Федерации\"\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 204, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.00740511529147625, + "B": 0.025846390053629875, + "C": 0.7553422451019287, + "D": 0.025846390053629875, + "E": 0.00740511529147625, + "F": 0.01383457612246275, + "G": 0.0620022676885128, + "H": 0.008391094394028187, + "I": 0.0011356110917404294, + "J": 0.0032859996426850557, + "K": 0.009508355520665646, + "L": 7.259719131980091e-05 + }, + "sample": { + "question": "Сколько рабочих дней у конкурсной комиссии есть на подписание протокола о результате проведения конкурса в электронной форме согласно Федеральному закону 'О концессионных соглашениях' N 115-ФЗ?", + "answerA": "3 рабочих дня", + "answerB": "Подписание производится в тот же день", + "answerC": "5 рабочих дней", + "answerD": "7 рабочих дней", + "correct_answer": "5 рабочих дней", + "choices": [ + "Федеральная антимонопольная служба", + "При проведении государственных праздников", + "5 рабочих дней", + "Министерство финансов Российской Федерации", + "При ликвидации последствий аварий и катастроф", + "Федеральный закон \"О техническом регулировании\" N 184-ФЗ", + "3 рабочих дня", + "Федеральный закон \"О международном медицинском кластере и внесении изменений в отдельные законодательные акты Российской Федерации\"", + "Конституция Российской Федерации", + "Обработка персональных данных, отнесенных к сведениям, составляющим государственную тайну.", + "7 рабочих дней", + "Подписание производится в тот же день" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nСколько рабочих дней у конкурсной комиссии есть на подписание протокола о результате проведения конкурса в электронной форме согласно Федеральному закону 'О концессионных соглашениях' N 115-ФЗ?\nA. Федеральная антимонопольная служба\nB. При проведении государственных праздников\nC. 5 рабочих дней\nD. Министерство финансов Российской Федерации\nE. При ликвидации последствий аварий и катастроф\nF. Федеральный закон \"О техническом регулировании\" N 184-ФЗ\nG. 3 рабочих дня\nH. Федеральный закон \"О международном медицинском кластере и внесении изменений в отдельные законодательные акты Российской Федерации\"\nI. Конституция Российской Федерации\nJ. Обработка персональных данных, отнесенных к сведениям, составляющим государственную тайну.\nK. 7 рабочих дней\nL. Подписание производится в тот же день\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 186, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.013371938839554787, + "B": 0.041188471019268036, + "C": 0.007157482672482729, + "D": 0.05992886796593666, + "E": 0.015152391977608204, + "F": 0.026593275368213654, + "G": 0.015152391977608204, + "H": 0.3448668420314789, + "I": 0.003599008545279503, + "J": 0.02830839343369007, + "K": 0.01423435565084219, + "L": 0.3448668420314789 + }, + "sample": { + "question": "В каких случаях военнослужащие (сотрудники) войск национальной гвардии имеют право на оцепление (блокирование) участков местности (акватории)?", + "answerA": "При проведении государственных праздников", + "answerB": "При ликвидации последствий аварий и катастроф", + "answerC": "При организации массовых культурных мероприятий", + "answerD": "При обнаружении археологических находок", + "correct_answer": "При ликвидации последствий аварий и катастроф", + "choices": [ + "Обработка персональных данных, отнесенных к сведениям, составляющим государственную тайну.", + "Обработка персональных данных физическими лицами для личных и семейных нужд, не нарушающая права субъектов персональных данных.", + "При проведении государственных праздников", + "При ликвидации последствий аварий и катастроф", + "Министерство финансов Российской Федерации", + "Федеральный закон \"О воинской обязанности и военной службе\" N 53-ФЗ", + "При организации массовых культурных мероприятий", + "На основании решения суда", + "Договор инвестиционного товарищества может быть нотариально удостоверен в любой нотариальной конторе, независимо от места нахождения товарищей.", + "Конституция Российской Федерации", + "Федеральная антимонопольная служба", + "При обнаружении археологических находок" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nВ каких случаях военнослужащие (сотрудники) войск национальной гвардии имеют право на оцепление (блокирование) участков местности (акватории)?\nA. Обработка персональных данных, отнесенных к сведениям, составляющим государственную тайну.\nB. Обработка персональных данных физическими лицами для личных и семейных нужд, не нарушающая права субъектов персональных данных.\nC. При проведении государственных праздников\nD. При ликвидации последствий аварий и катастроф\nE. Министерство финансов Российской Федерации\nF. Федеральный закон \"О воинской обязанности и военной службе\" N 53-ФЗ\nG. При организации массовых культурных мероприятий\nH. На основании решения суда\nI. Договор инвестиционного товарищества может быть нотариально удостоверен в любой нотариальной конторе, независимо от места нахождения товарищей.\nJ. Конституция Российской Федерации\nK. Федеральная антимонопольная служба\nL. При обнаружении археологических находок\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 189, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.8120774030685425, + "B": 0.0404309518635273, + "C": 0.02452261373400688, + "D": 0.01685412973165512, + "E": 0.011583661660552025, + "F": 0.00042193487752228975, + "G": 0.0006535054999403656, + "H": 0.000308694172417745, + "I": 0.00022584546240977943, + "J": 0.00010668185132090002, + "K": 0.00025591644225642085, + "L": 2.6973391868523322e-05 + }, + "sample": { + "question": "В соответствии со Статьёй 50.1 Ф��дерального закона \"Об обществах с ограниченной ответственностью\" (ООО) №14-ФЗ, кто может определить случаи освобождения общества от обязанности раскрывать информацию по крупным сделкам и сделкам с заинтересованностью?", + "answerA": "Министерство финансов Российской Федерации", + "answerB": "Федеральная антимонопольная служба", + "answerC": "Правительство Российской Федерации", + "answerD": "Центральный банк Российской Федерации", + "correct_answer": "Правительство Российской Федерации", + "choices": [ + "На основании решения суда", + "Обработка персональных данных, отнесенных к сведениям, составляющим государственную тайну.", + "Конституция Российской Федерации", + "По заявлению родителей", + "Договор инвестиционного товарищества может быть нотариально удостоверен в любой нотариальной конторе, независимо от места нахождения товарищей.", + "Федеральный закон \"О воинской обязанности и военной службе\" N 53-ФЗ", + "Обжалование возможно исключительно в судебном порядке", + "Правительство Российской Федерации", + "Федеральная антимонопольная служба", + "Центральный банк Российской Федерации", + "Обработка персональных данных физическими лицами для личных и семейных нужд, не нарушающая права субъектов персональных данных.", + "Министерство финансов Российской Федерации" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nВ соответствии со Статьёй 50.1 Федерального закона \"Об обществах с ограниченной ответственностью\" (ООО) №14-ФЗ, кто может определить случаи освобождения общества от обязанности раскрывать информацию по крупным сделкам и сделкам с заинтересованностью?\nA. На основании решения суда\nB. Обработка персональных данных, отнесенных к сведениям, составляющим государственную тайну.\nC. Конституция Российской Федерации\nD. По заявлению родителей\nE. Договор инвестиционного товарищества может быть нотариально удостоверен в любой нотариальной конторе, независимо от места нахождения товарищей.\nF. Федеральный закон \"О воинской обязанности и военной службе\" N 53-ФЗ\nG. Обжалование возможно исключительно в судебном порядке\nH. Правительство Российской Федерации\nI. Федеральная антимонопольная служба\nJ. Центральный банк Российской Федерации\nK. Обработка персональных данных физическими лицами для личных и семейных нужд, не нарушающая права субъектов персональных данных.\nL. Министерство финансов Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 214, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.08583808690309525, + "B": 0.09726729243993759, + "C": 0.09726729243993759, + "D": 0.07575184851884842, + "E": 0.09726729243993759, + "F": 0.11021828651428223, + "G": 0.11021828651428223, + "H": 0.08583808690309525, + "I": 0.010251897387206554, + "J": 0.06685077399015427, + "K": 0.02459302544593811, + "L": 0.040547046810388565 + }, + "sample": { + "question": "Какое из следующих исключений НЕ указано в Федеральном законе 'О персональных данных' N 152-ФЗ относительно сферы его действия?", + "answerA": "Обработка персональных данных, отнесенных к сведениям, составляющим государственную тайну.", + "answerB": "Обработка персональных данных физическими лицами для личных и семейных нужд, не нарушающая права субъектов персональных данных.", + "answerC": "Обработка персональных данных в рамках деятельности коммерческих организаций без цели прямого маркетинга.", + "answerD": "Организация хранения, комплектования, учета и использования содержащих персональные данные документов Архивного фонда Российской Федерации и других архивных документов.", + "correct_answer": "C", + "choices": [ + "Организация хранения, комплектования, учета и использования содержащих персональные данные документов Архивного фонда Российской Федерации и других архивных документов.", + "Министерство внутренних дел Российской Федерации", + "Конституция Российской Федерации", + "Обработка персональных данных, отнесенных к сведениям, составляющим государственную тайну.", + "Обжалование возможно исключительно в судебном порядке", + "Договор инвестиционного товарищества может быть нотариально удостоверен в любой нотариальной конторе, независимо от места нахождения товарищей.", + "Федеральный закон \"О воинской обязанности и военной службе\" N 53-ФЗ", + "Обработка персональных данных физическими лицами для личных и семейных нужд, не нарушающая права субъектов персональных данных.", + "По заявлению родителей", + "Обработка персональных данных в рамках деятельности коммерческих организаций без цели прямого маркетинга.", + "На основании решения суда", + "Нотариальное удостоверение договора инвестиционного товарищества не требуется, если все участники согласны." + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКакое из следующих исключений НЕ указано в Федеральном законе 'О персональных данных' N 152-ФЗ относительно сферы его действия?\nA. Организация хранения, комплектования, учета и использования содержащих персональные данные документов Архивного фонда Российской Федерации и других архивных документов.\nB. Министерство внутренних дел Российской Федерации\nC. Конституция Российской Федерации\nD. Обработка персональных данных, отнесенных к сведениям, составляющим государственную тайну.\nE. Обжалование возможно исключительно в судебном порядке\nF. Договор инвестиционного товарищества может быть нотариально удостоверен в любой нотариальной конторе, независимо от места нахождения товарищей.\nG. Федеральный закон \"О воинской обязанности и военной службе\" N 53-ФЗ\nH. Обработка персональных данных физическими лицами для личных и семейных нужд, не нарушающая права субъектов персональных данных.\nI. По заявлению родителей\nJ. Обработка персональных данных в рамках деятельности коммерческих организаций без цели прямого маркетинга.\nK. На основании решения суда\nL. Нотариальное удостоверение договора инвестиционного товарищества не требуется, если все участники согласны.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 230, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0018472964875400066, + "B": 0.0005292592686600983, + "C": 0.002228264696896076, + "D": 0.004431433510035276, + "E": 0.6576830744743347, + "F": 0.0013515108730643988, + "G": 0.0011927041923627257, + "H": 0.0009288789588026702, + "I": 0.000638408528175205, + "J": 0.0015314624179154634, + "K": 0.003045676974579692, + "L": 0.00010421732440590858 + }, + "sample": { + "question": "В соответствии с каким документом резервист исполняет воинскую обязанность?", + "answerA": "Конституция Российской Федерации", + "answerB": "Федеральный закон \"О воинской обязанности и военной службе\" N 53-ФЗ", + "answerC": "Федеральный закон \"Об образовании в Российской Федерации\"", + "answerD": "Указ Президента Российской Федерации", + "correct_answer": "answerB", + "choices": [ + "Федеральное правительство", + "На основании решения суда", + "Обжалование возможно исключительно в судебном порядке", + "Министерство внутренних дел Российской Федерации", + "Федеральный закон \"О воинской обязанности и военной службе\" N 53-ФЗ", + "Обжалование возможно только после досудебного рассмотрения, за исключением определенных случаев", + "Договор инвестиционного товарищества может быть нотариально удостоверен в любой нотариальной конторе, независимо от места нахождения товарищей.", + "Конституция Российской Федерации", + "Указ Президента Российской Федерации", + "Нотариальное удостоверение договора инвестиционного товарищества не требуется, если все участники согласны.", + "Федеральный закон \"Об образовании в Российской Федерации\"", + "По заявлению родителей" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nВ соответствии с каким документом резервист исполняет воинскую обязанность?\nA. Федеральное правительство\nB. На основании решения суда\nC. Обжалование возможно исключительно в судебном порядке\nD. Министерство внутренних дел Российской Федерации\nE. Федеральный закон \"О воинской обязанности и военной службе\" N 53-ФЗ\nF. Обжалование возможно только после досудебного рассмотрения, за исключением определенных случаев\nG. Договор инвестиционного товарищества может быть нотариально удостоверен в любой нотариальной конторе, независимо от места нахождения товарищей.\nH. Конституция Российской Федерации\nI. Указ Президента Российской Федерации\nJ. Нотариальное удостоверение договора инвестиционного товарищества не требуется, если все участники согласны.\nK. Федеральный закон \"Об образовании в Российской Федерации\"\nL. По заявлению родителей\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 172, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.013565152883529663, + "B": 0.03925206884741783, + "C": 0.011245906352996826, + "D": 0.03463983163237572, + "E": 0.030569542199373245, + "F": 0.030569542199373245, + "G": 0.02101011946797371, + "H": 0.12090488523244858, + "I": 0.025343040004372597, + "J": 0.08309662342071533, + "K": 0.030569542199373245, + "L": 0.47818809747695923 + }, + "sample": { + "question": "Как осуществляется выход из гражданства Российской Федерации для лица, проживающего на территории Российской Федерации?", + "answerA": "На основании решения суда", + "answerB": "По заявлению родителей", + "answerC": "На основании добровольного волеизъявления такого лица в общем порядке", + "answerD": "Автоматически после получения гражданства другой страны", + "correct_answer": "На основании добровольного волеизъявления такого лица в общем порядке", + "choices": [ + "Обжалование возможно только после досудебного рассмотрения, за исключением определенных случаев", + "На основании решения суда", + "Федеральное правительство", + "По заявлению родителей", + "Обжалование возможно исключительно в судебном порядке", + "Министерство внутренних дел Российской Федерации", + "Нотариальное удостоверение договора инвестиционного товарищества не требуется, если все участники согласны.", + "Автоматически после получения гражданства другой страны", + "Судебное обжалование возможно без предварительного досудебного обжалования.", + "Генеральный прокурор Российской Федерации и подчиненные ему прокуроры", + "Договор инвестиционного товарищества может быть нотариально удостоверен в любой нотариальной конторе, независимо от места нахождения товарищей.", + "На основании добровольного волеизъявления такого лица в общем порядке" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКак осуществляется выход из гражданства Российской Федерации для лица, проживающего на территории Российской Федерации?\nA. Обжалование возможно только после досудебного рассмотрения, за исключением определенных случаев\nB. На основании решения суда\nC. Федеральное правительство\nD. По заявлению родителей\nE. Обжалование возможно исключительно в судебном порядке\nF. Министерство внутренних дел Российской Федерации\nG. Нотариальное удостоверение договора инвестиционного товарищества не требуется, если все участники согласны.\nH. Автоматически после получения гражданства другой страны\nI. Судебное обжалование возможно без предварительного досудебного обжалования.\nJ. Генеральный прокурор Российской Федерации и подчиненные ему прокуроры\nK. Договор инвестиционного товарищества может быть нотариально удостоверен в любой нотариальной конторе, независимо от места нахождения товарищей.\nL. На основании добровольного волеизъявления такого лица в общем порядке\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 193, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.010275382548570633, + "B": 0.008518591523170471, + "C": 0.003335928777232766, + "D": 0.013193853199481964, + "E": 0.010275382548570633, + "F": 0.004023897927254438, + "G": 0.008518591523170471, + "H": 0.5971993803977966, + "I": 0.00229274807497859, + "J": 0.0031338147819042206, + "K": 0.0075176311656832695, + "L": 0.2820970416069031 + }, + "sample": { + "question": "Какой из перечисленных пунктов соответствует требованиям Федерального закона 'Об инвестиционном товариществе' N 335-ФЗ, касающимся нотариального удостоверения договора инвестиционного товарищества?", + "answerA": "Договор инвестиционного товарищества может быть нотариально удостоверен в любой нотариальной конторе, независимо от места нахождения товарищей.", + "answerB": "Нотариальное удостоверение договора инвестиционного товарищества не требуется, если все участники согласны.", + "answerC": "Договор инвестиционного товарищества, включая все изменения и дополнительные соглашения, подлежит нотариальному удостоверению по месту нахождения любого из товарищей.", + "answerD": "Нотариальное удостоверение договора инвестиционного товарищества требуется только для крупных инвестиционных сделок.", + "correct_answer": "C", + "choices": [ + "Генеральный прокурор Российской Федерации и подчиненные ему прокуроры", + "Федеральное правительство", + "Обжалование возможно исключительно в судебном порядке", + "Нотариальное удостоверение договора инвестиционного товарищества не требуется, если все участники согласны.", + "Органы местного самоуправления", + "Обжалование возможно только после досудебного рассмотрения, за исключением определенных случаев", + "Нотариальное удостоверение договора инвестиционного товарищества требуется только для крупных инвестиционных сделок.", + "Договор инвестиционного товарищества, включая все изменения и дополнительные соглашения, подлежит нотариальному удостоверению по месту нахождения любого из товарищей.", + "Статья 53", + "Судебное обжалование возможно без предварительного досудебного обжалования.", + "Министерство внутренних дел Российской Федерации", + "Договор инвестиционного товарищества может быть нотариально удостоверен в любой нотариальной конторе, независимо от места нахождения товарищей." + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакой из перечисленных пунктов соответствует требованиям Федерального закона 'Об инвестиционном товариществе' N 335-ФЗ, касающимся нотариального удостоверения договора инвестиционного товарищества?\nA. Генеральный прокурор Российской Федерации и подчиненные ему ��рокуроры\nB. Федеральное правительство\nC. Обжалование возможно исключительно в судебном порядке\nD. Нотариальное удостоверение договора инвестиционного товарищества не требуется, если все участники согласны.\nE. Органы местного самоуправления\nF. Обжалование возможно только после досудебного рассмотрения, за исключением определенных случаев\nG. Нотариальное удостоверение договора инвестиционного товарищества требуется только для крупных инвестиционных сделок.\nH. Договор инвестиционного товарищества, включая все изменения и дополнительные соглашения, подлежит нотариальному удостоверению по месту нахождения любого из товарищей.\nI. Статья 53\nJ. Судебное обжалование возможно без предварительного досудебного обжалования.\nK. Министерство внутренних дел Российской Федерации\nL. Договор инвестиционного товарищества может быть нотариально удостоверен в любой нотариальной конторе, независимо от места нахождения товарищей.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 228, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0029480918310582638, + "B": 0.033739123493433, + "C": 0.013212431222200394, + "D": 0.049090128391981125, + "E": 0.02468406781554222, + "F": 0.020463813096284866, + "G": 0.05562640354037285, + "H": 0.07142572104930878, + "I": 0.0058629801496863365, + "J": 0.1941552460193634, + "K": 0.2824942171573639, + "L": 0.13344082236289978 + }, + "sample": { + "question": "Каков порядок обжалования решений контрольных (надзорных) органов и их должностных лиц согласно Федеральному закону от 31.07.2020 N 248-ФЗ?", + "answerA": "Обжалование возможно исключительно в судебном порядке", + "answerB": "Обжалование возможно только после досудебного рассмотрения, за исключением определенных случаев", + "answerC": "Обжалование решений не предусмотрено данным законом", + "answerD": "Досудебное обжалование не требуется при обращении в международные организации", + "correct_answer": "Обжалование возможно только после досудебного рассмотрения, за исключением определенных случаев", + "choices": [ + "Федеральное правительство", + "Статья 53", + "Генеральный прокурор Российской Федерации и подчиненные ему прокуроры", + "Обжалование решений не предусмотрено данным законом", + "Органы местного самоуправления", + "Торговые отношения между предприятиями", + "Судебное обжалование возможно без предварительного досудебного обжалования.", + "Министерство внутренних дел Российской Федерации", + "Досудебное обжалование не требуется при обращении в международные организации", + "Обжалование допускается только после получения согласования от вышестоящего органа лицензирующего органа.", + "Обжалование возможно только после досудебного рассмотрения, за исключением определенных случаев", + "Обжалование возможно исключительно в судебном порядке" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКаков порядок обжалования решений контрольных (надзорных) органов и их должностных лиц согласно Федеральному закону от 31.07.2020 N 248-ФЗ?\nA. Федеральное правительство\nB. Статья 53\nC. Генеральный прокурор Российской Федерации и подчиненные ему прокуроры\nD. Обжалование решений не предусмотрено данным законом\nE. Органы местного самоуправления\nF. Торговые отношения между предприятиями\nG. Судебное обжалование возможно без предварительного досудебного обжалования.\nH. Министерство внутренних дел Российской Федерации\nI. Досудебное обжалование не требуется при обращении в международные организации\nJ. Обжалование допускается только после получения согласования от вышестоящего органа лицензирующего органа.\nK. Обжалование возможно только после досудебного рассмотрения, за исключением определенных случаев\nL. Обжалование возможно исключительно в судебном порядке\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 209, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.019484058022499084, + "B": 0.03419558331370354, + "C": 0.03419558331370354, + "D": 0.36763718724250793, + "E": 0.05637899041175842, + "F": 0.25267311930656433, + "G": 0.03874867409467697, + "H": 0.05637899041175842, + "I": 0.0015993488486856222, + "J": 0.020740672945976257, + "K": 0.023502258583903313, + "L": 0.007167784497141838 + }, + "sample": { + "question": "Кто осуществляет надзор за исполнением войсками национальной гвардии федеральных конституционных законов и федеральных законов согласно Федеральному закону 'О войсках национальной гвардии Российской Федерации' N 226-ФЗ?", + "answerA": "Министерство внутренних дел Российской Федерации", + "answerB": "Генеральный прокурор Российской Федерации и подчиненные ему прокуроры", + "answerC": "Президент Российской Федерации", + "answerD": "Федеральная служба безопасности Российской Федерации", + "correct_answer": "B", + "choices": [ + "Министерство внутренних дел Российской Федерации", + "До величины собственных средств фонда", + "Обжалование допускается только после получения согласования от вышестоящего органа лицензирующего органа.", + "Президент Российской Федерации", + "Торговые отношения между предприятиями", + "Генеральный прокурор Российской Федерации и подчиненные ему прокуроры", + "Статья 53", + "Органы местного самоуправления", + "Статья 34", + "Федеральная служба безопасности Российской Федерации", + "Федеральное правительство", + "Судебное обжалование возможно без предварительного досудебного обжалования." + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКто осуществляет надзор за исполнением войсками национальной гвардии федеральных конституционных законов и федеральных законов согласно Федеральному закону 'О войсках национальной гвардии Российской Федерации' N 226-ФЗ?\nA. Министерство внутренних дел Российской Федерации\nB. До величины собственных средств фонда\nC. Обжалование допускается только после получения согласования от вышестоящего органа лицензирующего органа.\nD. Президент Российской Федерации\nE. Торговые отношения между предприятиями\nF. Генеральный прокурор Российской Федерации и подчиненные ему прокуроры\nG. Статья 53\nH. Органы местного самоуправления\nI. Статья 34\nJ. Федеральная служба безопасности Российской Федерации\nK. Федеральное правительство\nL. Судебное обжалование возможно без предварительного досудебного обжалования.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 175, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.001404915819875896, + "B": 0.004606541711837053, + "C": 0.0029742068145424128, + "D": 0.015104267746210098, + "E": 0.5667834877967834, + "F": 0.02490272931754589, + "G": 0.02490272931754589, + "H": 0.010381001979112625, + "I": 0.001094149542041123, + "J": 0.01332947053015232, + "K": 0.06769263744354248, + "L": 0.0007519972277805209 + }, + "sample": { + "question": "Кто создает муниципальную пожарную охрану согласно Федеральному закону \"О пожарной безопасности\" N 69-ФЗ, Статья 11.1?", + "answerA": "Федеральное правительство", + "answerB": "Органы местного самоуправления", + "answerC": "Региональные власти", + "answerD": "Министерство чрезвычайных ситуаций", + "correct_answer": "answerB", + "choices": [ + "Статья 53", + "До величины собственных средств фонда", + "Судебное обжалование возможно без предварительного досудебного обжалования.", + "Торговые отношения между предприятиями", + "Федеральное правительство", + "Органы местного самоуправления", + "Залогодатель может безоговорочно обременять заложенное имущество правами третьих лиц в любой момент.", + "Статья 34", + "Общественные отношения, возникающие в сфере образования", + "Региональные власти", + "Министерство чрезвычайных ситуаций", + "Обжалование допускается только после получения согласования от вышестоящего органа лицензирующего органа." + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКто создает муниципальную пожарную охрану согласно Федеральному закону \"О пожарной безопасности\" N 69-ФЗ, Статья 11.1?\nA. Статья 53\nB. До величины собственных средств фонда\nC. Судебное обжалование возможно без предварительного досудебного обжалования.\nD. Торговые отношения между предприятиями\nE. Федеральное правительство\nF. Органы местного самоуправления\nG. Залогодатель может безоговорочно обременять заложенное имущество правами третьих лиц в любой момент.\nH. Статья 34\nI. Общественные отношения, возникающие в сфере образования\nJ. Региональные власти\nK. Министерство чрезвычайных ситуаций\nL. Обжалование допускается только после получения согласования от вышестоящего органа лицензирующего органа.\n\nОтветь од��ой буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 180, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0010201975237578154, + "B": 0.012428549118340015, + "C": 0.015958571806550026, + "D": 0.05232615023851395, + "E": 0.005515134893357754, + "F": 0.008542008697986603, + "G": 0.021812783554196358, + "H": 0.00708157429471612, + "I": 0.0012305931886658072, + "J": 0.008542008697986603, + "K": 0.7223401665687561, + "L": 0.0010859945323318243 + }, + "sample": { + "question": "Какой порядок обжалования решений и действий (бездействия) лицензирующего органа предусмотрен Статьей 18.1 Федерального закона 'О лицензировании отдельных видов деятельности' N 99-ФЗ?", + "answerA": "Судебное обжалование возможно без предварительного досудебного обжалования.", + "answerB": "Обжалование допускается только после получения согласования от вышестоящего органа лицензирующего органа.", + "answerC": "Судебное обжалование возможно только после досудебного обжалования, за исключением специально установленных случаев.", + "answerD": "Досудебное обжалование не предусмотрено, соискатель лицензии может сразу обратиться в суд.", + "correct_answer": "Судебное обжалование возможно только после досудебного обжалования, за исключением специально установленных случаев.", + "choices": [ + "Он может повторно подать жалобу на те же самые действия (бездействие).", + "Досудебное обжалование не предусмотрено, соискатель лицензии может сразу обратиться в суд.", + "Торговые отношения между предприятиями", + "Общественные отношения, возникающие в сфере образования", + "До 100 тысяч рублей", + "Судебное обжалование возможно без предварительного досудебного обжалования.", + "Статья 53", + "Статья 34", + "До величины собственных средств фонда", + "Обжалование допускается только после получения согласования от вышестоящего органа лицензирующего органа.", + "Судебное обжалование возможно только после досудебного обжалования, за исключением специально установленных случаев.", + "Залогодатель может безоговорочно обременять заложенное имущество правами третьих лиц в любой момент." + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКакой порядок обжалования решений и действий (бездействия) лицензирующего органа предусмотрен Статьей 18.1 Федерального закона 'О лицензировании отдельных видов деятельности' N 99-ФЗ?\nA. Он может повторно подать жалобу на те же самые действия (бездействие).\nB. Досудебное обжалование не предусмотрено, соискатель лицензии может сразу обратиться в суд.\nC. Торговые отношения между предприятиями\nD. Общественные отношения, возникающие в сфере образования\nE. До 100 тысяч рублей\nF. Судебное обжалование возможно без предварительного досудебного обжалования.\nG. Статья 53\nH. Статья 34\nI. До величины собственных средств фонда\nJ. Обжалование допускается только после получения согласования от вышестоящего органа лицензирующего органа.\nK. Судебное обжалование возможно только после досудебного обжалования, за исключением специально установленных случаев.\nL. Залогодатель может безоговорочно обременять заложенное имущество правами третьих лиц в любой момент.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 242, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.010848915204405785, + "B": 0.006580200046300888, + "C": 0.7605677247047424, + "D": 0.015785079449415207, + "E": 0.029490411281585693, + "F": 0.006580200046300888, + "G": 0.013930284418165684, + "H": 0.006580200046300888, + "I": 0.0008365785470232368, + "J": 0.001295718364417553, + "K": 0.008449144661426544, + "L": 5.692988997907378e-05 + }, + "sample": { + "question": "В соответствии с какой статьей Федерального закона 'О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации' N 289-ФЗ устанавливаются размеры и порядок уплаты процентов за предоставление отсрочки или рассрочки уплаты ввозных таможенных пошлин, налогов?", + "answerA": "Статья 53", + "answerB": "Статья 34", + "answerC": "Статья 12", + "answerD": "Статья 48", + "correct_answer": "Статья 34", + "choices": [ + "До 100 тысяч рублей", + "Залогодатель имеет право обременять заложенное имущество правами других лиц только после погашения ипотеки.", + "Статья 48", + "Залогодатель может безоговорочно обременять заложенное имущество правами третьих лиц в любой момент.", + "Статья 53", + "Статья 34", + "Общественные отношения, возникающие в сфере образования", + "Торговые отношения между предприятиями", + "Изменять цели и задачи контрольного (надзорного) мероприятия.", + "Статья 12", + "До величины собственных средств фонда", + "Он может повторно подать жалобу на те же самые действия (бездействие)." + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nВ соответствии с какой статьей Федерального закона 'О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации' N 289-ФЗ устанавливаются размеры и порядок уплаты процентов за предоставление отсрочки или рассрочки уплаты ввозных таможенных пошлин, налогов?\nA. До 100 тысяч рублей\nB. Залогодатель имеет право обременять заложенное имущество правами других лиц только после погашения ипотеки.\nC. Статья 48\nD. Залогодатель может безоговорочно обременять заложенное имущество правами третьих лиц в любой момент.\nE. Статья 53\nF. Статья 34\nG. Общественные отношения, возникающие в сфере образования\nH. Торговые отношения между предприятиями\nI. Изменять цели и задачи контрольного (надзорного) мероприятия.\nJ. Статья 12\nK. До величины собственных средств фонда\nL. Он может повторно подать жалобу на те же самые действия (бездействие).\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 224, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.009540567174553871, + "B": 0.02288663014769554, + "C": 0.005436051171272993, + "D": 0.02019738033413887, + "E": 0.5902539491653442, + "F": 0.007430200930684805, + "G": 0.02019738033413887, + "H": 0.05490216985344887, + "I": 0.008962532505393028, + "J": 0.013881443068385124, + "K": 0.005106697324663401, + "L": 0.03773367404937744 + }, + "sample": { + "question": "Что является предметом регулирования Федерального закона 'Об образовании в Российской Федерации' N 273-ФЗ?", + "answerA": "Торговые отношения между предприятиями", + "answerB": "Общественные отношения, возникающие в сфере образования", + "answerC": "Международные отношения Российской Федерации с другими странами", + "answerD": "Экологическое регулирование и охрана окружающей среды", + "correct_answer": "B", + "choices": [ + "Залогодатель может безоговорочно обременять заложенное имущество правами третьих лиц в любой момент.", + "Изменять цели и задачи контрольного (надзорного) мероприятия.", + "В.В. Путиным", + "Экологическое регулирование и охрана окружающей среды", + "Общественные отношения, возникающие в сфере образования", + "Его исключат из списка участников данной закупки.", + "Торговые отношения между предприятиями", + "Залогодатель имеет право обременять заложенное имущество правами других лиц только после погашения ипотеки.", + "Международные отношения Российской Федерации с другими странами", + "До величины собственных средств фонда", + "До 100 тысяч рублей", + "Он может повторно подать жалобу на те же самые действия (бездействие)." + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nЧто является предметом регулирования Федерального закона 'Об образовании в Российской Федерации' N 273-ФЗ?\nA. Залогодатель может безоговорочно обременять заложенное имущество правами третьих лиц в любой момент.\nB. Изменять цели и задачи контрольного (надзорного) мероприятия.\nC. В.В. Путиным\nD. Экологическое регулирование и охрана окружающей среды\nE. Общественные отношения, возникающие в сфере образования\nF. Его исключат из списка участников данной закупки.\nG. Торговые отношения между предприятиями\nH. Залогодатель имеет право обременять заложенное имущество правами других лиц только после погашения ипотеки.\nI. Международные отношения Российской Федерации с другими странами\nJ. До величины собственных средств фонда\nK. До 100 тысяч рублей\nL. Он может повторно подать жалобу на те же самые действия (бездействие).\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 197, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.11577686667442322, + "B": 0.06197088956832886, + "C": 0.05468911677598953, + "D": 0.1311923712491989, + "E": 0.07022221386432648, + "F": 0.03317062556743622, + "G": 0.04826297610998154, + "H": 0.4041009545326233, + "I": 0.003496158169582486, + "J": 0.003085348755121231, + "K": 0.005086880177259445, + "L": 0.003085348755121231 + }, + "sample": { + "question": "Какова минимальная величина уставного капитала негосударственного пенсионного фонда, до которой он может быть уменьшен по решению контрольного органа, в соответствии со статьей 186.1-6 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?", + "answerA": "До величины собственных средств фонда", + "answerB": "До 100 тысяч рублей", + "answerC": "До одного рубля, если величина собственных средств имеет отрицательное значение", + "answerD": "До 10 миллионов рублей", + "correct_answer": "C", + "choices": [ + "Не более двух месяцев со дня подачи заявления", + "Его исключат из списка участников данной закупки.", + "До 100 тысяч рублей", + "До величины собственных средств фонда", + "Залогодатель может безоговорочно обременять заложенное имущество правами третьих лиц в любой момент.", + "Залогодатель имеет право обременять заложенное имущество правами других лиц только после погашения ипотеки.", + "В.В. Путиным", + "До одного рубля, если величина собственных средств имеет отрицательное значение", + "До 10 миллионов рублей", + "Он может повторно подать жалобу на те же самые действия (бездействие).", + "Получать средства от третьих лиц за предоставление сведений, полученных в результате осуществления экспертизы.", + "Изменять цели и задачи контрольного (надзорного) мероприятия." + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакова минимальная величина уставного капитала негосударственного пенсионного фонда, до которой он может быть уменьшен по решению контрольного органа, в соответствии со статьей 186.1-6 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?\nA. Не более двух месяцев со дня подачи заявления\nB. Его исключат из списка участников данной закупки.\nC. До 100 тысяч рублей\nD. До величины собственных средств фонда\nE. Залогодатель может безоговорочно обременять заложенное имущество правами третьих лиц в любой момент.\nF. Залогодатель имеет право обременять заложенное имущество правами других лиц только после погашения ипотеки.\nG. В.В. Путиным\nH. До одного рубля, если величина собственных средств имеет отрицательное значение\nI. До 10 миллионов рублей\nJ. Он может повторно подать жалобу на те же самые действия (бездействие).\nK. Получать средства от третьих лиц за предоставление сведений, полученных в результате осуществления экспертизы.\nL. Изменять цели и задачи контрольного (надзорного) мероприятия.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 244, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.004713425412774086, + "B": 0.03946502506732941, + "C": 0.009978320449590683, + "D": 0.16615396738052368, + "E": 0.014518371783196926, + "F": 0.009373764507472515, + "G": 0.02248649299144745, + "H": 0.579934298992157, + "I": 0.003448415081948042, + "J": 0.0060521578416228294, + "K": 0.019844260066747665, + "L": 0.07848557084798813 + }, + "sample": { + "question": "Согласно Федеральному закону \"Об ипотеке (залоге недвижимости)\" N 102-ФЗ, при каких условиях залогодатель вправе без согласия залогодержателя обременять заложенное имущество правами других лиц?", + "answerA": "Залогодатель может безоговорочно обременять заложенное имущество правами третьих лиц в любой момент.", + "answerB": "Залогодатель имеет право обременять заложенное имущество правами других лиц только после погашения ипотеки.", + "answerC": "Залогодатель вправе обременять заложенное имущество правами других лиц только с согласия залогодержателя, если это предусмотрено в закладной.", + "answerD": "Залогодатель вправе без согласия залогодержателя сдавать заложенное имущество в аренду, передавать его во временное безвозмездное пользование и предоставлять право ограниченного пользования этим имуществом, если срок пользования не превышает срока обеспеченного ипотекой обязательства и назначение имущества соответствует его использованию.", + "correct_answer": "D", + "choices": [ + "Получать средства от третьих лиц за предоставление сведений, полученных в результате осуществления экспертизы.", + "Определение вступает в силу после одобрения всех участников процесса.", + "Не более двух месяцев со дня подачи заявления", + "Залогодатель вправе обременять заложенное имущество правами других лиц только с согласия залогодержателя, если это предусмотрено в закладной.", + "Изменять цели и задачи контрольного (надзорного) мероприятия.", + "Б.Н. Ельциным", + "Его исключат из списка участников данной закупки.", + "Залогодатель вправе без согласия залогодержателя сдавать заложенное имущество в аренду, передавать его во временное безвозмездное пользование и предоставлять право ограниченного пользования этим имуществом, если срок пользования не превышает срока обеспеченного ипотекой обязательства и назначение имущества соответствует его использованию.", + "В.В. Путиным", + "Он может повторно подать жалобу на те же самые действия (бездействие).", + "Залогодатель может безоговорочно обременять заложенное имущество правами третьих лиц в любой момент.", + "Залогодатель имеет право обременять заложенное имущество правами других лиц только после погашения ипотеки." + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nСогласно Федеральному закону \"Об ипотеке (залоге недвижимости)\" N 102-ФЗ, при каких условиях залогодатель вправе без согласия залогодержателя обременять заложенное имущество правами других лиц?\nA. Получать средства от третьих лиц за предоставление сведений, полученных в результате осуществления экспертизы.\nB. Определение вступает в силу после одобрения всех участников процесса.\nC. Не более двух месяцев со дня подачи заявления\nD. Залогодатель вправе обременять заложенное имущество правами других лиц только с согласия залогодержателя, если это предусмотрено в закладной.\nE. Изменять цели и задачи контрольного (надзорного) мероприятия.\nF. Б.Н. Ельциным\nG. Его исключат из списка участников данной закупки.\nH. Залогодатель вправе без согласия залогодержателя сдавать заложенное имущество в аренду, передавать его во временное безвозмездное пользование и предоставлять право ограниченного пользования этим имуществом, если срок пользования не превышает срока обеспеченного ипотекой обязательства и назначение имущества соответствует его использованию.\nI. В.В. Путиным\nJ. Он может повторно подать жалобу на те же самые действия (бездействие).\nK. Залогодатель может безоговорочно обременять заложенное имущество правами третьих лиц в любой момент.\nL. Залогодатель имеет право обременять заложенное имущество правами других лиц только после погашения ипотеки.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 295, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.004218434914946556, + "B": 0.027507653459906578, + "C": 0.006533639971166849, + "D": 0.05139106512069702, + "E": 0.012206446379423141, + "F": 0.007403584662824869, + "G": 0.008930427953600883, + "H": 0.05139106512069702, + "I": 0.001369525445625186, + "J": 0.012206446379423141, + "K": 0.007403584662824869, + "L": 0.7094317078590393 + }, + "sample": { + "question": "Согласно Федеральному закону \"О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд\" N 44-ФЗ, что произойдет, если участник размещения заказа отозвал поданную им жалобу на действия (бездействие) заказчика?", + "answerA": "Он может повторно подать жалобу на те же самые действия (бездействие).", + "answerB": "Его исключат из списка участников данной закупки.", + "answerC": "Он не вправе повторно подать жалобу на те же действия (бездействие).", + "answerD": "Ему будет предложен альтернативный способ урегулирования ситуации.", + "correct_answer": "Он не вправе повторно подать жалобу на те же действия (бездействие).", + "choices": [ + "Ему будет предложен альтернативный способ урегулирования ситуации.", + "Не более трех месяцев со дня подачи заявления", + "Его исключат из списка участников данной закупки.", + "Он не вправе повторно подать жалобу на те же действия (бездействие).", + "Министерство труда и социальной защиты РФ", + "Определение вступает в силу после одобрения всех участников процесса.", + "Не более двух месяцев со дня подачи заявления", + "В.В. Путиным", + "Получать средства от третьих лиц за предоставление сведений, полученных в результате осуществления экспертизы.", + "Б.Н. Ельциным", + "Изменять цели и задачи контрольного (надзорного) мер��приятия.", + "Он может повторно подать жалобу на те же самые действия (бездействие)." + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nСогласно Федеральному закону \"О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд\" N 44-ФЗ, что произойдет, если участник размещения заказа отозвал поданную им жалобу на действия (бездействие) заказчика?\nA. Ему будет предложен альтернативный способ урегулирования ситуации.\nB. Не более трех месяцев со дня подачи заявления\nC. Его исключат из списка участников данной закупки.\nD. Он не вправе повторно подать жалобу на те же действия (бездействие).\nE. Министерство труда и социальной защиты РФ\nF. Определение вступает в силу после одобрения всех участников процесса.\nG. Не более двух месяцев со дня подачи заявления\nH. В.В. Путиным\nI. Получать средства от третьих лиц за предоставление сведений, полученных в результате осуществления экспертизы.\nJ. Б.Н. Ельциным\nK. Изменять цели и задачи контрольного (надзорного) мероприятия.\nL. Он может повторно подать жалобу на те же самые действия (бездействие).\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 229, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0063603403978049755, + "B": 0.12001082301139832, + "C": 0.014333248138427734, + "D": 0.3696593642234802, + "E": 0.02219976857304573, + "F": 0.2540629208087921, + "G": 0.02515563555061817, + "H": 0.015257664024829865, + "I": 0.0009753898484632373, + "J": 0.0727902352809906, + "K": 0.015257664024829865, + "L": 0.019591227173805237 + }, + "sample": { + "question": "Что может делать эксперт или экспертная организация при осуществлении экспертизы в соответствии со Статьей 33 Федерального закона от 31.07.2020 N 248-ФЗ?", + "answerA": "Изменять цели и задачи контрольного (надзорного) мероприятия.", + "answerB": "Получать средства от третьих лиц за предоставление сведений, полученных в результате осуществления экспертизы.", + "answerC": "Запросить в письменной форме дополнительные материалы и документы, необходимые для осуществления экспертизы.", + "answerD": "Отказываться от выполнения заключения на основании полной, всесторонней и объективной оценки результатов исследований.", + "correct_answer": "C", + "choices": [ + "Получать средства от третьих лиц за предоставление сведений, полученных в результате осуществления экспертизы.", + "Определение подлежит немедленному исполнению.", + "Б.Н. Ельциным", + "Определение вступает в силу после одобрения всех участников процесса.", + "Изменять цели и задачи контрольного (надзорного) мероприятия.", + "Запросить в письменной форме дополнительные материалы и документы, необходимые для осуществления экспертизы.", + "Не более двух месяцев со дня подачи заявления", + "В.В. Путиным", + "На основе среднерыночных цен аналогичных услуг за последние 3 ме��яца", + "Отказываться от выполнения заключения на основании полной, всесторонней и объективной оценки результатов исследований.", + "Министерство труда и социальной защиты РФ", + "Не более трех месяцев со дня подачи заявления" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nЧто может делать эксперт или экспертная организация при осуществлении экспертизы в соответствии со Статьей 33 Федерального закона от 31.07.2020 N 248-ФЗ?\nA. Получать средства от третьих лиц за предоставление сведений, полученных в результате осуществления экспертизы.\nB. Определение подлежит немедленному исполнению.\nC. Б.Н. Ельциным\nD. Определение вступает в силу после одобрения всех участников процесса.\nE. Изменять цели и задачи контрольного (надзорного) мероприятия.\nF. Запросить в письменной форме дополнительные материалы и документы, необходимые для осуществления экспертизы.\nG. Не более двух месяцев со дня подачи заявления\nH. В.В. Путиным\nI. На основе среднерыночных цен аналогичных услуг за последние 3 месяца\nJ. Отказываться от выполнения заключения на основании полной, всесторонней и объективной оценки результатов исследований.\nK. Министерство труда и социальной защиты РФ\nL. Не более трех месяцев со дня подачи заявления\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 222, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0939069539308548, + "B": 0.17544128000736237, + "C": 0.17544128000736237, + "D": 0.0939069539308548, + "E": 0.05026476830244064, + "F": 0.06454124301671982, + "G": 0.07313480228185654, + "H": 0.044358499348163605, + "I": 0.016318580135703087, + "J": 0.020953472703695297, + "K": 0.023743394762277603, + "L": 0.0038760025054216385 + }, + "sample": { + "question": "Кем был подписан Федеральный закон \"О пожарной безопасности\" N 69-ФЗ?", + "answerA": "В.В. Путиным", + "answerB": "Б.Н. Ельциным", + "answerC": "Д.А. Медведевым", + "answerD": "М.С. Горбачевым", + "correct_answer": "Б.Н. Ельциным", + "choices": [ + "На основе среднерыночных цен аналогичных услуг за последние 3 месяца", + "В.В. Путиным", + "Б.Н. Ельциным", + "Не более двух месяцев со дня подачи заявления", + "Министерство иностранных дел РФ", + "В течение 10 рабочих дней", + "Не более трех месяцев со дня подачи заявления", + "Определение подлежит немедленному исполнению.", + "М.С. Горбачевым", + "Министерство труда и социальной защиты РФ", + "Определение вступает в силу после одобрения всех участников процесса.", + "Д.А. Медведевым" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКем был подписан Федеральный закон \"О пожарной безопасности\" N 69-ФЗ?\nA. На основе среднерыночных цен аналогичных услуг за последние 3 месяца\nB. В.В. Путиным\nC. Б.Н. Ельциным\nD. Не более двух месяцев со дня подачи заявления\nE. Министерство иностранных дел РФ\nF. В течение 10 рабочих дней\nG. Не более трех месяцев со дня подачи ��аявления\nH. Определение подлежит немедленному исполнению.\nI. М.С. Горбачевым\nJ. Министерство труда и социальной защиты РФ\nK. Определение вступает в силу после одобрения всех участников процесса.\nL. Д.А. Медведевым\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 163, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.09704182296991348, + "B": 0.04583930969238281, + "C": 0.035699695348739624, + "D": 0.10996279865503311, + "E": 0.09704182296991348, + "F": 0.040453046560287476, + "G": 0.05885884165763855, + "H": 0.040453046560287476, + "I": 0.0856391191482544, + "J": 0.2327912300825119, + "K": 0.06669580936431885, + "L": 0.01158999279141426 + }, + "sample": { + "question": "Что происходит с определением арбитражного суда об утверждении внешнего управляющего согласно Статье 96 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?", + "answerA": "Определение вступает в силу после одобрения всех участников процесса.", + "answerB": "Определение подлежит немедленному исполнению.", + "answerC": "Определение может быть исполнено только после окончания срока на апелляцию.", + "answerD": "Определение становится действительным только после публикации в официальных источниках.", + "correct_answer": "answerB", + "choices": [ + "Определение вступает в силу после одобрения всех участников процесса.", + "Президент Российской Федерации", + "Министерство труда и социальной защиты РФ", + "Из расчета суммы фиксированного ежемесячного платежа, установленного посредством аукциона", + "Определение может быть исполнено только после окончания срока на апелляцию.", + "В течение 10 рабочих дней", + "Определение становится действительным только после публикации в официальных источниках.", + "Министерство иностранных дел РФ", + "Министерство иностранных дел Российской Федерации", + "Определение подлежит немедленному исполнению.", + "В течение 30 рабочих дней", + "На основе среднерыночных цен аналогичных услуг за последние 3 месяца" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nЧто происходит с определением арбитражного суда об утверждении внешнего управляющего согласно Статье 96 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?\nA. Определение вступает в силу после одобрения всех участников процесса.\nB. Президент Российской Федерации\nC. Министерство труда и социальной защиты РФ\nD. Из расчета суммы фиксированного ежемесячного платежа, установленного посредством аукциона\nE. Определение может быть исполнено только после окончания срока на апелляцию.\nF. В течение 10 рабочих дней\nG. Определение становится действительным только после публикации в официальных источниках.\nH. Министерство иностранных дел РФ\nI. Министерство иностранных дел Российской Федерации\nJ. Определение подлежит немедленному исполнению.\nK. В течение 30 рабочих дней\nL. На ��снове среднерыночных цен аналогичных услуг за последние 3 месяца\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 189, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.006742875557392836, + "B": 0.6069743037223816, + "C": 0.15346713364124298, + "D": 0.07249274104833603, + "E": 0.04982348158955574, + "F": 0.0059505668468773365, + "G": 0.014274667017161846, + "H": 0.0059505668468773365, + "I": 0.00013146513083484024, + "J": 0.0018148203380405903, + "K": 0.0021890911739319563, + "L": 0.00015857721155043691 + }, + "sample": { + "question": "Какой орган утверждает ежегодную квоту на выдачу иностранным гражданам приглашений на въезд в Российскую Федерацию в целях осуществления трудовой деятельности, согласно Статье 18 Федерального закона 'О правовом положении иностранных граждан в Российской Федерации' N 115-ФЗ?", + "answerA": "Министерство труда и социальной защиты РФ", + "answerB": "Министерство иностранных дел РФ", + "answerC": "Министерство внутренних дел РФ", + "answerD": "Правительство Российской Федерации", + "correct_answer": "D", + "choices": [ + "На основе среднерыночных цен аналогичных услуг за последние 3 месяца", + "Министерство внутренних дел РФ", + "Министерство иностранных дел Российской Федерации", + "Из расчета суммы фиксированного ежемесячного платежа, установленного посредством аукциона", + "Правительство Российской Федерации", + "Министерство труда и социальной защиты РФ", + "Министерство иностранных дел РФ", + "В течение 10 рабочих дней", + "Президент Российской Федерации", + "Средства федерального бюджета", + "В течение 30 рабочих дней", + "Уполномоченный Правительством Российской Федерации федеральный орган исполнительной власти в сфере образования" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКакой орган утверждает ежегодную квоту на выдачу иностранным гражданам приглашений на въезд в Российскую Федерацию в целях осуществления трудовой деятельности, согласно Статье 18 Федерального закона 'О правовом положении иностранных граждан в Российской Федерации' N 115-ФЗ?\nA. На основе среднерыночных цен аналогичных услуг за последние 3 месяца\nB. Министерство внутренних дел РФ\nC. Министерство иностранных дел Российской Федерации\nD. Из расчета суммы фиксированного ежемесячного платежа, установленного посредством аукциона\nE. Правительство Российской Федерации\nF. Министерство труда и социальной защиты РФ\nG. Министерство иностранных дел РФ\nH. В течение 10 рабочих дней\nI. Президент Российской Федерации\nJ. Средства федерального бюджета\nK. В течение 30 рабочих дней\nL. Уполномоченный Правительством Российской Федерации федеральный орган исполнительной власти в сфере образования\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 198, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0022771700751036406, + "B": 0.013104208745062351, + "C": 0.003996558021754026, + "D": 0.013104208745062351, + "E": 0.007948104292154312, + "F": 0.00425431365147233, + "G": 0.013104208745062351, + "H": 0.8630161881446838, + "I": 0.0017734616994857788, + "J": 0.0037544185761362314, + "K": 0.014849013648927212, + "L": 0.0334627702832222 + }, + "sample": { + "question": "Как определяется начальная (максимальная) цена контракта на энергосервис в соответствии со Статьёй 56.1 Федерального закона \"О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд\" N 44-ФЗ?", + "answerA": "На основе среднерыночных цен аналогичных услуг за последние 3 месяца", + "answerB": "Из расчета суммы фиксированного ежемесячного платежа, установленного посредством аукциона", + "answerC": "С учетом фактических расходов, понесенных заказчиком по контрактам на поставки соответствующих видов энергетических ресурсов за прошлый год, и не может превышать указанные расходы", + "answerD": "По результатам экспертной оценки стоимости необходимых для реализации объекта работ и услуг", + "correct_answer": "С учетом фактических расходов, понесенных заказчиком по контрактам на поставки соответствующих видов энергетических ресурсов за прошлый год, и не может превышать указанные расходы", + "choices": [ + "Руководитель уполномоченного федерального органа исполнительной власти", + "Только с лицом, права владения и пользования имуществом которого возникли на основании договора аренды.", + "В течение 10 рабочих дней", + "Министерство иностранных дел Российской Федерации", + "В течение 30 рабочих дней", + "На основе среднерыночных цен аналогичных услуг за последние 3 месяца", + "Уполномоченный Правительством Российской Федерации федеральный орган исполнительной власти в сфере образования", + "С учетом фактических расходов, понесенных заказчиком по контрактам на поставки соответствующих видов энергетических ресурсов за прошлый год, и не может превышать указанные расходы", + "Президент Российской Федерации", + "Из расчета суммы фиксированного ежемесячного платежа, установленного посредством аукциона", + "По результатам экспертной оценки стоимости необходимых для реализации объекта работ и услуг", + "Средства федерального бюджета" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКак определяется начальная (максимальная) цена контракта на энергосервис в соответствии со Статьёй 56.1 Федерального закона \"О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд\" N 44-ФЗ?\nA. Руководитель уполномоченного федерального органа исполнительной власти\nB. Только с лицом, права владения и пользования имуществом которого возникли на основании договора аренды.\nC. В течение 10 рабочих дней\nD. Министерство иностранных дел Росс��йской Федерации\nE. В течение 30 рабочих дней\nF. На основе среднерыночных цен аналогичных услуг за последние 3 месяца\nG. Уполномоченный Правительством Российской Федерации федеральный орган исполнительной власти в сфере образования\nH. С учетом фактических расходов, понесенных заказчиком по контрактам на поставки соответствующих видов энергетических ресурсов за прошлый год, и не может превышать указанные расходы\nI. Президент Российской Федерации\nJ. Из расчета суммы фиксированного ежемесячного платежа, установленного посредством аукциона\nK. По результатам экспертной оценки стоимости необходимых для реализации объекта работ и услуг\nL. Средства федерального бюджета\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 250, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.02624896541237831, + "B": 0.01804063282907009, + "C": 0.31977787613868713, + "D": 0.17116476595401764, + "E": 0.13330323994159698, + "F": 0.038192018866539, + "G": 0.07135208696126938, + "H": 0.038192018866539, + "I": 0.03370433673262596, + "J": 0.03370433673262596, + "K": 0.020442714914679527, + "L": 0.0033371816389262676 + }, + "sample": { + "question": "Какой срок установлен для государственной регистрации кредитной организации в связи с ее ликвидацией согласно Федеральному закону 'О банках и банковской деятельности' N 395-1, Статья 23?", + "answerA": "В течение 10 рабочих дней", + "answerB": "В течение 30 рабочих дней", + "answerC": "В течение 45 рабочих дней", + "answerD": "В течение 60 рабочих дней", + "correct_answer": "C", + "choices": [ + "Средства Банка России (Фонда консолидации страхового сектора)", + "Министерство иностранных дел Российской Федерации", + "В течение 10 рабочих дней", + "В течение 60 рабочих дней", + "В течение 30 рабочих дней", + "Руководитель уполномоченного федерального органа исполнительной власти", + "Средства федерального бюджета", + "Президент Российской Федерации", + "Уполномоченный Правительством Российской Федерации федеральный орган исполнительной власти в сфере образования", + "Постановление о прекращении исполнительного производства", + "В течение 45 рабочих дней", + "Только с лицом, права владения и пользования имуществом которого возникли на основании договора аренды." + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКакой срок установлен для государственной регистрации кредитной организации в связи с ее ликвидацией согласно Федеральному закону 'О банках и банковской деятельности' N 395-1, Статья 23?\nA. Средства Банка России (Фонда консолидации страхового сектора)\nB. Министерство иностранных дел Российской Федерации\nC. В течение 10 рабочих дней\nD. В течение 60 рабочих дней\nE. В течение 30 рабочих дней\nF. Руководитель уполномоченного федерального органа исполнительной власти\nG. Средства федерального бюджета\nH. Президент Российской Федерации\nI. Уполномоченный Правительством Российской Федерации федеральный орган исполнительной власти в сфере образования\nJ. Постановление о прекращении исполнительного производства\nK. В течение 45 рабочих дней\nL. Только с лицом, права владения и пользования имуществом которого возникли на основании договора аренды.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 193, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.00991249829530716, + "B": 0.8922945857048035, + "C": 0.01851898431777954, + "D": 0.02098475769162178, + "E": 0.004682332277297974, + "F": 0.0016181707615032792, + "G": 0.0026679127477109432, + "H": 0.0017225338378921151, + "I": 4.590397293213755e-05, + "J": 0.0014280307805165648, + "K": 0.0005253431154415011, + "L": 2.7842166673508473e-05 + }, + "sample": { + "question": "Какой федеральный орган исполнительной власти осуществляет федеральный государственный контроль (надзор) за соблюдением обязательных требований к проведению экзамена по русскому языку как иностранному?", + "answerA": "Министерство иностранных дел Российской Федерации", + "answerB": "Уполномоченный Правительством Российской Федерации федеральный орган исполнительной власти в сфере образования", + "answerC": "Федеральная налоговая служба", + "answerD": "Министерство внутренних дел Российской Федерации", + "correct_answer": "answerB", + "choices": [ + "с 1 января 2011 года", + "Уполномоченный Правительством Российской Федерации федеральный орган исполнительной власти в сфере образования", + "Только с лицом, права владения и пользования имуществом которого возникли на основании договора аренды.", + "Министерство иностранных дел Российской Федерации", + "Постановление о прекращении исполнительного производства", + "Средства федерального бюджета", + "Только с концессионером, определенным решением Правительства Российской Федерации.", + "Министерство внутренних дел Российской Федерации", + "Федеральная налоговая служба", + "Руководитель уполномоченного федерального органа исполнительной власти", + "Средства Банка России (Фонда консолидации страхового сектора)", + "Президент Российской Федерации" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКакой федеральный орган исполнительной власти осуществляет федеральный государственный контроль (надзор) за соблюдением обязательных требований к проведению экзамена по русскому языку как иностранному?\nA. с 1 января 2011 года\nB. Уполномоченный Правительством Российской Федерации федеральный орган исполнительной власти в сфере образования\nC. Только с лицом, права владения и пользования имуществом которого возникли на основании договора аренды.\nD. Министерство иностранных дел Российской Федерации\nE. Постановление о прекращении исполнительного производства\nF. Средства федерального бюджета\nG. Только с концессионером, определенным решением Правительства Российской Федерации.\nH. Министерство внутренних дел Российской Федерации\nI. Федеральная налоговая служба\nJ. Руководитель уполномоченного федерального органа исполнительной власти\nK. Средства Банка России (Фонда консолидации страхового сектора)\nL. Президент Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 186, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.017502328380942345, + "B": 0.011300353333353996, + "C": 0.07844000309705734, + "D": 0.27378249168395996, + "E": 0.12932570278644562, + "F": 0.02247343584895134, + "G": 0.061089131981134415, + "H": 0.028856461867690086, + "I": 0.012029163539409637, + "J": 0.028856461867690086, + "K": 0.16605748236179352, + "L": 0.0016279701376333833 + }, + "sample": { + "question": "Кто определяет порядок и условия несения боевой службы, выполнения служебно-боевых задач и специальные обязанности военнослужащих (сотрудников) войск национальной гвардии РФ?", + "answerA": "Президент Российской Федерации", + "answerB": "Руководитель уполномоченного федерального органа исполнительной власти", + "answerC": "Министр обороны Российской Федерации", + "answerD": "Глава администрации президента", + "correct_answer": "B", + "choices": [ + "с 1 января 2011 года", + "Решение о направлении на допрос", + "Постановление о прекращении исполнительного производства", + "Руководитель уполномоченного федерального органа исполнительной власти", + "Президент Российской Федерации", + "Средства Банка России (Фонда консолидации страхового сектора)", + "Только с лицом, права владения и пользования имуществом которого возникли на основании договора аренды.", + "Средства федерального бюджета", + "Только с концессионером, определенным решением Правительства Российской Федерации.", + "Федеральный закон 'О внесении изменений в Конституцию РФ'", + "Министр обороны Российской Федерации", + "Глава администрации президента" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКто определяет порядок и условия несения боевой службы, выполнения служебно-боевых задач и специальные обязанности военнослужащих (сотрудников) войск национальной гвардии РФ?\nA. с 1 января 2011 года\nB. Решение о направлении на допрос\nC. Постановление о прекращении исполнительного производства\nD. Руководитель уполномоченного федерального органа исполнительной власти\nE. Президент Российской Федерации\nF. Средства Банка России (Фонда консолидации страхового сектора)\nG. Только с лицом, права владения и пользования имуществом которого возникли на основании договора аренды.\nH. Средства федерального бюджета\nI. Только с концессионером, определенным решением Правительства Российской Федерации.\nJ. Федеральный закон 'О внесении изменений в Конституцию РФ'\nK. Министр обороны Российской Федерации\nL. Глава администрации президента\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 179, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.02299382910132408, + "B": 0.013946463353931904, + "C": 0.0070127216167747974, + "D": 0.07539386302232742, + "E": 0.07539386302232742, + "F": 0.024476805701851845, + "G": 0.02299382910132408, + "H": 0.033455826342105865, + "I": 0.3378918468952179, + "J": 0.23222945630550385, + "K": 0.04867793992161751, + "L": 0.029524659737944603 + }, + "sample": { + "question": "Какие средства используются для финансирования мероприятий по предупреждению банкротства страховой организации с участием контрольного органа, согласно Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ?", + "answerA": "Средства федерального бюджета", + "answerB": "Средства Банка России (Фонда консолидации страхового сектора)", + "answerC": "Частные инвестиции", + "answerD": "Средства международных финансовых организаций", + "correct_answer": "B", + "choices": [ + "Решение о направлении на допрос", + "Только с лицом, права владения и пользования имуществом которого возникли на основании договора аренды.", + "Федеральный закон 'О внесении изменений в Конституцию РФ'", + "Постановление о прекращении исполнительного производства", + "с 1 января 2012 года", + "Средства международных финансовых организаций", + "Только с концессионером, определенным решением Правительства Российской Федерации.", + "Частные инвестиции", + "Средства федерального бюджета", + "Средства Банка России (Фонда консолидации страхового сектора)", + "с 1 января 2011 года", + "Товарищи-вкладчики индивидуально" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКакие средства используются для финансирования мероприятий по предупреждению банкротства страховой организации с участием контрольного органа, согласно Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ?\nA. Решение о направлении на допрос\nB. Только с лицом, права владения и пользования имуществом которого возникли на основании договора аренды.\nC. Федеральный закон 'О внесении изменений в Конституцию РФ'\nD. Постановление о прекращении исполнительного производства\nE. с 1 января 2012 года\nF. Средства международных финансовых организаций\nG. Только с концессионером, определенным решением Правительства Российской Федерации.\nH. Частные инвестиции\nI. Средства федерального бюджета\nJ. Средства Банка России (Фонда консолидации страхового сектора)\nK. с 1 января 2011 года\nL. Товарищи-вкладчики индивидуально\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 193, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.00868991669267416, + "B": 0.02362164296209812, + "C": 0.016234902665019035, + "D": 0.03033079020678997, + "E": 0.6092102527618408, + "F": 0.0076688253320753574, + "G": 0.03033079020678997, + "H": 0.03033079020678997, + "I": 0.0028212033212184906, + "J": 0.0076688253320753574, + "K": 0.006767714861780405, + "L": 0.004651377443224192 + }, + "sample": { + "question": "В каких случаях концессионное соглашение может быть заключено без проведения конкурса, согласно Федеральному закону \"О концессионных соглашениях\" N 115-ФЗ?", + "answerA": "Только с лицом, права владения и пользования имуществом которого возникли на основании договора аренды.", + "answerB": "Только с концессионером, определенным решением Правительства Российской Федерации.", + "answerC": "Только в случаях, предусмотренных статьями 51 и 52.1 Федерального закона.", + "answerD": "В случаях, предусмотренных частью 6.8 статьи 29, частью 10 статьи 32, статьями 51 и 52.1 настоящего Федерального закона, частями 2 и 4.10 настоящей статьи, а также с концессионером, определенным решением Правительства Российской Федерации, и в иных предусмотренных федеральным законом случаях.", + "correct_answer": "answerD", + "choices": [ + "Закон Российской Федерации 'О воинской обязанности и военной службе' (1993)", + "С 1 января 2012 года", + "Федеральный закон 'О внесении изменений в Конституцию РФ'", + "Товарищи-вкладчики индивидуально", + "В случаях, предусмотренных частью 6.8 статьи 29, частью 10 статьи 32, статьями 51 и 52.1 настоящего Федерального закона, частями 2 и 4.10 настоящей статьи, а также с концессионером, определенным решением Правительства Российской Федерации, и в иных предусмотренных федеральным законом случаях.", + "Только в случаях, предусмотренных статьями 51 и 52.1 Федерального закона.", + "с 1 января 2012 года", + "Только с концессионером, определенным решением Правительства Российской Федерации.", + "с 1 января 2011 года", + "Только с лицом, права владения и пользования имуществом которого возникли на основании договора аренды.", + "Постановление о прекращении исполнительного производства", + "Решение о направлении на допрос" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nВ каких случаях концессионное соглашение может быть заключено без проведения конкурса, согласно Федеральному закону \"О концессионных соглашениях\" N 115-ФЗ?\nA. Закон Российской Федерации 'О воинской обязанности и военной службе' (1993)\nB. С 1 января 2012 года\nC. Федеральный закон 'О внесении изменений в Конституцию РФ'\nD. Товарищи-вкладчики индивидуально\nE. В случаях, предусмотренных частью 6.8 статьи 29, частью 10 статьи 32, статьями 51 и 52.1 настоящего Федерального закона, частями 2 и 4.10 настоящей статьи, а также с концессионером, определенным решением Правительства Российской Федерации, и в иных предусмотренных федеральным законом случаях.\nF. Только в случаях, предусмотренных статьями 51 и 52.1 Федерального закона.\nG. с 1 января 2012 года\nH. Только с концессионером, определенным решением Правительства Российской Федерации.\nI. с 1 января 2011 года\nJ. Только с лицом, права владения и пользования имуществом которого возникли на основании договора аренды.\nK. Постановление о прекращении исполнительного производства\nL. Решение о направлении на допрос\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 282, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.002345920307561755, + "B": 0.007225943263620138, + "C": 0.05015799030661583, + "D": 0.03447304666042328, + "E": 0.004382756073027849, + "F": 0.008716151118278503, + "G": 0.010513684712350368, + "H": 0.009278294630348682, + "I": 0.0012556805741041899, + "J": 0.005627570673823357, + "K": 0.6924096345901489, + "L": 0.003413293743506074 + }, + "sample": { + "question": "Какой документ выносит судебный пристав-исполнитель в рамках исполнения содержащегося в исполнительном документе требования об административном выдворении за пределы Российской Федерации иностранного гражданина или лица без гражданства?", + "answerA": "Постановление о прекращении исполнительного производства", + "answerB": "Решение о направлении на допрос", + "answerC": "Постановление о препровождении до пункта пропуска через Государственную границу Российской Федерации", + "answerD": "Уведомление о начале исполнительного производства", + "correct_answer": "Постановление о препровождении до пункта пропуска через Государственную границу Российской Федерации", + "choices": [ + "Государственная лотерея", + "Товарищи-вкладчики индивидуально", + "С 1 января 2012 года", + "Постановление о прекращении исполнительного производства", + "Федеральный закон 'О внесении изменений в Конституцию РФ'", + "с 1 января 2012 года", + "Уведомление о начале исполнительного производства", + "Инвестиционный комитет, если это предусмотрено договором", + "Решение о направлении на допрос", + "Закон Российской Федерации 'О воинской обязанности и военной службе' (1993)", + "Постановление о препровождении до пункта пропуска через Государственную границу Российской Федерации", + "с 1 января 2011 года" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКакой документ выносит судебный пристав-исполнитель в рамках исполнения содержащегося в исполнительном документе требования об административном выдворении за пределы Российской Федерации иностранного гражданина или лица без гражданства?\nA. Государственная лотерея\nB. Товарищи-вкладчики индивидуально\nC. С 1 января 2012 года\nD. Постановление о прекращении исполнительного производства\nE. Федеральный закон 'О внесении изменений в Конституцию РФ'\nF. с 1 января 2012 года\nG. Уведомление о начале исполнительного производства\nH. Инвестиционный комитет, если это предусмотрено договором\nI. Решение о направлении на допрос\nJ. Закон Российской Федерации 'О воинской обязанности и военной службе' (1993)\nK. Постановление о препровождении до пункта пропуска через Государственную границу Российской Ф��дерации\nL. с 1 января 2011 года\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 199, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.22517883777618408, + "B": 0.06451481580734253, + "C": 0.09386850148439407, + "D": 0.0731048658490181, + "E": 0.0731048658490181, + "F": 0.0443403385579586, + "G": 0.0443403385579586, + "H": 0.03453229367733002, + "I": 0.05024419352412224, + "J": 0.19871962070465088, + "K": 0.026893777772784233, + "L": 0.0038744157645851374 + }, + "sample": { + "question": "Когда вступил в силу Федеральный закон 'Об инвестиционном товариществе' N 335-ФЗ?", + "answerA": "с 1 января 2011 года", + "answerB": "с 1 января 2012 года", + "answerC": "с 1 января 2013 года", + "answerD": "с 1 января 2010 года", + "correct_answer": "с 1 января 2012 года", + "choices": [ + "С 1 января 2012 года", + "Федеральный закон 'О внесении изменений в Конституцию РФ'", + "С 1 июля 2011 года", + "Сначала выплачиваются штрафы и пени, затем распределяется имущество среди участников.", + "Закон Российской Федерации 'О воинской обязанности и военной службе' (1993)", + "с 1 января 2011 года", + "Государственная лотерея", + "Инвестиционный комитет, если это предусмотрено договором", + "Товарищи-вкладчики индивидуально", + "с 1 января 2012 года", + "с 1 января 2013 года", + "с 1 января 2010 года" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКогда вступил в силу Федеральный закон 'Об инвестиционном товариществе' N 335-ФЗ?\nA. С 1 января 2012 года\nB. Федеральный закон 'О внесении изменений в Конституцию РФ'\nC. С 1 июля 2011 года\nD. Сначала выплачиваются штрафы и пени, затем распределяется имущество среди участников.\nE. Закон Российской Федерации 'О воинской обязанности и военной службе' (1993)\nF. с 1 января 2011 года\nG. Государственная лотерея\nH. Инвестиционный комитет, если это предусмотрено договором\nI. Товарищи-вкладчики индивидуально\nJ. с 1 января 2012 года\nK. с 1 января 2013 года\nL. с 1 января 2010 года\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 199, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.00937624741345644, + "B": 0.010624680668115616, + "C": 0.03708377480506897, + "D": 0.025487283244729042, + "E": 0.008808169513940811, + "F": 0.006053760647773743, + "G": 0.01203934010118246, + "H": 0.01751713640987873, + "I": 0.028880873695015907, + "J": 0.05395657569169998, + "K": 0.5800879001617432, + "L": 0.0026863401290029287 + }, + "sample": { + "question": "Какой из перечисленных ниже законодательных актов был признан утратившим силу в связи с принятием Федерального закона 'О воинской обязанности и военной службе' N 53-ФЗ?", + "answerA": "Федеральный закон 'О внесении изменений в Конституцию РФ'", + "answerB": "Закон Российской Федерации 'О воинской обязанности и военной службе' (1993)", + "answerC": "Федеральный закон 'О минимальном размере оплаты труда'", + "answerD": "Федеральный закон 'О полиции'", + "correct_answer": "answerB", + "choices": [ + "Товарищи-вкладчики индивидуально", + "Государственная лотерея", + "Федеральный закон 'О минимальном размере оплаты труда'", + "Субсидии, бюджетные инвестиции, государственные и муниципальные гарантии", + "Инвестиционный комитет, если это предусмотрено договором", + "При увеличении страховых тарифов", + "Федеральный закон 'О полиции'", + "С 1 июля 2011 года", + "Федеральный закон 'О внесении изменений в Конституцию РФ'", + "С 1 января 2012 года", + "Закон Российской Федерации 'О воинской обязанности и военной службе' (1993)", + "Сначала выплачиваются штрафы и пени, затем распределяется имущество среди участников." + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКакой из перечисленных ниже законодательных актов был признан утратившим силу в связи с принятием Федерального закона 'О воинской обязанности и военной службе' N 53-ФЗ?\nA. Товарищи-вкладчики индивидуально\nB. Государственная лотерея\nC. Федеральный закон 'О минимальном размере оплаты труда'\nD. Субсидии, бюджетные инвестиции, государственные и муниципальные гарантии\nE. Инвестиционный комитет, если это предусмотрено договором\nF. При увеличении страховых тарифов\nG. Федеральный закон 'О полиции'\nH. С 1 июля 2011 года\nI. Федеральный закон 'О внесении изменений в Конституцию РФ'\nJ. С 1 января 2012 года\nK. Закон Российской Федерации 'О воинской обязанности и военной службе' (1993)\nL. Сначала выплачиваются штрафы и пени, затем распределяется имущество среди участников.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 206, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.07529354095458984, + "B": 0.011546638794243336, + "C": 0.20466910302639008, + "D": 0.013084056787192822, + "E": 0.0051237898878753185, + "F": 0.004247771110385656, + "G": 0.5563482046127319, + "H": 0.007935880683362484, + "I": 0.0007857586606405675, + "J": 0.0005073239444755018, + "K": 0.0027425670996308327, + "L": 2.6887184503721073e-05 + }, + "sample": { + "question": "Кто принимает решения касающиеся общих дел товарищей-вкладчиков согласно Федеральному закону 'Об инвестиционном товариществе' N 335-ФЗ?", + "answerA": "Товарищи-вкладчики индивидуально", + "answerB": "Инвестиционный комитет, если это предусмотрено договором", + "answerC": "Управляющий товарищ, если иное не предусмотрено договором", + "answerD": "Сторонний управленец, не являющийся членом товарищества", + "correct_answer": "Управляющий товарищ, если иное не предусмотрено договором", + "choices": [ + "Инвестиционный комитет, если это предусмотрено договором", + "В первую очередь осуществляется выплата участникам общества распределенной, но невыплаченной части прибыли; во вторую очередь распределяется имущество между участниками пропорционально их долям в уставном капитале.", + "Субсидии, бюджетные инвестиции, государственные и муниципальные гарантии", + "Сначала выплачиваются штрафы и пени, затем распределяется имущество среди участников.", + "15 дней", + "С 1 июля 2011 года", + "Управляющий товарищ, если иное не предусмотрено договором", + "Государственная лотерея", + "Товарищи-вкладчики индивидуально", + "При увеличении страховых тарифов", + "Сторонний управленец, не являющийся членом товарищества", + "С 1 января 2012 года" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКто принимает решения касающиеся общих дел товарищей-вкладчиков согласно Федеральному закону 'Об инвестиционном товариществе' N 335-ФЗ?\nA. Инвестиционный комитет, если это предусмотрено договором\nB. В первую очередь осуществляется выплата участникам общества распределенной, но невыплаченной части прибыли; во вторую очередь распределяется имущество между участниками пропорционально их долям в уставном капитале.\nC. Субсидии, бюджетные инвестиции, государственные и муниципальные гарантии\nD. Сначала выплачиваются штрафы и пени, затем распределяется имущество среди участников.\nE. 15 дней\nF. С 1 июля 2011 года\nG. Управляющий товарищ, если иное не предусмотрено договором\nH. Государственная лотерея\nI. Товарищи-вкладчики индивидуально\nJ. При увеличении страховых тарифов\nK. Сторонний управленец, не являющийся членом товарищества\nL. С 1 января 2012 года\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 221, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.007494386285543442, + "B": 0.0025899906177073717, + "C": 0.020371854305267334, + "D": 0.015865616500377655, + "E": 0.0335875079035759, + "F": 0.0003292803594376892, + "G": 0.0009528042282909155, + "H": 0.0006970865069888532, + "I": 0.866233229637146, + "J": 0.0033256136812269688, + "K": 0.0004500728682614863, + "L": 7.347237260546535e-05 + }, + "sample": { + "question": "Какие формы финансовой поддержки могут быть предоставлены субъектам малого и среднего предпринимательства согласно Федеральному закону 'О развитии малого и среднего предпринимательства в Российской Федерации' N 209-ФЗ?", + "answerA": "Государственная лотерея", + "answerB": "Субсидии, бюджетные инвестиции, государственные и муниципальные гарантии", + "answerC": "Частные займы без процентов", + "answerD": "Эксклюзивный доступ к государственным ресурсам", + "correct_answer": "B", + "choices": [ + "Государственная лотерея", + "90 дней", + "Эксклюзивный доступ к государственным ресурсам", + "Возлагать на контролируемое лицо обязанности, не предусмотренные законодательством Российской Федерации.", + "При заключении нового договора социального страхования", + "Частные займы без процентов", + "Сначала выплачиваются штрафы и пени, затем распределяется имущество среди участников.", + "При увеличении страховых тарифов", + "Субсидии, бюджетные инвестиции, государственные и муниципальные гарантии", + "В первую очередь осуществляется выплата участникам общества распределенной, но невыплаченной части прибыли; во вторую очередь распределяется имущество между участниками пропорционально их долям в уставном капитале.", + "35 дней", + "15 дней" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКакие формы финансовой поддержки могут быть предоставлены субъектам малого и среднего предпринимательства согласно Федеральному закону 'О развитии малого и среднего предпринимательства в Российской Федерации' N 209-ФЗ?\nA. Государственная лотерея\nB. 90 дней\nC. Эксклюзивный доступ к государственным ресурсам\nD. Возлагать на контролируемое лицо обязанности, не предусмотренные законодательством Российской Федерации.\nE. При заключении нового договора социального страхования\nF. Частные займы без процентов\nG. Сначала выплачиваются штрафы и пени, затем распределяется имущество среди участников.\nH. При увеличении страховых тарифов\nI. Субсидии, бюджетные инвестиции, государственные и муниципальные гарантии\nJ. В первую очередь осуществляется выплата участникам общества распределенной, но невыплаченной части прибыли; во вторую очередь распределяется имущество между участниками пропорционально их долям в уставном капитале.\nK. 35 дней\nL. 15 дней\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 217, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0009020033176057041, + "B": 0.009697449393570423, + "C": 0.0031483012717217207, + "D": 0.011697357520461082, + "E": 0.0263604037463665, + "F": 0.009109911508858204, + "G": 0.0263604037463665, + "H": 0.8200480937957764, + "I": 0.0015830652555450797, + "J": 0.005525440443307161, + "K": 0.02185354009270668, + "L": 0.005525440443307161 + }, + "sample": { + "question": "Какова очередность распределения имущества ликвидируемого общества с ограниченной ответственностью согласно статье 58 Федерального закона \"Об обществах с ограниченной ответственностью\" (ООО) N 14-ФЗ?", + "answerA": "Сначала выплачиваются штрафы и пени, затем распределяется имущество среди участников.", + "answerB": "В первую очередь осуществляется выплата участникам общества распределенной, но невыплаченной части прибыли; во вторую очередь распределяется имущество между участниками пропорционально их долям в уставном капитале.", + "answerC": "Сначала делятся офисные принадлежности и техника, а потом оставшееся имущество продают на аукционе.", + "answerD": "Распределение происходит исключительно на усмотрение ликвидационной комиссии без предварительной очередности.", + "correct_answer": "B", + "choices": [ + "При увеличении страховых тарифов", + "15 дней", + "Сначала выплачиваются штрафы и пени, затем распределяется имущество среди участников.", + "90 дней", + "При заключении нового договора социального страхования", + "Сначала делятся офисные принадлежности и техника, а потом оставшееся иму��ество продают на аукционе.", + "35 дней", + "В первую очередь осуществляется выплата участникам общества распределенной, но невыплаченной части прибыли; во вторую очередь распределяется имущество между участниками пропорционально их долям в уставном капитале.", + "Возлагать на контролируемое лицо обязанности, не предусмотренные законодательством Российской Федерации.", + "Распределение происходит исключительно на усмотрение ликвидационной комиссии без предварительной очередности.", + "Игнорировать требования, указанные контролируемым лицом.", + "Имущество может быть передано в аренду иностранным компаниям." + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакова очередность распределения имущества ликвидируемого общества с ограниченной ответственностью согласно статье 58 Федерального закона \"Об обществах с ограниченной ответственностью\" (ООО) N 14-ФЗ?\nA. При увеличении страховых тарифов\nB. 15 дней\nC. Сначала выплачиваются штрафы и пени, затем распределяется имущество среди участников.\nD. 90 дней\nE. При заключении нового договора социального страхования\nF. Сначала делятся офисные принадлежности и техника, а потом оставшееся имущество продают на аукционе.\nG. 35 дней\nH. В первую очередь осуществляется выплата участникам общества распределенной, но невыплаченной части прибыли; во вторую очередь распределяется имущество между участниками пропорционально их долям в уставном капитале.\nI. Возлагать на контролируемое лицо обязанности, не предусмотренные законодательством Российской Федерации.\nJ. Распределение происходит исключительно на усмотрение ликвидационной комиссии без предварительной очередности.\nK. Игнорировать требования, указанные контролируемым лицом.\nL. Имущество может быть передано в аренду иностранным компаниям.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 238, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.012014392763376236, + "B": 0.14636527001857758, + "C": 0.35111203789711, + "D": 0.07834368944168091, + "E": 0.025434471666812897, + "F": 0.08877502381801605, + "G": 0.12916691601276398, + "H": 0.019808387383818626, + "I": 0.0011895860079675913, + "J": 0.009356819093227386, + "K": 0.028821030631661415, + "L": 0.004419848322868347 + }, + "sample": { + "question": "В каком случае производится возврат перечисленных капитализированных платежей и (или) их зачет в счет предстоящих платежей по страховым взносам согласно статье 23.1 Федерального закона N 125-ФЗ?", + "answerA": "При увеличении страховых тарифов", + "answerB": "При заключении нового договора социального страхования", + "answerC": "В случае прекращения производства по делу о банкротстве", + "answerD": "При изменении сведений о страхователе в регистрационных документах", + "correct_answer": "C", + "choices": [ + "35 дней", + "При увеличении страховых тарифов", + "Им��щество может быть передано в аренду иностранным компаниям.", + "18 лет", + "Возлагать на контролируемое лицо обязанности, не предусмотренные законодательством Российской Федерации.", + "При заключении нового договора социального страхования", + "В случае прекращения производства по делу о банкротстве", + "Игнорировать требования, указанные контролируемым лицом.", + "15 дней", + "При изменении сведений о страхователе в регистрационных документах", + "90 дней", + "30 дней" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nВ каком случае производится возврат перечисленных капитализированных платежей и (или) их зачет в счет предстоящих платежей по страховым взносам согласно статье 23.1 Федерального закона N 125-ФЗ?\nA. 35 дней\nB. При увеличении страховых тарифов\nC. Имущество может быть передано в аренду иностранным компаниям.\nD. 18 лет\nE. Возлагать на контролируемое лицо обязанности, не предусмотренные законодательством Российской Федерации.\nF. При заключении нового договора социального страхования\nG. В случае прекращения производства по делу о банкротстве\nH. Игнорировать требования, указанные контролируемым лицом.\nI. 15 дней\nJ. При изменении сведений о страхователе в регистрационных документах\nK. 90 дней\nL. 30 дней\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 185, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.3759782016277313, + "B": 0.0449041910469532, + "C": 0.2928121089935303, + "D": 0.08389207720756531, + "E": 0.0396278090775013, + "F": 0.01871885173022747, + "G": 0.0449041910469532, + "H": 0.030862169340252876, + "I": 0.01001947931945324, + "J": 0.004446116741746664, + "K": 0.005038110539317131, + "L": 0.0005652602994814515 + }, + "sample": { + "question": "Во сколько дней лицо, приобретшее более 30% акций публичного общества, обязано направить обязательное предложение о приобретении акций?", + "answerA": "15 дней", + "answerB": "35 дней", + "answerC": "45 дней", + "answerD": "60 дней", + "correct_answer": "B", + "choices": [ + "30 дней", + "Имущество может быть передано в аренду иностранным компаниям.", + "90 дней", + "45 дней", + "35 дней", + "Сведения об истории создания общественного объединения", + "Возлагать на контролируемое лицо обязанности, не предусмотренные законодательством Российской Федерации.", + "15 дней", + "Имущество подлежит приватизации каждые 10 лет.", + "Игнорировать требования, указанные контролируемым лицом.", + "60 дней", + "18 лет" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nВо сколько дней лицо, приобретшее более 30% акций публичного общества, обязано направить обязательное предложение о приобретении акций?\nA. 30 дней\nB. Имущество может быть передано в аренду иностранным компаниям.\nC. 90 дней\nD. 45 дней\nE. 35 дней\nF. Сведения об истории создания общественного объединения\nG. Возлагать на контролируемое лицо обязанности, не предусмотренные законодательством Российской Федерации.\nH. 15 дней\nI. Имущество подлежит приватизации каждые 10 лет.\nJ. Игнорировать требования, указанные контролируемым лицом.\nK. 60 дней\nL. 18 лет\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 162, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.18373985588550568, + "B": 0.015082285739481449, + "C": 0.028177419677376747, + "D": 0.6413151025772095, + "E": 0.021944595500826836, + "F": 0.017090467736124992, + "G": 0.015082285739481449, + "H": 0.007124367635697126, + "I": 0.028177419677376747, + "J": 0.004896501079201698, + "K": 0.004321147222071886, + "L": 0.0019174974877387285 + }, + "sample": { + "question": "Сколько календарных дней не может превышать срок анализа финансового положения банка, проводимого Банком России в соответствии со статьей 189.47-1 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?", + "answerA": "90 дней", + "answerB": "30 дней", + "answerC": "45 дней", + "answerD": "60 дней", + "correct_answer": "45 дней", + "choices": [ + "45 дней", + "Сведения об истории создания общественного объединения", + "С момента открытия вклада", + "90 дней", + "Порядок распределения имущества, оставшегося в результате ликвидации общественного объединения", + "Имущество может быть передано в аренду иностранным компаниям.", + "18 лет", + "Имущество подлежит приватизации каждые 10 лет.", + "60 дней", + "21 год", + "С 1 января 1999 года", + "30 дней" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nСколько календарных дней не может превышать срок анализа финансового положения банка, проводимого Банком России в соответствии со статьей 189.47-1 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?\nA. 45 дней\nB. Сведения об истории создания общественного объединения\nC. С момента открытия вклада\nD. 90 дней\nE. Порядок распределения имущества, оставшегося в результате ликвидации общественного объединения\nF. Имущество может быть передано в аренду иностранным компаниям.\nG. 18 лет\nH. Имущество подлежит приватизации каждые 10 лет.\nI. 60 дней\nJ. 21 год\nK. С 1 января 1999 года\nL. 30 дней\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 180, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.06380444020032883, + "B": 0.1965315192937851, + "C": 0.1965315192937851, + "D": 0.1734384447336197, + "E": 0.03415205329656601, + "F": 0.03415205329656601, + "G": 0.13507400453090668, + "H": 0.03415205329656601, + "I": 0.04385210946202278, + "J": 0.02071426808834076, + "K": 0.012563838623464108, + "L": 0.0015005365712568164 + }, + "sample": { + "question": "Согласно Федеральному закону 'О пожарной безопасности' N 69-ФЗ, какое положение применяется к имуществу Государственной противопожарной службы и муниципальной пожарной охраны?", + "answerA": "Имущество может быть передано в аренду иностранным компаниям.", + "answerB": "Имущество подлежит приватизации каждые 10 лет.", + "answerC": "Имущество приватизации не подлежит.", + "answerD": "Имущество используется исключительно для международных миссий.", + "correct_answer": "Имущество приватизации не подлежит.", + "choices": [ + "Имущество используется исключительно для международных миссий.", + "Порядок распределения имущества, оставшегося в результате ликвидации общественного объединения", + "21 год", + "С 1 января 1999 года", + "Имущество подлежит приватизации каждые 10 лет.", + "С момента принятия наследства", + "18 лет", + "Имущество может быть передано в аренду иностранным компаниям.", + "Имущество приватизации не подлежит.", + "С момента открытия вклада", + "Все подразделения ведомственной охраны без исключения", + "Сведения об истории создания общественного объединения" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nСогласно Федеральному закону 'О пожарной безопасности' N 69-ФЗ, какое положение применяется к имуществу Государственной противопожарной службы и муниципальной пожарной охраны?\nA. Имущество используется исключительно для международных миссий.\nB. Порядок распределения имущества, оставшегося в результате ликвидации общественного объединения\nC. 21 год\nD. С 1 января 1999 года\nE. Имущество подлежит приватизации каждые 10 лет.\nF. С момента принятия наследства\nG. 18 лет\nH. Имущество может быть передано в аренду иностранным компаниям.\nI. Имущество приватизации не подлежит.\nJ. С момента открытия вклада\nK. Все подразделения ведомственной охраны без исключения\nL. Сведения об истории создания общественного объединения\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 172, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.061014991253614426, + "B": 0.5788941383361816, + "C": 0.03265897557139397, + "D": 0.03265897557139397, + "E": 0.02244616113603115, + "F": 0.028821442276239395, + "G": 0.053845539689064026, + "H": 0.053845539689064026, + "I": 0.0012663258239626884, + "J": 0.010602816008031368, + "K": 0.005331430584192276, + "L": 0.001730862190015614 + }, + "sample": { + "question": "Что должен предусматривать устав общественного объединения согласно Федеральному закону \"Об общественных объединениях\" N 82-ФЗ, Статье 20?", + "answerA": "Сведения об истории создания общественного объединения", + "answerB": "Порядок распределения имущества, оставшегося в результате ликвидации общественного объединения", + "answerC": "Информация о частных спонсорах и их вкладе в деятельность объединения", + "answerD": "Список недвижимости, принадлежащей общественному объединению на праве собственности", + "correct_answer": "B", + "choices": [ + "Информация о частных спонсорах и их вкладе в деятельность объединения", + "Порядок распределения имущества, оставшегося в результате ликвидации общественного объединения", + "Все подразделения ведомственной охраны без исключения", + "Нахождение юридического лица или индивидуального предпринимателя за пределами Российской Федерации", + "С момента открытия вклада", + "Только военизированные и сторожевые подразделения организации, подведомственной федеральному органу исполнительной власти", + "Сведения об истории создания общественного объединения", + "Список недвижимости, принадлежащей общественному объединению на праве собственности", + "С даты подписания Президентом", + "По требованию любой заинтересованной третьей стороны", + "С 1 января 1999 года", + "С момента принятия наследства" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nЧто должен предусматривать устав общественного объединения согласно Федеральному закону \"Об общественных объединениях\" N 82-ФЗ, Статье 20?\nA. Информация о частных спонсорах и их вкладе в деятельность объединения\nB. Порядок распределения имущества, оставшегося в результате ликвидации общественного объединения\nC. Все подразделения ведомственной охраны без исключения\nD. Нахождение юридического лица или индивидуального предпринимателя за пределами Российской Федерации\nE. С момента открытия вклада\nF. Только военизированные и сторожевые подразделения организации, подведомственной федеральному органу исполнительной власти\nG. Сведения об истории создания общественного объединения\nH. Список недвижимости, принадлежащей общественному объединению на праве собственности\nI. С даты подписания Президентом\nJ. По требованию любой заинтересованной третьей стороны\nK. С 1 января 1999 года\nL. С момента принятия наследства\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 197, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.09786788374185562, + "B": 0.18284127116203308, + "C": 0.1256648451089859, + "D": 0.1256648451089859, + "E": 0.03600357845425606, + "F": 0.09786788374185562, + "G": 0.08636809885501862, + "H": 0.0762195736169815, + "I": 0.028039617463946342, + "J": 0.05935986712574959, + "K": 0.021837275475263596, + "L": 0.007089524995535612 + }, + "sample": { + "question": "С какого момента у наследника возникает право на возмещение по вкладам согласно Федеральному закону \"О страховании вкладов физических лиц в банках Российской Федерации\" N 177-ФЗ?", + "answerA": "С момента открытия вклада", + "answerB": "С момента принятия наследства", + "answerC": "С момента выдачи наследнику свидетельства о праве на наследство", + "answerD": "С момента наступления страхового случая", + "correct_answer": "С момента выдачи наследнику свидетельства о праве на наследство", + "choices": [ + "Все подразделения ведомственной охраны без исключения", + "С момента наступления страхового случая", + "5 лет", + "С момента выдачи наследнику свидетельства о праве на наследство", + "По требованию любой заинтересованной третьей стороны", + "С момента принятия наследства", + "С даты подписания Президентом", + "Только военизированные и сторожевые подразделения организации, подведомственной федеральному органу исполнительной власти", + "С 1 января 1999 года", + "С момента открытия вклада", + "В случае существенного нарушения условий концессионного соглашения другой стороной", + "Нахождение юридического лица или индивидуального предпринимателя за пределами Российской Федерации" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nС какого момента у наследника возникает право на возмещение по вкладам согласно Федеральному закону \"О страховании вкладов физических лиц в банках Российской Федерации\" N 177-ФЗ?\nA. Все подразделения ведомственной охраны без исключения\nB. С момента наступления страхового случая\nC. 5 лет\nD. С момента выдачи наследнику свидетельства о праве на наследство\nE. По требованию любой заинтересованной третьей стороны\nF. С момента принятия наследства\nG. С даты подписания Президентом\nH. Только военизированные и сторожевые подразделения организации, подведомственной федеральному органу исполнительной власти\nI. С 1 января 1999 года\nJ. С момента открытия вклада\nK. В случае существенного нарушения условий концессионного соглашения другой стороной\nL. Нахождение юридического лица или индивидуального предпринимателя за пределами Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 195, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.00146220822352916, + "B": 0.018962206318974495, + "C": 0.0030954950489103794, + "D": 0.02148699387907982, + "E": 0.003974693827331066, + "F": 0.004231039900332689, + "G": 0.006156126502901316, + "H": 0.006553163286298513, + "I": 0.00034730491461232305, + "J": 0.016734085977077484, + "K": 0.051544614136219025, + "L": 0.8062934875488281 + }, + "sample": { + "question": "Когда вступил в силу Федеральный закон 'Об ипотеке (залоге недвижимости)' N 102-ФЗ?", + "answerA": "С 1 января 1999 года", + "answerB": "С даты подписания Президентом", + "answerC": "Со дня его официального опубликования", + "answerD": "С 1 июля 1998 года", + "correct_answer": "Со дня его официального опубликования", + "choices": [ + "В случае существенного нарушения условий концессионного соглашения другой стороной", + "5 лет", + "Включение в реестр изготовителей государственных регистрационных знаков транспортных средств", + "С 1 января 1999 года", + "Только военизированные и сторожевые подразделения организации, подведомственной федеральному органу исполнительной власти", + "Если сделка осуществлена в рамках обычной хозяйственной деятельности кредитной организации", + "С 1 июля 1998 года", + "По требованию любой заинтересованной третьей стороны", + "Нахождение юридического лица или индивидуального предпринимателя за п��еделами Российской Федерации", + "С даты подписания Президентом", + "Все подразделения ведомственной охраны без исключения", + "Со дня его официального опубликования" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКогда вступил в силу Федеральный закон 'Об ипотеке (залоге недвижимости)' N 102-ФЗ?\nA. В случае существенного нарушения условий концессионного соглашения другой стороной\nB. 5 лет\nC. Включение в реестр изготовителей государственных регистрационных знаков транспортных средств\nD. С 1 января 1999 года\nE. Только военизированные и сторожевые подразделения организации, подведомственной федеральному органу исполнительной власти\nF. Если сделка осуществлена в рамках обычной хозяйственной деятельности кредитной организации\nG. С 1 июля 1998 года\nH. По требованию любой заинтересованной третьей стороны\nI. Нахождение юридического лица или индивидуального предпринимателя за пределами Российской Федерации\nJ. С даты подписания Президентом\nK. Все подразделения ведомственной охраны без исключения\nL. Со дня его официального опубликования\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 196, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.4118099510669708, + "B": 0.023232728242874146, + "C": 0.08109018206596375, + "D": 0.029831413179636, + "E": 0.05573241412639618, + "F": 0.026326127350330353, + "G": 0.19452524185180664, + "H": 0.015967603772878647, + "I": 0.006253003608435392, + "J": 0.0029537095688283443, + "K": 0.012435582466423512, + "L": 0.00010758886492112651 + }, + "sample": { + "question": "Какие подразделения могут использовать боевое ручное стрелковое оружие, принятое на вооружение войск национальной гвардии Российской Федерации, согласно Федеральному закону \"О ведомственной охране\" N 77-ФЗ?", + "answerA": "Все подразделения ведомственной охраны без исключения", + "answerB": "Только военизированные и сторожевые подразделения организации, подведомственной федеральному органу исполнительной власти", + "answerC": "Любые организации частной охраны", + "answerD": "Только федеральные органы исполнительной власти", + "correct_answer": "Только военизированные и сторожевые подразделения организации, подведомственной федеральному органу исполнительной власти", + "choices": [ + "Только военизированные и сторожевые подразделения организации, подведомственной федеральному органу исполнительной власти", + "Любые организации частной охраны", + "В случае существенного нарушения условий концессионного соглашения другой стороной", + "Нахождение юридического лица или индивидуального предпринимателя за пределами Российской Федерации", + "Только федеральные органы исполнительной власти", + "Не ограничен", + "Все подразделения ведомственной охраны без исключения", + "Если сделка осуществлена в рамках обычной хозяйственной деятельности кредитной организации", + "По требованию любой заинтересованной третьей стороны", + "Получение разрешения от Центрального банка Российской Федерации", + "5 лет", + "Включение в реестр изготовителей государственных регистрационных знаков транспортных средств" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКакие подразделения могут использовать боевое ручное стрелковое оружие, принятое на вооружение войск национальной гвардии Российской Федерации, согласно Федеральному закону \"О ведомственной охране\" N 77-ФЗ?\nA. Только военизированные и сторожевые подразделения организации, подведомственной федеральному органу исполнительной власти\nB. Любые организации частной охраны\nC. В случае существенного нарушения условий концессионного соглашения другой стороной\nD. Нахождение юридического лица или индивидуального предпринимателя за пределами Российской Федерации\nE. Только федеральные органы исполнительной власти\nF. Не ограничен\nG. Все подразделения ведомственной охраны без исключения\nH. Если сделка осуществлена в рамках обычной хозяйственной деятельности кредитной организации\nI. По требованию любой заинтересованной третьей стороны\nJ. Получение разрешения от Центрального банка Российской Федерации\nK. 5 лет\nL. Включение в реестр изготовителей государственных регистрационных знаков транспортных средств\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 200, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.001768852467648685, + "B": 0.02293882891535759, + "C": 0.017864778637886047, + "D": 0.03337579965591431, + "E": 0.048561498522758484, + "F": 0.7596296668052673, + "G": 0.03337579965591431, + "H": 0.015765611082315445, + "I": 0.0006112990668043494, + "J": 0.013913103379309177, + "K": 0.017864778637886047, + "L": 0.001768852467648685 + }, + "sample": { + "question": "По какой причине концессионное соглашение может быть расторгнуто на основании решения суда в соответствии со статьей 15 Федерального закона \"О концессионных соглашениях\" N 115-ФЗ?", + "answerA": "По требованию любой заинтересованной третьей стороны", + "answerB": "В случае существенного нарушения условий концессионного соглашения другой стороной", + "answerC": "Автоматически при истечении срока действия концессионного соглашения", + "answerD": "По инициативе муниципальных органов без обоснования причин", + "correct_answer": "В случае существенного нарушения условий концессионного соглашения другой стороной", + "choices": [ + "Если сделка совершена с участием иностранной платежной системы", + "Предоставление грантов на прохождение стажировок за рубежом", + "По требованию любой заинтересованной третьей стороны", + "Включение в реестр изготовителей государственных регистрационных знаков транспортных средств", + "Не ограничен", + "В случае существенного нарушения условий концессионного соглашения другой стороной", + "Если сделка осуществлена в рамках обычной хозяйственной деятельности кредитной организации", + "По инициативе муниципальных органов без обоснования причин", + "Автоматически при истечении срока действия концессионного соглашения", + "5 лет", + "Нахождение юридического лица или индивидуального предпринимателя за пределами Российской Федерации", + "Получение разрешения от Центрального банка Российской Федерации" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nПо какой причине концессионное соглашение может быть расторгнуто на основании решения суда в соответствии со статьей 15 Федерального закона \"О концессионных соглашениях\" N 115-ФЗ?\nA. Если сделка совершена с участием иностранной платежной системы\nB. Предоставление грантов на прохождение стажировок за рубежом\nC. По требованию любой заинтересованной третьей стороны\nD. Включение в реестр изготовителей государственных регистрационных знаков транспортных средств\nE. Не ограничен\nF. В случае существенного нарушения условий концессионного соглашения другой стороной\nG. Если сделка осуществлена в рамках обычной хозяйственной деятельности кредитной организации\nH. По инициативе муниципальных органов без обоснования причин\nI. Автоматически при истечении срока действия концессионного соглашения\nJ. 5 лет\nK. Нахождение юридического лица или индивидуального предпринимателя за пределами Российской Федерации\nL. Получение разрешения от Центрального банка Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 206, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.03531260788440704, + "B": 0.04001442715525627, + "C": 0.011464324779808521, + "D": 0.058220647275447845, + "E": 0.4874754846096039, + "F": 0.02426997572183609, + "G": 0.07475679367780685, + "H": 0.045342281460762024, + "I": 0.045342281460762024, + "J": 0.058220647275447845, + "K": 0.011464324779808521, + "L": 0.0050872634164988995 + }, + "sample": { + "question": "Что является основанием для приобретения статуса изготовителя государственных регистрационных знаков транспортных средств?", + "answerA": "Нахождение юридического лица или индивидуального предпринимателя за пределами Российской Федерации", + "answerB": "Включение в реестр изготовителей государственных регистрационных знаков транспортных средств", + "answerC": "Единоразовое нарушение правил учета, хранения и выдачи государственных регистрационных знаков транспортных средств", + "answerD": "Автоматическое получение статуса после изготовления первой партии знаков", + "correct_answer": "B", + "choices": [ + "Право на получение льготного кредитования", + "Единоразовое нарушение правил учета, хранения и выдачи государственных регистрационных знаков транспортных средств", + "Опубликование измене��ий в официальных средствах массовой информации", + "Не ограничен", + "Включение в реестр изготовителей государственных регистрационных знаков транспортных средств", + "Если сделка совершена с участием иностранной платежной системы", + "Нахождение юридического лица или индивидуального предпринимателя за пределами Российской Федерации", + "Получение разрешения от Центрального банка Российской Федерации", + "Автоматическое получение статуса после изготовления первой партии знаков", + "5 лет", + "Если сделка осуществлена в рамках обычной хозяйственной деятельности кредитной организации", + "Предоставление грантов на прохождение стажировок за рубежом" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nЧто является основанием для приобретения статуса изготовителя государственных регистрационных знаков транспортных средств?\nA. Право на получение льготного кредитования\nB. Единоразовое нарушение правил учета, хранения и выдачи государственных регистрационных знаков транспортных средств\nC. Опубликование изменений в официальных средствах массовой информации\nD. Не ограничен\nE. Включение в реестр изготовителей государственных регистрационных знаков транспортных средств\nF. Если сделка совершена с участием иностранной платежной системы\nG. Нахождение юридического лица или индивидуального предпринимателя за пределами Российской Федерации\nH. Получение разрешения от Центрального банка Российской Федерации\nI. Автоматическое получение статуса после изготовления первой партии знаков\nJ. 5 лет\nK. Если сделка осуществлена в рамках обычной хозяйственной деятельности кредитной организации\nL. Предоставление грантов на прохождение стажировок за рубежом\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 184, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.035374969244003296, + "B": 0.03121829777956009, + "C": 0.040085092186927795, + "D": 0.05147027596831322, + "E": 0.12347077578306198, + "F": 0.10896258056163788, + "G": 0.040085092186927795, + "H": 0.04542236030101776, + "I": 0.1399107128381729, + "J": 0.15853960812091827, + "K": 0.035374969244003296, + "L": 0.12347077578306198 + }, + "sample": { + "question": "В соответствии с Федеральным законом 'Об охране окружающей среды' N 7-ФЗ, какой срок реализации не может превышать план мероприятий по охране окружающей среды?", + "answerA": "5 лет", + "answerB": "Не ограничен", + "answerC": "7 лет", + "answerD": "10 лет", + "correct_answer": "C", + "choices": [ + "Если сделка осуществлена в рамках обычной хозяйственной деятельности кредитной организации", + "Право на получение льготного кредитования", + "Если сделка совершена с участием иностранной платежной системы", + "Получение разрешения от Центрального банка Российской Федерации", + "7 лет", + "10 лет", + "Государственная поддержка образовательного кредитования", + "Предоставление грантов на прохождение стажировок за рубежом", + "Не ограничен", + "Любой кредитор страховой организации", + "Опубликование изменений в официальных средствах массовой информации", + "5 лет" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nВ соответствии с Федеральным законом 'Об охране окружающей среды' N 7-ФЗ, какой срок реализации не может превышать план мероприятий по охране окружающей среды?\nA. Если сделка осуществлена в рамках обычной хозяйственной деятельности кредитной организации\nB. Право на получение льготного кредитования\nC. Если сделка совершена с участием иностранной платежной системы\nD. Получение разрешения от Центрального банка Российской Федерации\nE. 7 лет\nF. 10 лет\nG. Государственная поддержка образовательного кредитования\nH. Предоставление грантов на прохождение стажировок за рубежом\nI. Не ограничен\nJ. Любой кредитор страховой организации\nK. Опубликование изменений в официальных средствах массовой информации\nL. 5 лет\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 164, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.004136035684496164, + "B": 0.4780607223510742, + "C": 0.005653290078043938, + "D": 0.012739886529743671, + "E": 0.02697034180164337, + "F": 0.12087267637252808, + "G": 0.10666976869106293, + "H": 0.13696669042110443, + "I": 0.00033950648503378034, + "J": 0.011968016624450684, + "K": 0.006406017579138279, + "L": 0.03463060408830643 + }, + "sample": { + "question": "Что является условием для признания сделки кредитной организации недействительной в соответствии с Федеральным законом \"О несостоятельности (банкротстве)\" N 127-ФЗ?", + "answerA": "Если сделка осуществлена в рамках обычной хозяйственной деятельности кредитной организации", + "answerB": "Если сделка совершена с участием иностранной платежной системы", + "answerC": "Если сделка совершена с нарушением очередности платежей, установленной Гражданским кодексом РФ", + "answerD": "Если сделка оспаривается на основании заявления третьей стороны, не имеющей отношения к кредитной организации", + "correct_answer": "Если сделка совершена с нарушением очередности платежей, установленной Гражданским кодексом РФ", + "choices": [ + "Предоставление грантов на прохождение стажировок за рубежом", + "Если сделка совершена с нарушением очередности платежей, установленной Гражданским кодексом РФ", + "Любой кредитор страховой организации", + "Уважение к правам и свободам человека и гражданина, верность Президенту РФ", + "Если сделка осуществлена в рамках обычной хозяйственной деятельности кредитной организации", + "Опубликование изменений в официальных средствах массовой информации", + "Получение разрешения от Центрального банка Российской Федерации", + "Если сделка оспаривается на основ��нии заявления третьей стороны, не имеющей отношения к кредитной организации", + "Право на бесплатное профессиональное образование", + "Право на получение льготного кредитования", + "Если сделка совершена с участием иностранной платежной системы", + "Государственная поддержка образовательного кредитования" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nЧто является условием для признания сделки кредитной организации недействительной в соответствии с Федеральным законом \"О несостоятельности (банкротстве)\" N 127-ФЗ?\nA. Предоставление грантов на прохождение стажировок за рубежом\nB. Если сделка совершена с нарушением очередности платежей, установленной Гражданским кодексом РФ\nC. Любой кредитор страховой организации\nD. Уважение к правам и свободам человека и гражданина, верность Президенту РФ\nE. Если сделка осуществлена в рамках обычной хозяйственной деятельности кредитной организации\nF. Опубликование изменений в официальных средствах массовой информации\nG. Получение разрешения от Центрального банка Российской Федерации\nH. Если сделка оспаривается на основании заявления третьей стороны, не имеющей отношения к кредитной организации\nI. Право на бесплатное профессиональное образование\nJ. Право на получение льготного кредитования\nK. Если сделка совершена с участием иностранной платежной системы\nL. Государственная поддержка образовательного кредитования\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 213, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0013316695112735033, + "B": 0.011869041249155998, + "C": 0.0011039928067475557, + "D": 0.002648341003805399, + "E": 0.007198937237262726, + "F": 0.018383130431175232, + "G": 0.005266855470836163, + "H": 0.04694296792149544, + "I": 0.002819144632667303, + "J": 0.5046844482421875, + "K": 0.06027596816420555, + "L": 0.270138144493103 + }, + "sample": { + "question": "Какое условие необходимо для изменения условий обременения или его прекращения в отношении бездокументарных ценных бумаг по Федеральному закону 'О рынке ценных бумаг' N 39-ФЗ, Статья 51.6?", + "answerA": "Получение разрешения от Центрального банка Российской Федерации", + "answerB": "Опубликование изменений в официальных средствах массовой информации", + "answerC": "Согласие в письменной форме лица, в пользу которого установлено обременение, или без такого распоряжения в специальных случаях", + "answerD": "Согласие всех участников рынка ценных бумаг", + "correct_answer": "Согласие в письменной форме лица, в пользу которого установлено обременение, или без такого распоряжения в специальных случаях", + "choices": [ + "Суд назначает нового конкурсного управляющего из числа частных лиц.", + "Право на получение льготного кредитования", + "Государственная поддержка образовательного кредитования", + "Право на бесплатное профессионал��ное образование", + "Получение разрешения от Центрального банка Российской Федерации", + "Любой кредитор страховой организации", + "Предоставление грантов на прохождение стажировок за рубежом", + "Согласие всех участников рынка ценных бумаг", + "Опубликование изменений в официальных средствах массовой информации", + "Согласие в письменной форме лица, в пользу которого установлено обременение, или без такого распоряжения в специальных случаях", + "Контрольный орган, Управляющая компания от имени страховой организации", + "Уважение к правам и свободам человека и гражданина, верность Президенту РФ" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКакое условие необходимо для изменения условий обременения или его прекращения в отношении бездокументарных ценных бумаг по Федеральному закону 'О рынке ценных бумаг' N 39-ФЗ, Статья 51.6?\nA. Суд назначает нового конкурсного управляющего из числа частных лиц.\nB. Право на получение льготного кредитования\nC. Государственная поддержка образовательного кредитования\nD. Право на бесплатное профессиональное образование\nE. Получение разрешения от Центрального банка Российской Федерации\nF. Любой кредитор страховой организации\nG. Предоставление грантов на прохождение стажировок за рубежом\nH. Согласие всех участников рынка ценных бумаг\nI. Опубликование изменений в официальных средствах массовой информации\nJ. Согласие в письменной форме лица, в пользу которого установлено обременение, или без такого распоряжения в специальных случаях\nK. Контрольный орган, Управляющая компания от имени страховой организации\nL. Уважение к правам и свободам человека и гражданина, верность Президенту РФ\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 219, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.005365745630115271, + "B": 0.008310629054903984, + "C": 0.008310629054903984, + "D": 0.9023796916007996, + "E": 0.007334105204790831, + "F": 0.006889753509312868, + "G": 0.004448359366506338, + "H": 0.002381035126745701, + "I": 0.0007261747377924621, + "J": 0.005365745630115271, + "K": 0.01458560861647129, + "L": 0.00046885362826287746 + }, + "sample": { + "question": "Какой вид поддержки предоставляется гражданам Российской Федерации, обучающимся по основным профессиональным образовательным программам, в соответствии со Статьей 104 Федерального закона 'Об образовании в Российской Федерации' N 273-ФЗ?", + "answerA": "Предоставление грантов на прохождение стажировок за рубежом", + "answerB": "Государственная поддержка образовательного кредитования", + "answerC": "Единовременная материальная помощь", + "answerD": "Бесплатное обучение в вузах по выбору", + "correct_answer": "Б", + "choices": [ + "Предоставление грантов на прохождение стажировок за рубежом", + "Постановления местной администрации", + "Единовременная ма��ериальная помощь", + "Право на бесплатное профессиональное образование", + "Государственная поддержка образовательного кредитования", + "Бесплатное обучение в вузах по выбору", + "Право на получение льготного кредитования", + "Контрольный орган, Управляющая компания от имени страховой организации", + "Суд назначает нового конкурсного управляющего из числа частных лиц.", + "Уважение к правам и свободам человека и гражданина, верность Президенту РФ", + "Любой кредитор страховой организации", + "Святое соблюдение Конституции РФ, законов и международных обязательств РФ, борьба с нарушениями закона" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКакой вид поддержки предоставляется гражданам Российской Федерации, обучающимся по основным профессиональным образовательным программам, в соответствии со Статьей 104 Федерального закона 'Об образовании в Российской Федерации' N 273-ФЗ?\nA. Предоставление грантов на прохождение стажировок за рубежом\nB. Постановления местной администрации\nC. Единовременная материальная помощь\nD. Право на бесплатное профессиональное образование\nE. Государственная поддержка образовательного кредитования\nF. Бесплатное обучение в вузах по выбору\nG. Право на получение льготного кредитования\nH. Контрольный орган, Управляющая компания от имени страховой организации\nI. Суд назначает нового конкурсного управляющего из числа частных лиц.\nJ. Уважение к правам и свободам человека и гражданина, верность Президенту РФ\nK. Любой кредитор страховой организации\nL. Святое соблюдение Конституции РФ, законов и международных обязательств РФ, борьба с нарушениями закона\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 218, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0015852112555876374, + "B": 0.01171321514993906, + "C": 0.003572329180315137, + "D": 0.7714082598686218, + "E": 0.020557332783937454, + "F": 0.014128834940493107, + "G": 0.0493144765496254, + "H": 0.00667398888617754, + "I": 0.0008485024445690215, + "J": 0.055880628526210785, + "K": 0.010336876846849918, + "L": 0.00021453502995427698 + }, + "sample": { + "question": "Какое право имеют несовершеннолетние в сфере охраны здоровья согласно статье 54 Федерального закона \"Об основах охраны здоровья граждан в Российской Федерации\" N 323-ФЗ?", + "answerA": "Право на получение льготного кредитования", + "answerB": "Право на бесплатное профессиональное образование", + "answerC": "Право на прохождение медицинских осмотров, в том числе профилактических медицинских осмотров", + "answerD": "Право на участие в выборах", + "correct_answer": "C", + "choices": [ + "Право на получение льготного кредитования", + "Суд одновременно утверждает конкурсным управляющим Агентство в порядке, установленном пунктом 3 статьи 189.68 настоящего Федерального закона.", + "Суд назначает нового конкурсного управляющего из числа частных лиц.", + "Право на прохождение медицинских осмотров, в том числе профилактических медицинских осмотров", + "Уважение к правам и свободам человека и гражданина, верность Президенту РФ", + "Постановления местной администрации", + "Контрольный орган, Управляющая компания от имени страховой организации", + "Любой кредитор страховой организации", + "Право на бесплатное профессиональное образование", + "Святое соблюдение Конституции РФ, законов и международных обязательств РФ, борьба с нарушениями закона", + "К главному судебному приставу субъекта РФ", + "Право на участие в выборах" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКакое право имеют несовершеннолетние в сфере охраны здоровья согласно статье 54 Федерального закона \"Об основах охраны здоровья граждан в Российской Федерации\" N 323-ФЗ?\nA. Право на получение льготного кредитования\nB. Суд одновременно утверждает конкурсным управляющим Агентство в порядке, установленном пунктом 3 статьи 189.68 настоящего Федерального закона.\nC. Суд назначает нового конкурсного управляющего из числа частных лиц.\nD. Право на прохождение медицинских осмотров, в том числе профилактических медицинских осмотров\nE. Уважение к правам и свободам человека и гражданина, верность Президенту РФ\nF. Постановления местной администрации\nG. Контрольный орган, Управляющая компания от имени страховой организации\nH. Любой кредитор страховой организации\nI. Право на бесплатное профессиональное образование\nJ. Святое соблюдение Конституции РФ, законов и международных обязательств РФ, борьба с нарушениями закона\nK. К главному судебному приставу субъекта РФ\nL. Право на участие в выборах\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 230, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.05973750352859497, + "B": 0.026508353650569916, + "C": 0.015104005113244057, + "D": 0.0816514790058136, + "E": 0.1346205472946167, + "F": 0.03403740003705025, + "G": 0.052718158811330795, + "H": 0.2515042722225189, + "I": 0.026508353650569916, + "J": 0.043704885989427567, + "K": 0.06359023600816727, + "L": 0.11880221217870712 + }, + "sample": { + "question": "Кто может подать заявление о признании сделки страховой организации недействительной согласно статье 184.14 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?", + "answerA": "Любой кредитор страховой организации", + "answerB": "Контрольный орган, Управляющая компания от имени страховой организации", + "answerC": "Любое физическое лицо", + "answerD": "Любая юридическая организация", + "correct_answer": "B", + "choices": [ + "В соответствии с отдельным решением Президента Российской Федерации", + "Постановления местной администрации", + "Устав муниципального образования", + "Любой кредитор страховой организации", + "К главному судебному приставу субъекта РФ", + "Любая юридическая организация", + "Суд назначает нового конкурсного управляющего из числа частных лиц.", + "Суд одновременно утверждает конкурсным управляющим Агентство в порядке, установленном пунктом 3 статьи 189.68 настоящего Федерального закона.", + "Контрольный орган, Управляющая компания от имени страховой организации", + "Любое физическое лицо", + "Уважение к правам и свободам человека и гражданина, верность Президенту РФ", + "Святое соблюдение Конституции РФ, законов и международных обязательств РФ, борьба с нарушениями закона" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКто может подать заявление о признании сделки страховой организации недействительной согласно статье 184.14 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?\nA. В соответствии с отдельным решением Президента Российской Федерации\nB. Постановления местной администрации\nC. Устав муниципального образования\nD. Любой кредитор страховой организации\nE. К главному судебному приставу субъекта РФ\nF. Любая юридическая организация\nG. Суд назначает нового конкурсного управляющего из числа частных лиц.\nH. Суд одновременно утверждает конкурсным управляющим Агентство в порядке, установленном пунктом 3 статьи 189.68 настоящего Федерального закона.\nI. Контрольный орган, Управляющая компания от имени страховой организации\nJ. Любое физическое лицо\nK. Уважение к правам и свободам человека и гражданина, верность Президенту РФ\nL. Святое соблюдение Конституции РФ, законов и международных обязательств РФ, борьба с нарушениями закона\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 214, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.002210669917985797, + "B": 0.009907534345984459, + "C": 0.0011115946108475327, + "D": 0.0046799881383776665, + "E": 0.005303121171891689, + "F": 0.0036447783932089806, + "G": 0.002666576998308301, + "H": 0.006396784912794828, + "I": 0.0007639870746061206, + "J": 0.02376694045960903, + "K": 0.01195076759904623, + "L": 0.8378135561943054 + }, + "sample": { + "question": "Что включает в себя присяга прокурора, в соответствии со Статьей 40.4 Федерального закона \"О прокуратуре Российской Федерации\" N 2202-1-ФЗ?", + "answerA": "Уважение к правам и свободам человека и гражданина, верность Президенту РФ", + "answerB": "Святое соблюдение Конституции РФ, законов и международных обязательств РФ, борьба с нарушениями закона", + "answerC": "Присяга на верность только Генеральному прокурору Российской Федерации", + "answerD": "Выполнение личных указаний высшего руководства страны безоговорочно", + "correct_answer": "answerB", + "choices": [ + "Устав муниципального образования", + "Суд назначает нового конкурсного управляющего из числа частных лиц.", + "Только педагогический состав образовательных организаций", + "Постановления местной администрации", + "Уважение к правам и свободам человека и гражданина, верность Президенту РФ", + "Выполнение личных указаний высшего руководства страны безоговорочно", + "Присяга на верность только Генеральному прокурору Российской Федерации", + "К главному судебному приставу субъекта РФ", + "В соответствии с отдельным решением Президента Российской Федерации", + "Непосредственно в суд", + "Суд одновременно утверждает конкурсным управляющим Агентство в порядке, установленном пунктом 3 статьи 189.68 настоящего Федерального закона.", + "Святое соблюдение Конституции РФ, законов и международных обязательств РФ, борьба с нарушениями закона" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nЧто включает в себя присяга прокурора, в соответствии со Статьей 40.4 Федерального закона \"О прокуратуре Российской Федерации\" N 2202-1-ФЗ?\nA. Устав муниципального образования\nB. Суд назначает нового конкурсного управляющего из числа частных лиц.\nC. Только педагогический состав образовательных организаций\nD. Постановления местной администрации\nE. Уважение к правам и свободам человека и гражданина, верность Президенту РФ\nF. Выполнение личных указаний высшего руководства страны безоговорочно\nG. Присяга на верность только Генеральному прокурору Российской Федерации\nH. К главному судебному приставу субъекта РФ\nI. В соответствии с отдельным решением Президента Российской Федерации\nJ. Непосредственно в суд\nK. Суд одновременно утверждает конкурсным управляющим Агентство в порядке, установленном пунктом 3 статьи 189.68 настоящего Федерального закона.\nL. Святое соблюдение Конституции РФ, законов и международных обязательств РФ, борьба с нарушениями закона\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 215, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.004886035807430744, + "B": 0.5647489428520203, + "C": 0.08660706132650375, + "D": 0.03186095878481865, + "E": 0.0045900060795247555, + "F": 0.013281622901558876, + "G": 0.14279089868068695, + "H": 0.05252983421087265, + "I": 0.0004544721159618348, + "J": 0.009128316305577755, + "K": 0.028117192909121513, + "L": 0.0011605351464822888 + }, + "sample": { + "question": "Какое действие предпринимается арбитражным судом в случае освобождения конкурсного управляющего, аккредитованного при Банке России?", + "answerA": "Суд назначает нового конкурсного управляющего из числа частных лиц.", + "answerB": "Суд одновременно утверждает конкурсным управляющим Агентство в порядке, установленном пунктом 3 статьи 189.68 настоящего Федерального закона.", + "answerC": "Суд поручает выполнение обязанностей конкурсного управляющего судебному приставу.", + "answerD": "Суд возвращает дело на повторное рассмотрение.", + "correct_answer": "B", + "choices": [ + "Суд возвращает дело на повторное рассмотрение.", + "Суд одновременно утверждает конкурсным управляющим Агентство в порядке, установленном пунктом 3 статьи 189.68 настоящего Федерального закона.", + "Непосредственно в суд", + "Устав муниципального образования", + "К главному судебному приставу субъекта РФ", + "Только педагогический состав образовательных организаций", + "Суд назначает нового конкурсного управляющего из числа частных лиц.", + "В соответствии с отдельным решением Президента Российской Федерации", + "Была добавлена новая статья о правах граждан.", + "По упрощенной схеме, без таможенного декларирования", + "Суд поручает выполнение обязанностей конкурсного управляющего судебному приставу.", + "Постановления местной администрации" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКакое действие предпринимается арбитражным судом в случае освобождения конкурсного управляющего, аккредитованного при Банке России?\nA. Суд возвращает дело на повторное рассмотрение.\nB. Суд одновременно утверждает конкурсным управляющим Агентство в порядке, установленном пунктом 3 статьи 189.68 настоящего Федерального закона.\nC. Непосредственно в суд\nD. Устав муниципального образования\nE. К главному судебному приставу субъекта РФ\nF. Только педагогический состав образовательных организаций\nG. Суд назначает нового конкурсного управляющего из числа частных лиц.\nH. В соответствии с отдельным решением Президента Российской Федерации\nI. Была добавлена новая статья о правах граждан.\nJ. По упрощенной схеме, без таможенного декларирования\nK. Суд поручает выполнение обязанностей конкурсного управляющего судебному приставу.\nL. Постановления местной администрации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 181, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.9070290923118591, + "B": 0.006925252266228199, + "C": 0.006111514288932085, + "D": 0.00784733984619379, + "E": 0.006925252266228199, + "F": 0.000252252328209579, + "G": 0.00015299876395147294, + "H": 5.991517537040636e-05, + "I": 0.00020912451145704836, + "J": 0.0002226119104307145, + "K": 4.666198947234079e-05, + "L": 1.4231102795747574e-05 + }, + "sample": { + "question": "Какой документ является актом высшей юридической силы в системе муниципальных правовых актов согласно Федеральному закону \"Об общих принципах организации местного самоуправления в РФ\" (закон о МСУ) N 131-ФЗ?", + "answerA": "Постановления местной администрации", + "answerB": "Устав муниципального образования", + "answerC": "Решение представительного органа муниципального образования", + "answerD": "Распоряжения главы муниципального образования", + "correct_answer": "answerB", + "choices": [ + "Устав муниципального образования", + "К главному судебному приставу субъекта РФ", + "Непосредственно в суд", + "В соответствии с отдельным решением Президента Российской Федерации", + "Решение представительного органа муниципального образования", + "Постановления местной администрации", + "На 6 месяцев", + "Только администрация образовательных организаций", + "Была добавлена новая статья о правах граждан.", + "По упрощенной схеме, без таможенного декларирования", + "Только педагогический состав образовательных организаций", + "Распоряжения главы муниципального образования" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКакой документ является актом высшей юридической силы в системе муниципальных правовых актов согласно Федеральному закону \"Об общих принципах организации местного самоуправления в РФ\" (закон о МСУ) N 131-ФЗ?\nA. Устав муниципального образования\nB. К главному судебному приставу субъекта РФ\nC. Непосредственно в суд\nD. В соответствии с отдельным решением Президента Российской Федерации\nE. Решение представительного органа муниципального образования\nF. Постановления местной администрации\nG. На 6 месяцев\nH. Только администрация образовательных организаций\nI. Была добавлена новая статья о правах граждан.\nJ. По упрощенной схеме, без таможенного декларирования\nK. Только педагогический состав образовательных организаций\nL. Распоряжения главы муниципального образования\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 165, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.024779334664344788, + "B": 0.0492795892059803, + "C": 0.01599874161183834, + "D": 0.024779334664344788, + "E": 0.17200268805027008, + "F": 0.03837898373603821, + "G": 0.01703057251870632, + "H": 0.3641296625137329, + "I": 0.013263422064483166, + "J": 0.13395583629608154, + "K": 0.026377465575933456, + "L": 0.05584109574556351 + }, + "sample": { + "question": "К кому подается жалоба на постановление Федеральной службы судебных приставов об отказе в возбуждении исполнительного производства согласно Федеральному закону 'Об исполнительном производстве' N 229-ФЗ?", + "answerA": "К главному судебному приставу субъекта РФ", + "answerB": "Непосредственно в суд", + "answerC": "Старшему судебному приставу указанного в таком постановлении подразделения судебных приставов", + "answerD": "Заместителю главного судебного пристава Российской Федерации", + "correct_answer": "C", + "choices": [ + "Заместителю главного судебного пристава Российской Федерации", + "Статья 29 утратила силу.", + "К главному судебному приставу субъекта РФ", + "Только администрация образовательных организаций", + "На 6 месяцев", + "Была добавлена новая статья о правах граждан.", + "Только педагогический состав образовательных организаций", + "Старшему судебному приставу указанного в таком постановлении подразделения судебных приставов", + "По упрощенной схеме, без таможенного декларирования", + "Непосредственно в суд", + "В рамках федерального научно-исследовательского контроля", + "В соответствии с отдельным решением Президента Российской Федерации" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nК кому подается жалоба на постановление Федеральной службы судебных приставов об отказе в возбуждении исполнительного производства согласно Федеральному закону 'Об исполнительном производстве' N 229-ФЗ?\nA. Заместителю главного судебного пристава Российской Федерации\nB. Статья 29 утратила силу.\nC. К главному судебному приставу субъекта РФ\nD. Только администрация образовательных организаций\nE. На 6 месяцев\nF. Была добавлена новая статья о правах граждан.\nG. Только педагогический состав образовательных организаций\nH. Старшему судебному приставу указанного в таком постановлении подразделения судебных приставов\nI. По упрощенной схеме, без таможенного декларирования\nJ. Непосредственно в суд\nK. В рамках федерального научно-исследовательского контроля\nL. В соответствии с отдельным решением Президента Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 182, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.3136778473854065, + "B": 0.04810405522584915, + "C": 0.3554435670375824, + "D": 0.10183628648519516, + "E": 0.020052755251526833, + "F": 0.0050701298750936985, + "G": 0.04810405522584915, + "H": 0.008359231054782867, + "I": 0.0013646070146933198, + "J": 0.0005688528763130307, + "K": 0.007376995403319597, + "L": 0.00025242692208848894 + }, + "sample": { + "question": "Как регулируется ввоз и вывоз товаров, предназначенных для официального пользования дипломатическими представительствами, в соответствии с Федеральным законом \"О таможенном регулировании в Российской Федерации\" N 289-ФЗ?", + "answerA": "В соответствии с отдельным решением Президента Российской Федерации", + "answerB": "По упрощенной схеме, без таможенного декларирования", + "answerC": "В соответствии с главой 42 Кодекса Союза", + "answerD": "По общему правилу, аналогично всем другим категориям лиц", + "correct_answer": "C", + "choices": [ + "В соответствии с главой 42 Кодекса Союза", + "В соответствии с отдельным решением Президента Российской Федерации", + "На 6 месяцев", + "По упрощенной схеме, без таможенного декларирования", + "Была добавлена новая статья о правах граждан.", + "В рамках федерального научно-исследовательского контроля", + "По общему правилу, аналогично всем другим категориям лиц", + "Участие ее членов не менее чем в ста процедурах, связанных с банкротством.", + "Только педагогический состав образовательных организаций", + "Статья 29 утратила силу.", + "До конца календарного года", + "Только администрация образовательных организаций" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКак регулируется ввоз и вывоз товаров, предназначенных для официального пол��зования дипломатическими представительствами, в соответствии с Федеральным законом \"О таможенном регулировании в Российской Федерации\" N 289-ФЗ?\nA. В соответствии с главой 42 Кодекса Союза\nB. В соответствии с отдельным решением Президента Российской Федерации\nC. На 6 месяцев\nD. По упрощенной схеме, без таможенного декларирования\nE. Была добавлена новая статья о правах граждан.\nF. В рамках федерального научно-исследовательского контроля\nG. По общему правилу, аналогично всем другим категориям лиц\nH. Участие ее членов не менее чем в ста процедурах, связанных с банкротством.\nI. Только педагогический состав образовательных организаций\nJ. Статья 29 утратила силу.\nK. До конца календарного года\nL. Только администрация образовательных организаций\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 192, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.006115586031228304, + "B": 0.04810280352830887, + "C": 0.004762822762131691, + "D": 0.10183364152908325, + "E": 0.014670527540147305, + "F": 0.005396984983235598, + "G": 0.00370929017663002, + "H": 0.002549355383962393, + "I": 0.002549355383962393, + "J": 0.7524545192718506, + "K": 0.014670527540147305, + "L": 0.0003044770855922252 + }, + "sample": { + "question": "Кто имеет право принимать участие в разработке рабочих программ воспитания и календарных планов воспитательной работы согласно статье 12.1 Федерального закона 'Об образовании в Российской Федерации' N 273-ФЗ?", + "answerA": "Только педагогический состав образовательных организаций", + "answerB": "Только администрация образовательных организаций", + "answerC": "Советы обучающихся, советы родителей, представительные органы обучающихся", + "answerD": "Только эксперты министерства образования", + "correct_answer": "Советы обучающихся, советы родителей, представительные органы обучающихся", + "choices": [ + "В рамках федерального государственного контроля (надзора) в области безопасности дорожного движения", + "Жалоба будет рассмотрена вне очереди.", + "Статья 29 утратила силу.", + "Только педагогический состав образовательных организаций", + "На 6 месяцев", + "Была добавлена новая статья о правах граждан.", + "В рамках федерального научно-исследовательского контроля", + "До конца календарного года", + "Участие ее членов не менее чем в ста процедурах, связанных с банкротством.", + "Советы обучающихся, советы родителей, представительные органы обучающихся", + "Только эксперты министерства образования", + "Только администрация образовательных организаций" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКто имеет право принимать участие в разработке рабочих программ воспитания и календарных планов воспитательной работы согласно статье 12.1 Федерального закона 'Об образовании в Российской Федерации' N 273-ФЗ?\nA. В рамках федерального государственного контроля (надзора) в области безопасности дорожного движения\nB. Жалоба будет рассмотрена вне очереди.\nC. Статья 29 утратила силу.\nD. Только педагогический состав образовательных организаций\nE. На 6 месяцев\nF. Была добавлена новая статья о правах граждан.\nG. В рамках федерального научно-исследовательского контроля\nH. До конца календарного года\nI. Участие ее членов не менее чем в ста процедурах, связанных с банкротством.\nJ. Советы обучающихся, советы родителей, представительные органы обучающихся\nK. Только эксперты министерства образования\nL. Только администрация образовательных организаций\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 193, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.12229907512664795, + "B": 0.06546197831630707, + "C": 0.0840548425912857, + "D": 0.1079285591840744, + "E": 0.05776999145746231, + "F": 0.0840548425912857, + "G": 0.1079285591840744, + "H": 0.1385830044746399, + "I": 0.030922049656510353, + "J": 0.04499131441116333, + "K": 0.030922049656510353, + "L": 0.05776999145746231 + }, + "sample": { + "question": "Какое изменение произошло в Федеральном законе 'О полиции' N 3-ФЗ согласно Федеральному закону от 12.02.2015 N 16-ФЗ?", + "answerA": "Была добавлена новая статья о правах граждан.", + "answerB": "Статья 29 утратила силу.", + "answerC": "Изменения коснулись структуры полицейских подразделений.", + "answerD": "Были внесены поправки к положениям о служебной деятельности.", + "correct_answer": "Статья 29 утратила силу.", + "choices": [ + "Действие Федерального закона о лицензировании отдельных видов деятельности", + "Жалоба будет рассмотрена вне очереди.", + "В рамках федерального государственного контроля (надзора) в области безопасности дорожного движения", + "Были внесены поправки к положениям о служебной деятельности.", + "Изменения коснулись структуры полицейских подразделений.", + "До конца календарного года", + "На 6 месяцев", + "Участие ее членов не менее чем в ста процедурах, связанных с банкротством.", + "Была добавлена новая статья о правах граждан.", + "Обязательное получение лицензии на проведение банкротных процедур.", + "В рамках федерального научно-исследовательского контроля", + "Статья 29 утратила силу." + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКакое изменение произошло в Федеральном законе 'О полиции' N 3-ФЗ согласно Федеральному закону от 12.02.2015 N 16-ФЗ?\nA. Действие Федерального закона о лицензировании отдельных видов деятельности\nB. Жалоба будет рассмотрена вне очереди.\nC. В рамках федерального государственного контроля (надзора) в области безопасности дорожного движения\nD. Были внесены поправки к положениям о служебной деятельности.\nE. Изменения коснулись структуры полицейских подразделений.\nF. До конца календарного года\nG. На 6 месяцев\nH. Участие ее членов не менее чем в ста процедурах, связанных с банкротством.\nI. Была добавлена новая статья о правах граждан.\nJ. Обязательное получение лицензии на проведение банкротных процедур.\nK. В рамках федерального научно-исследовательского контроля\nL. Статья 29 утратила силу.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 201, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.04127104952931404, + "B": 0.06804445385932922, + "C": 0.12712378799915314, + "D": 0.16323016583919525, + "E": 0.06804445385932922, + "F": 0.07710447907447815, + "G": 0.11218634992837906, + "H": 0.07710447907447815, + "I": 0.02209080010652542, + "J": 0.06004903092980385, + "K": 0.06804445385932922, + "L": 0.03642157465219498 + }, + "sample": { + "question": "Каков максимальный срок отсрочки исполнения решения уполномоченным должностным лицом контрольного (надзорного) органа согласно Федеральному закону от 31.07.2020 N 248-ФЗ?", + "answerA": "На 6 месяцев", + "answerB": "До конца календарного года", + "answerC": "На срок до одного года", + "answerD": "На 3 месяца", + "correct_answer": "На срок до одного года", + "choices": [ + "Действие Федерального закона о лицензировании отдельных видов деятельности", + "Жалоба будет рассмотрена вне очереди.", + "В рамках федерального научно-исследовательского контроля", + "На срок до одного года", + "До конца календарного года", + "На 3 месяца", + "Обязательное получение лицензии на проведение банкротных процедур.", + "Филиалы и представительства некоммерческих организаций являются юридическими лицами.", + "В рамках федерального государственного контроля (надзора) в области безопасности дорожного движения", + "Участие ее членов не менее чем в ста процедурах, связанных с банкротством.", + "На 6 месяцев", + "Жалоба возвращается подателю без рассмотрения по существу и считается неподанной." + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКаков максимальный срок отсрочки исполнения решения уполномоченным должностным лицом контрольного (надзорного) органа согласно Федеральному закону от 31.07.2020 N 248-ФЗ?\nA. Действие Федерального закона о лицензировании отдельных видов деятельности\nB. Жалоба будет рассмотрена вне очереди.\nC. В рамках федерального научно-исследовательского контроля\nD. На срок до одного года\nE. До конца календарного года\nF. На 3 месяца\nG. Обязательное получение лицензии на проведение банкротных процедур.\nH. Филиалы и представительства некоммерческих организаций являются юридическими лицами.\nI. В рамках федерального государственного контроля (надзора) в области безопасности дорожного движения\nJ. Участие ее членов не менее чем в ста процедурах, связанных с банкротством.\nK. На 6 месяцев\nL. Жалоба возвращается подателю без рассмотрения по существу и считается неподанной.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 211, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0011350748827680945, + "B": 0.01220320537686348, + "C": 0.07475369423627853, + "D": 0.0453404076397419, + "E": 0.008928054943680763, + "F": 0.007878981530666351, + "G": 0.010769289918243885, + "H": 0.0044893077574670315, + "I": 0.0006467461353167892, + "J": 0.014719875529408455, + "K": 0.6259050369262695, + "L": 0.0032844480592757463 + }, + "sample": { + "question": "Согласно Федеральному закону \"О государственной регистрации транспортных средств в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 283-ФЗ, в рамках какой деятельности осуществляется оценка соблюдения специализированными организациями обязательных требований к участию в регистрации транспортных средств?", + "answerA": "В рамках федерального научно-исследовательского контроля", + "answerB": "В рамках федерального государственного контроля (надзора) в области безопасности дорожного движения", + "answerC": "В рамках федеральной программы повышения безопасности дорожного движения", + "answerD": "В рамках муниципального контроля безопасности дорожного движения", + "correct_answer": "B", + "choices": [ + "Жалоба будет рассмотрена вне очереди.", + "Действие Федерального закона о лицензировании отдельных видов деятельности", + "В рамках федерального научно-исследовательского контроля", + "Филиалы и представительства некоммерческих организаций являются юридическими лицами.", + "Жалоба возвращается подателю без рассмотрения по существу и считается неподанной.", + "Участие ее членов не менее чем в ста процедурах, связанных с банкротством.", + "Обязательное получение лицензии на проведение банкротных процедур.", + "Действие положений об ограничении продажи табачных изделий", + "Министерство цифрового развития, связи и массовых коммуникаций РФ", + "В рамках муниципального контроля безопасности дорожного движения", + "В рамках федерального государственного контроля (надзора) в области безопасности дорожного движения", + "В рамках федеральной программы повышения безопасности дорожного движения" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nСогласно Федеральному закону \"О государственной регистрации транспортных средств в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 283-ФЗ, в рамках какой деятельности осуществляется оценка соблюдения специализированными организациями обязательных требований к участию в регистрации транспортных средств?\nA. Жалоба будет рассмотрена вне очереди.\nB. Действие Федерального закона о лицензировании отдельных видов деятельности\nC. В рамках федерального научно-исследовательского контроля\nD. Филиалы и представительства некоммерческих организаций являются юридическими лицами.\nE. Жалоба возвращается подателю без рассмотрения по существу и считается неподанной.\nF. Участие ее членов не менее чем в ста процедурах, связанных с банкротством.\nG. Обязательное получение лицензии на проведение банкротных процедур.\nH. Действие положений об ограничении продажи табачных изделий\nI. Министерство цифрового развития, связи и массовых коммуникаций РФ\nJ. В рамках муниципального контроля безопасности дорожного движения\nK. В рамках федерального государственного контроля (надзора) в области безопасности дорожного движения\nL. В рамках федеральной программы повышения безопасности дорожного движения\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 236, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.12364751845598221, + "B": 0.09629678726196289, + "C": 0.14011099934577942, + "D": 0.10911855846643448, + "E": 0.06618375331163406, + "F": 0.045487381517887115, + "G": 0.10911855846643448, + "H": 0.07499601691961288, + "I": 0.01781311258673668, + "J": 0.06618375331163406, + "K": 0.040142472833395004, + "L": 0.013872867450118065 + }, + "sample": { + "question": "Какое условие НЕ является обязательным для включения некоммерческой организации в единый государственный реестр саморегулируемых организаций арбитражных управляющих согласно Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ, статья 21?", + "answerA": "Участие ее членов не менее чем в ста процедурах, связанных с банкротством.", + "answerB": "Обязательное получение лицензии на проведение банкротных процедур.", + "answerC": "Соответствие не менее чем ста ее членов условиям членства в саморегулируемой организации арбитражных управляющих.", + "answerD": "Наличие компенсационного фонда, сформированного в установленном размере.", + "correct_answer": "answerB", + "choices": [ + "Соответствие не менее чем ста ее членов условиям членства в саморегулируемой организации арбитражных управляющих.", + "Наличие компенсационного фонда, сформированного в установленном размере.", + "Проработать не менее 10 лет на общественных работах.", + "Действие положений об ограничении продажи табачных изделий", + "Министерство цифрового развития, связи и массовых коммуникаций РФ", + "Жалоба будет рассмотрена вне очереди.", + "Филиалы не могут осуществлять функции представительства.", + "Действие Федерального закона о лицензировании отдельных видов деятельности", + "Жалоба возвращается подателю без рассмотрения по существу и считается неподанной.", + "Участие ее членов не менее чем в ста процедурах, связанных с банкротством.", + "Обязательное получение лицензии на проведение банкротных процедур.", + "Филиалы и представительства некоммерческих организаций являются юридическими лицами." + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКакое условие НЕ является обязательным для включения некоммерческой организации в единый государственный реестр саморегулируемых организаций арбитражных управляющих согласно Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ, статья 21?\nA. Соответствие не менее чем ста ее членов условиям членства в саморегулируемой организации арбитражных управляющих.\nB. Наличие компенсационного фонда, сформированного в установленном размере.\nC. Проработать не менее 10 лет на общественных работах.\nD. Действие положений об ограничении продажи табачных изделий\nE. Министерство цифрового развития, связи и массовых коммуникаций РФ\nF. Жалоба будет рассмотрена вне очереди.\nG. Филиалы не могут осуществлять функции представительства.\nH. Действие Федерального закона о лицензировании отдельных видов деятельности\nI. Жалоба возвращается подателю без рассмотрения по существу и считается неподанной.\nJ. Участие ее членов не менее чем в ста процедурах, связанных с банкротством.\nK. Обязательное получение лицензии на проведение банкротных процедур.\nL. Филиалы и представительства некоммерческих организаций являются юридическими лицами.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 248, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.010604116134345531, + "B": 0.0475243479013443, + "C": 0.006042043212801218, + "D": 0.021088803187012672, + "E": 0.11400498449802399, + "F": 0.5789651274681091, + "G": 0.032662976533174515, + "H": 0.10060904175043106, + "I": 0.0013481619535014033, + "J": 0.013615954667329788, + "K": 0.012016037479043007, + "L": 0.013615954667329788 + }, + "sample": { + "question": "Какие последствия предусмотрены Федеральным законом 'Об исполнительном производстве' N 229-ФЗ при пропуске срока для обжалования постановлений и действий судебного пристава-исполнителя?", + "answerA": "Жалоба будет рассмотрена вне очереди.", + "answerB": "Жалоба возвращается подателю без рассмотрения по существу и считается неподанной.", + "answerC": "Податель жалобы обязан заплатить штраф в размере, установленном законом.", + "answerD": "Податель жалобы точно получит компенсацию за моральный ущерб.", + "correct_answer": "B", + "choices": [ + "Жалоба будет рассмотрена вне очереди.", + "Филиалы не могут осуществлять функции представительства.", + "Податель жалобы точно получит компенсацию за моральный ущерб.", + "Обязаны вести переговоры исключительно с нерезидентами.", + "Действие Федерального закона о лицензировании отдельных видов деятельности", + "Жалоба возвращается подателю без рассмотрения по существу и считается неподанной.", + "Проработать не менее 10 лет на общественных работах.", + "Податель жалобы обязан заплатить штраф в размере, установленном законом.", + "Филиалы и представительства некоммерческих организаций являются юридическими лицами.", + "Министерство цифрового развития, связи и массовых коммуникаций РФ", + "Федеральная служба по надзору за потребительским рынком и благополучием человека", + "Действие положений об ограничении продажи табачных изделий" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКакие последствия предусмотрены Федеральным законом 'Об исполнительном производстве' N 229-ФЗ при пропуске срока для обжалования постановлений и действий судебного пристава-исполнителя?\nA. Жалоба будет рассмотрена вне очереди.\nB. Филиалы не могут осуществлять функции представительства.\nC. Податель жалобы точно получит компенсацию за моральный ущерб.\nD. Обязаны вести переговоры исключительно с нерезидентами.\nE. Действие Федерального закона о лицензировании отдельных видов деятельности\nF. Жалоба возвращается подателю без рассмотрения по существу и считается неподанной.\nG. Проработать не менее 10 лет на общественных работах.\nH. Податель жалобы обязан заплатить штраф в размере, установленном законом.\nI. Филиалы и представительства некоммерческих организаций являются юридическими лицами.\nJ. Министерство цифрового развития, связи и массовых коммуникаций РФ\nK. Федеральная служба по надзору за потребительским рынком и благополучием человека\nL. Действие положений об ограничении продажи табачных изделий\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 222, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.05182614549994469, + "B": 0.033461473882198334, + "C": 0.040362242609262466, + "D": 0.0457364097237587, + "E": 0.040362242609262466, + "F": 0.0587267130613327, + "G": 0.06654608994722366, + "H": 0.1808910071849823, + "I": 0.03143414109945297, + "J": 0.09682398289442062, + "K": 0.10971594601869583, + "L": 0.1596357524394989 + }, + "sample": { + "question": "Что было приостановлено до 30 сентября 2018 года согласно Федеральному закону 'О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации' N 289-ФЗ?", + "answerA": "Действие Федерального закона о лицензировании отдельных видов деятельности", + "answerB": "Действие положений об ограничении продажи табачных изделий", + "answerC": "Действие абзацев одиннадцатого, четырнадцатого - шестнадцатого пункта 2 статьи 8, пунктов 3.1 и 4 статьи 12 Федерального закона 'О государственном регулировании производства и оборота этилового спирта, алкогольной и спиртосодержащей продукции и об ограничении потребления (распития) алкогольной продукции'", + "answerD": "Действие налоговых ставок на импорт электроники", + "correct_answer": "answerC", + "choices": [ + "Филиалы и представительства некоммерческих организаций являются юридическими лицами.", + "Министерство цифрового развития, связи и массовых коммуникаций РФ", + "Федеральная служба по надзору за потребительским рынком и благополучием человека", + "Иметь страховой стаж не менее 15 лет и воспитать пять и более детей до 8 лет.", + "Обязаны вести переговоры исключительно с нерезидентами.", + "Филиалы не могут осуществлять функции представительства.", + "Проработать не менее 10 лет на общественных работах.", + "Профессиональное образование", + "Действие абзацев одиннадцатого, четырнадцатого - шестнадцатого пункта 2 статьи 8, пунктов 3.1 и 4 статьи 12 Федерального закона 'О государственном регулировании производства и оборота этилового спирта, алкогольной и спиртосодержащей продукции и об ограничении потребления (распития) алкогольной продукции'", + "Действие налоговых ставок на импорт электроники", + "Действие положений об ограничении продажи табачных изделий", + "Действие Федерального закона о лицензировании отдельных видов деятельности" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nЧто было приостановлено до 30 сентября 2018 года согласно Федеральному закону 'О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации' N 289-ФЗ?\nA. Филиалы и представительства некоммерческих организаций являются юридическими лицами.\nB. Министерство цифрового развития, связи и массовых коммуникаций РФ\nC. Федеральная служба по надзору за потребительским рынком и благополучием человека\nD. Иметь страховой стаж не менее 15 лет и воспитать пять и более детей до 8 лет.\nE. Обязаны вести переговоры исключительно с нерезидентами.\nF. Филиалы не могут осуществлять функции представительства.\nG. Проработать не менее 10 лет на общественных работах.\nH. Профессиональное образование\nI. Действие абзацев одиннадцатого, четырнадцатого - шестнадцатого пункта 2 статьи 8, пунктов 3.1 и 4 статьи 12 Федерального закона 'О государственном регулировании производства и оборота этилового спирта, алкогольной и спиртосодержащей продукции и об ограничении потребления (распития) алкогольной продукции'\nJ. Действие налоговых ставок на импорт электроники\nK. Действие положений об ограничении продажи табачных изделий\nL. Действие Федерального закона о лицензировании отдельных видов деятельности\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 298, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0031205250415951014, + "B": 0.015847334638237953, + "C": 0.16005241870880127, + "D": 0.024544833227992058, + "E": 0.005829908885061741, + "F": 0.007032211869955063, + "G": 0.4350675642490387, + "H": 0.014887192286550999, + "I": 0.00035011323052458465, + "J": 0.0010130861774086952, + "K": 0.12464894354343414, + "L": 0.00035011323052458465 + }, + "sample": { + "question": "Какой из утверждений о филиалах и представительствах некоммерческих организаций согласно Федеральному закону \"О некоммерческих организациях\" N 7-ФЗ верное?", + "answerA": "Филиалы и представительства некоммерческих организаций являются юридическими лицами.", + "answerB": "Филиалы не могут осуществлять функции представительства.", + "answerC": "Филиалы и представительства могут создаваться только за пределами Российской Федерации.", + "answerD": "Филиалы и представительства некоммерческих организаций не являются юридическими лицами и действуют на основании положения, утвержденного создавшей их некоммерческой организацией.", + "correct_answer": "answerD", + "choices": [ + "Проработать не менее 10 лет на общественных работах.", + "Обязаны предоставлять документы и информацию органам и агентам валютного контроля.", + "Обязаны вести переговоры исключительно с нерезидентами.", + "Профессиональное образование", + "Филиалы и представительства некоммерческих организаций являются юридическими лицами.", + "Иметь страховой стаж не менее 15 лет и воспитать пять и более детей до 8 лет.", + "Филиалы и представительства некоммерческих организаций не являются юридическими лицами и действуют на основании положения, утвержденного создавшей их некоммерческой организацией.", + "Министерство цифрового развития, связи и массовых коммуникаций РФ", + "Филиалы и представительства могут создаваться только за пределами Российской Федерации.", + "Федеральная служба по надзору за потребительским рынком и благополучием человека", + "Филиалы не могут осуществлять функции представительства.", + "Взыскание может быть обращено на любое имущество гражданина, включая единственное жилье." + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКакой из утверждений о филиалах и представительствах некоммерческих организаций согласно Федеральному закону \"О некоммерческих организациях\" N 7-ФЗ верное?\nA. Проработать не менее 10 лет на общественных работах.\nB. Обязаны предоставлять документы и информацию органам и агентам валютного контроля.\nC. Обязаны вести переговоры исключительно с нерезидентами.\nD. Профессиональное образование\nE. Филиалы и представительства некоммерческих организаций являются юридическими лицами.\nF. Иметь страховой стаж не менее 15 лет и воспитать пять и более детей до 8 лет.\nG. Филиалы и представительства некоммерческих организаций не являются юридическими лицами и действуют на основании положения, утвержденного создавшей их некоммерческой организацией.\nH. Министерство цифрового развития, связи и массовых коммуникаций РФ\nI. Филиалы и представительства могут создаваться только за пределами Российской Федерации.\nJ. Федеральная служба по надзору за потребительским рынком и благополучием человека\nK. Филиалы не могут осуществлять функции представительства.\nL. Взыскание может быть обращено на любое имущество гражданина, включая единственное жилье.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 258, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0002593641693238169, + "B": 0.0008504223660565913, + "C": 0.0003330301842652261, + "D": 0.0008504223660565913, + "E": 0.6409669518470764, + "F": 0.0009052699315361679, + "G": 0.0006221822695806623, + "H": 0.0006221822695806623, + "I": 0.0002938981051556766, + "J": 0.0005490739713422954, + "K": 0.00020199303980916739, + "L": 1.0705238310038112e-05 + }, + "sample": { + "question": "Кто осуществляет федеральный государственный контроль (надзор) за обработкой персональных данных согласно статье 23.1 Федерального закона \"О персональных данных\" N 152-ФЗ?", + "answerA": "Министерство цифрового развития, связи и массовых коммуникаций РФ", + "answerB": "Федеральная служба по надзору за потребительским рынком и благополучием человека", + "answerC": "Федеральная налоговая служба", + "answerD": "Федеральный орган исполнительной власти, осуществляющий функции по контролю (надзору) за соответствием обработки персональных данных требованиям законодательства Российской Федерации в области персональных данных", + "correct_answer": "D", + "choices": [ + "Иметь страховой стаж не менее 15 лет и воспитать пять и более детей до 8 лет.", + "Профессиональное образование", + "Провести внутреннюю аудиторскую проверку и опубликовать результаты на официальном сайте кредитной организации.", + "Проработать не менее 10 лет на общественных работах.", + "Федеральный орган исполнительной власти, осуществляющий функции по контролю (надзору) за соответствием обработки персональных данных требованиям законодательства Российской Федерации в области персональных данных", + "Федеральная служба по надзору за потребительским рынком и благополучием человека", + "Федеральная налоговая служба", + "Обязаны вести переговоры исключительно с нерезидентами.", + "Обязаны предоставлять документы и информацию органам и агентам валютного контроля.", + "Министерство цифрового развития, связи и массовых коммуникаций РФ", + "Дополнительные предпрофессиональные программы", + "Взыскание может быть обращено на любое имущество гражданина, включая единственное жилье." + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКто осуществляет федеральный государственный контроль (надзор) за обработкой персональных данных согласно статье 23.1 Федерального закона \"О персональных данных\" N 152-ФЗ?\nA. Иметь страховой стаж не менее 15 лет и воспитать пять и более детей до 8 лет.\nB. Профессиональное образование\nC. Провести внутреннюю аудиторскую проверку и опубликовать результаты на официальном сайте кредитной организации.\nD. Проработать не менее 10 лет на общественных работах.\nE. Федеральный орган исполнительной власти, осуществляющий функции по контролю (надзору) за соответствием обработки персональных данных требованиям законодательства Российской Федерации в области персональных данных\nF. Федеральная служба по надзору за потребительским рынком и благополучием челов��ка\nG. Федеральная налоговая служба\nH. Обязаны вести переговоры исключительно с нерезидентами.\nI. Обязаны предоставлять документы и информацию органам и агентам валютного контроля.\nJ. Министерство цифрового развития, связи и массовых коммуникаций РФ\nK. Дополнительные предпрофессиональные программы\nL. Взыскание может быть обращено на любое имущество гражданина, включая единственное жилье.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 244, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0043389867059886456, + "B": 0.012555273249745369, + "C": 0.7767672538757324, + "D": 0.02070014551281929, + "E": 0.026579514145851135, + "F": 0.018267815932631493, + "G": 0.030118534341454506, + "H": 0.02070014551281929, + "I": 0.0015962239122018218, + "J": 0.0026317283045500517, + "K": 0.0043389867059886456, + "L": 0.00033458671532571316 + }, + "sample": { + "question": "Какой из перечисленных критериев позволяет женщинам досрочно получать трудовую пенсию по старости согласно Федеральному закону 'О трудовых пенсиях в Российской Федерации' N 173-ФЗ?", + "answerA": "Проработать не менее 10 лет на общественных работах.", + "answerB": "Иметь страховой стаж не менее 15 лет и воспитать пять и более детей до 8 лет.", + "answerC": "Проработать в крупной городской библиотеке не менее 20 лет.", + "answerD": "Быть членом профсоюза не менее 30 лет.", + "correct_answer": "answerB", + "choices": [ + "Провести внутреннюю аудиторскую проверку и опубликовать результаты на официальном сайте кредитной организации.", + "Профессиональное образование", + "Иметь страховой стаж не менее 15 лет и воспитать пять и более детей до 8 лет.", + "Дополнительные предпрофессиональные программы", + "Обязаны вести переговоры исключительно с нерезидентами.", + "Проработать не менее 10 лет на общественных работах.", + "Быть членом профсоюза не менее 30 лет.", + "Имущество, на которое не может быть обращено взыскание согласно гражданскому процессуальному законодательству, исключается из конкурсной массы.", + "Статьи 8 и 9", + "Взыскание может быть обращено на любое имущество гражданина, включая единственное жилье.", + "Обязаны предоставлять документы и информацию органам и агентам валютного контроля.", + "Проработать в крупной городской библиотеке не менее 20 лет." + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКакой из перечисленных критериев позволяет женщинам досрочно получать трудовую пенсию по старости согласно Федеральному закону 'О трудовых пенсиях в Российской Федерации' N 173-ФЗ?\nA. Провести внутреннюю аудиторскую проверку и опубликовать результаты на официальном сайте кредитной организации.\nB. Профессиональное образование\nC. Иметь страховой стаж не менее 15 лет и воспитать пять и более детей до 8 лет.\nD. Дополнительные предпрофессиональные программы\nE. Обязаны вести переговоры исключительно с нерезидентами.\nF. Проработать не менее 10 лет на общественных работах.\nG. Быть членом профсоюза не менее 30 лет.\nH. Имущество, на которое не может быть обращено взыскание согласно гражданскому процессуальному законодательству, исключается из конкурсной массы.\nI. Статьи 8 и 9\nJ. Взыскание может быть обращено на любое имущество гражданина, включая единственное жилье.\nK. Обязаны предоставлять документы и информацию органам и агентам валютного контроля.\nL. Проработать в крупной городской библиотеке не менее 20 лет.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 242, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.7842714190483093, + "B": 0.018444295972585678, + "C": 0.02368294633924961, + "D": 0.008712469600141048, + "E": 0.020900124683976173, + "F": 0.0005928909522481263, + "G": 0.000433768262155354, + "H": 0.0007612869958393276, + "I": 0.039046574383974075, + "J": 0.0002471537154633552, + "K": 0.00013229185424279422, + "L": 2.0287612642277963e-05 + }, + "sample": { + "question": "Каковы обязанности резидентов Российской Федерации в соответствии с Федеральным законом \"О валютном регулировании и валютном контроле\" N 173-ФЗ, статья 24?", + "answerA": "Обязаны вести переговоры исключительно с нерезидентами.", + "answerB": "Обязаны предоставлять документы и информацию органам и агентам валютного контроля.", + "answerC": "Обязаны использовать только рубли во всех валютных операциях.", + "answerD": "Обязаны регулярно информировать налоговые органы о валютных операциях.", + "correct_answer": "B", + "choices": [ + "Обязаны регулярно информировать налоговые органы о валютных операциях.", + "Не позднее двух рабочих дней, следующих за днем выявления таких фактов, в письменной форме уведомить об этом Банк России.", + "Имущество, на которое не может быть обращено взыскание согласно гражданскому процессуальному законодательству, исключается из конкурсной массы.", + "Обязаны вести переговоры исключительно с нерезидентами.", + "Профессиональное образование", + "Взыскание может быть обращено на любое имущество гражданина, включая единственное жилье.", + "Дополнительные предпрофессиональные программы", + "Обязаны использовать только рубли во всех валютных операциях.", + "Обязаны предоставлять документы и информацию органам и агентам валютного контроля.", + "Провести внутреннюю аудиторскую проверку и опубликовать результаты на официальном сайте кредитной организации.", + "Статьи 8 и 9", + "Оно возвращается инициатору для доработки." + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКаковы обязанности резидентов Российской Федерации в соответствии с Федеральным законом \"О валютном регулировании и валютном контроле\" N 173-ФЗ, статья 24?\nA. Обязаны регулярно информировать налоговые органы о валютных операциях.\nB. Не позднее двух рабочих дней, следующих за днем выявления таких фактов, в письменной форме уведомить об этом Банк России.\nC. Имущество, на которое не может быть обращено взыскание согласно гражданскому процессуальному законодательству, исключается из конкурсной массы.\nD. Обязаны вести переговоры исключительно с нерезидентами.\nE. Профессиональное образование\nF. Взыскание может быть обращено на любое имущество гражданина, включая единственное жилье.\nG. Дополнительные предпрофессиональные программы\nH. Обязаны использовать только рубли во всех валютных операциях.\nI. Обязаны предоставлять документы и информацию органам и агентам валютного контроля.\nJ. Провести внутреннюю аудиторскую проверку и опубликовать результаты на официальном сайте кредитной организации.\nK. Статьи 8 и 9\nL. Оно возвращается инициатору для доработки.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 235, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.18534834682941437, + "B": 0.0772646963596344, + "C": 0.21002718806266785, + "D": 0.12738794088363647, + "E": 0.053103189915418625, + "F": 0.03220871463418007, + "G": 0.06017380207777023, + "H": 0.03649725019931793, + "I": 0.009227951057255268, + "J": 0.025084171444177628, + "K": 0.025084171444177628, + "L": 0.004094878677278757 + }, + "sample": { + "question": "Какой из перечисленных типов образовательных программ НЕ упоминается в Статье 83 Федерального закона 'Об образовании в Российской Федерации' N 273-ФЗ, как реализуемый в области искусств?", + "answerA": "Профессиональное образование", + "answerB": "Дополнительные предпрофессиональные программы", + "answerC": "Образовательные программы высшего образования", + "answerD": "Основные программы довузовской подготовки", + "correct_answer": "Основные программы довузовской подготовки", + "choices": [ + "Водительское удостоверение", + "Дополнительные предпрофессиональные программы", + "Имущество, на которое не может быть обращено взыскание согласно гражданскому процессуальному законодательству, исключается из конкурсной массы.", + "Основные программы довузовской подготовки", + "Профессиональное образование", + "Взыскание может быть обращено на любое имущество гражданина, включая единственное жилье.", + "Статьи 8 и 9", + "Оно возвращается инициатору для доработки.", + "Провести внутреннюю аудиторскую проверку и опубликовать результаты на официальном сайте кредитной организации.", + "Не позднее двух рабочих дней, следующих за днем выявления таких фактов, в письменной форме уведомить об этом Банк России.", + "Образовательные программы высшего образования", + "Статьи 14 и 15" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКакой из перечисленных типов образовательных программ НЕ упоминается в Статье 83 Федерального закона 'Об образовании в Российской Федерации' N 273-ФЗ, как реализуемый в области искусств?\nA. Вод��тельское удостоверение\nB. Дополнительные предпрофессиональные программы\nC. Имущество, на которое не может быть обращено взыскание согласно гражданскому процессуальному законодательству, исключается из конкурсной массы.\nD. Основные программы довузовской подготовки\nE. Профессиональное образование\nF. Взыскание может быть обращено на любое имущество гражданина, включая единственное жилье.\nG. Статьи 8 и 9\nH. Оно возвращается инициатору для доработки.\nI. Провести внутреннюю аудиторскую проверку и опубликовать результаты на официальном сайте кредитной организации.\nJ. Не позднее двух рабочих дней, следующих за днем выявления таких фактов, в письменной форме уведомить об этом Банк России.\nK. Образовательные программы высшего образования\nL. Статьи 14 и 15\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 216, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.03324387967586517, + "B": 0.029337622225284576, + "C": 0.03324387967586517, + "D": 0.10239836573600769, + "E": 0.04836956039071083, + "F": 0.015703298151493073, + "G": 0.02146386355161667, + "H": 0.03767025098204613, + "I": 0.3574053943157196, + "J": 0.1314821094274521, + "K": 0.07037729024887085, + "L": 0.003729860298335552 + }, + "sample": { + "question": "Каковы особенности обращения взыскания на имущество гражданина после признания его банкротом согласно статье 213.25 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?", + "answerA": "Взыскание может быть обращено на любое имущество гражданина, включая единственное жилье.", + "answerB": "Имущество, на которое не может быть обращено взыскание согласно гражданскому процессуальному законодательству, исключается из конкурсной массы.", + "answerC": "Имущество гражданина не может быть реализовано в течение 5 лет после признания его банкротом.", + "answerD": "Имущество, приобретенное гражданином после введения процедуры банкротства, не включается в конкурсную массу.", + "correct_answer": "B", + "choices": [ + "Уполномоченный орган направляет его на рассмотрение в Правительство Российской Федерации.", + "Имущество гражданина не может быть реализовано в течение 5 лет после признания его банкротом.", + "Водительское удостоверение", + "Оно возвращается инициатору для доработки.", + "Статьи 8 и 9", + "Взыскание может быть обращено на любое имущество гражданина, включая единственное жилье.", + "Проведение анализа финансового состояния финансовой организации", + "Статьи 14 и 15", + "Имущество, на которое не может быть обращено взыскание согласно гражданскому процессуальному законодательству, исключается из конкурсной массы.", + "Не позднее двух рабочих дней, следующих за днем выявления таких фактов, в письменной форме уведомить об этом Банк России.", + "Имущество, приобретенное гражданином после введения процедуры банкротства, не включается в конкурсную массу.", + "Провести внутреннюю аудиторскую проверку и опубликовать результаты на официальном сайте кредитной организации." + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКаковы особенности обращения взыскания на имущество гражданина после признания его банкротом согласно статье 213.25 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?\nA. Уполномоченный орган направляет его на рассмотрение в Правительство Российской Федерации.\nB. Имущество гражданина не может быть реализовано в течение 5 лет после признания его банкротом.\nC. Водительское удостоверение\nD. Оно возвращается инициатору для доработки.\nE. Статьи 8 и 9\nF. Взыскание может быть обращено на любое имущество гражданина, включая единственное жилье.\nG. Проведение анализа финансового состояния финансовой организации\nH. Статьи 14 и 15\nI. Имущество, на которое не может быть обращено взыскание согласно гражданскому процессуальному законодательству, исключается из конкурсной массы.\nJ. Не позднее двух рабочих дней, следующих за днем выявления таких фактов, в письменной форме уведомить об этом Банк России.\nK. Имущество, приобретенное гражданином после введения процедуры банкротства, не включается в конкурсную массу.\nL. Провести внутреннюю аудиторскую проверку и опубликовать результаты на официальном сайте кредитной организации.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 256, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0005829025758430362, + "B": 0.0008481183322146535, + "C": 0.0007484616944566369, + "D": 0.004880583379417658, + "E": 0.6804571151733398, + "F": 0.003151141805574298, + "G": 0.002612388227134943, + "H": 0.00458488380536437, + "I": 0.0016866846708580852, + "J": 0.009706199169158936, + "K": 0.014122436754405499, + "L": 0.023283962160348892 + }, + "sample": { + "question": "В соответствии с Федеральным законом 'О банках и банковской деятельности' N 395-1, в статье 11.1-2, какое действие кредитная организация обязана предпринять, если после фактического назначения лица на должность выявлены факты его несоответствия установленным Банком России требованиям?", + "answerA": "Провести внутреннюю аудиторскую проверку и опубликовать результаты на официальном сайте кредитной организации.", + "answerB": "Не позднее двух рабочих дней, следующих за днем выявления таких фактов, в письменной форме уведомить об этом Банк России.", + "answerC": "Немедленно, без дополнительных проверок, назначить на должность другое лицо.", + "answerD": "Провести повторное голосование на собрании акционеров кредитной организации.", + "correct_answer": "B", + "choices": [ + "Уполномоченный орган направляет его на рассмотрение в Правительство Российской Федерации.", + "Перечень запрещенных к переработке товаров", + "Провести повторное голосование на собрании акционеров кредитной организации.", + "Статьи 8 и 9", + "Не позднее двух рабочих дней, следующих за днем выявления таких фактов, в письменной форме уведомить об этом Банк России.", + "Статьи 14 и 15", + "Студенческий билет", + "Проведение анализа финансового состояния финансовой организации", + "Водительское удостоверение", + "Провести внутреннюю аудиторскую проверку и опубликовать результаты на официальном сайте кредитной организации.", + "Немедленно, без дополнительных проверок, назначить на должность другое лицо.", + "Оно возвращается инициатору для доработки." + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nВ соответствии с Федеральным законом 'О банках и банковской деятельности' N 395-1, в статье 11.1-2, какое действие кредитная организация обязана предпринять, если после фактического назначения лица на должность выявлены факты его несоответствия установленным Банком России требованиям?\nA. Уполномоченный орган направляет его на рассмотрение в Правительство Российской Федерации.\nB. Перечень запрещенных к переработке товаров\nC. Провести повторное голосование на собрании акционеров кредитной организации.\nD. Статьи 8 и 9\nE. Не позднее двух рабочих дней, следующих за днем выявления таких фактов, в письменной форме уведомить об этом Банк России.\nF. Статьи 14 и 15\nG. Студенческий билет\nH. Проведение анализа финансового состояния финансовой организации\nI. Водительское удостоверение\nJ. Провести внутреннюю аудиторскую проверку и опубликовать результаты на официальном сайте кредитной организации.\nK. Немедленно, без дополнительных проверок, назначить на должность другое лицо.\nL. Оно возвращается инициатору для доработки.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 233, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.07774648070335388, + "B": 0.05343431979417801, + "C": 0.5069707632064819, + "D": 0.04715562239289284, + "E": 0.0686110258102417, + "F": 0.015309189446270466, + "G": 0.036724839359521866, + "H": 0.01965738832950592, + "I": 0.0038707691710442305, + "J": 0.003415941959246993, + "K": 0.008722913451492786, + "L": 0.00019271425844635814 + }, + "sample": { + "question": "Какие статьи Федерального закона 'О пожарной безопасности' N 69-ФЗ утратили силу согласно Федеральному закону от 22.08.2004 N 122-ФЗ?", + "answerA": "Статьи 8 и 9", + "answerB": "Статьи 14 и 15", + "answerC": "Статьи 20 и 21", + "answerD": "Статьи 11 и 12", + "correct_answer": "Статьи 14 и 15", + "choices": [ + "Уполномоченный орган направляет его на рассмотрение в Правительство Российской Федерации.", + "Перечень запрещенных к переработке товаров", + "Статьи 14 и 15", + "Водительское удостоверение", + "Статьи 20 и 21", + "Статьи 11 и 12", + "Оно возвращается инициатору для доработки.", + "капитан", + "Проведение инвентаризации имущества финансовой организации", + "Статьи 8 и 9", + "Проведение анализа финансового состояния финансовой организации", + "Студенческий билет" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКакие статьи Федерального закона 'О пожарной безопасности' N 69-ФЗ утратили силу согласно Федеральному закону от 22.08.2004 N 122-ФЗ?\nA. Уполномоченный орган направляет его на рассмотрение в Правительство Российской Федерации.\nB. Перечень запрещенных к переработке товаров\nC. Статьи 14 и 15\nD. Водительское удостоверение\nE. Статьи 20 и 21\nF. Статьи 11 и 12\nG. Оно возвращается инициатору для доработки.\nH. капитан\nI. Проведение инвентаризации имущества финансовой организации\nJ. Статьи 8 и 9\nK. Проведение анализа финансового состояния финансовой организации\nL. Студенческий билет\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 183, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.002314653480425477, + "B": 0.05607891082763672, + "C": 0.15243829786777496, + "D": 0.01606687903404236, + "E": 0.007129634264856577, + "F": 0.006697671487927437, + "G": 0.2847922146320343, + "H": 0.020630281418561935, + "I": 0.000964891049079597, + "J": 0.00915463175624609, + "K": 0.2513282597064972, + "L": 0.0007514578755944967 + }, + "sample": { + "question": "Что происходит с инициативным предложением в случае его соответствия требованиям, установленным статьей 8 Федерального закона от 31.07.2020 N 258-ФЗ 'Об экспериментальных правовых режимах в сфере цифровых инноваций в Российской Федерации'?", + "answerA": "Оно возвращается инициатору для доработки.", + "answerB": "Уполномоченный орган направляет его на рассмотрение в Правительство Российской Федерации.", + "answerC": "Уполномоченный орган направляет инициативное предложение в организацию предпринимательского сообщества, регулирующий орган и в высший исполнительный орган государственной власти субъекта Российской Федерации.", + "answerD": "Инициативное предложение утверждается без дополнительного рассмотрения.", + "correct_answer": "C", + "choices": [ + "Проведение анализа финансового состояния финансовой организации", + "Уполномоченный орган направляет инициативное предложение в организацию предпринимательского сообщества, регулирующий орган и в высший исполнительный орган государственной власти субъекта Российской Федерации.", + "Инициативное предложение утверждается без дополнительного рассмотрения.", + "Перечень запрещенных к переработке товаров", + "Сведения о лицах, которые будут осуществлять перевозку (транспортировку) товаров", + "Проведение инвентаризации имущества финансовой организации", + "Оно возвращается инициатору для доработки.", + "капитан", + "Только государственные образовательные организации", + "Водительское удостоверение", + "Уполномоченный орган направляет его на рассмотрение в Правительство Российской Федерации.", + "Студенческий билет" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nЧто происходит с инициативным предложением в случае его соответствия требованиям, установленным статьей 8 Федерального закона от 31.07.2020 N 258-ФЗ 'Об экспериментальных правовых режимах в сфере цифровых инноваций в Российской Федерации'?\nA. Проведение анализа финансового состояния финансовой организации\nB. Уполномоченный орган направляет инициативное предложение в организацию предпринимательского сообщества, регулирующий орган и в высший исполнительный орган государственной власти субъекта Российской Федерации.\nC. Инициативное предложение утверждается без дополнительного рассмотрения.\nD. Перечень запрещенных к переработке товаров\nE. Сведения о лицах, которые будут осуществлять перевозку (транспортировку) товаров\nF. Проведение инвентаризации имущества финансовой организации\nG. Оно возвращается инициатору для доработки.\nH. капитан\nI. Только государственные образовательные организации\nJ. Водительское удостоверение\nK. Уполномоченный орган направляет его на рассмотрение в Правительство Российской Федерации.\nL. Студенческий билет\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 224, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.000521697336807847, + "B": 0.0018209026893600821, + "C": 0.00029725421336479485, + "D": 0.003401894122362137, + "E": 0.0023380855564028025, + "F": 0.0011044333223253489, + "G": 0.0021964279003441334, + "H": 0.9432509541511536, + "I": 0.0001239139965036884, + "J": 0.00038168192259036005, + "K": 0.00040629832074046135, + "L": 0.025136785581707954 + }, + "sample": { + "question": "Какой документ удостоверяет гражданство Российской Федерации согласно Федеральному закону \"О гражданстве Российской Федерации\" N 62-ФЗ?", + "answerA": "Водительское удостоверение", + "answerB": "Студенческий билет", + "answerC": "Паспорт гражданина Российской Федерации", + "answerD": "Библиотечная карта", + "correct_answer": "Паспорт гражданина Российской Федерации", + "choices": [ + "капитан", + "Проведение инвентаризации имущества финансовой организации", + "Сведения о лицах, которые будут осуществлять перевозку (транспортировку) товаров", + "Проведение анализа финансового состояния финансовой организации", + "лейтенант", + "Принцип единства и целостности", + "Студенческий билет", + "Паспорт гражданина Российской Федерации", + "Перечень запрещенных к переработке товаров", + "Только государственные образовательные организации", + "Водительское удостоверение", + "Библиотечная карта" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакой документ удостоверяет гражданство Российской Федерации согласно Федеральному закону \"О гражданстве Российской Федерации\" N 62-ФЗ?\nA. капитан\nB. Проведение инвентаризации имущества финансовой организации\nC. Сведения о лицах, которые будут осуществлять перевозку (транспортиро��ку) товаров\nD. Проведение анализа финансового состояния финансовой организации\nE. лейтенант\nF. Принцип единства и целостности\nG. Студенческий билет\nH. Паспорт гражданина Российской Федерации\nI. Перечень запрещенных к переработке товаров\nJ. Только государственные образовательные организации\nK. Водительское удостоверение\nL. Библиотечная карта\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 148, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.1423352062702179, + "B": 0.05573927238583565, + "C": 0.04620948061347008, + "D": 0.06723439693450928, + "E": 0.06723439693450928, + "F": 0.08110015839338303, + "G": 0.16128693521022797, + "H": 0.1256103813648224, + "I": 0.024734152480959892, + "J": 0.0491897314786911, + "K": 0.023235585540533066, + "L": 0.029835082590579987 + }, + "sample": { + "question": "Какая из нижеперечисленных функций НЕ возложена на временную администрацию при отзыве (аннулировании) лицензии у финансовой организации согласно Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ?", + "answerA": "Проведение анализа финансового состояния финансовой организации", + "answerB": "Проведение инвентаризации имущества финансовой организации", + "answerC": "Применение мер по предупреждению банкротства финансовой организации", + "answerD": "Ведение учета предъявленных кредиторами требований к финансовой организации", + "correct_answer": "C", + "choices": [ + "Принцип единства и целостности", + "Любое юридическое лицо", + "Проведение инвентаризации имущества финансовой организации", + "Применение мер по предупреждению банкротства финансовой организации", + "Проведение анализа финансового состояния финансовой организации", + "Перечень запрещенных к переработке товаров", + "лейтенант", + "Только государственные образовательные организации", + "Ведение учета предъявленных кредиторами требований к финансовой организации", + "С момента подписания Президентом", + "капитан", + "Сведения о лицах, которые будут осуществлять перевозку (транспортировку) товаров" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКакая из нижеперечисленных функций НЕ возложена на временную администрацию при отзыве (аннулировании) лицензии у финансовой организации согласно Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ?\nA. Принцип единства и целостности\nB. Любое юридическое лицо\nC. Проведение инвентаризации имущества финансовой организации\nD. Применение мер по предупреждению банкротства финансовой организации\nE. Проведение анализа финансового состояния финансовой организации\nF. Перечень запрещенных к переработке товаров\nG. лейтенант\nH. Только государственные образовательные организации\nI. Ведение учета предъявленных кредиторами требований к финансовой организации\nJ. С момента подписания Президентом\nK. капи��ан\nL. Сведения о лицах, которые будут осуществлять перевозку (транспортировку) товаров\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 186, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.02647767774760723, + "B": 0.017095275223255157, + "C": 0.00669460603967309, + "D": 0.056053247302770615, + "E": 0.03399801254272461, + "F": 0.014172479510307312, + "G": 0.014172479510307312, + "H": 0.6828683614730835, + "I": 0.002621645340695977, + "J": 0.0040604835376143456, + "K": 0.003583364188671112, + "L": 0.10472125560045242 + }, + "sample": { + "question": "Что указывается в разрешении на переработку товаров на таможенной территории в случае перевозки (транспортировки) таких товаров?", + "answerA": "Перечень запрещенных к переработке товаров", + "answerB": "Сведения о лицах, которые будут осуществлять перевозку (транспортировку) товаров", + "answerC": "Список необходимых сертификатов", + "answerD": "Предполагаемую дату завершения переработки", + "correct_answer": "B", + "choices": [ + "Предполагаемую дату завершения переработки", + "Принцип разграничения полномочий", + "Любое юридическое лицо", + "Принцип единства и целостности", + "капитан", + "Только государственные образовательные организации", + "Перечень запрещенных к переработке товаров", + "Сведения о лицах, которые будут осуществлять перевозку (транспортировку) товаров", + "Любой житель Российской Федерации", + "С момента подписания Президентом", + "лейтенант", + "Список необходимых сертификатов" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nЧто указывается в разрешении на переработку товаров на таможенной территории в случае перевозки (транспортировки) таких товаров?\nA. Предполагаемую дату завершения переработки\nB. Принцип разграничения полномочий\nC. Любое юридическое лицо\nD. Принцип единства и целостности\nE. капитан\nF. Только государственные образовательные организации\nG. Перечень запрещенных к переработке товаров\nH. Сведения о лицах, которые будут осуществлять перевозку (транспортировку) товаров\nI. Любой житель Российской Федерации\nJ. С момента подписания Президентом\nK. лейтенант\nL. Список необходимых сертификатов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 141, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0053485422395169735, + "B": 0.22742579877376556, + "C": 0.07383434474468231, + "D": 0.13794071972370148, + "E": 0.009992392733693123, + "F": 0.030778735876083374, + "G": 0.08366528898477554, + "H": 0.06515858322381973, + "I": 0.005693493876606226, + "J": 0.06515858322381973, + "K": 0.15630732476711273, + "L": 0.009992392733693123 + }, + "sample": { + "question": "Какое звание следует непосредственно за званием 'младший лейтенант' среди младших офицеров в Вооруженных Силах Российской Федерации согласно Федеральному закону 'О воинской обязанности и военной службе' N 53-ФЗ?", + "answerA": "капитан", + "answerB": "лейтенант", + "answerC": "старший лейтенант", + "answerD": "майор", + "correct_answer": "answerB", + "choices": [ + "С момента подписания Президентом", + "капитан", + "Справка об отсутствии задолженности по коммунальным платежам", + "Со дня его официального опубликования", + "Принцип разграничения полномочий", + "Любое юридическое лицо", + "Принцип единства и целостности", + "Только государственные образовательные организации", + "лейтенант", + "Любой житель Российской Федерации", + "старший лейтенант", + "майор" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКакое звание следует непосредственно за званием 'младший лейтенант' среди младших офицеров в Вооруженных Силах Российской Федерации согласно Федеральному закону 'О воинской обязанности и военной службе' N 53-ФЗ?\nA. С момента подписания Президентом\nB. капитан\nC. Справка об отсутствии задолженности по коммунальным платежам\nD. Со дня его официального опубликования\nE. Принцип разграничения полномочий\nF. Любое юридическое лицо\nG. Принцип единства и целостности\nH. Только государственные образовательные организации\nI. лейтенант\nJ. Любой житель Российской Федерации\nK. старший лейтенант\nL. майор\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 142, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.009731344878673553, + "B": 0.0033630626276135445, + "C": 0.005902358330786228, + "D": 0.003579961834475398, + "E": 0.7730564475059509, + "F": 0.0016910542035475373, + "G": 0.0015885982429608703, + "H": 0.0016910542035475373, + "I": 0.002311397111043334, + "J": 0.002788076875731349, + "K": 0.0010256761452183127, + "L": 6.159664189908653e-05 + }, + "sample": { + "question": "Кто является соискателем лицензии на осуществление образовательной деятельности в соответствии с Федеральным законом \"Об образовании в Российской Федерации\" N 273-ФЗ?", + "answerA": "Только государственные образовательные организации", + "answerB": "Любое юридическое лицо", + "answerC": "Образовательные организации, организации, осуществляющие обучение, и индивидуальные предприниматели", + "answerD": "Только частные образовательные учреждения", + "correct_answer": "Образовательные организации, организации, осуществляющие обучение, и индивидуальные предприниматели", + "choices": [ + "Гражданин РФ, достигший 18 лет, независимо от места жительства", + "Любое юридическое лицо", + "Со дня его официального опубликования", + "Любой житель Российской Федерации", + "Образовательные организации, организации, осуществляющие обучение, и индивидуальные предприниматели", + "С момента подписания Президентом", + "Только государственные образовательные организации", + "В случае заключения концессионного соглашения, объектом которого являются объекты теплоснабжения и другие указанные системы, концессионер обязан в течение шести месяцев с момента заключения договора зарегистрировать право собственности на все передаваемые объекты.", + "Принцип разграничения полномочий", + "Принцип единства и целостности", + "Только частные образовательные учреждения", + "Справка об отсутствии задолженности по коммунальным платежам" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКто является соискателем лицензии на осуществление образовательной деятельности в соответствии с Федеральным законом \"Об образовании в Российской Федерации\" N 273-ФЗ?\nA. Гражданин РФ, достигший 18 лет, независимо от места жительства\nB. Любое юридическое лицо\nC. Со дня его официального опубликования\nD. Любой житель Российской Федерации\nE. Образовательные организации, организации, осуществляющие обучение, и индивидуальные предприниматели\nF. С момента подписания Президентом\nG. Только государственные образовательные организации\nH. В случае заключения концессионного соглашения, объектом которого являются объекты теплоснабжения и другие указанные системы, концессионер обязан в течение шести месяцев с момента заключения договора зарегистрировать право собственности на все передаваемые объекты.\nI. Принцип разграничения полномочий\nJ. Принцип единства и целостности\nK. Только частные образовательные учреждения\nL. Справка об отсутствии задолженности по коммунальным платежам\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 205, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.16129910945892334, + "B": 0.07619230449199677, + "C": 0.11085915565490723, + "D": 0.11085915565490723, + "E": 0.08633719384670258, + "F": 0.08633719384670258, + "G": 0.059338632971048355, + "H": 0.059338632971048355, + "I": 0.02323734201490879, + "J": 0.06723947077989578, + "K": 0.017000799998641014, + "L": 0.018097257241606712 + }, + "sample": { + "question": "Какой из перечисленных принципов НЕ является одним из принципов стратегического планирования в Российской Федерации, согласно Федеральному закону 'О стратегическом планировании в Российской Федерации' N 172-ФЗ?", + "answerA": "Принцип единства и целостности", + "answerB": "Принцип разграничения полномочий", + "answerC": "Принцип автономности участников стратегического планирования", + "answerD": "Принцип преемственности и непрерывности", + "correct_answer": "answerC", + "choices": [ + "С момента подписания Президентом", + "Со дня его официального опубликования", + "Гражданин РФ, достигший 18 лет, независимо от места жительства", + "Любой житель Российской Федерации", + "В случае заключения концессионного соглашения, объектом которого являются объекты теплоснабжения и другие указанные системы, концессионер обязан в течение шести месяцев с момента заключения договора зарегистрировать право собственности на все передаваемые объекты.", + "Принцип автономности участников стратегического планирования", + "Принцип разграничения полномочий", + "Справка об отсутствии задолженности по коммунальным платежам", + "6 месяцев", + "Принцип единства и целостности", + "Копия документа о постановке организации на учет в налоговом органе", + "Принцип преемственности и непрерывности" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКакой из перечисленных принципов НЕ является одним из принципов стратегического планирования в Российской Федерации, согласно Федеральному закону 'О стратегическом планировании в Российской Федерации' N 172-ФЗ?\nA. С момента подписания Президентом\nB. Со дня его официального опубликования\nC. Гражданин РФ, достигший 18 лет, независимо от места жительства\nD. Любой житель Российской Федерации\nE. В случае заключения концессионного соглашения, объектом которого являются объекты теплоснабжения и другие указанные системы, концессионер обязан в течение шести месяцев с момента заключения договора зарегистрировать право собственности на все передаваемые объекты.\nF. Принцип автономности участников стратегического планирования\nG. Принцип разграничения полномочий\nH. Справка об отсутствии задолженности по коммунальным платежам\nI. 6 месяцев\nJ. Принцип единства и целостности\nK. Копия документа о постановке организации на учет в налоговом органе\nL. Принцип преемственности и непрерывности\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 215, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0033767763525247574, + "B": 0.03630376607179642, + "C": 0.01040120329707861, + "D": 0.03203796222805977, + "E": 0.00862290058284998, + "F": 0.8262699246406555, + "G": 0.013355409726500511, + "H": 0.03203796222805977, + "I": 0.0003140891494695097, + "J": 0.00810046587139368, + "K": 0.005926426500082016, + "L": 0.0009674626053310931 + }, + "sample": { + "question": "Когда вступает в силу Федеральный закон 'О государственных пособиях гражданам, имеющим детей' N 81-ФЗ?", + "answerA": "С момента подписания Президентом", + "answerB": "Со дня его официального опубликования", + "answerC": "Через месяц после опубликования в официальных источниках", + "answerD": "После утверждения Правительством РФ", + "correct_answer": "B", + "choices": [ + "После утверждения Правительством РФ", + "Концессионное соглашение может включать обязательство концессионера по созданию новых объектов инфраструктуры, которые не являются частью изначального состава договора, без изменения условий оплаты работ.", + "Вклады в имущество ООО могут вноситься исключительно денежными средствами.", + "6 месяцев", + "Любой житель Российской Федерации", + "Со дня его официального опубликования", + "Копия документа о постановке организации на учет в налоговом органе", + "Справка об отсутствии задолженности по коммунальным платежам", + "Через месяц после опубликования в официальных источниках", + "С момента подписания Президентом", + "Гражданин РФ, достигший 18 лет, независимо от места жительства", + "В случае заключения концессионного соглашения, объектом которого являются объекты теплоснабжения и другие указанные системы, концессионер обязан в течение шести месяцев с момента заключения договора зарегистрировать право собственности на все передаваемые объекты." + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКогда вступает в силу Федеральный закон 'О государственных пособиях гражданам, имеющим детей' N 81-ФЗ?\nA. После утверждения Правительством РФ\nB. Концессионное соглашение может включать обязательство концессионера по созданию новых объектов инфраструктуры, которые не являются частью изначального состава договора, без изменения условий оплаты работ.\nC. Вклады в имущество ООО могут вноситься исключительно денежными средствами.\nD. 6 месяцев\nE. Любой житель Российской Федерации\nF. Со дня его официального опубликования\nG. Копия документа о постановке организации на учет в налоговом органе\nH. Справка об отсутствии задолженности по коммунальным платежам\nI. Через месяц после опубликования в официальных источниках\nJ. С момента подписания Президентом\nK. Гражданин РФ, достигший 18 лет, независимо от места жительства\nL. В случае заключения концессионного соглашения, объектом которого являются объекты теплоснабжения и другие указанные системы, концессионер обязан в течение шести месяцев с момента заключения договора зарегистрировать право собственности на все передаваемые объекты.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 241, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0011245680507272482, + "B": 0.0060793571174144745, + "C": 0.0010564337717369199, + "D": 0.01552418153733015, + "E": 0.008845413103699684, + "F": 0.005039964336901903, + "G": 0.018725737929344177, + "H": 0.9022566080093384, + "I": 0.0023807105608284473, + "J": 0.0014439739752560854, + "K": 0.004734607879072428, + "L": 0.010023166425526142 + }, + "sample": { + "question": "Кто может быть назначен старостой сельского населенного пункта согласно Федеральному закону \"Об общих принципах организации местного самоуправления в РФ\" N 131-ФЗ, статья 27.1?", + "answerA": "Любой житель Российской Федерации", + "answerB": "Гражданин РФ, достигший 18 лет, независимо от места жительства", + "answerC": "Гражданин РФ, проживающий на территории данного сельского населенного пункта и обладающий активным избирательным правом", + "answerD": "Лицо, занимающее должности государственной службы", + "correct_answer": "Гражданин РФ, проживающий на территории данного сельского населенного пункта и обладающий активным избирательным правом", + "choices": [ + "В случае заключения концессионного соглашения, объектом котор��го являются объекты теплоснабжения и другие указанные системы, концессионер обязан в течение шести месяцев с момента заключения договора зарегистрировать право собственности на все передаваемые объекты.", + "Концессионное соглашение может включать обязательство концессионера по созданию новых объектов инфраструктуры, которые не являются частью изначального состава договора, без изменения условий оплаты работ.", + "6 месяцев", + "Вклады в имущество ООО могут вноситься исключительно денежными средствами.", + "Международным стандартам безопасности", + "Любой житель Российской Федерации", + "Лицо, занимающее должности государственной службы", + "Гражданин РФ, проживающий на территории данного сельского населенного пункта и обладающий активным избирательным правом", + "Копия документа о постановке организации на учет в налоговом органе", + "Справка об отсутствии задолженности по коммунальным платежам", + "1 год", + "Гражданин РФ, достигший 18 лет, независимо от места жительства" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКто может быть назначен старостой сельского населенного пункта согласно Федеральному закону \"Об общих принципах организации местного самоуправления в РФ\" N 131-ФЗ, статья 27.1?\nA. В случае заключения концессионного соглашения, объектом которого являются объекты теплоснабжения и другие указанные системы, концессионер обязан в течение шести месяцев с момента заключения договора зарегистрировать право собственности на все передаваемые объекты.\nB. Концессионное соглашение может включать обязательство концессионера по созданию новых объектов инфраструктуры, которые не являются частью изначального состава договора, без изменения условий оплаты работ.\nC. 6 месяцев\nD. Вклады в имущество ООО могут вноситься исключительно денежными средствами.\nE. Международным стандартам безопасности\nF. Любой житель Российской Федерации\nG. Лицо, занимающее должности государственной службы\nH. Гражданин РФ, проживающий на территории данного сельского населенного пункта и обладающий активным избирательным правом\nI. Копия документа о постановке организации на учет в налоговом органе\nJ. Справка об отсутствии задолженности по коммунальным платежам\nK. 1 год\nL. Гражданин РФ, достигший 18 лет, независимо от места жительства\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 266, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.008120430633425713, + "B": 0.060002315789461136, + "C": 0.07704450935125351, + "D": 0.03418828919529915, + "E": 0.022073617205023766, + "F": 0.12702490389347076, + "G": 0.20942865312099457, + "H": 0.12702490389347076, + "I": 0.004083209205418825, + "J": 0.041238944977521896, + "K": 0.0989270955324173, + "L": 0.07704450935125351 + }, + "sample": { + "question": "Какой документ необходимо представ��ть организацией для получения лицензии на осуществление одного из видов деятельности, связанных с производством этилового спирта, алкогольной и спиртосодержащей продукции?", + "answerA": "Справка об отсутствии задолженности по коммунальным платежам", + "answerB": "Копия документа о постановке организации на учет в налоговом органе", + "answerC": "Лицензия на право ведения образовательной деятельности", + "answerD": "Сертификат соответствия ISO 9001", + "correct_answer": "B", + "choices": [ + "Льготное кредитование для покупки недвижимости", + "Концессионное соглашение может включать обязательство концессионера по созданию новых объектов инфраструктуры, которые не являются частью изначального состава договора, без изменения условий оплаты работ.", + "Копия документа о постановке организации на учет в налоговом органе", + "Справка об отсутствии задолженности по коммунальным платежам", + "Лицензия на право ведения образовательной деятельности", + "Участники ООО могут вносить вклады в имущество общества только если это предусмотрено уставом общества.", + "Вклады в имущество ООО могут вноситься исключительно денежными средствами.", + "Международным стандартам безопасности", + "Сертификат соответствия ISO 9001", + "1 год", + "6 месяцев", + "В случае заключения концессионного соглашения, объектом которого являются объекты теплоснабжения и другие указанные системы, концессионер обязан в течение шести месяцев с момента заключения договора зарегистрировать право собственности на все передаваемые объекты." + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКакой документ необходимо представить организацией для получения лицензии на осуществление одного из видов деятельности, связанных с производством этилового спирта, алкогольной и спиртосодержащей продукции?\nA. Льготное кредитование для покупки недвижимости\nB. Концессионное соглашение может включать обязательство концессионера по созданию новых объектов инфраструктуры, которые не являются частью изначального состава договора, без изменения условий оплаты работ.\nC. Копия документа о постановке организации на учет в налоговом органе\nD. Справка об отсутствии задолженности по коммунальным платежам\nE. Лицензия на право ведения образовательной деятельности\nF. Участники ООО могут вносить вклады в имущество общества только если это предусмотрено уставом общества.\nG. Вклады в имущество ООО могут вноситься исключительно денежными средствами.\nH. Международным стандартам безопасности\nI. Сертификат соответствия ISO 9001\nJ. 1 год\nK. 6 месяцев\nL. В случае заключения концессионного соглашения, объектом которого являются объекты теплоснабжения и другие указанные системы, концессионер обязан в течение шести месяцев с момента заключения договора зарегистрировать право с��бственности на все передаваемые объекты.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 258, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.06647239625453949, + "B": 0.007457996718585491, + "C": 0.02158042974770069, + "D": 0.38252225518226624, + "E": 0.14072208106517792, + "F": 0.0190446600317955, + "G": 0.02770981937646866, + "H": 0.05176875740289688, + "I": 0.14072208106517792, + "J": 0.02770981937646866, + "K": 0.01680685393512249, + "L": 0.0020072925835847855 + }, + "sample": { + "question": "Какой из перечисленных пунктов верно отражает условие из Статьи 39. Концессионное соглашение в отношении объектов теплоснабжения, централизованных систем горячего водоснабжения, холодного водоснабжения и (или) водоотведения, отдельных объектов таких систем Федерального закона 'О концессионных соглашениях' N 115-ФЗ?", + "answerA": "В случае заключения концессионного соглашения, объектом которого являются объекты теплоснабжения и другие указанные системы, концессионер обязан в течение шести месяцев с момента заключения договора зарегистрировать право собственности на все передаваемые объекты.", + "answerB": "Концессионное соглашение может включать обязательство концессионера по созданию новых объектов инфраструктуры, которые не являются частью изначального состава договора, без изменения условий оплаты работ.", + "answerC": "По концессионному соглашению, объектом которого являются объекты теплоснабжения, централизованные системы горячего водоснабжения, холодного водоснабжения и (или) водоотведения, третьей стороной в обязательном порядке является также субъект Российской Федерации, если полномочия по государственному регулированию тарифов не переданы муниципальному образованию.", + "answerD": "Если по концессионному соглашению передаются объекты теплоснабжения или связанных с ним систем, то концессионер имеет право без дополнительных соглашений менять тарифы на предоставляемые услуги.", + "correct_answer": "answerC", + "choices": [ + "Если по концессионному соглашению передаются объекты теплоснабжения или связанных с ним систем, то концессионер имеет право без дополнительных соглашений менять тарифы на предоставляемые услуги.", + "1 год", + "6 месяцев", + "В случае заключения концессионного соглашения, объектом которого являются объекты теплоснабжения и другие указанные системы, концессионер обязан в течение шести месяцев с момента заключения договора зарегистрировать право собственности на все передаваемые объекты.", + "Участники ООО могут вносить вклады в имущество общества только если это предусмотрено уставом общества.", + "Концессионное соглашение может включать обязательство концессионера по созданию новых объектов инфраструктуры, которые не являются частью изначального состава договора, без изменения условий оплаты работ.", + "Требованиям законодательства Российской Федерации", + "Льготное кредитование для покупки недвижимости", + "По концессионному соглашению, объектом которого являются объекты теплоснабжения, централизованные системы горячего водоснабжения, холодного водоснабжения и (или) водоотведения, третьей стороной в обязательном порядке является также субъект Российской Федерации, если полномочия по государственному регулированию тарифов не переданы муниципальному образованию.", + "Международным стандартам безопасности", + "Вклады в имущество ООО могут вноситься исключительно денежными средствами.", + "Общая продолжительность военной службы должна быть 10 лет и более." + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКакой из перечисленных пунктов верно отражает условие из Статьи 39. Концессионное соглашение в отношении объектов теплоснабжения, централизованных систем горячего водоснабжения, холодного водоснабжения и (или) водоотведения, отдельных объектов таких систем Федерального закона 'О концессионных соглашениях' N 115-ФЗ?\nA. Если по концессионному соглашению передаются объекты теплоснабжения или связанных с ним систем, то концессионер имеет право без дополнительных соглашений менять тарифы на предоставляемые услуги.\nB. 1 год\nC. 6 месяцев\nD. В случае заключения концессионного соглашения, объектом которого являются объекты теплоснабжения и другие указанные системы, концессионер обязан в течение шести месяцев с момента заключения договора зарегистрировать право собственности на все передаваемые объекты.\nE. Участники ООО могут вносить вклады в имущество общества только если это предусмотрено уставом общества.\nF. Концессионное соглашение может включать обязательство концессионера по созданию новых объектов инфраструктуры, которые не являются частью изначального состава договора, без изменения условий оплаты работ.\nG. Требованиям законодательства Российской Федерации\nH. Льготное кредитование для покупки недвижимости\nI. По концессионному соглашению, объектом которого являются объекты теплоснабжения, централизованные системы горячего водоснабжения, холодного водоснабжения и (или) водоотведения, третьей стороной в обязательном порядке является также субъект Российской Федерации, если полномочия по государственному регулированию тарифов не переданы муниципальному образованию.\nJ. Международным стандартам безопасности\nK. Вклады в имущество ООО могут вноситься исключительно денежными средствами.\nL. Общая продолжительность военной службы должна быть 10 лет и более.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 358, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.005314260721206665, + "B": 0.026988044381141663, + "C": 0.01742479018867016, + "D": 0.021018309518694878, + "E": 0.1370566040277481, + "F": 0.12095202505588531, + "G": 0.17598415911197662, + "H": 0.1370566040277481, + "I": 0.01742479018867016, + "J": 0.1994161754846573, + "K": 0.039267368614673615, + "L": 0.030581461265683174 + }, + "sample": { + "question": "Согласно Статье 12 Федерального закона \"О рекламе\" N 38-ФЗ, каков минимальный срок хранения рекламных материалов или их копий после последнего распространения рекламы?", + "answerA": "6 месяцев", + "answerB": "1 год", + "answerC": "3 года", + "answerD": "5 лет", + "correct_answer": "answerB", + "choices": [ + "Льготное кредитование для покупки недвижимости", + "Вклады в имущество ООО могут вноситься исключительно денежными средствами.", + "Содержание и применение таможенной процедуры выпуска для внутреннего потребления, условия помещения товаров под таможенную процедуру, возникновение и прекращение обязанности по уплате ввозных таможенных пошлин, налогов, специальных, антидемпинговых, компенсационных пошлин, срок их уплаты и исчисление регулируются главой 10 Кодекса Союза.", + "Международным стандартам безопасности", + "6 месяцев", + "Участники ООО могут вносить вклады в имущество общества только если это предусмотрено уставом общества.", + "1 год", + "Требованиям законодательства Российской Федерации", + "Общая продолжительность военной службы должна быть 10 лет и более.", + "5 лет", + "Компенсация за покупку личного автомобиля", + "3 года" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nСогласно Статье 12 Федерального закона \"О рекламе\" N 38-ФЗ, каков минимальный срок хранения рекламных материалов или их копий после последнего распространения рекламы?\nA. Льготное кредитование для покупки недвижимости\nB. Вклады в имущество ООО могут вноситься исключительно денежными средствами.\nC. Содержание и применение таможенной процедуры выпуска для внутреннего потребления, условия помещения товаров под таможенную процедуру, возникновение и прекращение обязанности по уплате ввозных таможенных пошлин, налогов, специальных, антидемпинговых, компенсационных пошлин, срок их уплаты и исчисление регулируются главой 10 Кодекса Союза.\nD. Международным стандартам безопасности\nE. 6 месяцев\nF. Участники ООО могут вносить вклады в имущество общества только если это предусмотрено уставом общества.\nG. 1 год\nH. Требованиям законодательства Российской Федерации\nI. Общая продолжительность военной службы должна быть 10 лет и более.\nJ. 5 лет\nK. Компенсация за покупку личного автомобиля\nL. 3 года\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 228, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.6886472702026367, + "B": 0.04402374476194382, + "C": 0.008668789640069008, + "D": 0.0059579662047326565, + "E": 0.10560748726129532, + "F": 0.0007574703777208924, + "G": 0.0011731932172551751, + "H": 0.0008063230197876692, + "I": 0.0008583265007473528, + "J": 0.0003361254930496216, + "K": 0.00020387041149660945, + "L": 2.7590855097514577e-05 + }, + "sample": { + "question": "Каковы условия для внесения вкладов в имущество ООО, согласно Федеральному закону 'Об обществах с ограниченной ответственностью' (ООО) N 14-ФЗ, Статье 27?", + "answerA": "Вклады в имущество ООО могут вноситься исключительно денежными средствами.", + "answerB": "Участники ООО могут вносить вклады в имущество общества только если это предусмотрено уставом общества.", + "answerC": "Вклады в имущество ООО вносятся только по решению суда.", + "answerD": "Размер вкладов в имущество ООО определяется исключительно директором общества.", + "correct_answer": "B", + "choices": [ + "Требованиям законодательства Российской Федерации", + "Вклады в имущество ООО могут вноситься исключительно денежными средствами.", + "3 дня", + "Вклады в имущество ООО вносятся только по решению суда.", + "Участники ООО могут вносить вклады в имущество общества только если это предусмотрено уставом общества.", + "Компенсация за покупку личного автомобиля", + "Содержание и применение таможенной процедуры выпуска для внутреннего потребления, условия помещения товаров под таможенную процедуру, возникновение и прекращение обязанности по уплате ввозных таможенных пошлин, налогов, специальных, антидемпинговых, компенсационных пошлин, срок их уплаты и исчисление регулируются главой 10 Кодекса Союза.", + "Общая продолжительность военной службы должна быть 10 лет и более.", + "Общая продолжительность военной службы должна быть 20 лет и более.", + "Международным стандартам безопасности", + "Размер вкладов в имущество ООО определяется исключительно директором общества.", + "Льготное кредитование для покупки недвижимости" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКаковы условия для внесения вкладов в имущество ООО, согласно Федеральному закону 'Об обществах с ограниченной ответственностью' (ООО) N 14-ФЗ, Статье 27?\nA. Требованиям законодательства Российской Федерации\nB. Вклады в имущество ООО могут вноситься исключительно денежными средствами.\nC. 3 дня\nD. Вклады в имущество ООО вносятся только по решению суда.\nE. Участники ООО могут вносить вклады в имущество общества только если это предусмотрено уставом общества.\nF. Компенсация за покупку личного автомобиля\nG. Содержание и применение таможенной процедуры выпуска для внутреннего потребления, условия помещения товаров под таможенную процедуру, возникновение и прекращение обязанности по уплате ввозных таможенных пошлин, налогов, специальных, антидемпинговых, компенсационных пошлин, срок их уплаты и исчисление регулируются главой 10 Кодекса Союза.\nH. Общая продолжительность военной службы должна быть 10 лет и более.\nI. Общая продолжительность военной службы должна быть 20 лет и более.\nJ. Международным стандартам безопаснос��и\nK. Размер вкладов в имущество ООО определяется исключительно директором общества.\nL. Льготное кредитование для покупки недвижимости\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 261, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0014156245160847902, + "B": 0.009231031872332096, + "C": 0.002484498545527458, + "D": 0.9415907859802246, + "E": 0.0016041129129007459, + "F": 0.002484498545527458, + "G": 0.004941015038639307, + "H": 0.0011735940352082253, + "I": 0.0002967310429085046, + "J": 0.00031586852855980396, + "K": 0.00193492928519845, + "L": 0.0001588286686455831 + }, + "sample": { + "question": "Чему должны соответствовать технические средства, предназначенные для обработки информации, используемые для таможенных целей согласно Федеральному закону 'О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации' N 289-ФЗ?", + "answerA": "Международным стандартам безопасности", + "answerB": "Требованиям законодательства Российской Федерации", + "answerC": "Стандартам производителя оборудования", + "answerD": "Требованиям Всемирной торговой организации", + "correct_answer": "B", + "choices": [ + "Требованиям Всемирной торговой организации", + "Международным стандартам безопасности", + "Компенсация за покупку личного автомобиля", + "Требованиям законодательства Российской Федерации", + "3 дня", + "Если товары помещены под таможенную процедуру выпуска для внутреннего потребления таможенными органами государств - членов Союза, повторное помещение таких товаров под таможенную процедуру выпуска для внутреннего потребления при их ввозе в Российскую Федерацию требуется.", + "Содержание и применение таможенной процедуры выпуска для внутреннего потребления, условия помещения товаров под таможенную процедуру, возникновение и прекращение обязанности по уплате ввозных таможенных пошлин, налогов, специальных, антидемпинговых, компенсационных пошлин, срок их уплаты и исчисление регулируются главой 10 Кодекса Союза.", + "Обеспечение бесплатного доступа ко всем техническим средствам связи.", + "Общая продолжительность военной службы должна быть 10 лет и более.", + "Общая продолжительность военной службы должна быть 20 лет и более.", + "Стандартам производителя оборудования", + "Льготное кредитование для покупки недвижимости" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nЧему должны соответствовать технические средства, предназначенные для обработки информации, используемые для таможенных целей согласно Федеральному закону 'О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации' N 289-ФЗ?\nA. Требованиям Всемирной торговой организации\nB. Международным стандартам безопасности\nC. Компенсац��я за покупку личного автомобиля\nD. Требованиям законодательства Российской Федерации\nE. 3 дня\nF. Если товары помещены под таможенную процедуру выпуска для внутреннего потребления таможенными органами государств - членов Союза, повторное помещение таких товаров под таможенную процедуру выпуска для внутреннего потребления при их ввозе в Российскую Федерацию требуется.\nG. Содержание и применение таможенной процедуры выпуска для внутреннего потребления, условия помещения товаров под таможенную процедуру, возникновение и прекращение обязанности по уплате ввозных таможенных пошлин, налогов, специальных, антидемпинговых, компенсационных пошлин, срок их уплаты и исчисление регулируются главой 10 Кодекса Союза.\nH. Обеспечение бесплатного доступа ко всем техническим средствам связи.\nI. Общая продолжительность военной службы должна быть 10 лет и более.\nJ. Общая продолжительность военной службы должна быть 20 лет и более.\nK. Стандартам производителя оборудования\nL. Льготное кредитование для покупки недвижимости\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 284, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.7876459956169128, + "B": 0.012731111608445644, + "C": 0.020990055054426193, + "D": 0.009914999827742577, + "E": 0.0034265322610735893, + "F": 0.000384446291718632, + "G": 0.0005254757707007229, + "H": 0.000384446291718632, + "I": 0.0002812668972183019, + "J": 9.131399565376341e-05, + "K": 0.00014142987492959946, + "L": 1.689139025984332e-05 + }, + "sample": { + "question": "В соответствии со Статьей 6 Федерального закона \"О воинской обязанности и военной службе\" N 53-ФЗ, какие меры материального обеспечения предусмотрены для граждан РФ во время исполнения ими воинской обязанности?", + "answerA": "Льготное кредитование для покупки недвижимости", + "answerB": "Компенсация за покупку личного автомобиля", + "answerC": "Оплата проезда и компенсация расходов, связанных с наймом жилья", + "answerD": "Единовременное денежное пособие в размере трех месячных зарплат", + "correct_answer": "Оплата проезда и компенсация расходов, связанных с наймом жилья", + "choices": [ + "Оплата проезда и компенсация расходов, связанных с наймом жилья", + "Содержание и применение таможенной процедуры выпуска для внутреннего потребления, условия помещения товаров под таможенную процедуру, возникновение и прекращение обязанности по уплате ввозных таможенных пошлин, налогов, специальных, антидемпинговых, компенсационных пошлин, срок их уплаты и исчисление регулируются главой 10 Кодекса Союза.", + "Единовременное денежное пособие в размере трех месячных зарплат", + "Компенсация за покупку личного автомобиля", + "3 дня", + "Общая продолжительность военной службы должна быть 10 лет и более.", + "Льготное кредитование для покупки недвижимости", + "С момента учреждения организации", + "Обеспечение бесплатного доступа ко всем техническим средствам связи.", + "Если товары помещены под таможенную процедуру выпуска для внутреннего потребления таможенными органами государств - членов Союза, повторное помещение таких товаров под таможенную процедуру выпуска для внутреннего потребления при их ввозе в Российскую Федерацию требуется.", + "5 дней", + "Общая продолжительность военной службы должна быть 20 лет и более." + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nВ соответствии со Статьей 6 Федерального закона \"О воинской обязанности и военной службе\" N 53-ФЗ, какие меры материального обеспечения предусмотрены для граждан РФ во время исполнения ими воинской обязанности?\nA. Оплата проезда и компенсация расходов, связанных с наймом жилья\nB. Содержание и применение таможенной процедуры выпуска для внутреннего потребления, условия помещения товаров под таможенную процедуру, возникновение и прекращение обязанности по уплате ввозных таможенных пошлин, налогов, специальных, антидемпинговых, компенсационных пошлин, срок их уплаты и исчисление регулируются главой 10 Кодекса Союза.\nC. Единовременное денежное пособие в размере трех месячных зарплат\nD. Компенсация за покупку личного автомобиля\nE. 3 дня\nF. Общая продолжительность военной службы должна быть 10 лет и более.\nG. Льготное кредитование для покупки недвижимости\nH. С момента учреждения организации\nI. Обеспечение бесплатного доступа ко всем техническим средствам связи.\nJ. Если товары помещены под таможенную процедуру выпуска для внутреннего потребления таможенными органами государств - членов Союза, повторное помещение таких товаров под таможенную процедуру выпуска для внутреннего потребления при их ввозе в Российскую Федерацию требуется.\nK. 5 дней\nL. Общая продолжительность военной службы должна быть 20 лет и более.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 293, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0027210302650928497, + "B": 0.007873563095927238, + "C": 0.00255617150105536, + "D": 0.022782908752560616, + "E": 0.022782908752560616, + "F": 0.02140256017446518, + "G": 0.01888769492506981, + "H": 0.8031252026557922, + "I": 0.007396527100354433, + "J": 0.031140541657805443, + "K": 0.012981309555470943, + "L": 0.02140256017446518 + }, + "sample": { + "question": "Какое условие должно быть выполнено, чтобы военнослужащий был признан ветераном военной службы согласно статье 5 Федерального закона 'О ветеранах' N 5-ФЗ?", + "answerA": "Общая продолжительность военной службы должна быть 10 лет и более.", + "answerB": "Общая продолжительность военной службы должна быть 20 лет и более.", + "answerC": "Необходимо быть награжденным любым государственным орденом.", + "answerD": "Необходимо иметь рекомендацию от командира подразделения.", + "correct_answer": "Общая продолжительность военной службы долж��а быть 20 лет и более.", + "choices": [ + "Установка технических средств противодействия угрозам в точке обмена трафиком и соблюдение технических условий их установки.", + "Необходимо быть награжденным любым государственным орденом.", + "Обеспечение бесплатного доступа ко всем техническим средствам связи.", + "3 дня", + "Необходимо иметь рекомендацию от командира подразделения.", + "С момента учреждения организации", + "5 дней", + "Общая продолжительность военной службы должна быть 10 лет и более.", + "Если товары помещены под таможенную процедуру выпуска для внутреннего потребления таможенными органами государств - членов Союза, повторное помещение таких товаров под таможенную процедуру выпуска для внутреннего потребления при их ввозе в Российскую Федерацию требуется.", + "Содержание и применение таможенной процедуры выпуска для внутреннего потребления, условия помещения товаров под таможенную процедуру, возникновение и прекращение обязанности по уплате ввозных таможенных пошлин, налогов, специальных, антидемпинговых, компенсационных пошлин, срок их уплаты и исчисление регулируются главой 10 Кодекса Союза.", + "Общая продолжительность военной службы должна быть 20 лет и более.", + "Министерство иностранных дел Российской Федерации" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКакое условие должно быть выполнено, чтобы военнослужащий был признан ветераном военной службы согласно статье 5 Федерального закона 'О ветеранах' N 5-ФЗ?\nA. Установка технических средств противодействия угрозам в точке обмена трафиком и соблюдение технических условий их установки.\nB. Необходимо быть награжденным любым государственным орденом.\nC. Обеспечение бесплатного доступа ко всем техническим средствам связи.\nD. 3 дня\nE. Необходимо иметь рекомендацию от командира подразделения.\nF. С момента учреждения организации\nG. 5 дней\nH. Общая продолжительность военной службы должна быть 10 лет и более.\nI. Если товары помещены под таможенную процедуру выпуска для внутреннего потребления таможенными органами государств - членов Союза, повторное помещение таких товаров под таможенную процедуру выпуска для внутреннего потребления при их ввозе в Российскую Федерацию требуется.\nJ. Содержание и применение таможенной процедуры выпуска для внутреннего потребления, условия помещения товаров под таможенную процедуру, возникновение и прекращение обязанности по уплате ввозных таможенных пошлин, налогов, специальных, антидемпинговых, компенсационных пошлин, срок их уплаты и исчисление регулируются главой 10 Кодекса Союза.\nK. Общая продолжительность военной службы должна быть 20 лет и более.\nL. Министерство иностранных дел Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 277, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.07386528700590134, + "B": 0.03079163283109665, + "C": 0.018676068633794785, + "D": 0.03489148989319801, + "E": 0.5457947254180908, + "F": 0.03953723981976509, + "G": 0.027173519134521484, + "H": 0.03079163283109665, + "I": 0.007313653826713562, + "J": 0.011327607557177544, + "K": 0.005026595667004585, + "L": 0.0056958794593811035 + }, + "sample": { + "question": "В соответствии с Федеральным законом \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ, какое утверждение о Статье 114 верно?", + "answerA": "Содержание и применение таможенной процедуры выпуска для внутреннего потребления, условия помещения товаров под таможенную процедуру, возникновение и прекращение обязанности по уплате ввозных таможенных пошлин, налогов, специальных, антидемпинговых, компенсационных пошлин, срок их уплаты и исчисление регулируются главой 10 Кодекса Союза.", + "answerB": "Если товары помещены под таможенную процедуру выпуска для внутреннего потребления таможенными органами государств - членов Союза, повторное помещение таких товаров под таможенную процедуру выпуска для внутреннего потребления при их ввозе в Российскую Федерацию требуется.", + "answerC": "Содержание и применение таможенной процедуры выпуска для внутреннего потребления, условия помещения товаров под таможенную процедуру, возникновение и прекращение обязанности по уплате ввозных таможенных пошлин, налогов, специальных, антидемпинговых, компенсационных пошлин, срок их уплаты и исчисление регулируются главой 20 Кодекса Союза.", + "answerD": "Повторное помещение товаров под таможенную процедуру выпуска для внутреннего потребления при их ввозе в Российскую Федерацию требует уплаты удвоенного размера пошлин.", + "correct_answer": "Содержание и применение таможенной процедуры выпуска для внутреннего потребления, условия помещения товаров под таможенную процедуру, возникновение и прекращение обязанности по уплате ввозных таможенных пошлин, налогов, специальных, антидемпинговых, компенсационных пошлин, срок их уплаты и исчисление регулируются главой 20 Кодекса Союза.", + "choices": [ + "Если товары помещены под таможенную процедуру выпуска для внутреннего потребления таможенными органами государств - членов Союза, повторное помещение таких товаров под таможенную процедуру выпуска для внутреннего потребления при их ввозе в Российскую Федерацию требуется.", + "Обеспечение бесплатного доступа ко всем техническим средствам связи.", + "Установка технических средств противодействия угрозам в точке обмена трафиком и соблюдение технических условий их установки.", + "С даты получения лицензии на аудиторскую деятельность", + "Содержание и применение таможенной процедуры выпуска для внутреннего потребления, условия помещения товаров под таможенную процедуру, возникновение и прекращение обязанности по уплате ввозных таможенных пошлин, налогов, специальных, антидемпинговых, компенсационных пошлин, срок их уплаты и исчисление регулируются главой 20 Кодекса Союза.", + "Содержание и применение таможенной процедуры выпуска для внутреннего потребления, условия помещения товаров под таможенную процедуру, возникновение и прекращение обязанности по уплате ввозных таможенных пошлин, налогов, специальных, антидемпинговых, компенсационных пошлин, срок их уплаты и исчисление регулируются главой 10 Кодекса Союза.", + "3 дня", + "Повторное помещение товаров под таможенную процедуру выпуска для внутреннего потребления при их ввозе в Российскую Федерацию требует уплаты удвоенного размера пошлин.", + "С момента учреждения организации", + "Министерство иностранных дел Российской Федерации", + "5 дней", + "2 316 рублей" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nВ соответствии с Федеральным законом \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ, какое утверждение о Статье 114 верно?\nA. Если товары помещены под таможенную процедуру выпуска для внутреннего потребления таможенными органами государств - членов Союза, повторное помещение таких товаров под таможенную процедуру выпуска для внутреннего потребления при их ввозе в Российскую Федерацию требуется.\nB. Обеспечение бесплатного доступа ко всем техническим средствам связи.\nC. Установка технических средств противодействия угрозам в точке обмена трафиком и соблюдение технических условий их установки.\nD. С даты получения лицензии на аудиторскую деятельность\nE. Содержание и применение таможенной процедуры выпуска для внутреннего потребления, условия помещения товаров под таможенную процедуру, возникновение и прекращение обязанности по уплате ввозных таможенных пошлин, налогов, специальных, антидемпинговых, компенсационных пошлин, срок их уплаты и исчисление регулируются главой 20 Кодекса Союза.\nF. Содержание и применение таможенной процедуры выпуска для внутреннего потребления, условия помещения товаров под таможенную процедуру, возникновение и прекращение обязанности по уплате ввозных таможенных пошлин, налогов, специальных, антидемпинговых, компенсационных пошлин, срок их уплаты и исчисление регулируются главой 10 Кодекса Союза.\nG. 3 дня\nH. Повторное помещение товаров под таможенную процедуру выпуска для внутреннего потребления при их ввозе в Российскую Федерацию требует уплаты удвоенного размера пошлин.\nI. С момента учреждения организации\nJ. Министерство иностранных дел Российской Федерации\nK. 5 дней\nL. 2 316 рублей\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 356, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.009220871143043041, + "B": 0.6464329957962036, + "C": 0.053062453866004944, + "D": 0.028402285650372505, + "E": 0.03218400478363037, + "F": 0.06813353300094604, + "G": 0.041325077414512634, + "H": 0.053062453866004944, + "I": 0.0008576746331527829, + "J": 0.015202648006379604, + "K": 0.0046365451999008656, + "L": 0.00193279969971627 + }, + "sample": { + "question": "Сколько дней отведено для уведомления Банка России о совершении сделок, указанных в подпунктах 2 пункта 1 статьи 189.11 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?", + "answerA": "3 дня", + "answerB": "5 дней", + "answerC": "7 дней", + "answerD": "10 дней", + "correct_answer": "B", + "choices": [ + "Министерство иностранных дел Российской Федерации", + "7 дней", + "С момента учреждения организации", + "2 316 рублей", + "Удостоверение об окончании образовательного учреждения", + "Обеспечение бесплатного доступа ко всем техническим средствам связи.", + "С даты получения лицензии на аудиторскую деятельность", + "10 дней", + "Таможенные органы Российской Федерации", + "3 дня", + "Установка технических средств противодействия угрозам в точке обмена трафиком и соблюдение технических условий их установки.", + "5 дней" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nСколько дней отведено для уведомления Банка России о совершении сделок, указанных в подпунктах 2 пункта 1 статьи 189.11 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?\nA. Министерство иностранных дел Российской Федерации\nB. 7 дней\nC. С момента учреждения организации\nD. 2 316 рублей\nE. Удостоверение об окончании образовательного учреждения\nF. Обеспечение бесплатного доступа ко всем техническим средствам связи.\nG. С даты получения лицензии на аудиторскую деятельность\nH. 10 дней\nI. Таможенные органы Российской Федерации\nJ. 3 дня\nK. Установка технических средств противодействия угрозам в точке обмена трафиком и соблюдение технических условий их установки.\nL. 5 дней\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 187, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.003211304545402527, + "B": 0.017360147088766098, + "C": 0.01193144265562296, + "D": 0.030468007549643517, + "E": 0.009891513735055923, + "F": 0.015320275910198689, + "G": 0.02372850850224495, + "H": 0.041644830256700516, + "I": 0.003873572451993823, + "J": 0.11320237815380096, + "K": 0.5748891234397888, + "L": 0.05347301810979843 + }, + "sample": { + "question": "Какая из указанных обязанностей возлагается на собственников или иные владельцы точек обмена трафиком, согласно статье 56.2 Федерального закона \"О связи\" N 126-ФЗ?", + "answerA": "Обеспечение бесплатного доступа ко всем техническим средствам связи.", + "answerB": "Установка технических средств противодействия угрозам в точке обмена трафиком и соблюдение технических условий их установки.", + "answerC": "Предоставление полного доступа физическим лицам к точкам обмена трафиком без ограничений.", + "answerD": "Проведение мероприятий по физической охране точек обмена трафиком в течение всего суток.", + "correct_answer": "B", + "choices": [ + "Только суд общей юрисдикции", + "Таможенные органы Российской Федерации", + "2 316 рублей", + "С даты получения лицензии на аудиторскую деятельность", + "С момента учреждения организации", + "Обеспечение бесплатного доступа ко всем техническим средствам связи.", + "1 699 рублей", + "Проведение мероприятий по физической охране точек обмена трафиком в течение всего суток.", + "Министерство иностранных дел Российской Федерации", + "Удостоверение об окончании образовательного учреждения", + "Предоставление полного доступа физическим лицам к точкам обмена трафиком без ограничений.", + "Установка технических средств противодействия угрозам в точке обмена трафиком и соблюдение технических условий их установки." + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКакая из указанных обязанностей возлагается на собственников или иные владельцы точек обмена трафиком, согласно статье 56.2 Федерального закона \"О связи\" N 126-ФЗ?\nA. Только суд общей юрисдикции\nB. Таможенные органы Российской Федерации\nC. 2 316 рублей\nD. С даты получения лицензии на аудиторскую деятельность\nE. С момента учреждения организации\nF. Обеспечение бесплатного доступа ко всем техническим средствам связи.\nG. 1 699 рублей\nH. Проведение мероприятий по физической охране точек обмена трафиком в течение всего суток.\nI. Министерство иностранных дел Российской Федерации\nJ. Удостоверение об окончании образовательного учреждения\nK. Предоставление полного доступа физическим лицам к точкам обмена трафиком без ограничений.\nL. Установка технических средств противодействия угрозам в точке обмена трафиком и соблюдение технических условий их установки.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 207, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0013891936978325248, + "B": 0.010264829732477665, + "C": 0.0016756874974817038, + "D": 0.019177228212356567, + "E": 0.012381748296320438, + "F": 0.007994258776307106, + "G": 0.016923844814300537, + "H": 0.04059819504618645, + "I": 0.007994258776307106, + "J": 0.7196201682090759, + "K": 0.11035732924938202, + "L": 0.0040197656489908695 + }, + "sample": { + "question": "С какого момента коммерческая организация приобретает право осуществлять аудиторскую деятельность согласно Федеральному закону 'Об аудиторской деятельности' N 307-ФЗ?", + "answerA": "С момента учреждения организации", + "answerB": "С даты получения лицензии на аудиторскую деятельность", + "answerC": "С даты внесения сведений о ней в реестр аудиторов и аудиторских организаций саморегулируемой организации аудиторов", + "answerD": "С момента подписания договора с первым клиентом", + "correct_answer": "С даты внесения сведений о ней в реестр аудиторов и аудиторских организаций саморегулируемой организации аудиторов", + "choices": [ + "1 699 рублей", + "Удостоверение об окончании образовательного учреждения", + "Постановление налогового органа о взыскании задолженности в бюджетную систему Российской Федерации", + "С даты получения лицензии на аудиторскую деятельность", + "С момента подписания договора с первым клиентом", + "2 316 рублей", + "Таможенные органы Российской Федерации", + "С момента учреждения организации", + "Министерство иностранных дел Российской Федерации", + "С даты внесения сведений о ней в реестр аудиторов и аудиторских организаций саморегулируемой организации аудиторов", + "Только суд общей юрисдикции", + "Производит операции с использованием сервиса быстрых платежей платежной системы Банка России без ограничений." + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nС какого момента коммерческая организация приобретает право осуществлять аудиторскую деятельность согласно Федеральному закону 'Об аудиторской деятельности' N 307-ФЗ?\nA. 1 699 рублей\nB. Удостоверение об окончании образовательного учреждения\nC. Постановление налогового органа о взыскании задолженности в бюджетную систему Российской Федерации\nD. С даты получения лицензии на аудиторскую деятельность\nE. С момента подписания договора с первым клиентом\nF. 2 316 рублей\nG. Таможенные органы Российской Федерации\nH. С момента учреждения организации\nI. Министерство иностранных дел Российской Федерации\nJ. С даты внесения сведений о ней в реестр аудиторов и аудиторских организаций саморегулируемой организации аудиторов\nK. Только суд общей юрисдикции\nL. Производит операции с использованием сервиса быстрых платежей платежной системы Банка России без ограничений.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 199, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.00038105648127384484, + "B": 0.007190008647739887, + "C": 0.00045964185846969485, + "D": 0.05655379220843315, + "E": 0.001249436172656715, + "F": 0.001249436172656715, + "G": 0.004360960330814123, + "H": 0.8846502304077148, + "I": 0.00040563251241110265, + "J": 0.0014157965779304504, + "K": 0.0016043076757341623, + "L": 0.016202934086322784 + }, + "sample": { + "question": "Кто определяет перечень и порядок применения технических средств таможенного контроля, используемых при проведении таможенного контроля, согласно Федеральному закону \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?", + "answerA": "Министерство иностранных дел Российской Федерации", + "answerB": "Таможенные органы Российской Федерации", + "answerC": "Федеральный орган исполнительной власти, осуществляющий функции по выработке государственной политики и нормативно-правовому регулированию в области таможенного дела", + "answerD": "Правительство Российской Федерации", + "correct_answer": "answerC", + "choices": [ + "Только статистику взаимной торговли товарами Российской Федерации с государствами, не являющимися членами Союза", + "Таможенные органы Российской Федерации", + "Только суд общей юрисдикции", + "Правительство Российской Федерации", + "1 699 рублей", + "Производит операции с использованием сервиса быстрых платежей платежной системы Банка России без ограничений.", + "Удостоверение об окончании образовательного учреждения", + "Федеральный орган исполнительной власти, осуществляющий функции по выработке государственной политики и нормативно-правовому регулированию в области таможенного дела", + "Областной арбитражный суд", + "Постановление налогового органа о взыскании задолженности в бюджетную систему Российской Федерации", + "Министерство иностранных дел Российской Федерации", + "2 316 рублей" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКто определяет перечень и порядок применения технических средств таможенного контроля, используемых при проведении таможенного контроля, согласно Федеральному закону \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?\nA. Только статистику взаимной торговли товарами Российской Федерации с государствами, не являющимися членами Союза\nB. Таможенные органы Российской Федерации\nC. Только суд общей юрисдикции\nD. Правительство Российской Федерации\nE. 1 699 рублей\nF. Производит операции с использованием сервиса быстрых платежей платежной системы Банка России без ограничений.\nG. Удостоверение об окончании образовательного учреждения\nH. Федеральный орган исполнительной власти, осуществляющий функции по выработке государственной политики и нормативно-правовому регулированию в области таможенного дела\nI. Областной арбитражный суд\nJ. Постановление налогового органа о взыскании задолженности в бюджетную систему Российской Федерации\nK. Министерство иностранных дел Российской Федерации\nL. 2 316 рублей\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 229, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.012143481522798538, + "B": 0.025707751512527466, + "C": 0.5851057171821594, + "D": 0.05442330613732338, + "E": 0.03300940617918968, + "F": 0.03740455582737923, + "G": 0.06988091766834259, + "H": 0.03300940617918968, + "I": 0.00394241139292717, + "J": 0.008346084505319595, + "K": 0.03740455582737923, + "L": 0.0023911932948976755 + }, + "sample": { + "question": "Какой размер ежемесячной денежной выплаты установлен для инвалидов войны согласно статье 23.1 Федер��льного закона \"О ветеранах\" N 5-ФЗ?", + "answerA": "2 316 рублей", + "answerB": "1 699 рублей", + "answerC": "3 088 рублей", + "answerD": "927 рублей", + "correct_answer": "C", + "choices": [ + "Областной арбитражный суд", + "Ипотека в отношении этого имущества остается в силе до полного исполнения обязательств залогодателя.", + "927 рублей", + "Производит операции с использованием сервиса быстрых платежей платежной системы Банка России без ограничений.", + "Только статистику взаимной торговли товарами Российской Федерации с государствами, не являющимися членами Союза", + "2 316 рублей", + "Постановление налогового органа о взыскании задолженности в бюджетную систему Российской Федерации", + "Только суд общей юрисдикции", + "1 699 рублей", + "Выдает остаток денежных средств на счете при расторжении договора банковского счета (вклада, депозита) без ограничений.", + "Удостоверение об окончании образовательного учреждения", + "3 088 рублей" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКакой размер ежемесячной денежной выплаты установлен для инвалидов войны согласно статье 23.1 Федерального закона \"О ветеранах\" N 5-ФЗ?\nA. Областной арбитражный суд\nB. Ипотека в отношении этого имущества остается в силе до полного исполнения обязательств залогодателя.\nC. 927 рублей\nD. Производит операции с использованием сервиса быстрых платежей платежной системы Банка России без ограничений.\nE. Только статистику взаимной торговли товарами Российской Федерации с государствами, не являющимися членами Союза\nF. 2 316 рублей\nG. Постановление налогового органа о взыскании задолженности в бюджетную систему Российской Федерации\nH. Только суд общей юрисдикции\nI. 1 699 рублей\nJ. Выдает остаток денежных средств на счете при расторжении договора банковского счета (вклада, депозита) без ограничений.\nK. Удостоверение об окончании образовательного учреждения\nL. 3 088 рублей\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 222, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.054867930710315704, + "B": 0.010804136283695698, + "C": 0.022872356697916985, + "D": 0.0293686855584383, + "E": 0.4594035744667053, + "F": 0.010804136283695698, + "G": 0.007425567135214806, + "H": 0.010804136283695698, + "I": 0.2170068919658661, + "J": 0.048420779407024384, + "K": 0.010804136283695698, + "L": 0.0025662074331194162 + }, + "sample": { + "question": "Какой из следующих документов является исполнительным документом в соответствии со статьей 12 Федерального закона 'Об исполнительном производстве' N 229-ФЗ?", + "answerA": "Удостоверение об окончании образовательного учреждения", + "answerB": "Постановление налогового органа о взыскании задолженности в бюджетную систему Российской Федерации", + "answerC": "Справка о состоянии здоровья, выданная медицинским учреждением", + "answerD": "Лицензия на ведение определенного вида деятельности", + "correct_answer": "B", + "choices": [ + "Областной арбитражный суд", + "Только суд общей юрисдикции", + "Только статистику взаимной торговли товарами Российской Федерации с государствами, не являющимися членами Союза", + "Отношения, связанные с установлением требований в области культуры и искусства", + "Производит операции с использованием сервиса быстрых платежей платежной системы Банка России без ограничений.", + "Только статистику взаимной торговли товарами Российской Федерации с государствами-членами Союза", + "Удостоверение об окончании образовательного учреждения", + "Ипотека в отношении этого имущества остается в силе до полного исполнения обязательств залогодателя.", + "Постановление налогового органа о взыскании задолженности в бюджетную систему Российской Федерации", + "Выдает остаток денежных средств на счете при расторжении договора банковского счета (вклада, депозита) без ограничений.", + "Справка о состоянии здоровья, выданная медицинским учреждением", + "Лицензия на ведение определенного вида деятельности" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКакой из следующих документов является исполнительным документом в соответствии со статьей 12 Федерального закона 'Об исполнительном производстве' N 229-ФЗ?\nA. Областной арбитражный суд\nB. Только суд общей юрисдикции\nC. Только статистику взаимной торговли товарами Российской Федерации с государствами, не являющимися членами Союза\nD. Отношения, связанные с установлением требований в области культуры и искусства\nE. Производит операции с использованием сервиса быстрых платежей платежной системы Банка России без ограничений.\nF. Только статистику взаимной торговли товарами Российской Федерации с государствами-членами Союза\nG. Удостоверение об окончании образовательного учреждения\nH. Ипотека в отношении этого имущества остается в силе до полного исполнения обязательств залогодателя.\nI. Постановление налогового органа о взыскании задолженности в бюджетную систему Российской Федерации\nJ. Выдает остаток денежных средств на счете при расторжении договора банковского счета (вклада, депозита) без ограничений.\nK. Справка о состоянии здоровья, выданная медицинским учреждением\nL. Лицензия на ведение определенного вида деятельности\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 246, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0008419406367465854, + "B": 0.003128188895061612, + "C": 0.04318331927061081, + "D": 0.012372227385640144, + "E": 0.0020197106059640646, + "F": 0.0016743990126997232, + "G": 0.0017823884263634682, + "H": 0.0011507964227348566, + "I": 0.00027333811158314347, + "J": 0.0009540437604300678, + "K": 0.5961272716522217, + "L": 0.0005435977363958955 + }, + "sample": { + "question": "Какой судебный или административный орган может возобновить исполнительное производство, приостановленное судебным приставом-исполнителем?", + "answerA": "Только суд общей юрисдикции", + "answerB": "Областной арбитражный суд", + "answerC": "Любой суд по заявлению взыскателя, должника либо сам судебный пристав-исполнитель", + "answerD": "Только федеральный суд", + "correct_answer": "Любой суд по заявлению взыскателя, должника либо сам судебный пристав-исполнитель", + "choices": [ + "Ипотека в отношении этого имущества остается в силе до полного исполнения обязательств залогодателя.", + "Выдает остаток денежных средств на счете при расторжении договора банковского счета (вклада, депозита) без ограничений.", + "Только суд общей юрисдикции", + "Ипотека в отношении этого имущества прекращается.", + "Производит операции с использованием сервиса быстрых платежей платежной системы Банка России без ограничений.", + "Отношения, связанные с установлением требований в области культуры и искусства", + "Только статистику взаимной торговли товарами Российской Федерации с государствами, не являющимися членами Союза", + "Только федеральный суд", + "Только статистику взаимной торговли товарами Российской Федерации с государствами-членами Союза", + "Статья 45", + "Любой суд по заявлению взыскателя, должника либо сам судебный пристав-исполнитель", + "Областной арбитражный суд" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКакой судебный или административный орган может возобновить исполнительное производство, приостановленное судебным приставом-исполнителем?\nA. Ипотека в отношении этого имущества остается в силе до полного исполнения обязательств залогодателя.\nB. Выдает остаток денежных средств на счете при расторжении договора банковского счета (вклада, депозита) без ограничений.\nC. Только суд общей юрисдикции\nD. Ипотека в отношении этого имущества прекращается.\nE. Производит операции с использованием сервиса быстрых платежей платежной системы Банка России без ограничений.\nF. Отношения, связанные с установлением требований в области культуры и искусства\nG. Только статистику взаимной торговли товарами Российской Федерации с государствами, не являющимися членами Союза\nH. Только федеральный суд\nI. Только статистику взаимной торговли товарами Российской Федерации с государствами-членами Союза\nJ. Статья 45\nK. Любой суд по заявлению взыскателя, должника либо сам судебный пристав-исполнитель\nL. Областной арбитражный суд\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 227, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.010221444070339203, + "B": 0.02610136941075325, + "C": 0.08039787411689758, + "D": 0.07095088064670563, + "E": 0.03148425742983818, + "F": 0.07095088064670563, + "G": 0.06261392682790756, + "H": 0.06261392682790756, + "I": 0.011582412756979465, + "J": 0.1169782280921936, + "K": 0.2476429045200348, + "L": 0.07095088064670563 + }, + "sample": { + "question": "Какие меры применяет кредитная организация в отношении клиента - юридического лица (индивидуального предпринимателя), отнесенного к группе высокой степени (уровня) риска совершения подозрительных операций, в соответствии с Федеральным законом 'О противодействии легализации (отмыванию) доходов, полученных преступным путем, и финансированию терроризма' N 115-ФЗ?", + "answerA": "Производит операции с использованием сервиса быстрых платежей платежной системы Банка России без ограничений.", + "answerB": "Выдает остаток денежных средств на счете при расторжении договора банковского счета (вклада, депозита) без ограничений.", + "answerC": "Предоставляет кредитные ресурсы на развитие бизнеса клиента без дополнительного анализа рисков.", + "answerD": "Не проводит операции по списанию денежных средств с банковского счета (вклада, депозита), не осуществляет переводы денежных средств с использованием сервиса быстрых платежей платежной системы Банка России, а также операции с иным имуществом, за исключением случаев, предусмотренных законодательством.", + "correct_answer": "D", + "choices": [ + "Только статистику взаимной торговли товарами Российской Федерации с государствами, не являющимися членами Союза", + "Предоставляет кредитные ресурсы на развитие бизнеса клиента без дополнительного анализа рисков.", + "Статья 45", + "50 процентов от суммы излишне понесенных расходов", + "Производит операции с использованием сервиса быстрых платежей платежной системы Банка России без ограничений.", + "Не проводит операции по списанию денежных средств с банковского счета (вклада, депозита), не осуществляет переводы денежных средств с использованием сервиса быстрых платежей платежной системы Банка России, а также операции с иным имуществом, за исключением случаев, предусмотренных законодательством.", + "Выдает остаток денежных средств на счете при расторжении договора банковского счета (вклада, депозита) без ограничений.", + "Отношения, связанные с установлением и оценкой применения обязательных требований в сфере обороны и военно-технического сотрудничества", + "Только статистику взаимной торговли товарами Российской Федерации с государствами-членами Союза", + "Ипотека в отношении этого имущества прекращается.", + "Отношения, связанные с установлением требований в области культуры и искусства", + "Ипотека в отношении этого имущества остается в силе до полного исполнения обязательств залогодателя." + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКакие меры применяет кредитная организация в отношении клиента - юридического лица (индивидуального предпринимателя), отнесенного к группе высокой степени (уровня) риска совершения подозрительных операций, в соответствии с Федеральным законом 'О противодействии легализации (отмыванию) доходов, полученных преступным путем, и финансированию терроризма' N 115-ФЗ?\nA. Только статистику взаимной торговли товарами Российской Федерации с государствами, не являющимися членами Союза\nB. Предоставляет кредитные ресурсы на развитие бизнеса клиента без дополнительного анализа рисков.\nC. Статья 45\nD. 50 процентов от суммы излишне понесенных расходов\nE. Производит операции с использованием сервиса быстрых платежей платежной системы Банка России без ограничений.\nF. Не проводит операции по списанию денежных средств с банковского счета (вклада, депозита), не осуществляет переводы денежных средств с использованием сервиса быстрых платежей платежной системы Банка России, а также операции с иным имуществом, за исключением случаев, предусмотренных законодательством.\nG. Выдает остаток денежных средств на счете при расторжении договора банковского счета (вклада, депозита) без ограничений.\nH. Отношения, связанные с установлением и оценкой применения обязательных требований в сфере обороны и военно-технического сотрудничества\nI. Только статистику взаимной торговли товарами Российской Федерации с государствами-членами Союза\nJ. Ипотека в отношении этого имущества прекращается.\nK. Отношения, связанные с установлением требований в области культуры и искусства\nL. Ипотека в отношении этого имущества остается в силе до полного исполнения обязательств залогодателя.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 340, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.019920960068702698, + "B": 0.0064673894084990025, + "C": 0.0057074506767094135, + "D": 0.1011669859290123, + "E": 0.659691572189331, + "F": 0.01758018508553505, + "G": 0.022573404014110565, + "H": 0.01758018508553505, + "I": 0.011350620537996292, + "J": 0.010016887448728085, + "K": 0.009409994818270206, + "L": 0.006884499918669462 + }, + "sample": { + "question": "Что включает в себя таможенная статистика внешней торговли товарами Российской Федерации согласно Федеральному закону \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?", + "answerA": "Только статистику взаимной торговли товарами Российской Федерации с государствами, не являющимися членами Союза", + "answerB": "Только статистику взаимной торговли товарами Российской Федерации с государствами-членами Союза", + "answerC": "Таможенную статистику внешней торговли товарами Российской Федерации с государствами, не являющимися членами Союза, и статистику взаимной торговли товарами Российской Федерации с государствами-членами Союза", + "answerD": "Только статистику экспорта товарами Российской Федерации", + "correct_answer": "C", + "choices": [ + "Отношения, связанные с установлением и оценкой применения обязательных требований в сфере обороны и военно-технического сотрудничества", + "50 процентов от суммы излишне понесенных расходов", + "Отношения, связанные с установлением требований в области культуры и искусства", + "Только статистику экспорта товарами Российской Федерации", + "Таможенную статистику внешней торговли товарами Российской Федерации с государствами, не являющимися членами Союза, и статистику взаимной торговли товарами Российской Федерации с государствами-членами Союза", + "Разрешается свободный ввоз радиоактивных отходов в РФ без каких-либо ограничений.", + "Ипотека в отношении этого имущества прекращается.", + "Статья 45", + "Только статистику взаимной торговли товарами Российской Федерации с государствами, не являющимися членами Союза", + "Статья 51", + "Ипотека в отношении этого имущества остается в силе до полного исполнения обязательств залогодателя.", + "Только статистику взаимной торговли товарами Российской Федерации с государствами-членами Союза" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nЧто включает в себя таможенная статистика внешней торговли товарами Российской Федерации согласно Федеральному закону \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?\nA. Отношения, связанные с установлением и оценкой применения обязательных требований в сфере обороны и военно-технического сотрудничества\nB. 50 процентов от суммы излишне понесенных расходов\nC. Отношения, связанные с установлением требований в области культуры и искусства\nD. Только статистику экспорта товарами Российской Федерации\nE. Таможенную статистику внешней торговли товарами Российской Федерации с государствами, не являющимися членами Союза, и статистику взаимной торговли товарами Российской Федерации с государствами-членами Союза\nF. Разрешается свободный ввоз радиоактивных отходов в РФ без каких-либо ограничений.\nG. Ипотека в отношении этого имущества прекращается.\nH. Статья 45\nI. Только статистику взаимной торговли товарами Российской Федерации с государствами, не являющимися членами Союза\nJ. Статья 51\nK. Ипотека в отношении этого имущества остается в силе до полного исполнения обязательств залогодателя.\nL. Только статистику взаимной торговли товарами Российской Федерации с государствами-членами Союза\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 274, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.012586782686412334, + "B": 0.03421442583203316, + "C": 0.03214147686958313, + "D": 0.04393218830227852, + "E": 0.052992336452007294, + "F": 0.03214147686958313, + "G": 0.06804350763559341, + "H": 0.11218477785587311, + "I": 0.02209049090743065, + "J": 0.0771033987402916, + "K": 0.18496142327785492, + "L": 0.20958875119686127 + }, + "sample": { + "question": "Какие последствия влечет за собой виндикация заложенного имущества по Статье 42 Федерального закона 'Об ипотеке (залоге недвижимости)' N 102-ФЗ?", + "answerA": "Ипотека в отношении этого имущества остается в силе до полного исполнения обязательств залогодателя.", + "answerB": "Ипотека в отношении этого имущества прекращается.", + "answerC": "Залогодержатель имеет право стать собственником изъятого имущества.", + "answerD": "Залогодержатель обязан выплатить компенсацию за изъятое имущество залогодателю.", + "correct_answer": "Ипотека в отношении этого имущества прекращается.", + "choices": [ + "Разрешается свободный ввоз радиоактивных отходов в РФ без каких-либо ограничений.", + "Статья 51", + "20 процентов от суммы излишне понесенных расходов, но не более 5 000 рублей и не менее 1 000 рублей", + "50 процентов от суммы излишне понесенных расходов", + "Залогодержатель имеет право стать собственником изъятого имущества.", + "Статья 45", + "Ипотека в отношении этого имущества остается в силе до полного исполнения обязательств залогодателя.", + "Проведение ежегодных аудитов всех эмитентов ценных бумаг", + "Залогодержатель обязан выплатить компенсацию за изъятое имущество залогодателю.", + "Отношения, связанные с установлением и оценкой применения обязательных требований в сфере обороны и военно-технического сотрудничества", + "Отношения, связанные с установлением требований в области культуры и искусства", + "Ипотека в отношении этого имущества прекращается." + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКакие последствия влечет за собой виндикация заложенного имущества по Статье 42 Федерального закона 'Об ипотеке (залоге недвижимости)' N 102-ФЗ?\nA. Разрешается свободный ввоз радиоактивных отходов в РФ без каких-либо ограничений.\nB. Статья 51\nC. 20 процентов от суммы излишне понесенных расходов, но не более 5 000 рублей и не менее 1 000 рублей\nD. 50 процентов от суммы излишне понесенных расходов\nE. Залогодержатель имеет право стать собственником изъятого имущества.\nF. Статья 45\nG. Ипотека в отношении этого имущества остается в силе до полного исполнения обязательств залогодателя.\nH. Проведение ежегодных аудитов всех эмитентов ценных бумаг\nI. Залогодержатель обязан выплатить компенсацию за изъятое имущество залогодателю.\nJ. Отношения, связанные с установлением и оценкой применения обязательных требований в сфере обороны и военно-технического сотрудничества\nK. Отношения, связанные с установлением требований в области культуры и искусства\nL. Ипотека в отношении этого имущества прекращается.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 259, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.10939294099807739, + "B": 0.04024341329932213, + "C": 0.12395844608545303, + "D": 0.09653893113136292, + "E": 0.058553826063871384, + "F": 0.03336296230554581, + "G": 0.06635017693042755, + "H": 0.058553826063871384, + "I": 0.029442712664604187, + "J": 0.042838893830776215, + "K": 0.10939294099807739, + "L": 0.010175128467381 + }, + "sample": { + "question": "На какие отношения не распространяется Федеральный закон от 31.07.2020 N 247-ФЗ 'Об обязательных требованиях в Российской Федерации'?", + "answerA": "Отношения, связанные с установлением требований в области культуры и искусства", + "answerB": "Отношения, связанные с установлением и оценкой применения обязательных требований в сфере обороны и военно-технического сотрудничества", + "answerC": "Отношения, связанные с контролем за качеством продуктов питания", + "answerD": "Отношения, связанные с регулированием деятельности образовательных учреждений", + "correct_answer": "Отношения, связанные с установлением и оценкой применения обязательных требований в сфере обороны и военно-технического сотрудничества", + "choices": [ + "Отношения, связанные с контролем за качеством продуктов питания", + "50 процентов от суммы излишне понесенных расходов", + "20 процентов от суммы излишне понесенных расходов, но не более 5 000 рублей и не менее 1 000 рублей", + "Отходы производства и потребления могут захораниваться без учета класса опасности в непосредственной близости от населенных пунктов.", + "Проведение ежегодных аудитов всех эмитентов ценных бумаг", + "Статья 45", + "Ипотекой предприятия могут обеспечиваться только те обязательства, которые должны быть исполнены в течение 6 месяцев после заключения договора об ипотеке.", + "Разрешается свободный ввоз радиоактивных отходов в РФ без каких-либо ограничений.", + "Отношения, связанные с установлением требований в области культуры и искусства", + "Статья 51", + "Отношения, связанные с установлением и оценкой применения обязательных требований в сфере обороны и военно-технического сотрудничества", + "Отношения, связанные с регулированием деятельности образовательных учреждений" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nНа какие отношения не распространяется Федеральный закон от 31.07.2020 N 247-ФЗ 'Об обязательных требованиях в Российской Федерации'?\nA. Отношения, связанные с контролем за качеством продуктов питания\nB. 50 процентов от суммы излишне понесенных расходов\nC. 20 процентов от суммы излишне понесенных расходов, но не более 5 000 рублей и не менее 1 000 рублей\nD. Отходы производства и потребления могут захораниваться без учета класса опасности в непосредственной близости от населенных пунктов.\nE. Проведение ежегодных аудитов всех эмитентов ценных бумаг\nF. Статья 45\nG. Ипотекой предприятия могут обеспечиваться только те обязательства, которые должны быть исполнены в течение 6 месяцев после заклю��ения договора об ипотеке.\nH. Разрешается свободный ввоз радиоактивных отходов в РФ без каких-либо ограничений.\nI. Отношения, связанные с установлением требований в области культуры и искусства\nJ. Статья 51\nK. Отношения, связанные с установлением и оценкой применения обязательных требований в сфере обороны и военно-технического сотрудничества\nL. Отношения, связанные с регулированием деятельности образовательных учреждений\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 274, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.5212175846099854, + "B": 0.03332032635807991, + "C": 0.020209798589348793, + "D": 0.09057403355836868, + "E": 0.04848078638315201, + "F": 0.05493592843413353, + "G": 0.02594989538192749, + "H": 0.09057403355836868, + "I": 0.020209798589348793, + "J": 0.006984320003539324, + "K": 0.0035119366366416216, + "L": 0.0007836189470253885 + }, + "sample": { + "question": "В соответствии с какой статьей Федерального закона 'Об ипотеке (залоге недвижимости)' N 102-ФЗ взыскание по требованиям залогодержателя обращается на имущество, заложенное по договору об ипотеке, по решению суда?", + "answerA": "Статья 45", + "answerB": "Статья 51", + "answerC": "Статья 55", + "answerD": "Статья 60", + "correct_answer": "Статья 51", + "choices": [ + "Статья 45", + "50 процентов от суммы излишне понесенных расходов", + "Проведение ежегодных аудитов всех эмитентов ценных бумаг", + "Статья 60", + "Если иностранный гражданин официально трудоустроен в Российской Федерации.", + "Отходы производства и потребления могут захораниваться без учета класса опасности в непосредственной близости от населенных пунктов.", + "20 процентов от суммы излишне понесенных расходов, но не более 5 000 рублей и не менее 1 000 рублей", + "Статья 55", + "Ипотекой предприятия могут обеспечиваться только те обязательства, которые должны быть исполнены в течение 6 месяцев после заключения договора об ипотеке.", + "Статья 51", + "Разрешается свободный ввоз радиоактивных отходов в РФ без каких-либо ограничений.", + "Обеспечение конфиденциальности предоставляемой ему информации, за исключением информации, раскрываемой в соответствии с законодательством РФ о ценных бумагах" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nВ соответствии с какой статьей Федерального закона 'Об ипотеке (залоге недвижимости)' N 102-ФЗ взыскание по требованиям залогодержателя обращается на имущество, заложенное по договору об ипотеке, по решению суда?\nA. Статья 45\nB. 50 процентов от суммы излишне понесенных расходов\nC. Проведение ежегодных аудитов всех эмитентов ценных бумаг\nD. Статья 60\nE. Если иностранный гражданин официально трудоустроен в Российской Федерации.\nF. Отходы производства и потребления могут захораниваться без учета класса опасности в непосредственной близости от населенных пунктов.\nG. 20 процентов от суммы излишне понесенных расходов, но не более 5 000 рублей и не менее 1 000 рублей\nH. Статья 55\nI. Ипотекой предприятия могут обеспечиваться только те обязательства, которые должны быть исполнены в течение 6 месяцев после заключения договора об ипотеке.\nJ. Статья 51\nK. Разрешается свободный ввоз радиоактивных отходов в РФ без каких-либо ограничений.\nL. Обеспечение конфиденциальности предоставляемой ему информации, за исключением информации, раскрываемой в соответствии с законодательством РФ о ценных бумагах\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 278, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.005409677047282457, + "B": 0.051325589418411255, + "C": 0.035275522619485855, + "D": 0.051325589418411255, + "E": 0.05815950781106949, + "F": 0.06590336561203003, + "G": 0.17914390563964844, + "H": 0.10865627229213715, + "I": 0.012190895155072212, + "J": 0.08462158590555191, + "K": 0.15809392929077148, + "L": 0.09588882327079773 + }, + "sample": { + "question": "Каков размер штрафа за представление недостоверных сведений и документов, необходимых для назначения и выплаты обеспечения по страхованию, по Федеральному закону \"Об обязательном социальном страховании от несчастных случаев на производстве и профессиональных заболеваний\" N 125-ФЗ?", + "answerA": "50 процентов от суммы излишне понесенных расходов", + "answerB": "20 процентов от суммы излишне понесенных расходов, но не более 5 000 рублей и не менее 1 000 рублей", + "answerC": "10 процентов от суммы излишне понесенных расходов", + "answerD": "30 процентов от суммы излишне понесенных расходов, но не более 10 000 рублей", + "correct_answer": "answerB", + "choices": [ + "Отходы производства и потребления могут захораниваться без учета класса опасности в непосредственной близости от населенных пунктов.", + "Обеспечение конфиденциальности предоставляемой ему информации, за исключением информации, раскрываемой в соответствии с законодательством РФ о ценных бумагах", + "Проведение ежегодных аудитов всех эмитентов ценных бумаг", + "Ипотекой предприятия могут обеспечиваться обязательства любой суммы, независимо от стоимости имущества, относящегося к предприятию.", + "Если иностранный гражданин официально трудоустроен в Российской Федерации.", + "30 процентов от суммы излишне понесенных расходов, но не более 10 000 рублей", + "20 процентов от суммы излишне понесенных расходов, но не более 5 000 рублей и не менее 1 000 рублей", + "10 процентов от суммы излишне понесенных расходов", + "Разрешается свободный ввоз радиоактивных отходов в РФ без каких-либо ограничений.", + "50 процентов от суммы излишне понесенных расходов", + "Право на обязательное медицинское страхование.", + "Ипотекой предприятия могут обеспечиваться только те обязательства, которые должны быть исполнены в течение 6 месяцев после заключения дог��вора об ипотеке." + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКаков размер штрафа за представление недостоверных сведений и документов, необходимых для назначения и выплаты обеспечения по страхованию, по Федеральному закону \"Об обязательном социальном страховании от несчастных случаев на производстве и профессиональных заболеваний\" N 125-ФЗ?\nA. Отходы производства и потребления могут захораниваться без учета класса опасности в непосредственной близости от населенных пунктов.\nB. Обеспечение конфиденциальности предоставляемой ему информации, за исключением информации, раскрываемой в соответствии с законодательством РФ о ценных бумагах\nC. Проведение ежегодных аудитов всех эмитентов ценных бумаг\nD. Ипотекой предприятия могут обеспечиваться обязательства любой суммы, независимо от стоимости имущества, относящегося к предприятию.\nE. Если иностранный гражданин официально трудоустроен в Российской Федерации.\nF. 30 процентов от суммы излишне понесенных расходов, но не более 10 000 рублей\nG. 20 процентов от суммы излишне понесенных расходов, но не более 5 000 рублей и не менее 1 000 рублей\nH. 10 процентов от суммы излишне понесенных расходов\nI. Разрешается свободный ввоз радиоактивных отходов в РФ без каких-либо ограничений.\nJ. 50 процентов от суммы излишне понесенных расходов\nK. Право на обязательное медицинское страхование.\nL. Ипотекой предприятия могут обеспечиваться только те обязательства, которые должны быть исполнены в течение 6 месяцев после заключения договора об ипотеке.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 333, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.11211354285478592, + "B": 0.7310721278190613, + "C": 0.02207646518945694, + "D": 0.028346741572022438, + "E": 0.011816680431365967, + "F": 0.00558180408552289, + "G": 0.002806707751005888, + "H": 0.0023268423974514008, + "I": 0.00011584665480768308, + "J": 0.0009112046100199223, + "K": 0.00037984654773026705, + "L": 5.825135303894058e-05 + }, + "sample": { + "question": "Какой из следующих пунктов является частью требований ст. 51 Федерального закона \"Об охране окружающей среды\" N 7-ФЗ в отношении обращения с отходами производства и потребления?", + "answerA": "Разрешается свободный ввоз радиоактивных отходов в РФ без каких-либо ограничений.", + "answerB": "Отходы производства и потребления могут захораниваться без учета класса опасности в непосредственной близости от населенных пунктов.", + "answerC": "Отношения в области обращения с отходами производства и потребления, а также отходами I - IV классов опасности и радиоактивными отходами регулируются соответствующим законодательством Российской Федерации.", + "answerD": "Организации и предприятия имеют право на самостоятельное определение способов утилизации отходов без согласования с регулирующими органами.", + "correct_answer": "answerC", + "choices": [ + "В т��чение 30 дней с момента открытия (закрытия)", + "Отношения в области обращения с отходами производства и потребления, а также отходами I - IV классов опасности и радиоактивными отходами регулируются соответствующим законодательством Российской Федерации.", + "Ипотекой предприятия могут обеспечиваться только те обязательства, которые должны быть исполнены в течение 6 месяцев после заключения договора об ипотеке.", + "Если иностранный гражданин представил поддельные документы или заведомо ложные сведения.", + "Право на обязательное медицинское страхование.", + "Отходы производства и потребления могут захораниваться без учета класса опасности в непосредственной близости от населенных пунктов.", + "Обеспечение конфиденциальности предоставляемой ему информации, за исключением информации, раскрываемой в соответствии с законодательством РФ о ценных бумагах", + "Организации и предприятия имеют право на самостоятельное определение способов утилизации отходов без согласования с регулирующими органами.", + "Проведение ежегодных аудитов всех эмитентов ценных бумаг", + "Ипотекой предприятия могут обеспечиваться обязательства любой суммы, независимо от стоимости имущества, относящегося к предприятию.", + "Если иностранный гражданин официально трудоустроен в Российской Федерации.", + "Разрешается свободный ввоз радиоактивных отходов в РФ без каких-либо ограничений." + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКакой из следующих пунктов является частью требований ст. 51 Федерального закона \"Об охране окружающей среды\" N 7-ФЗ в отношении обращения с отходами производства и потребления?\nA. В течение 30 дней с момента открытия (закрытия)\nB. Отношения в области обращения с отходами производства и потребления, а также отходами I - IV классов опасности и радиоактивными отходами регулируются соответствующим законодательством Российской Федерации.\nC. Ипотекой предприятия могут обеспечиваться только те обязательства, которые должны быть исполнены в течение 6 месяцев после заключения договора об ипотеке.\nD. Если иностранный гражданин представил поддельные документы или заведомо ложные сведения.\nE. Право на обязательное медицинское страхование.\nF. Отходы производства и потребления могут захораниваться без учета класса опасности в непосредственной близости от населенных пунктов.\nG. Обеспечение конфиденциальности предоставляемой ему информации, за исключением информации, раскрываемой в соответствии с законодательством РФ о ценных бумагах\nH. Организации и предприятия имеют право на самостоятельное определение способов утилизации отходов без согласования с регулирующими органами.\nI. Проведение ежегодных аудитов всех эмитентов ценных бумаг\nJ. Ипотекой предприятия могут обеспечиваться обязательс��ва любой суммы, независимо от стоимости имущества, относящегося к предприятию.\nK. Если иностранный гражданин официально трудоустроен в Российской Федерации.\nL. Разрешается свободный ввоз радиоактивных отходов в РФ без каких-либо ограничений.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 316, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.025028835982084274, + "B": 0.44364672899246216, + "C": 0.05298604443669319, + "D": 0.07709423452615738, + "E": 0.015180755406618118, + "F": 0.0412655733525753, + "G": 0.08735921233892441, + "H": 0.06004105508327484, + "I": 0.002328044269233942, + "J": 0.03641673922538757, + "K": 0.05298604443669319, + "L": 0.012585288845002651 + }, + "sample": { + "question": "Какой из перечисленных пунктов является одной из обязанностей Банка России согласно статье 44.1 Федерального закона 'О рынке ценных бумаг' N 39-ФЗ?", + "answerA": "Проведение ежегодных аудитов всех эмитентов ценных бумаг", + "answerB": "Обеспечение конфиденциальности предоставляемой ему информации, за исключением информации, раскрываемой в соответствии с законодательством РФ о ценных бумагах", + "answerC": "Поддержание постоянного курса валют на внутреннем рынке", + "answerD": "Выпуск ценных бумаг без предварительного уведомления Федеральной службы по финансовым рынкам", + "correct_answer": "Обеспечение конфиденциальности предоставляемой ему информации, за исключением информации, раскрываемой в соответствии с законодательством РФ о ценных бумагах", + "choices": [ + "В течение 30 дней с момента открытия (закрытия)", + "Обеспечение конфиденциальности предоставляемой ему информации, за исключением информации, раскрываемой в соответствии с законодательством РФ о ценных бумагах", + "Право на обязательное медицинское страхование.", + "Ипотекой предприятия могут обеспечиваться обязательства любой суммы, независимо от стоимости имущества, относящегося к предприятию.", + "Исключительное право на лечение исключительно в частных медицинских учреждениях.", + "Поддержание постоянного курса валют на внутреннем рынке", + "Выпуск ценных бумаг без предварительного уведомления Федеральной службы по финансовым рынкам", + "Если иностранный гражданин представил поддельные документы или заведомо ложные сведения.", + "Розничная продажа алкогольной продукции разрешена в нестационарных торговых объектах без ограничений.", + "Если иностранный гражданин официально трудоустроен в Российской Федерации.", + "Проведение ежегодных аудитов всех эмитентов ценных бумаг", + "Ипотекой предприятия могут обеспечиваться только те обязательства, которые должны быть исполнены в течение 6 месяцев после заключения договора об ипотеке." + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКакой из перечисленных пунктов является одной из обязанностей Банка Росси�� согласно статье 44.1 Федерального закона 'О рынке ценных бумаг' N 39-ФЗ?\nA. В течение 30 дней с момента открытия (закрытия)\nB. Обеспечение конфиденциальности предоставляемой ему информации, за исключением информации, раскрываемой в соответствии с законодательством РФ о ценных бумагах\nC. Право на обязательное медицинское страхование.\nD. Ипотекой предприятия могут обеспечиваться обязательства любой суммы, независимо от стоимости имущества, относящегося к предприятию.\nE. Исключительное право на лечение исключительно в частных медицинских учреждениях.\nF. Поддержание постоянного курса валют на внутреннем рынке\nG. Выпуск ценных бумаг без предварительного уведомления Федеральной службы по финансовым рынкам\nH. Если иностранный гражданин представил поддельные документы или заведомо ложные сведения.\nI. Розничная продажа алкогольной продукции разрешена в нестационарных торговых объектах без ограничений.\nJ. Если иностранный гражданин официально трудоустроен в Российской Федерации.\nK. Проведение ежегодных аудитов всех эмитентов ценных бумаг\nL. Ипотекой предприятия могут обеспечиваться только те обязательства, которые должны быть исполнены в течение 6 месяцев после заключения договора об ипотеке.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 273, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.3146513104438782, + "B": 0.02279326505959034, + "C": 0.21625646948814392, + "D": 0.048253342509269714, + "E": 0.05467819422483444, + "F": 0.006134724244475365, + "G": 0.02926712855696678, + "H": 0.015665564686059952, + "I": 0.148630753159523, + "J": 0.017751412466168404, + "K": 0.005085864569991827, + "L": 0.00017402871162630618 + }, + "sample": { + "question": "Что правильно описывает обязательства, которые могут обеспечиваться ипотекой предприятия согласно Статье 71 Федерального закона \"Об ипотеке (залоге недвижимости)\" N 102-ФЗ?", + "answerA": "Ипотекой предприятия могут обеспечиваться только те обязательства, которые должны быть исполнены в течение 6 месяцев после заключения договора об ипотеке.", + "answerB": "Ипотекой предприятия могут обеспечиваться обязательства любой суммы, независимо от стоимости имущества, относящегося к предприятию.", + "answerC": "Ипотекой предприятия может быть обеспечено обязательство, сумма которого составляет не менее половины стоимости имущества, относящегося к предприятию.", + "answerD": "Ипотека предприятия обеспечивает обязательства, подлежащие исполнению в течение месяца после заключения договора.", + "correct_answer": "C", + "choices": [ + "Если иностранный гражданин официально трудоустроен в Российской Федерации.", + "Если иностранный гражданин представил поддельные документы или заведомо ложные сведения.", + "Ипотекой предприятия могут обеспечиваться только те обязательства, которые должны быть исполнены в течение 6 месяцев после заключ��ния договора об ипотеке.", + "Ипотека предприятия обеспечивает обязательства, подлежащие исполнению в течение месяца после заключения договора.", + "В течение 30 дней с момента открытия (закрытия)", + "На срок до трех лет", + "Право на обязательное медицинское страхование.", + "Розничная продажа алкогольной продукции разрешена в нестационарных торговых объектах без ограничений.", + "Ипотекой предприятия может быть обеспечено обязательство, сумма которого составляет не менее половины стоимости имущества, относящегося к предприятию.", + "Исключительное право на лечение исключительно в частных медицинских учреждениях.", + "В течение 15 рабочих дней с момента открытия (закрытия)", + "Ипотекой предприятия могут обеспечиваться обязательства любой суммы, независимо от стоимости имущества, относящегося к предприятию." + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nЧто правильно описывает обязательства, которые могут обеспечиваться ипотекой предприятия согласно Статье 71 Федерального закона \"Об ипотеке (залоге недвижимости)\" N 102-ФЗ?\nA. Если иностранный гражданин официально трудоустроен в Российской Федерации.\nB. Если иностранный гражданин представил поддельные документы или заведомо ложные сведения.\nC. Ипотекой предприятия могут обеспечиваться только те обязательства, которые должны быть исполнены в течение 6 месяцев после заключения договора об ипотеке.\nD. Ипотека предприятия обеспечивает обязательства, подлежащие исполнению в течение месяца после заключения договора.\nE. В течение 30 дней с момента открытия (закрытия)\nF. На срок до трех лет\nG. Право на обязательное медицинское страхование.\nH. Розничная продажа алкогольной продукции разрешена в нестационарных торговых объектах без ограничений.\nI. Ипотекой предприятия может быть обеспечено обязательство, сумма которого составляет не менее половины стоимости имущества, относящегося к предприятию.\nJ. Исключительное право на лечение исключительно в частных медицинских учреждениях.\nK. В течение 15 рабочих дней с момента открытия (закрытия)\nL. Ипотекой предприятия могут обеспечиваться обязательства любой суммы, независимо от стоимости имущества, относящегося к предприятию.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 276, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.009884200058877468, + "B": 0.099826879799366, + "C": 0.005290630739182234, + "D": 0.022274388000369072, + "E": 0.06054805964231491, + "F": 0.05343347415328026, + "G": 0.047154881060123444, + "H": 0.30748844146728516, + "I": 0.0028318704571574926, + "J": 0.07774525135755539, + "K": 0.04161403328180313, + "L": 0.2113335132598877 + }, + "sample": { + "question": "На каком основании вид на жительство иностранного гражданина в Российской Федерации может быть аннулирован в соответствии с Федеральным законом 'О правовом положении иностранных граждан в Российской Федерации' N 115-ФЗ?", + "answerA": "Если иностранный гражданин официально трудоустроен в Российской Федерации.", + "answerB": "Если иностранный гражданин представил поддельные документы или заведомо ложные сведения.", + "answerC": "Если иностранный гражданин является лауреатом международной научной премии.", + "answerD": "Если иностранный гражданин активно участвует в культурной жизни Российской Федерации.", + "correct_answer": "Если иностранный гражданин представил поддельные документы или заведомо ложные сведения.", + "choices": [ + "На срок до трех лет", + "В течение 30 дней с момента открытия (закрытия)", + "Если иностранный гражданин активно участвует в культурной жизни Российской Федерации.", + "Розничная продажа алкогольной продукции разрешена в нестационарных торговых объектах без ограничений.", + "Если иностранный гражданин официально трудоустроен в Российской Федерации.", + "10 рабочих дней", + "Если иностранный гражданин является лауреатом международной научной премии.", + "Право на обязательное медицинское страхование.", + "Исключительное право на лечение исключительно в частных медицинских учреждениях.", + "Розничная продажа алкогольной продукции разрешена на территориях, прилегающих к местам нахождения источников повышенной опасности.", + "В течение 15 рабочих дней с момента открытия (закрытия)", + "Если иностранный гражданин представил поддельные документы или заведомо ложные сведения." + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nНа каком основании вид на жительство иностранного гражданина в Российской Федерации может быть аннулирован в соответствии с Федеральным законом 'О правовом положении иностранных граждан в Российской Федерации' N 115-ФЗ?\nA. На срок до трех лет\nB. В течение 30 дней с момента открытия (закрытия)\nC. Если иностранный гражданин активно участвует в культурной жизни Российской Федерации.\nD. Розничная продажа алкогольной продукции разрешена в нестационарных торговых объектах без ограничений.\nE. Если иностранный гражданин официально трудоустроен в Российской Федерации.\nF. 10 рабочих дней\nG. Если иностранный гражданин является лауреатом международной научной премии.\nH. Право на обязательное медицинское страхование.\nI. Исключительное право на лечение исключительно в частных медицинских учреждениях.\nJ. Розничная продажа алкогольной продукции разрешена на территориях, прилегающих к местам нахождения источников повышенной опасности.\nK. В течение 15 рабочих дней с момента открытия (закрытия)\nL. Если иностранный гражданин представил поддельные документы или заведомо ложные сведения.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 233, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.00045998921268619597, + "B": 0.9424168467521667, + "C": 0.001709067146293819, + "D": 0.002336018020287156, + "E": 0.00010263746662531048, + "F": 6.225276592886075e-05, + "G": 0.00018013434601016343, + "H": 8.508944301865995e-05, + "I": 1.0162484613829292e-05, + "J": 5.8481058658799157e-05, + "K": 2.595081605250016e-05, + "L": 2.001111852223403e-06 + }, + "sample": { + "question": "Какое право на медицинскую помощь имеют лица, задержанные, заключенные под стражу, отбывающие наказание в виде ограничения свободы, ареста, лишения свободы либо административного ареста, согласно Федеральному закону \"Об основах охраны здоровья граждан в Российской Федерации\" N 323-ФЗ, Статье 26?", + "answerA": "Право на обязательное медицинское страхование.", + "answerB": "Исключительное право на лечение исключительно в частных медицинских учреждениях.", + "answerC": "Право на оказание медицинской помощи, в том числе в необходимых случаях в медицинских организациях государственной системы здравоохранения и муниципальной системы здравоохранения, в соответствии с законодательством Российской Федерации.", + "answerD": "Автоматическое право на досрочное освобождение при наличии серьезных заболеваний.", + "correct_answer": "C", + "choices": [ + "Исключительное право на лечение исключительно в частных медицинских учреждениях.", + "Право на оказание медицинской помощи, в том числе в необходимых случаях в медицинских организациях государственной системы здравоохранения и муниципальной системы здравоохранения, в соответствии с законодательством Российской Федерации.", + "В течение десяти рабочих дней", + "10 рабочих дней", + "На срок до трех лет", + "Автоматическое право на досрочное освобождение при наличии серьезных заболеваний.", + "На срок до десяти лет", + "Розничная продажа алкогольной продукции разрешена на территориях, прилегающих к местам нахождения источников повышенной опасности.", + "В течение 15 рабочих дней с момента открытия (закрытия)", + "Розничная продажа алкогольной продукции разрешена в нестационарных торговых объектах без ограничений.", + "Право на обязательное медицинское страхование.", + "В течение 30 дней с момента открытия (закрытия)" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКакое право на медицинскую помощь имеют лица, задержанные, заключенные под стражу, отбывающие наказание в виде ограничения свободы, ареста, лишения свободы либо административного ареста, согласно Федеральному закону \"Об основах охраны здоровья граждан в Российской Федерации\" N 323-ФЗ, Статье 26?\nA. Исключительное право на лечение исключительно в частных медицинских учреждениях.\nB. Право на оказание медицинской помощи, в том числе в необходимых случаях в медицинских организациях государственной системы здравоохранения и муниципальной системы здравоохранения, в соответствии с законодательством Российской Федерации.\nC. В течение десяти рабочих дней\nD. 10 рабочих дней\nE. На срок до трех лет\nF. Автоматическое право на досрочное освобождение при наличии серьезных заболеваний.\nG. На срок до десяти лет\nH. Розничная продажа алкогольной продукции разрешена на территориях, прилегающих к местам нахождения источников повышенной опасности.\nI. В течение 15 рабочих дней с момента открытия (закрытия)\nJ. Розничная продажа алкогольной продукции разрешена в нестационарных торговых объектах без ограничений.\nK. Право на обязательное медицинское страхование.\nL. В течение 30 дней с момента открытия (закрытия)\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 271, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.01797577552497387, + "B": 0.02456996962428093, + "C": 0.49350106716156006, + "D": 0.05201462656259537, + "E": 0.015863565728068352, + "F": 0.014902440831065178, + "G": 0.18154890835285187, + "H": 0.02784142643213272, + "I": 0.0013021607883274555, + "J": 0.0015707057900726795, + "K": 0.015863565728068352, + "L": 0.00025641065440140665 + }, + "sample": { + "question": "В соответствии с Федеральным законом \"О государственном регулировании производства и оборота этилового спирта, алкогольной и спиртосодержащей продукции и об ограничении потребления (распития) алкогольной продукции\" N 171-ФЗ, какое утверждение верно относительно особых требований к розничной продаже алкогольной продукции?", + "answerA": "Розничная продажа алкогольной продукции разрешена в нестационарных торговых объектах без ограничений.", + "answerB": "Розничная продажа алкогольной продукции разрешена на территориях, прилегающих к местам нахождения источников повышенной опасности.", + "answerC": "Розничная продажа алкогольной продукции разрешена в образовательных организациях.", + "answerD": "Розничная продажа алкогольной продукции и розничная продажа алкогольной продукции при оказании услуг общественного питания не допускаются в зданиях и помещениях, находящихся во владении или пользовании образовательных организаций.", + "correct_answer": "answerD", + "choices": [ + "В течение семи рабочих дней", + "10 рабочих дней", + "Розничная продажа алкогольной продукции разрешена на территориях, прилегающих к местам нахождения источников повышенной опасности.", + "На срок до трех лет", + "15 рабочих дней", + "Розничная продажа алкогольной продукции разрешена в нестационарных торговых объектах без ограничений.", + "Розничная продажа алкогольной продукции и розничная продажа алкогольной продукции при оказании услуг общественного питания не допускаются в зданиях и помещениях, находящихся во владении или пользовании образовательных организаций.", + "Розничная продажа алкогольной продукции разрешена в образовательных организациях.", + "В течение десяти рабочих дней", + "Исполнительные органы до��жны ликвидировать кредитную организацию.", + "На срок до десяти лет", + "Если дебитор не согласен на обращение взыскания" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nВ соответствии с Федеральным законом \"О государственном регулировании производства и оборота этилового спирта, алкогольной и спиртосодержащей продукции и об ограничении потребления (распития) алкогольной продукции\" N 171-ФЗ, какое утверждение верно относительно особых требований к розничной продаже алкогольной продукции?\nA. В течение семи рабочих дней\nB. 10 рабочих дней\nC. Розничная продажа алкогольной продукции разрешена на территориях, прилегающих к местам нахождения источников повышенной опасности.\nD. На срок до трех лет\nE. 15 рабочих дней\nF. Розничная продажа алкогольной продукции разрешена в нестационарных торговых объектах без ограничений.\nG. Розничная продажа алкогольной продукции и розничная продажа алкогольной продукции при оказании услуг общественного питания не допускаются в зданиях и помещениях, находящихся во владении или пользовании образовательных организаций.\nH. Розничная продажа алкогольной продукции разрешена в образовательных организациях.\nI. В течение десяти рабочих дней\nJ. Исполнительные органы должны ликвидировать кредитную организацию.\nK. На срок до десяти лет\nL. Если дебитор не согласен на обращение взыскания\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 261, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.11768195778131485, + "B": 0.2198588252067566, + "C": 0.1940247267484665, + "D": 0.09165079146623611, + "E": 0.08088155090808868, + "F": 0.03820573166012764, + "G": 0.06299061328172684, + "H": 0.08088155090808868, + "I": 0.006639161147177219, + "J": 0.014055103994905949, + "K": 0.010946125723421574, + "L": 0.020450055599212646 + }, + "sample": { + "question": "На какой срок Агентство по страхованию вкладов может обратиться в Банк России за предоставлением кредита без обеспечения в целях обеспечения финансовой устойчивости системы страхования вкладов?", + "answerA": "На срок до трех лет", + "answerB": "На срок до десяти лет", + "answerC": "На срок до пяти лет", + "answerD": "На срок до одного года", + "correct_answer": "На срок до пяти лет", + "choices": [ + "10 рабочих дней", + "На срок до десяти лет", + "Исполнительные органы должны ликвидировать кредитную организацию.", + "Решение ожидает вступления в законную силу в течение 30 дней", + "15 рабочих дней", + "В течение семи рабочих дней", + "На срок до пяти лет", + "На срок до одного года", + "Обязаны передать временной администрации печати, штампы, бухгалтерскую и иную документацию, базы данных на электронных носителях, а также материальные и другие ценности кредитной организации.", + "Если дебитор не согласен на обращение взыскания", + "В течение десяти рабочих дней", + "На срок до трех лет" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nНа какой срок Агентство по страхованию вкладов может обратиться в Банк России за предоставлением кредита без обеспечения в целях обеспечения финансовой устойчивости системы страхования вкладов?\nA. 10 рабочих дней\nB. На срок до десяти лет\nC. Исполнительные органы должны ликвидировать кредитную организацию.\nD. Решение ожидает вступления в законную силу в течение 30 дней\nE. 15 рабочих дней\nF. В течение семи рабочих дней\nG. На срок до пяти лет\nH. На срок до одного года\nI. Обязаны передать временной администрации печати, штампы, бухгалтерскую и иную документацию, базы данных на электронных носителях, а также материальные и другие ценности кредитной организации.\nJ. Если дебитор не согласен на обращение взыскания\nK. В течение десяти рабочих дней\nL. На срок до трех лет\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 188, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.16997897624969482, + "B": 0.048699792474508286, + "C": 0.15000592172145844, + "D": 0.09098319709300995, + "E": 0.08029238879680634, + "F": 0.05518409237265587, + "G": 0.16997897624969482, + "H": 0.06253177672624588, + "I": 0.06253177672624588, + "J": 0.013107371516525745, + "K": 0.012313236482441425, + "L": 0.002010080497711897 + }, + "sample": { + "question": "Сколько рабочих дней у органа регистрации прав на внесение сведений в ЕГРН, поступивших в порядке межведомственного информационного взаимодействия?", + "answerA": "10 рабочих дней", + "answerB": "15 рабочих дней", + "answerC": "20 рабочих дней", + "answerD": "30 рабочих дней", + "correct_answer": "15 рабочих дней", + "choices": [ + "20 рабочих дней", + "30 рабочих дней", + "В течение семи рабочих дней", + "Если дебитор не согласен на обращение взыскания", + "10 рабочих дней", + "Министерство финансов РФ", + "Исполнительные органы должны ликвидировать кредитную организацию.", + "Если дебитор находится в иностранном государстве, с которым Российской Федерацией не заключен договор о правовой помощи", + "В течение десяти рабочих дней", + "Решение ожидает вступления в законную силу в течение 30 дней", + "15 рабочих дней", + "Обязаны передать временной администрации печати, штампы, бухгалтерскую и иную документацию, базы данных на электронных носителях, а также материальные и другие ценности кредитной организации." + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nСколько рабочих дней у органа регистрации прав на внесение сведений в ЕГРН, поступивших в порядке межведомственного информационного взаимодействия?\nA. 20 рабочих дней\nB. 30 рабочих дней\nC. В течение семи рабочих дней\nD. Если дебитор не согласен на обращение взыскания\nE. 10 рабочих дней\nF. Министерство финансов РФ\nG. Исполнительные органы должны ликвидировать кредитную организацию.\nH. Если дебитор находится в иностранном государстве, с которым Российской Федерацией не заключен договор о правовой помощи\nI. В течение десяти рабочих дней\nJ. Решение ожидает вступления в законную силу в течение 30 дней\nK. 15 рабочих дней\nL. Обязаны передать временной администрации печати, штампы, бухгалтерскую и иную документацию, базы данных на электронных носителях, а также материальные и другие ценности кредитной организации.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 197, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.13642200827598572, + "B": 0.25486984848976135, + "C": 0.25486984848976135, + "D": 0.10624556243419647, + "E": 0.030439864844083786, + "F": 0.030439864844083786, + "G": 0.056869152933359146, + "H": 0.03908555954694748, + "I": 0.005630808416754007, + "J": 0.011198200285434723, + "K": 0.007230101618915796, + "L": 0.0008111949427984655 + }, + "sample": { + "question": "В течение какого времени после получения имущества или иного существенного изменения своего имущественного положения, позволяющего полностью или в значительной части исполнить свои обязательства перед кредиторами, гражданин обязан уведомить многофункциональный центр предоставления государственных и муниципальных услуг в рамках процедуры внесудебного банкротства?", + "answerA": "В течение десяти рабочих дней", + "answerB": "В течение семи рабочих дней", + "answerC": "В течение пяти рабочих дней", + "answerD": "В течение трех рабочих дней", + "correct_answer": "В течение пяти рабочих дней", + "choices": [ + "В течение трех рабочих дней", + "В течение пяти рабочих дней", + "Решение ожидает вступления в законную силу в течение 30 дней", + "Министерство финансов РФ", + "Если дебитор находится в иностранном государстве, с которым Российской Федерацией не заключен договор о правовой помощи", + "Решение немедленно приостанавливается до рассмотрения возможных апелляций", + "Только на индивидуальных предпринимателей", + "В течение семи рабочих дней", + "Исполнительные органы должны ликвидировать кредитную организацию.", + "Обязаны передать временной администрации печати, штампы, бухгалтерскую и иную документацию, базы данных на электронных носителях, а также материальные и другие ценности кредитной организации.", + "В течение десяти рабочих дней", + "Если дебитор не согласен на обращение взыскания" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nВ течение какого времени после получения имущества или иного существенного изменения своего имущественного положения, позволяющего полностью или в значительной части исполнить свои обязательства перед кредиторами, гражданин обязан уведомить многофункциональный центр предоставления государственных и муниципальных услуг в рамках процедуры внесудебного банкротства?\nA. В течение трех рабочих дней\nB. В течение пяти рабочих дней\nC. Решение ожидает вступления в законную силу в течение 30 дней\nD. Министерство финансов РФ\nE. Если дебитор находится в иностранном государстве, с которым Российской Федерацией не заключен договор о правовой помощи\nF. Решение немедленно приостанавливается до рассмотрения возможных апелляций\nG. Только на индивидуальных предпринимателей\nH. В течение семи рабочих дней\nI. Исполнительные органы должны ликвидировать кредитную организацию.\nJ. Обязаны передать временной администрации печати, штампы, бухгалтерскую и иную документацию, базы данных на электронных носителях, а также материальные и другие ценности кредитной организации.\nK. В течение десяти рабочих дней\nL. Если дебитор не согласен на обращение взыскания\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 230, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.008773068897426128, + "B": 0.028765784576535225, + "C": 0.0030318915378302336, + "D": 0.01857258565723896, + "E": 0.008773068897426128, + "F": 0.014464344829320908, + "G": 0.08323656022548676, + "H": 0.04455332085490227, + "I": 0.006029636133462191, + "J": 0.06482469290494919, + "K": 0.3730403780937195, + "L": 0.22626042366027832 + }, + "sample": { + "question": "Какие меры должны быть приняты исполнительными органами кредитной организации в случае приостановления их полномочий на период деятельности временной администрации?", + "answerA": "Исполнительные органы должны ликвидировать кредитную организацию.", + "answerB": "Обязаны передать временной администрации печати, штампы, бухгалтерскую и иную документацию, базы данных на электронных носителях, а также материальные и другие ценности кредитной организации.", + "answerC": "Могут продолжить работу как обычно без каких-либо ограничений.", + "answerD": "Должны немедленно обратиться в арбитражный суд для оспаривания решения о приостановлении их полномочий.", + "correct_answer": "answerB", + "choices": [ + "Должны немедленно обратиться в арбитражный суд для оспаривания решения о приостановлении их полномочий.", + "Министерство финансов РФ", + "Могут продолжить работу как обычно без каких-либо ограничений.", + "Федеральная налоговая служба", + "Проведение ежегодных финансовых аудитов регионов", + "Если дебитор не согласен на обращение взыскания", + "Решение немедленно приостанавливается до рассмотрения возможных апелляций", + "Решение ожидает вступления в законную силу в течение 30 дней", + "Исполнительные органы должны ликвидировать кредитную организацию.", + "Только на индивидуальных предпринимателей", + "Если дебитор находится в иностранном государстве, с которым Российской Федерацией не заключен договор о правовой помощи", + "Обязаны передать временной администрации печати, штампы, бухгалтерскую и иную документацию, базы данных на электронных носителях, а также материальные и другие ��енности кредитной организации." + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКакие меры должны быть приняты исполнительными органами кредитной организации в случае приостановления их полномочий на период деятельности временной администрации?\nA. Должны немедленно обратиться в арбитражный суд для оспаривания решения о приостановлении их полномочий.\nB. Министерство финансов РФ\nC. Могут продолжить работу как обычно без каких-либо ограничений.\nD. Федеральная налоговая служба\nE. Проведение ежегодных финансовых аудитов регионов\nF. Если дебитор не согласен на обращение взыскания\nG. Решение немедленно приостанавливается до рассмотрения возможных апелляций\nH. Решение ожидает вступления в законную силу в течение 30 дней\nI. Исполнительные органы должны ликвидировать кредитную организацию.\nJ. Только на индивидуальных предпринимателей\nK. Если дебитор находится в иностранном государстве, с которым Российской Федерацией не заключен договор о правовой помощи\nL. Обязаны передать временной администрации печати, штампы, бухгалтерскую и иную документацию, базы данных на электронных носителях, а также материальные и другие ценности кредитной организации.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 223, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.11794537305831909, + "B": 0.08106259256601334, + "C": 0.06313161551952362, + "D": 0.05571344494819641, + "E": 0.15144485235214233, + "F": 0.04338967800140381, + "G": 0.07153747975826263, + "H": 0.17160950601100922, + "I": 0.02181769721210003, + "J": 0.029821256175637245, + "K": 0.04338967800140381, + "L": 0.016991641372442245 + }, + "sample": { + "question": "В каких случаях взыскание на дебиторскую задолженность не обращается согласно Федеральному закону \"Об исполнительном производстве\" N 229-ФЗ, Статья 76?", + "answerA": "Если дебитор не согласен на обращение взыскания", + "answerB": "Если дебитор находится в иностранном государстве, с которым Российской Федерацией не заключен договор о правовой помощи", + "answerC": "Если общая сумма дебиторской задолженности менее 10 000 рублей", + "answerD": "Если взыскатель не представил все необходимые документы в установленные сроки", + "correct_answer": "B", + "choices": [ + "Министерство финансов РФ", + "Федеральная налоговая служба", + "Проведение ежегодных финансовых аудитов регионов", + "Только на индивидуальных предпринимателей", + "Решение ожидает вступления в законную силу в течение 30 дней", + "Если дебитор не согласен на обращение взыскания", + "Если общая сумма дебиторской задолженности менее 10 000 рублей", + "Если взыскатель не представил все необходимые документы в установленные сроки", + "Если дебитор находится в иностранном государстве, с которым Российской Федерацией не заключен договор о правовой помощи", + "Исключительно на частные лица, не занимающиеся предпринимательской деятельностью", + "Решение немедленно приостанавливается до рассмотрения возможных апелляций", + "Увеличение размера долга перед кредиторами" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nВ каких случаях взыскание на дебиторскую задолженность не обращается согласно Федеральному закону \"Об исполнительном производстве\" N 229-ФЗ, Статья 76?\nA. Министерство финансов РФ\nB. Федеральная налоговая служба\nC. Проведение ежегодных финансовых аудитов регионов\nD. Только на индивидуальных предпринимателей\nE. Решение ожидает вступления в законную силу в течение 30 дней\nF. Если дебитор не согласен на обращение взыскания\nG. Если общая сумма дебиторской задолженности менее 10 000 рублей\nH. Если взыскатель не представил все необходимые документы в установленные сроки\nI. Если дебитор находится в иностранном государстве, с которым Российской Федерацией не заключен договор о правовой помощи\nJ. Исключительно на частные лица, не занимающиеся предпринимательской деятельностью\nK. Решение немедленно приостанавливается до рассмотрения возможных апелляций\nL. Увеличение размера долга перед кредиторами\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 208, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0013846801593899727, + "B": 0.00312042492441833, + "C": 0.00189263338688761, + "D": 0.9804083108901978, + "E": 0.0008940167026594281, + "F": 0.00025614004698581994, + "G": 0.0005093953222967684, + "H": 6.476234557339922e-05, + "I": 2.5361301595694385e-05, + "J": 1.8554723283159547e-05, + "K": 0.00021234755695331842, + "L": 6.41234100839938e-06 + }, + "sample": { + "question": "Что происходит с решением арбитражного суда о ликвидации кредитной организации согласно Федеральному закону 'О банках и банковской деятельности' N 395-1, Статье 23.3 после его принятия?", + "answerA": "Решение ожидает вступления в законную силу в течение 30 дней", + "answerB": "Решение немедленно приостанавливается до рассмотрения возможных апелляций", + "answerC": "Решение вступает в законную силу со дня его принятия, и его исполнение не приостанавливается обжалованием", + "answerD": "Решение становится действительным только после утверждения центральным банком", + "correct_answer": "C", + "choices": [ + "Министерство финансов РФ", + "Государственная регистрация документов стратегического планирования", + "Проведение ежегодных финансовых аудитов регионов", + "Решение вступает в законную силу со дня его принятия, и его исполнение не приостанавливается обжалованием", + "В случае, если в совершении такой сделки заинтересованы все члены совета директоров (наблюдательного совета) общества.", + "Решение немедленно приостанавливается до рассмотрения возможных апелляций", + "Исключительно на частные лица, не занимающиеся предпринимательской деятельностью", + "У��еличение размера долга перед кредиторами", + "Решение ожидает вступления в законную силу в течение 30 дней", + "Решение становится действительным только после утверждения центральным банком", + "Федеральная налоговая служба", + "Только на индивидуальных предпринимателей" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nЧто происходит с решением арбитражного суда о ликвидации кредитной организации согласно Федеральному закону 'О банках и банковской деятельности' N 395-1, Статье 23.3 после его принятия?\nA. Министерство финансов РФ\nB. Государственная регистрация документов стратегического планирования\nC. Проведение ежегодных финансовых аудитов регионов\nD. Решение вступает в законную силу со дня его принятия, и его исполнение не приостанавливается обжалованием\nE. В случае, если в совершении такой сделки заинтересованы все члены совета директоров (наблюдательного совета) общества.\nF. Решение немедленно приостанавливается до рассмотрения возможных апелляций\nG. Исключительно на частные лица, не занимающиеся предпринимательской деятельностью\nH. Увеличение размера долга перед кредиторами\nI. Решение ожидает вступления в законную силу в течение 30 дней\nJ. Решение становится действительным только после утверждения центральным банком\nK. Федеральная налоговая служба\nL. Только на индивидуальных предпринимателей\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 218, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0029078295920044184, + "B": 0.6684134602546692, + "C": 0.04841971397399902, + "D": 0.012242420576512814, + "E": 0.003507512155920267, + "F": 0.0027316531632095575, + "G": 0.1316184103488922, + "H": 0.003507512155920267, + "I": 5.325875463313423e-05, + "J": 0.0002386891865171492, + "K": 0.0016568314749747515, + "L": 9.950045932782814e-05 + }, + "sample": { + "question": "Кто осуществляет ведение реестра эмиссионных ценных бумаг, согласно Федеральному закону 'О рынке ценных бумаг' N 39-ФЗ?", + "answerA": "Министерство финансов РФ", + "answerB": "Федеральная налоговая служба", + "answerC": "Центральный банк Российской Федерации", + "answerD": "Российская газета", + "correct_answer": "Центральный банк Российской Федерации", + "choices": [ + "Увеличение размера долга перед кредиторами", + "Министерство финансов РФ", + "Исключительно на частные лица, не занимающиеся предпринимательской деятельностью", + "Государственная регистрация документов стратегического планирования", + "Только на индивидуальных предпринимателей", + "Российская газета", + "Центральный банк Российской Федерации", + "В случае, если в совершении такой сделки заинтересованы все члены совета директоров (наблюдательного совета) общества.", + "Проведение ежегодных финансовых аудитов регионов", + "Автоматическое объявление о банкротстве должника", + "Федеральная налоговая служба", + "Более 50 процентов" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКто осуществляет ведение реестра эмиссионных ценных бумаг, согласно Федеральному закону 'О рынке ценных бумаг' N 39-ФЗ?\nA. Увеличение размера долга перед кредиторами\nB. Министерство финансов РФ\nC. Исключительно на частные лица, не занимающиеся предпринимательской деятельностью\nD. Государственная регистрация документов стратегического планирования\nE. Только на индивидуальных предпринимателей\nF. Российская газета\nG. Центральный банк Российской Федерации\nH. В случае, если в совершении такой сделки заинтересованы все члены совета директоров (наблюдательного совета) общества.\nI. Проведение ежегодных финансовых аудитов регионов\nJ. Автоматическое объявление о банкротстве должника\nK. Федеральная налоговая служба\nL. Более 50 процентов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 168, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.3918246924877167, + "B": 0.2097286581993103, + "C": 0.017215576022863388, + "D": 0.0250485148280859, + "E": 0.11225966364145279, + "F": 0.07715485244989395, + "G": 0.03216293081641197, + "H": 0.04129801690578461, + "I": 0.0049323453567922115, + "J": 0.013407504186034203, + "K": 0.0028103652875870466, + "L": 0.0021887149196118116 + }, + "sample": { + "question": "На какие категории должников распространяются общие положения Федерального закона \"О несостоятельности (банкротстве)\" по статье 168?", + "answerA": "Только на индивидуальных предпринимателей", + "answerB": "Исключительно на частные лица, не занимающиеся предпринимательской деятельностью", + "answerC": "На градообразующие, сельскохозяйственные, финансовые организации, стратегические предприятия и организации, субъектов естественных монополий, а также на застройщиков", + "answerD": "Только на нефтегазовые компании", + "correct_answer": "answerC", + "choices": [ + "На градообразующие, сельскохозяйственные, финансовые организации, стратегические предприятия и организации, субъектов естественных монополий, а также на застройщиков", + "Исключительно в судебном порядке", + "Только на нефтегазовые компании", + "Исключительно на частные лица, не занимающиеся предпринимательской деятельностью", + "Когда заинтересованное лицо обладает более 20 процентами голосов в высшем органе управления подконтрольной организации.", + "В случае, если в совершении такой сделки заинтересованы все члены совета директоров (наблюдательного совета) общества.", + "Более 50 процентов", + "Увеличение размера долга перед кредиторами", + "Государственная регистрация документов стратегического планирования", + "Автоматическое объявление о банкротстве должника", + "Проведение ежегодных финансовых аудитов регионов", + "Только на индивидуальных предпринимателей" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nНа какие категории должников распространяются общие положения Федерального закона \"О несостоятельности (банкротстве)\" по статье 168?\nA. На градообразующие, сельскохозяйственные, финансовые организации, стратегические предприятия и организации, субъектов естественных монополий, а также на застройщиков\nB. Исключительно в судебном порядке\nC. Только на нефтегазовые компании\nD. Исключительно на частные лица, не занимающиеся предпринимательской деятельностью\nE. Когда заинтересованное лицо обладает более 20 процентами голосов в высшем органе управления подконтрольной организации.\nF. В случае, если в совершении такой сделки заинтересованы все члены совета директоров (наблюдательного совета) общества.\nG. Более 50 процентов\nH. Увеличение размера долга перед кредиторами\nI. Государственная регистрация документов стратегического планирования\nJ. Автоматическое объявление о банкротстве должника\nK. Проведение ежегодных финансовых аудитов регионов\nL. Только на индивидуальных предпринимателей\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 211, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.02007581852376461, + "B": 0.04815938323736191, + "C": 0.015635063871741295, + "D": 0.051265399903059006, + "E": 0.17893382906913757, + "F": 0.07459071278572083, + "G": 0.08452235907316208, + "H": 0.37880292534828186, + "I": 0.010745812207460403, + "J": 0.031094036996364594, + "K": 0.012961923144757748, + "L": 0.033099427819252014 + }, + "sample": { + "question": "Что является одной из целей федеральной информационной системы стратегического планирования согласно Федеральному закону \"О стратегическом планировании в Российской Федерации\" N 172-ФЗ?", + "answerA": "Проведение ежегодных финансовых аудитов регионов", + "answerB": "Государственная регистрация документов стратегического планирования", + "answerC": "Разработка новых видов государственных пошлин", + "answerD": "Организация международных экономических форумов", + "correct_answer": "Б", + "choices": [ + "Увеличение размера долга перед кредиторами", + "Проведение ежегодных финансовых аудитов регионов", + "Организация международных экономических форумов", + "Более 50 процентов", + "Когда заинтересованное лицо обладает более 20 процентами голосов в высшем органе управления подконтрольной организации.", + "Разработка новых видов государственных пошлин", + "Исключительно в судебном порядке", + "Государственная регистрация документов стратегического планирования", + "В случае, если в совершении такой сделки заинтересованы все члены совета директоров (наблюдательного совета) общества.", + "Производить выплаты по предыдущим кредитным обязательствам без согласия временного управляющего.", + "Автоматическое объявление о банкротстве должника", + "Не мен��е 25 процентов" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nЧто является одной из целей федеральной информационной системы стратегического планирования согласно Федеральному закону \"О стратегическом планировании в Российской Федерации\" N 172-ФЗ?\nA. Увеличение размера долга перед кредиторами\nB. Проведение ежегодных финансовых аудитов регионов\nC. Организация международных экономических форумов\nD. Более 50 процентов\nE. Когда заинтересованное лицо обладает более 20 процентами голосов в высшем органе управления подконтрольной организации.\nF. Разработка новых видов государственных пошлин\nG. Исключительно в судебном порядке\nH. Государственная регистрация документов стратегического планирования\nI. В случае, если в совершении такой сделки заинтересованы все члены совета директоров (наблюдательного совета) общества.\nJ. Производить выплаты по предыдущим кредитным обязательствам без согласия временного управляющего.\nK. Автоматическое объявление о банкротстве должника\nL. Не менее 25 процентов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 195, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.03723635524511337, + "B": 0.04219432175159454, + "C": 0.12996765971183777, + "D": 0.028999706730246544, + "E": 0.04219432175159454, + "F": 0.03286096826195717, + "G": 0.06956668198108673, + "H": 0.047812432050704956, + "I": 0.11469606310129166, + "J": 0.06956668198108673, + "K": 0.18910183012485504, + "L": 0.006888033822178841 + }, + "sample": { + "question": "Что влечет за собой неисполнение обязанности по подаче заявления должника в арбитражный суд в установленный срок согласно статье 61.12 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?", + "answerA": "Увеличение размера долга перед кредиторами", + "answerB": "Автоматическое объявление о банкротстве должника", + "answerC": "Субсидиарная ответственность лиц, обязанных подавать заявление", + "answerD": "Приостановление деятельности должника на срок до 1 года", + "correct_answer": "C", + "choices": [ + "В случае, если в совершении такой сделки заинтересованы все члены совета директоров (наблюдательного совета) общества.", + "Исключительно в судебном порядке", + "Производить выплаты по предыдущим кредитным обязательствам без согласия временного управляющего.", + "Направлением петиции президенту РФ", + "Увеличение размера долга перед кредиторами", + "Требования к уровню образования", + "Не менее 25 процентов", + "Более 50 процентов", + "Субсидиарная ответственность лиц, обязанных подавать заявление", + "Когда заинтересованное лицо обладает более 20 процентами голосов в высшем органе управления подконтрольной организации.", + "Автоматическое объявление о банкротстве должника", + "Приостановление деятельности должника на срок до 1 года" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nЧто влечет за собой неисполнение обязанности по подаче заявления должника в арбитражный суд в установленный срок согласно статье 61.12 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?\nA. В случае, если в совершении такой сделки заинтересованы все члены совета директоров (наблюдательного совета) общества.\nB. Исключительно в судебном порядке\nC. Производить выплаты по предыдущим кредитным обязательствам без согласия временного управляющего.\nD. Направлением петиции президенту РФ\nE. Увеличение размера долга перед кредиторами\nF. Требования к уровню образования\nG. Не менее 25 процентов\nH. Более 50 процентов\nI. Субсидиарная ответственность лиц, обязанных подавать заявление\nJ. Когда заинтересованное лицо обладает более 20 процентами голосов в высшем органе управления подконтрольной организации.\nK. Автоматическое объявление о банкротстве должника\nL. Приостановление деятельности должника на срок до 1 года\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 218, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.15937326848506927, + "B": 0.07528260350227356, + "C": 0.07528260350227356, + "D": 0.05863015353679657, + "E": 0.14064641296863556, + "F": 0.08530636876821518, + "G": 0.06643666326999664, + "H": 0.05863015353679657, + "I": 0.017881184816360474, + "J": 0.07528260350227356, + "K": 0.03138245642185211, + "L": 0.03785447031259537 + }, + "sample": { + "question": "Какой из этих пунктов не является одним из случаев, когда общество обязано извещать о сделке, в совершении которой имеется заинтересованность, согласно статье 81 Федерального закона 'Об акционерных обществах' (АО) N 208-ФЗ?", + "answerA": "В случае, если в совершении такой сделки заинтересованы все члены совета директоров (наблюдательного совета) общества.", + "answerB": "Когда заинтересованное лицо обладает более 20 процентами голосов в высшем органе управления подконтрольной организации.", + "answerC": "Если общество входит в перечень стратегических предприятий.", + "answerD": "В случае, если сделка совершается с использованием спецрешения Президента РФ.", + "correct_answer": "B", + "choices": [ + "Требования к уровню образования", + "Более 50 процентов", + "Исключительно в судебном порядке", + "В случае, если в совершении такой сделки заинтересованы все члены совета директоров (наблюдательного совета) общества.", + "Если заявитель не прожил в России достаточное количество времени.", + "Направлением петиции президенту РФ", + "Производить выплаты по предыдущим кредитным обязательствам без согласия временного управляющего.", + "Совершать сделки за свой счет или за счет клиента, если недостаточно имущества или денежных средств для исполнения обязательств.", + "Если общество входит в перечень стратегических предприятий.", + "Когда заинтересованное лицо обладает более 20 проц��нтами голосов в высшем органе управления подконтрольной организации.", + "Не менее 25 процентов", + "В случае, если сделка совершается с использованием спецрешения Президента РФ." + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКакой из этих пунктов не является одним из случаев, когда общество обязано извещать о сделке, в совершении которой имеется заинтересованность, согласно статье 81 Федерального закона 'Об акционерных обществах' (АО) N 208-ФЗ?\nA. Требования к уровню образования\nB. Более 50 процентов\nC. Исключительно в судебном порядке\nD. В случае, если в совершении такой сделки заинтересованы все члены совета директоров (наблюдательного совета) общества.\nE. Если заявитель не прожил в России достаточное количество времени.\nF. Направлением петиции президенту РФ\nG. Производить выплаты по предыдущим кредитным обязательствам без согласия временного управляющего.\nH. Совершать сделки за свой счет или за счет клиента, если недостаточно имущества или денежных средств для исполнения обязательств.\nI. Если общество входит в перечень стратегических предприятий.\nJ. Когда заинтересованное лицо обладает более 20 процентами голосов в высшем органе управления подконтрольной организации.\nK. Не менее 25 процентов\nL. В случае, если сделка совершается с использованием спецрешения Президента РФ.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 241, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.014308057725429535, + "B": 0.7811934947967529, + "C": 0.023590000346302986, + "D": 0.030290158465504646, + "E": 0.02081810124218464, + "F": 0.030290158465504646, + "G": 0.007658551912754774, + "H": 0.008678276091814041, + "I": 0.00015894816897343844, + "J": 0.03432324528694153, + "K": 0.004363711457699537, + "L": 0.0018190653063356876 + }, + "sample": { + "question": "Сколько процентов голосов размещенных голосующих акций общества необходимо для признания общего собрания акционеров правомочным (имеющим кворум) в случае проведения повторного общего собрания акционеров?", + "answerA": "Более 50 процентов", + "answerB": "Не менее 25 процентов", + "answerC": "Не менее 30 процентов", + "answerD": "Не менее 75 процентов", + "correct_answer": "Не менее 30 процентов", + "choices": [ + "Исключительно в судебном порядке", + "Не менее 75 процентов", + "с 1 января 2000 года", + "Требования к размеру уставного капитала", + "Направлением петиции президенту РФ", + "Не менее 25 процентов", + "Совершать сделки за свой счет или за счет клиента, если недостаточно имущества или денежных средств для исполнения обязательств.", + "Производить выплаты по предыдущим кредитным обязательствам без согласия временного управляющего.", + "Если заявитель не прожил в России достаточное количество времени.", + "Не менее 30 процентов", + "Требования к уровню образования", + "Более 50 процентов" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nСколько процентов голосов размещенных голосующих акций общества необходимо для признания общего собрания акционеров правомочным (имеющим кворум) в случае проведения повторного общего собрания акционеров?\nA. Исключительно в судебном порядке\nB. Не менее 75 процентов\nC. с 1 января 2000 года\nD. Требования к размеру уставного капитала\nE. Направлением петиции президенту РФ\nF. Не менее 25 процентов\nG. Совершать сделки за свой счет или за счет клиента, если недостаточно имущества или денежных средств для исполнения обязательств.\nH. Производить выплаты по предыдущим кредитным обязательствам без согласия временного управляющего.\nI. Если заявитель не прожил в России достаточное количество времени.\nJ. Не менее 30 процентов\nK. Требования к уровню образования\nL. Более 50 процентов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 188, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.003421470755711198, + "B": 0.011942107230424881, + "C": 0.006004869006574154, + "D": 0.02231079339981079, + "E": 0.5754029750823975, + "F": 0.011942107230424881, + "G": 0.01533396914601326, + "H": 0.019689206033945084, + "I": 0.0019494954030960798, + "J": 0.013532180339097977, + "K": 0.02231079339981079, + "L": 0.07787232100963593 + }, + "sample": { + "question": "В соответствии с Федеральным законом \"О гражданстве Российской Федерации\" N 62-ФЗ, каким образом можно обжаловать отказ в рассмотрении заявления по вопросам гражданства?", + "answerA": "Исключительно в судебном порядке", + "answerB": "Направлением петиции президенту РФ", + "answerC": "Обжалование невозможно", + "answerD": "Вышестоящему в порядке подчиненности должностному лицу или в суд", + "correct_answer": "answerD", + "choices": [ + "Министерство юстиции Российской Федерации", + "Направлением петиции президенту РФ", + "Обжалование невозможно", + "с 1 января 2000 года", + "Исключительно в судебном порядке", + "Если заявитель не прожил в России достаточное количество времени.", + "Совершать сделки за свой счет или за счет клиента, если недостаточно имущества или денежных средств для исполнения обязательств.", + "Требования к размеру уставного капитала", + "Требования к уровню образования", + "Производить выплаты по предыдущим кредитным обязательствам без согласия временного управляющего.", + "Если заявитель не смог успешно пройти тест по истории России.", + "Вышестоящему в порядке подчиненности должностному лицу или в суд" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nВ соответствии с Федеральным законом \"О гражданстве Российской Федерации\" N 62-ФЗ, каким образом можно обжаловать отказ в рассмотрении заявления по вопросам гражданства?\nA. Министерство юстиции Российской Федерации\nB. Направлением петиции президенту РФ\nC. Обжалование невозможно\nD. с 1 января 2000 года\nE. Иск��ючительно в судебном порядке\nF. Если заявитель не прожил в России достаточное количество времени.\nG. Совершать сделки за свой счет или за счет клиента, если недостаточно имущества или денежных средств для исполнения обязательств.\nH. Требования к размеру уставного капитала\nI. Требования к уровню образования\nJ. Производить выплаты по предыдущим кредитным обязательствам без согласия временного управляющего.\nK. Если заявитель не смог успешно пройти тест по истории России.\nL. Вышестоящему в порядке подчиненности должностному лицу или в суд\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 196, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.115121990442276, + "B": 0.05437977612018585, + "C": 0.24371324479579926, + "D": 0.1304503083229065, + "E": 0.07912210375070572, + "F": 0.02910739742219448, + "G": 0.061620358377695084, + "H": 0.03737463802099228, + "I": 0.021295426413416862, + "J": 0.03737463802099228, + "K": 0.017654528841376305, + "L": 0.0022445213980972767 + }, + "sample": { + "question": "Какие действия не может совершать участник клиринга при введении наблюдения согласно Федеральному закону \"О несостоятельности (банкротстве)\" N 127-ФЗ?", + "answerA": "Производить выплаты по предыдущим кредитным обязательствам без согласия временного управляющего.", + "answerB": "Совершать сделки за свой счет или за счет клиента, если недостаточно имущества или денежных средств для исполнения обязательств.", + "answerC": "Открывать новые банковские счета в других кредитных организациях без согласия кредиторов.", + "answerD": "Продолжать осуществлять клиринговую деятельность без ограничений.", + "correct_answer": "answerB", + "choices": [ + "с 1 июля 1999 года", + "С помощью публичного акта, опубликованного в федеральных СМИ", + "Продолжать осуществлять клиринговую деятельность без ограничений.", + "Открывать новые банковские счета в других кредитных организациях без согласия кредиторов.", + "Совершать сделки за свой счет или за счет клиента, если недостаточно имущества или денежных средств для исполнения обязательств.", + "Требования к размеру уставного капитала", + "Требования к уровню образования", + "Если заявитель не смог успешно пройти тест по истории России.", + "Производить выплаты по предыдущим кредитным обязательствам без согласия временного управляющего.", + "Министерство юстиции Российской Федерации", + "с 1 января 2000 года", + "Если заявитель не прожил в России достаточное количество времени." + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКакие действия не может совершать участник клиринга при введении наблюдения согласно Федеральному закону \"О несостоятельности (банкротстве)\" N 127-ФЗ?\nA. с 1 июля 1999 года\nB. С помощью публичного акта, опубликованного в федеральных СМИ\nC. Продолжать осуществлять клиринговую деятельность без ограничений.\nD. Открывать новые банковские счета в других кредитных организациях без согласия кредиторов.\nE. Совершать сделки за свой счет или за счет клиента, если недостаточно имущества или денежных средств для исполнения обязательств.\nF. Требования к размеру уставного капитала\nG. Требования к уровню образования\nH. Если заявитель не смог успешно пройти тест по истории России.\nI. Производить выплаты по предыдущим кредитным обязательствам без согласия временного управляющего.\nJ. Министерство юстиции Российской Федерации\nK. с 1 января 2000 года\nL. Если заявитель не прожил в России достаточное количество времени.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 212, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.004773719236254692, + "B": 0.010105963796377182, + "C": 0.9097098112106323, + "D": 0.010105963796377182, + "E": 0.0025551877915859222, + "F": 0.0008830491569824517, + "G": 0.0025551877915859222, + "H": 0.0018694151658564806, + "I": 0.0004171229084022343, + "J": 0.00011226710921619087, + "K": 0.0007792881806381047, + "L": 1.9509097910486162e-05 + }, + "sample": { + "question": "Какие дополнительные требования может установить Правительство Российской Федерации при утверждении кандидатуры арбитражного управляющего в деле о банкротстве стратегических предприятий или организаций согласно Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ, Статья 193?", + "answerA": "Требования к уровню образования", + "answerB": "Требования к размеру уставного капитала", + "answerC": "Перечень дополнительных требований", + "answerD": "Список опубликованных научных работ", + "correct_answer": "Перечень дополнительных требований", + "choices": [ + "Если заявитель не прожил в России достаточное количество времени.", + "с 1 июля 1999 года", + "Перечень дополнительных требований", + "Министерство юстиции Российской Федерации", + "Требования к размеру уставного капитала", + "Список опубликованных научных работ", + "С помощью публичного акта, опубликованного в федеральных СМИ", + "Прокуратура Российской Федерации", + "с 1 января 2000 года", + "Если заявитель не смог успешно пройти тест по истории России.", + "После подписания протокола рассмотрения и оценки конкурсных предложений конкурсной комиссией", + "Требования к уровню образования" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКакие дополнительные требования может установить Правительство Российской Федерации при утверждении кандидатуры арбитражного управляющего в деле о банкротстве стратегических предприятий или организаций согласно Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ, Статья 193?\nA. Если заявитель не прожил в России достаточное количество времени.\nB. с 1 июля 1999 года\nC. Перечень дополнительных требований\nD. Министерство юстиции Российской Федерации\nE. Требовани�� к размеру уставного капитала\nF. Список опубликованных научных работ\nG. С помощью публичного акта, опубликованного в федеральных СМИ\nH. Прокуратура Российской Федерации\nI. с 1 января 2000 года\nJ. Если заявитель не смог успешно пройти тест по истории России.\nK. После подписания протокола рассмотрения и оценки конкурсных предложений конкурсной комиссией\nL. Требования к уровню образования\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 197, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0032887347042560577, + "B": 0.00788926426321268, + "C": 0.0009422382572665811, + "D": 0.006962250918149948, + "E": 0.01384609006345272, + "F": 0.0006893562385812402, + "G": 0.0032887347042560577, + "H": 0.9118750095367432, + "I": 0.0012098578736186028, + "J": 0.0006083547486923635, + "K": 0.0012098578736186028, + "L": 0.024300646036863327 + }, + "sample": { + "question": "На основании каких причин может быть отменено решение о приобретении гражданства Российской Федерации согласно Федеральному закону \"О гражданстве Российской Федерации\" N 62-ФЗ, Статья 22?", + "answerA": "Если заявитель не прожил в России достаточное количество времени.", + "answerB": "Если заявитель не смог успешно пройти тест по истории России.", + "answerC": "Если было установлено, что решение принято на основании подложных документов или заведомо ложных сведений.", + "answerD": "Если заявитель не имеет постоянного источника дохода в России.", + "correct_answer": "C", + "choices": [ + "с 1 января 2000 года", + "Через решение высшего арбитражного суда", + "с 1 июля 1999 года", + "С помощью публичного акта, опубликованного в федеральных СМИ", + "После подписания протокола рассмотрения и оценки конкурсных предложений конкурсной комиссией", + "Если заявитель не смог успешно пройти тест по истории России.", + "Прокуратура Российской Федерации", + "Если было установлено, что решение принято на основании подложных документов или заведомо ложных сведений.", + "Утратила силу с 1 июля 2010 года", + "Если заявитель не имеет постоянного источника дохода в России.", + "Министерство юстиции Российской Федерации", + "Если заявитель не прожил в России достаточное количество времени." + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nНа основании каких причин может быть отменено решение о приобретении гражданства Российской Федерации согласно Федеральному закону \"О гражданстве Российской Федерации\" N 62-ФЗ, Статья 22?\nA. с 1 января 2000 года\nB. Через решение высшего арбитражного суда\nC. с 1 июля 1999 года\nD. С помощью публичного акта, опубликованного в федеральных СМИ\nE. После подписания протокола рассмотрения и оценки конкурсных предложений конкурсной комиссией\nF. Если заявитель не смог успешно пройти тест по истории России.\nG. Прокуратура Российской Федерации\nH. Если было установлено, что решение принято на основании под��ожных документов или заведомо ложных сведений.\nI. Утратила силу с 1 июля 2010 года\nJ. Если заявитель не имеет постоянного источника дохода в России.\nK. Министерство юстиции Российской Федерации\nL. Если заявитель не прожил в России достаточное количество времени.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 213, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.35942620038986206, + "B": 0.06245890259742737, + "C": 0.07077521085739136, + "D": 0.02603674866259098, + "E": 0.24702978134155273, + "F": 0.0122988885268569, + "G": 0.013936466537415981, + "H": 0.02603674866259098, + "I": 0.02603674866259098, + "J": 0.02603674866259098, + "K": 0.00331020075827837, + "L": 0.0006518171867355704 + }, + "sample": { + "question": "Когда вступил в силу Федеральный закон 'О статусе военнослужащих' N 76-ФЗ?", + "answerA": "с 1 января 2000 года", + "answerB": "с 1 июля 1999 года", + "answerC": "с 1 января 1998 года", + "answerD": "с 1 июня 1997 года", + "correct_answer": "с 1 января 1998 года", + "choices": [ + "с 1 июля 1999 года", + "Акции могут приобретаться на организованных торгах только в первые 10 минут торгового дня.", + "Утратила силу с 1 июля 2010 года", + "После подписания протокола рассмотрения и оценки конкурсных предложений конкурсной комиссией", + "с 1 июня 1997 года", + "с 1 января 1998 года", + "До даты и времени начала рассмотрения конкурсных предложений, установленных конкурсной документацией", + "Прокуратура Российской Федерации", + "с 1 января 2000 года", + "С помощью публичного акта, опубликованного в федеральных СМИ", + "Министерство юстиции Российской Федерации", + "Через решение высшего арбитражного суда" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКогда вступил в силу Федеральный закон 'О статусе военнослужащих' N 76-ФЗ?\nA. с 1 июля 1999 года\nB. Акции могут приобретаться на организованных торгах только в первые 10 минут торгового дня.\nC. Утратила силу с 1 июля 2010 года\nD. После подписания протокола рассмотрения и оценки конкурсных предложений конкурсной комиссией\nE. с 1 июня 1997 года\nF. с 1 января 1998 года\nG. До даты и времени начала рассмотрения конкурсных предложений, установленных конкурсной документацией\nH. Прокуратура Российской Федерации\nI. с 1 января 2000 года\nJ. С помощью публичного акта, опубликованного в федеральных СМИ\nK. Министерство юстиции Российской Федерации\nL. Через решение высшего арбитражного суда\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 199, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.01201348751783371, + "B": 0.04463551938533783, + "C": 0.01201348751783371, + "D": 0.030677514150738716, + "E": 0.3298143744468689, + "F": 0.13748708367347717, + "G": 0.057313136756420135, + "H": 0.09449339658021927, + "I": 0.008256741799414158, + "J": 0.07359153032302856, + "K": 0.057313136756420135, + "L": 0.003037485061213374 + }, + "sample": { + "question": "Кто осуществляет надзо�� за соблюдением законов общественными объединениями в Российской Федерации согласно Федеральному закону 'Об общественных объединениях' N 82-ФЗ?", + "answerA": "Министерство юстиции Российской Федерации", + "answerB": "Прокуратура Российской Федерации", + "answerC": "Федеральная налоговая служба", + "answerD": "Федеральная служба по надзору в сфере связи, информационных технологий и массовых коммуникаций", + "correct_answer": "B", + "choices": [ + "Дополнена новыми пунктами с 2022 года", + "Через решение высшего арбитражного суда", + "После подписания протокола рассмотрения и оценки конкурсных предложений конкурсной комиссией", + "Федеральная налоговая служба", + "Федеральная служба по надзору в сфере связи, информационных технологий и массовых коммуникаций", + "Министерство юстиции Российской Федерации", + "С помощью публичного акта, опубликованного в федеральных СМИ", + "Акции могут приобретаться на организованных торгах только в первые 10 минут торгового дня.", + "До даты и времени начала рассмотрения конкурсных предложений, установленных конкурсной документацией", + "Прокуратура Российской Федерации", + "Содержать информацию о годовом доходе общества", + "Утратила силу с 1 июля 2010 года" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКто осуществляет надзор за соблюдением законов общественными объединениями в Российской Федерации согласно Федеральному закону 'Об общественных объединениях' N 82-ФЗ?\nA. Дополнена новыми пунктами с 2022 года\nB. Через решение высшего арбитражного суда\nC. После подписания протокола рассмотрения и оценки конкурсных предложений конкурсной комиссией\nD. Федеральная налоговая служба\nE. Федеральная служба по надзору в сфере связи, информационных технологий и массовых коммуникаций\nF. Министерство юстиции Российской Федерации\nG. С помощью публичного акта, опубликованного в федеральных СМИ\nH. Акции могут приобретаться на организованных торгах только в первые 10 минут торгового дня.\nI. До даты и времени начала рассмотрения конкурсных предложений, установленных конкурсной документацией\nJ. Прокуратура Российской Федерации\nK. Содержать информацию о годовом доходе общества\nL. Утратила силу с 1 июля 2010 года\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 211, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.013189734891057014, + "B": 0.07590168714523315, + "C": 0.06698299944400787, + "D": 0.059112299233675, + "E": 0.046036701649427414, + "F": 0.06698299944400787, + "G": 0.11043630540370941, + "H": 0.11043630540370941, + "I": 0.014945927076041698, + "J": 0.1251407265663147, + "K": 0.16068387031555176, + "L": 0.07590168714523315 + }, + "sample": { + "question": "Каким образом может быть передано осуществление полномочий единоличного исполнительного органа общества с ограниченной ответственностью управляющему?", + "answerA": "С помощью публичного акта, опубликованного в федеральных СМИ", + "answerB": "Через решение высшего арбитражного суда", + "answerC": "По договору, подписанному от имени общества лицом, утвердившим условия договора с управляющим", + "answerD": "Автоматически по истечении срока полномочий предыдущего управляющего", + "correct_answer": "C", + "choices": [ + "Акции могут приобретаться на организованных торгах только в первые 10 минут торгового дня.", + "Дополнена новыми пунктами с 2022 года", + "До даты и времени начала рассмотрения конкурсных предложений, установленных конкурсной документацией", + "Утратила силу с 1 июля 2010 года", + "Публичное общество обязано использовать брокера для совершения сделок с акциями.", + "После подписания протокола рассмотрения и оценки конкурсных предложений конкурсной комиссией", + "С помощью публичного акта, опубликованного в федеральных СМИ", + "Содержать информацию о годовом доходе общества", + "Только через единый портал государственных и муниципальных услуг.", + "Через решение высшего арбитражного суда", + "Автоматически по истечении срока полномочий предыдущего управляющего", + "По договору, подписанному от имени общества лицом, утвердившим условия договора с управляющим" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКаким образом может быть передано осуществление полномочий единоличного исполнительного органа общества с ограниченной ответственностью управляющему?\nA. Акции могут приобретаться на организованных торгах только в первые 10 минут торгового дня.\nB. Дополнена новыми пунктами с 2022 года\nC. До даты и времени начала рассмотрения конкурсных предложений, установленных конкурсной документацией\nD. Утратила силу с 1 июля 2010 года\nE. Публичное общество обязано использовать брокера для совершения сделок с акциями.\nF. После подписания протокола рассмотрения и оценки конкурсных предложений конкурсной комиссией\nG. С помощью публичного акта, опубликованного в федеральных СМИ\nH. Содержать информацию о годовом доходе общества\nI. Только через единый портал государственных и муниципальных услуг.\nJ. Через решение высшего арбитражного суда\nK. Автоматически по истечении срока полномочий предыдущего управляющего\nL. По договору, подписанному от имени общества лицом, утвердившим условия договора с управляющим\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 222, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.001542596030049026, + "B": 0.005731438752263784, + "C": 0.2761561870574951, + "D": 0.02568652667105198, + "E": 0.007833948358893394, + "F": 0.020004689693450928, + "G": 0.1897992044687271, + "H": 0.01291599776595831, + "I": 0.0009959747549146414, + "J": 0.0011285872897133231, + "K": 0.2761561870574951, + "L": 0.0005674893036484718 + }, + "sample": { + "question": "В како�� момент оператор электронной площадки обеспечивает доступ концедента к конкурсным предложениям, представленным участниками конкурса в электронной форме?", + "answerA": "После подписания протокола рассмотрения и оценки конкурсных предложений конкурсной комиссией", + "answerB": "До даты и времени начала рассмотрения конкурсных предложений, установленных конкурсной документацией", + "answerC": "На дату и время начала рассмотрения конкурсных предложений, которые установлены конкурсной документацией", + "answerD": "Через один час после получения оператором электронной площадки протокола рассмотрения и оценки конкурсных предложений", + "correct_answer": "C", + "choices": [ + "Только через единый портал государственных и муниципальных услуг.", + "Содержать информацию о годовом доходе общества", + "Указывать на форму проведения общего собрания акционеров и дату его проведения", + "Утратила силу с 1 июля 2010 года", + "Публичное общество обязано использовать брокера для совершения сделок с акциями.", + "После подписания протокола рассмотрения и оценки конкурсных предложений конкурсной комиссией", + "До даты и времени начала рассмотрения конкурсных предложений, установленных конкурсной документацией", + "Через один час после получения оператором электронной площадки протокола рассмотрения и оценки конкурсных предложений", + "Дополнена новыми пунктами с 2022 года", + "На основании личного мнения руководителя контрольного органа.", + "На дату и время начала рассмотрения конкурсных предложений, которые установлены конкурсной документацией", + "Акции могут приобретаться на организованных торгах только в первые 10 минут торгового дня." + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nВ какой момент оператор электронной площадки обеспечивает доступ концедента к конкурсным предложениям, представленным участниками конкурса в электронной форме?\nA. Только через единый портал государственных и муниципальных услуг.\nB. Содержать информацию о годовом доходе общества\nC. Указывать на форму проведения общего собрания акционеров и дату его проведения\nD. Утратила силу с 1 июля 2010 года\nE. Публичное общество обязано использовать брокера для совершения сделок с акциями.\nF. После подписания протокола рассмотрения и оценки конкурсных предложений конкурсной комиссией\nG. До даты и времени начала рассмотрения конкурсных предложений, установленных конкурсной документацией\nH. Через один час после получения оператором электронной площадки протокола рассмотрения и оценки конкурсных предложений\nI. Дополнена новыми пунктами с 2022 года\nJ. На основании личного мнения руководителя контрольного органа.\nK. На дату и время начала рассмотрения конкурсных предложений, которые установлены конкурсной документацией\nL. Акции могут приобретаться на организованных торгах только в первые 10 минут торгового дня.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 236, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.007089864928275347, + "B": 0.09194275736808777, + "C": 0.01810460165143013, + "D": 0.10418480634689331, + "E": 0.017007701098918915, + "F": 0.029849443584680557, + "G": 0.04343068599700928, + "H": 0.033823851495981216, + "I": 0.008033868856728077, + "J": 0.2832036316394806, + "K": 0.24992632865905762, + "L": 0.021838320419192314 + }, + "sample": { + "question": "Чему должен соответствовать бюллетень для голосования согласно Федеральному закону \"Об акционерных обществах\" (АО) N 208-ФЗ, Статья 60?", + "answerA": "Содержать информацию о годовом доходе общества", + "answerB": "Указывать на форму проведения общего собрания акционеров и дату его проведения", + "answerC": "Включать список всех акционеров с правом голоса", + "answerD": "Определять местоположение основных активов компании", + "correct_answer": "answerB", + "choices": [ + "Определять местоположение основных активов компании", + "Заказчик вправе объявить о проведении повторного конкурса и при необходимости изменить условия конкурса.", + "Путем голосования среди всех сотрудников контрольного (надзорного) органа.", + "Индивидуальные и многоквартирные жилые дома и квартиры, принадлежащие гражданам или юридическим лицам", + "Регулярное проведение контрольных проверок без предварительного уведомления", + "Только через единый портал государственных и муниципальных услуг.", + "На основании личного мнения руководителя контрольного органа.", + "Только непосредственно в лицензирующий орган на бумажном носителе.", + "Конкурс автоматически переходит к следующему календарному году.", + "Включать список всех акционеров с правом голоса", + "Содержать информацию о годовом доходе общества", + "Указывать на форму проведения общего собрания акционеров и дату его проведения" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nЧему должен соответствовать бюллетень для голосования согласно Федеральному закону \"Об акционерных обществах\" (АО) N 208-ФЗ, Статья 60?\nA. Определять местоположение основных активов компании\nB. Заказчик вправе объявить о проведении повторного конкурса и при необходимости изменить условия конкурса.\nC. Путем голосования среди всех сотрудников контрольного (надзорного) органа.\nD. Индивидуальные и многоквартирные жилые дома и квартиры, принадлежащие гражданам или юридическим лицам\nE. Регулярное проведение контрольных проверок без предварительного уведомления\nF. Только через единый портал государственных и муниципальных услуг.\nG. На основании личного мнения руководителя контрольного органа.\nH. Только непосредственно в лицензирующий орган на бумажном носителе.\nI. Конкурс автоматически переходит к следующему календарному году.\nJ. Включать список всех акционеров с правом голоса\nK. Содержать информацию о годовом доходе общества\nL. Указывать на форму проведения общего собрания акционеров и дату его проведения\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 219, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.00023214843531604856, + "B": 0.0005231546238064766, + "C": 0.0028281472623348236, + "D": 0.0022025632206350565, + "E": 0.0011075184447690845, + "F": 0.0007150676101446152, + "G": 0.0007150676101446152, + "H": 0.0012549826642498374, + "I": 0.00018079740402754396, + "J": 0.0006717438227497041, + "K": 0.888577401638031, + "L": 0.0023446164559572935 + }, + "sample": { + "question": "Каким образом соискатель лицензии может представить заявление о предоставлении лицензии и прилагаемые к нему документы в соответствии со статьёй 13 Федерального закона 'О лицензировании отдельных видов деятельности' N 99-ФЗ?", + "answerA": "Только через единый портал государственных и муниципальных услуг.", + "answerB": "Только непосредственно в лицензирующий орган на бумажном носителе.", + "answerC": "Исключительно по почте с уведомлением о вручении.", + "answerD": "В любой из указанных выше способов, а также направление в лицензирующий орган в форме электронных документов (комплекта электронных документов) в порядке, установленном законодательством РФ об организации предоставления государственных и муниципальных услуг.", + "correct_answer": "answerD", + "choices": [ + "Исключительно по почте с уведомлением о вручении.", + "Путем голосования среди всех сотрудников контрольного (надзорного) органа.", + "Регулярное проведение контрольных проверок без предварительного уведомления", + "На основании личного мнения руководителя контрольного органа.", + "Индивидуальные и многоквартирные жилые дома и квартиры, принадлежащие гражданам или юридическим лицам", + "Решения о наложении административного штрафа", + "Конкурс автоматически переходит к следующему календарному году.", + "Только через единый портал государственных и муниципальных услуг.", + "Использование контрольными (надзорными) органами их полномочий в целях воспрепятствования законной деятельности контролируемых лиц", + "Заказчик вправе объявить о проведении повторного конкурса и при необходимости изменить условия конкурса.", + "В любой из указанных выше способов, а также направление в лицензирующий орган в форме электронных документов (комплекта электронных документов) в порядке, установленном законодательством РФ об организации предоставления государственных и муниципальных услуг.", + "Только непосредственно в лицензирующий орган на бумажном носителе." + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКаким образом соискатель лицензии может представить заявление о предоставлении лицензии и прилагаемые к нему документы в соответствии со статьёй 13 Федерального закона 'О лицензировании отдельных видов деятельности' N 99-ФЗ?\nA. Исключительно по почте с уведомлением о вручении.\nB. Путем голосования среди всех сотрудников контрольного (надзорного) органа.\nC. Регулярное проведение контрольных проверок без предварительного уведомления\nD. На основании личного мнения руководителя контрольного органа.\nE. Индивидуальные и многоквартирные жилые дома и квартиры, принадлежащие гражданам или юридическим лицам\nF. Решения о наложении административного штрафа\nG. Конкурс автоматически переходит к следующему календарному году.\nH. Только через единый портал государственных и муниципальных услуг.\nI. Использование контрольными (надзорными) органами их полномочий в целях воспрепятствования законной деятельности контролируемых лиц\nJ. Заказчик вправе объявить о проведении повторного конкурса и при необходимости изменить условия конкурса.\nK. В любой из указанных выше способов, а также направление в лицензирующий орган в форме электронных документов (комплекта электронных документов) в порядке, установленном законодательством РФ об организации предоставления государственных и муниципальных услуг.\nL. Только непосредственно в лицензирующий орган на бумажном носителе.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 269, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.008186398074030876, + "B": 0.00438186340034008, + "C": 0.9462189674377441, + "D": 0.0011079085525125265, + "E": 0.00029818955226801336, + "F": 9.680796938482672e-05, + "G": 0.00014993910735938698, + "H": 0.00019252563652116805, + "I": 2.447688893880695e-05, + "J": 6.587864845641889e-06, + "K": 0.00015960936434566975, + "L": 5.461531600303715e-06 + }, + "sample": { + "question": "Каким образом контрольный (надзорный) орган относит объекты контроля к категориям риска согласно Федеральному закону от 31.07.2020 N 248-ФЗ?", + "answerA": "На основании личного мнения руководителя контрольного органа.", + "answerB": "Путем голосования среди всех сотрудников контрольного (надзорного) органа.", + "answerC": "На основе сопоставления характеристик объекта контроля с утвержденными критериями риска.", + "answerD": "С использованием результатов общественного опроса.", + "correct_answer": "На основе сопоставления характеристик объекта контроля с утвержденными критериями риска.", + "choices": [ + "Индивидуальные и многоквартирные жилые дома и квартиры, принадлежащие гражданам или юридическим лицам", + "С использованием результатов общественного опроса.", + "На основе сопоставления характеристик объекта контроля с утвержденными критериями риска.", + "Путем голосования среди всех сотрудников контрольного (надзорного) органа.", + "Заказчик вправе объявить о проведении повторного конкурса и при необходимости изменить условия кон��урса.", + "Решения о наложении административного штрафа", + "Использование контрольными (надзорными) органами их полномочий в целях воспрепятствования законной деятельности контролируемых лиц", + "Политическая реклама, включая предвыборную агитацию", + "Конкурс автоматически переходит к следующему календарному году.", + "Гостиницы и дома отдыха", + "На основании личного мнения руководителя контрольного органа.", + "Регулярное проведение контрольных проверок без предварительного уведомления" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКаким образом контрольный (надзорный) орган относит объекты контроля к категориям риска согласно Федеральному закону от 31.07.2020 N 248-ФЗ?\nA. Индивидуальные и многоквартирные жилые дома и квартиры, принадлежащие гражданам или юридическим лицам\nB. С использованием результатов общественного опроса.\nC. На основе сопоставления характеристик объекта контроля с утвержденными критериями риска.\nD. Путем голосования среди всех сотрудников контрольного (надзорного) органа.\nE. Заказчик вправе объявить о проведении повторного конкурса и при необходимости изменить условия конкурса.\nF. Решения о наложении административного штрафа\nG. Использование контрольными (надзорными) органами их полномочий в целях воспрепятствования законной деятельности контролируемых лиц\nH. Политическая реклама, включая предвыборную агитацию\nI. Конкурс автоматически переходит к следующему календарному году.\nJ. Гостиницы и дома отдыха\nK. На основании личного мнения руководителя контрольного органа.\nL. Регулярное проведение контрольных проверок без предварительного уведомления\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 234, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0038428797852247953, + "B": 0.018333354964852333, + "C": 0.6071172952651978, + "D": 0.026674874126911163, + "E": 0.006744464859366417, + "F": 0.00764247914776206, + "G": 0.17394202947616577, + "H": 0.011119741946458817, + "I": 0.00038049661088734865, + "J": 0.0011720121838152409, + "K": 0.009813137352466583, + "L": 9.037587005877867e-05 + }, + "sample": { + "question": "Что происходит в случае признания открытого конкурса несостоявшимся согласно Федеральному закону \"О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд\" N 44-ФЗ, Статья 31.7?", + "answerA": "Конкурс автоматически переходит к следующему календарному году.", + "answerB": "Заказчик вправе объявить о проведении повторного конкурса и при необходимости изменить условия конкурса.", + "answerC": "Все участники автоматически дисквалифицируются от участия в будущих конкурсах на протяжении года.", + "answerD": "Заказчик обязан выбрать победителя из существующих участников, вне зависимости от соответствия условиям.", + "correct_answer": "B", + "choices": [ + "Гостиницы и дома отдыха", + "Заказчик обязан выбрать победителя из существующих участников, вне зависимости от соответствия условиям.", + "Использование контрольными (надзорными) органами их полномочий в целях воспрепятствования законной деятельности контролируемых лиц", + "Конкурс автоматически переходит к следующему календарному году.", + "Регулярное проведение контрольных проверок без предварительного уведомления", + "Все участники автоматически дисквалифицируются от участия в будущих конкурсах на протяжении года.", + "Заказчик вправе объявить о проведении повторного конкурса и при необходимости изменить условия конкурса.", + "Решения о наложении административного штрафа", + "Политическая реклама, включая предвыборную агитацию", + "Приговоры о конфискации доходов, полученных преступным путем, или эквивалентного им имущества, находящегося на территории Российской Федерации", + "Имущество передается государству", + "Индивидуальные и многоквартирные жилые дома и квартиры, принадлежащие гражданам или юридическим лицам" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nЧто происходит в случае признания открытого конкурса несостоявшимся согласно Федеральному закону \"О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд\" N 44-ФЗ, Статья 31.7?\nA. Гостиницы и дома отдыха\nB. Заказчик обязан выбрать победителя из существующих участников, вне зависимости от соответствия условиям.\nC. Использование контрольными (надзорными) органами их полномочий в целях воспрепятствования законной деятельности контролируемых лиц\nD. Конкурс автоматически переходит к следующему календарному году.\nE. Регулярное проведение контрольных проверок без предварительного уведомления\nF. Все участники автоматически дисквалифицируются от участия в будущих конкурсах на протяжении года.\nG. Заказчик вправе объявить о проведении повторного конкурса и при необходимости изменить условия конкурса.\nH. Решения о наложении административного штрафа\nI. Политическая реклама, включая предвыборную агитацию\nJ. Приговоры о конфискации доходов, полученных преступным путем, или эквивалентного им имущества, находящегося на территории Российской Федерации\nK. Имущество передается государству\nL. Индивидуальные и многоквартирные жилые дома и квартиры, принадлежащие гражданам или юридическим лицам\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 258, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.17243768274784088, + "B": 0.10458874702453613, + "C": 0.15217572450637817, + "D": 0.06343628466129303, + "E": 0.04359907656908035, + "F": 0.08145380020141602, + "G": 0.03847604990005493, + "H": 0.0559823215007782, + "I": 0.0031583064701408148, + "J": 0.021922990679740906, + "K": 0.026444176211953163, + "L": 0.002310666488483548 + }, + "sample": { + "question": "Что не допускается в соответствии со Статьей 11 Федерального закона от 31.07.2020 N 248-ФЗ?", + "answerA": "Регулярное проведение контрольных проверок без предварительного уведомления", + "answerB": "Использование контрольными (надзорными) органами их полномочий в целях воспрепятствования законной деятельности контролируемых лиц", + "answerC": "Повышение квалификации сотрудников контрольных (надзорных) органов за счет бюджетных средств", + "answerD": "Интеграция информационных систем государственного и муниципального контроля", + "correct_answer": "Использование контрольными (надзорными) органами их полномочий в целях воспрепятствования законной деятельности контролируемых лиц", + "choices": [ + "Регулярное проведение контрольных проверок без предварительного уведомления", + "Повышение квалификации сотрудников контрольных (надзорных) органов за счет бюджетных средств", + "Политическая реклама, включая предвыборную агитацию", + "Решения о наложении административного штрафа", + "Индивидуальные и многоквартирные жилые дома и квартиры, принадлежащие гражданам или юридическим лицам", + "Использование контрольными (надзорными) органами их полномочий в целях воспрепятствования законной деятельности контролируемых лиц", + "Приговоры о конфискации доходов, полученных преступным путем, или эквивалентного им имущества, находящегося на территории Российской Федерации", + "Имущество передается государству", + "Интеграция информационных систем государственного и муниципального контроля", + "Информация, распространение которой обязательно согласно федеральному закону", + "Проведение международных переговоров от имени государства", + "Гостиницы и дома отдыха" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nЧто не допускается в соответствии со Статьей 11 Федерального закона от 31.07.2020 N 248-ФЗ?\nA. Регулярное проведение контрольных проверок без предварительного уведомления\nB. Повышение квалификации сотрудников контрольных (надзорных) органов за счет бюджетных средств\nC. Политическая реклама, включая предвыборную агитацию\nD. Решения о наложении административного штрафа\nE. Индивидуальные и многоквартирные жилые дома и квартиры, принадлежащие гражданам или юридическим лицам\nF. Использование контрольными (надзорными) органами их полномочий в целях воспрепятствования законной деятельности контролируемых лиц\nG. Приговоры о конфискации доходов, полученных преступным путем, или эквивалентного им имущества, находящегося на территории Российской Федерации\nH. Имущество передается государству\nI. Интеграция информационных систем государственного и муниципального контроля\nJ. Информация, распространение которой обязательно согласно федеральному закону\nK. Проведение международных переговоров от имени государства\nL. Гостиницы и дома отдыха\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 238, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.00354215526022017, + "B": 0.015874838456511497, + "C": 0.003770604496821761, + "D": 0.8667367696762085, + "E": 0.003327546874061227, + "F": 0.009045210666954517, + "G": 0.00962857622653246, + "H": 0.00354215526022017, + "I": 0.0009533580741845071, + "J": 0.01236333604902029, + "K": 0.01236333604902029, + "L": 0.001303086057305336 + }, + "sample": { + "question": "Какие приговоры (решения), вынесенные судами иностранных государств, признаются и исполняются в Российской Федерации в соответствии с Федеральным законом \"О противодействии легализации (отмыванию) доходов, полученных преступным путем, и финансированию терроризма\" N 115-ФЗ?", + "answerA": "Решения о наложении административного штрафа", + "answerB": "Приговоры о конфискации доходов, полученных преступным путем, или эквивалентного им имущества, находящегося на территории Российской Федерации", + "answerC": "Решения об экстрадиции подозреваемых или обвиняемых", + "answerD": "Приговоры об освобождении от уголовной ответственности в обмен на доказательства", + "correct_answer": "Приговоры о конфискации доходов, полученных преступным путем, или эквивалентного им имущества, находящегося на территории Российской Федерации", + "choices": [ + "Политическая реклама, включая предвыборную агитацию", + "Пункт 4.1", + "Осуществление контроля за качеством питьевой воды на всей территории Российской Федерации", + "Приговоры о конфискации доходов, полученных преступным путем, или эквивалентного им имущества, находящегося на территории Российской Федерации", + "Решения о наложении административного штрафа", + "Имущество передается государству", + "Спортивное, охотничье, самооборонное", + "Имущество распределяется между учредителями", + "Проведение международных переговоров от имени государства", + "Решения об экстрадиции подозреваемых или обвиняемых", + "Приговоры об освобождении от уголовной ответственности в обмен на доказательства", + "Информация, распространение которой обязательно согласно федеральному закону" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКакие приговоры (решения), вынесенные судами иностранных государств, признаются и исполняются в Российской Федерации в соответствии с Федеральным законом \"О противодействии легализации (отмыванию) доходов, полученных преступным путем, и финансированию терроризма\" N 115-ФЗ?\nA. Политическая реклама, включая предвыборную агитацию\nB. Пункт 4.1\nC. Осуществление контроля за качеством питьевой воды на всей территории Российской Федерации\nD. Приговоры о конфискации доходов, полученных преступным путем, или эквивалентного им имущес��ва, находящегося на территории Российской Федерации\nE. Решения о наложении административного штрафа\nF. Имущество передается государству\nG. Спортивное, охотничье, самооборонное\nH. Имущество распределяется между учредителями\nI. Проведение международных переговоров от имени государства\nJ. Решения об экстрадиции подозреваемых или обвиняемых\nK. Приговоры об освобождении от уголовной ответственности в обмен на доказательства\nL. Информация, распространение которой обязательно согласно федеральному закону\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 236, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.023753106594085693, + "B": 0.044376641511917114, + "C": 0.08290649950504303, + "D": 0.08290649950504303, + "E": 0.02528505027294159, + "F": 0.03246665000915527, + "G": 0.06456764042377472, + "H": 0.03456056863069534, + "I": 0.014406987465918064, + "J": 0.07316471636295319, + "K": 0.22536320984363556, + "L": 0.03246665000915527 + }, + "sample": { + "question": "К какой категории НЕ относится исключение в сфере действия Федерального закона 'О рекламе' N 38-ФЗ, согласно Статье 2?", + "answerA": "Политическая реклама, включая предвыборную агитацию", + "answerB": "Информация, распространение которой обязательно согласно федеральному закону", + "answerC": "Сообщения о находках и потерях", + "answerD": "Упоминания о товаре в произведениях литературы, не являющиеся рекламой", + "correct_answer": "Сообщения о находках и потерях", + "choices": [ + "Политическая реклама, включая предвыборную агитацию", + "Спортивное, охотничье, самооборонное", + "Пункт 4.1", + "Проведение международных переговоров от имени государства", + "Пункт 3", + "Осуществление контроля за качеством питьевой воды на всей территории Российской Федерации", + "Имущество распределяется между учредителями", + "Информация, распространение которой обязательно согласно федеральному закону", + "Имущество передается государству", + "Иностранные граждане, в отношении которых принято решение о нежелательности их пребывания в Российской Федерации", + "Упоминания о товаре в произведениях литературы, не являющиеся рекламой", + "Сообщения о находках и потерях" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nК какой категории НЕ относится исключение в сфере действия Федерального закона 'О рекламе' N 38-ФЗ, согласно Статье 2?\nA. Политическая реклама, включая предвыборную агитацию\nB. Спортивное, охотничье, самооборонное\nC. Пункт 4.1\nD. Проведение международных переговоров от имени государства\nE. Пункт 3\nF. Осуществление контроля за качеством питьевой воды на всей территории Российской Федерации\nG. Имущество распределяется между учредителями\nH. Информация, распространение которой обязательно согласно федеральному закону\nI. Имущество передается государству\nJ. Иностранные граждане, в отношении которых принято решение о нежелательности их пребывания в Российской Федерации\nK. Упоминания о товаре в произведениях литературы, не являющиеся рекламой\nL. Сообщения о находках и потерях\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 193, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0022740373387932777, + "B": 0.045675259083509445, + "C": 0.045675259083509445, + "D": 0.0753057673573494, + "E": 0.05864819139242172, + "F": 0.5564385652542114, + "G": 0.0753057673573494, + "H": 0.031392116099596024, + "I": 0.0007382718031294644, + "J": 0.01308618113398552, + "K": 0.02157546393573284, + "L": 0.0008365715038962662 + }, + "sample": { + "question": "Что происходит с имуществом образовательной организации в случае ее ликвидации согласно Федеральному закону \"Об образовании в Российской Федерации\" N 273-ФЗ, Статья 102?", + "answerA": "Имущество передается государству", + "answerB": "Имущество распределяется между учредителями", + "answerC": "Имущество направляется на цели развития образования в соответствии с уставом образовательной организации", + "answerD": "Имущество приватизируется", + "correct_answer": "Имущество направляется на цели развития образования в соответствии с уставом образовательной организации", + "choices": [ + "Имущество приватизируется", + "Проведение международных переговоров от имени государства", + "Публикацией уведомления на официальном сайте таможенного органа.", + "Осуществление контроля за качеством питьевой воды на всей территории Российской Федерации", + "Иностранные граждане, в отношении которых принято решение о нежелательности их пребывания в Российской Федерации", + "Имущество передается государству", + "Имущество направляется на цели развития образования в соответствии с уставом образовательной организации", + "Пункт 3", + "Пункт 4.1", + "Гражданское, служебное, боевое ручное стрелковое и холодное", + "Спортивное, охотничье, самооборонное", + "Имущество распределяется между учредителями" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nЧто происходит с имуществом образовательной организации в случае ее ликвидации согласно Федеральному закону \"Об образовании в Российской Федерации\" N 273-ФЗ, Статья 102?\nA. Имущество приватизируется\nB. Проведение международных переговоров от имени государства\nC. Публикацией уведомления на официальном сайте таможенного органа.\nD. Осуществление контроля за качеством питьевой воды на всей территории Российской Федерации\nE. Иностранные граждане, в отношении которых принято решение о нежелательности их пребывания в Российской Федерации\nF. Имущество передается государству\nG. Имущество направляется на цели развития образования в соответствии с уставом образовательной организации\nH. Пункт 3\nI. Пункт 4.1\nJ. Гражданское, служебное, боевое ручное стрелковое и холодное\nK. Спортивное, охотничье, самооборонное\nL. Имущество распределяется между учредителями\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 201, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.07338777929544449, + "B": 0.3289012014865875, + "C": 0.15536193549633026, + "D": 0.09423177689313889, + "E": 0.06476448476314545, + "F": 0.05043863505125046, + "G": 0.03928164765238762, + "H": 0.023825524374842644, + "I": 0.0038894095923751593, + "J": 0.030592575669288635, + "K": 0.01057251263409853, + "L": 0.0011143345618620515 + }, + "sample": { + "question": "Какое из следующих прав органы местного самоуправления муниципального района имеют согласно Статье 15.1 Федерального закона \"Об общих принципах организации местного самоуправления в РФ\" (закон о МСУ) N 131-ФЗ?", + "answerA": "Проведение международных переговоров от имени государства", + "answerB": "Осуществление контроля за качеством питьевой воды на всей территории Российской Федерации", + "answerC": "Создание музеев муниципального района", + "answerD": "Назначение судей федеральных судов", + "correct_answer": "answerC", + "choices": [ + "Проведение международных переговоров от имени государства", + "Создание музеев муниципального района", + "Публикацией уведомления на официальном сайте таможенного органа.", + "Любые полностью дееспособные граждане и (или) юридические лица", + "Назначение судей федеральных судов", + "150 дней", + "Гражданское, служебное, боевое ручное стрелковое и холодное", + "Пункт 4.1", + "Осуществление контроля за качеством питьевой воды на всей территории Российской Федерации", + "Спортивное, охотничье, самооборонное", + "Пункт 3", + "Иностранные граждане, в отношении которых принято решение о нежелательности их пребывания в Российской Федерации" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКакое из следующих прав органы местного самоуправления муниципального района имеют согласно Статье 15.1 Федерального закона \"Об общих принципах организации местного самоуправления в РФ\" (закон о МСУ) N 131-ФЗ?\nA. Проведение международных переговоров от имени государства\nB. Создание музеев муниципального района\nC. Публикацией уведомления на официальном сайте таможенного органа.\nD. Любые полностью дееспособные граждане и (или) юридические лица\nE. Назначение судей федеральных судов\nF. 150 дней\nG. Гражданское, служебное, боевое ручное стрелковое и холодное\nH. Пункт 4.1\nI. Осуществление контроля за качеством питьевой воды на всей территории Российской Федерации\nJ. Спортивное, охотничье, самооборонное\nK. Пункт 3\nL. Иностранные граждане, в отношении которых принято решение о нежелательности их пребывания в Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 210, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.041312914341688156, + "B": 0.20980429649353027, + "C": 0.028393924236297607, + "D": 0.1441962569952011, + "E": 0.06811348348855972, + "F": 0.09910453855991364, + "G": 0.07718269526958466, + "H": 0.09910453855991364, + "I": 0.004090533126145601, + "J": 0.0601099394261837, + "K": 0.01259972807019949, + "L": 0.03217453509569168 + }, + "sample": { + "question": "Согласно Федеральному закону 'Об оружии' N 150-ФЗ, какие виды оружия выделяются?", + "answerA": "Спортивное, охотничье, самооборонное", + "answerB": "Гражданское, служебное, боевое ручное стрелковое и холодное", + "answerC": "Аэрозольные, шоковые устройства, электрошоковое оружие", + "answerD": "Нарезное, гладкоствольное, комбинированное", + "correct_answer": "B", + "choices": [ + "180 дней", + "Нарезное, гладкоствольное, комбинированное", + "Повышение эффективности рекламных кампаний с использованием персональных данных", + "Любые полностью дееспособные граждане и (или) юридические лица", + "Аэрозольные, шоковые устройства, электрошоковое оружие", + "Гражданское, служебное, боевое ручное стрелковое и холодное", + "Один раз в пять лет", + "Спортивное, охотничье, самооборонное", + "Путем направления уведомления в день начала такой проверки заказным почтовым отправлением с уведомлением о вручении или в виде электронного документа с использованием сети \"Интернет\".", + "Иностранные граждане, в отношении которых принято решение о нежелательности их пребывания в Российской Федерации", + "Публикацией уведомления на официальном сайте таможенного органа.", + "150 дней" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nСогласно Федеральному закону 'Об оружии' N 150-ФЗ, какие виды оружия выделяются?\nA. 180 дней\nB. Нарезное, гладкоствольное, комбинированное\nC. Повышение эффективности рекламных кампаний с использованием персональных данных\nD. Любые полностью дееспособные граждане и (или) юридические лица\nE. Аэрозольные, шоковые устройства, электрошоковое оружие\nF. Гражданское, служебное, боевое ручное стрелковое и холодное\nG. Один раз в пять лет\nH. Спортивное, охотничье, самооборонное\nI. Путем направления уведомления в день начала такой проверки заказным почтовым отправлением с уведомлением о вручении или в виде электронного документа с использованием сети \"Интернет\".\nJ. Иностранные граждане, в отношении которых принято решение о нежелательности их пребывания в Российской Федерации\nK. Публикацией уведомления на официальном сайте таможенного органа.\nL. 150 дней\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 223, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.07210508733987808, + "B": 0.3231525421142578, + "C": 0.034060027450323105, + "D": 0.034060027450323105, + "E": 0.11888119578361511, + "F": 0.07210508733987808, + "G": 0.07210508733987808, + "H": 0.0561554878950119, + "I": 0.006300472188740969, + "J": 0.0925847589969635, + "K": 0.020658450201153755, + "L": 0.000801015121396631 + }, + "sample": { + "question": "Кто может быть учредителем некоммерческой организации согласно Федеральному закону \"О некоммерческих организациях\" N 7-ФЗ?", + "answerA": "Иностранные граждане, в отношении которых принято решение о нежелательности их пребывания в Российской Федерации", + "answerB": "Любые полностью дееспособные граждане и (или) юридические лица", + "answerC": "Лицо, включенное в перечень иностранных и международных неправительственных организаций, деятельность которых признана нежелательной на территории Российской Федерации", + "answerD": "Общественное объединение, деятельность которого приостановлена в соответствии со статьей 10 Федерального закона \"О противодействии экстремистской деятельности\"", + "correct_answer": "answerB", + "choices": [ + "Публикацией уведомления на официальном сайте таможенного органа.", + "Любые полностью дееспособные граждане и (или) юридические лица", + "Один раз в пять лет", + "Повышение эффективности рекламных кампаний с использованием персональных данных", + "150 дней", + "Путем направления уведомления в день начала такой проверки заказным почтовым отправлением с уведомлением о вручении или в виде электронного документа с использованием сети \"Интернет\".", + "Онлайн-курсы в иностранных образовательных учреждениях", + "Один раз в три года", + "Общественное объединение, деятельность которого приостановлена в соответствии со статьей 10 Федерального закона \"О противодействии экстремистской деятельности\"", + "Лицо, включенное в перечень иностранных и международных неправительственных организаций, деятельность которых признана нежелательной на территории Российской Федерации", + "Иностранные граждане, в отношении которых принято решение о нежелательности их пребывания в Российской Федерации", + "180 дней" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКто может быть учредителем некоммерческой организации согласно Федеральному закону \"О некоммерческих организациях\" N 7-ФЗ?\nA. Публикацией уведомления на официальном сайте таможенного органа.\nB. Любые полностью дееспособные граждане и (или) юридические лица\nC. Один раз в пять лет\nD. Повышение эффективности рекламных кампаний с использованием персональных данных\nE. 150 дней\nF. Путем направления уведомления в день начала такой проверки заказным почтовым отправлением с уведомлением о вручении или в виде электронного документа с использованием сети \"Интернет\".\nG. Онлайн-курсы в иностранных образовательных учреждениях\nH. Один раз в три года\nI. Общественное объединение, деятельность которого приостановлена в соответствии со статьей 10 Федерального закона \"О противодействии экстремистской деятельности\"\nJ. Лицо, включенное в перечень иностранных и международных неправительственных организац��й, деятельность которых признана нежелательной на территории Российской Федерации\nK. Иностранные граждане, в отношении которых принято решение о нежелательности их пребывания в Российской Федерации\nL. 180 дней\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 245, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0022540006320923567, + "B": 0.9093286991119385, + "C": 0.011446759104728699, + "D": 0.0054070656187832355, + "E": 0.0016490619163960218, + "F": 0.000391686538932845, + "G": 0.0005029354942962527, + "H": 9.90338739939034e-05, + "I": 8.129194611683488e-06, + "J": 8.739708573557436e-05, + "K": 8.739708573557436e-05, + "L": 5.5871087170089595e-06 + }, + "sample": { + "question": "Каким образом таможенный орган уведомляет проверяемое лицо о проведении камеральной таможенной проверки согласно статье 228 Федерального закона \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?", + "answerA": "Публикацией уведомления на официальном сайте таможенного органа.", + "answerB": "Путем направления уведомления в день начала такой проверки заказным почтовым отправлением с уведомлением о вручении или в виде электронного документа с использованием сети \"Интернет\".", + "answerC": "Через СМИ и официальные печатные издания.", + "answerD": "Путем личного визита представителя таможенного органа к проверяемому лицу с уведомлением.", + "correct_answer": "B", + "choices": [ + "Через СМИ и официальные печатные издания.", + "Путем направления уведомления в день начала такой проверки заказным почтовым отправлением с уведомлением о вручении или в виде электронного документа с использованием сети \"Интернет\".", + "Публикацией уведомления на официальном сайте таможенного органа.", + "Немедленно выселяет гражданина из жилого помещения", + "Путем личного визита представителя таможенного органа к проверяемому лицу с уведомлением.", + "Онлайн-курсы в иностранных образовательных учреждениях", + "Обеспечение защиты прав и свобод человека и гражданина при обработке его персональных данных", + "Один раз в три года", + "180 дней", + "Один раз в пять лет", + "150 дней", + "Повышение эффективности рекламных кампаний с использованием персональных данных" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКаким образом таможенный орган уведомляет проверяемое лицо о проведении камеральной таможенной проверки согласно статье 228 Федерального закона \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?\nA. Через СМИ и официальные печатные издания.\nB. Путем направления уведомления в день начала такой проверки заказным почтовым отправлением с уведомлением о вручении или в виде электронного документа с использованием сети \"Интернет\".\nC. Публикацией уведомления на официальном сайте таможенного органа.\nD. Немедленно выселяет гражданина из жилого помещения\nE. Путем личного визита представителя таможенного органа к проверяемому лицу с уведомлением.\nF. Онлайн-курсы в иностранных образовательных учреждениях\nG. Обеспечение защиты прав и свобод человека и гражданина при обработке его персональных данных\nH. Один раз в три года\nI. 180 дней\nJ. Один раз в пять лет\nK. 150 дней\nL. Повышение эффективности рекламных кампаний с использованием персональных данных\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 238, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.02765882946550846, + "B": 0.04024335741996765, + "C": 0.0313415564596653, + "D": 0.04024335741996765, + "E": 0.3369535207748413, + "F": 0.18035823106765747, + "G": 0.06635008007287979, + "H": 0.1239582821726799, + "I": 0.00744427228346467, + "J": 0.02440883219242096, + "K": 0.01083135325461626, + "L": 0.03551463782787323 + }, + "sample": { + "question": "Каково минимальное количество дней беременности для получения права на единовременное пособие беременной жене военнослужащего, проходящего военную службу по призыву, согласно Федеральному закону 'О государственных пособиях гражданам, имеющим детей' N 81-ФЗ?", + "answerA": "150 дней", + "answerB": "180 дней", + "answerC": "120 дней", + "answerD": "200 дней", + "correct_answer": "180 дней", + "choices": [ + "Один раз в три года", + "Немедленно выселяет гражданина из жилого помещения", + "Обеспечение защиты прав и свобод человека и гражданина при обработке его персональных данных", + "Повышение эффективности рекламных кампаний с использованием персональных данных", + "150 дней", + "180 дней", + "200 дней", + "120 дней", + "Онлайн-курсы в иностранных образовательных учреждениях", + "Участие в научно-исследовательских проектах на базе партнерских компаний", + "Физическое лицо с российским гражданством", + "Один раз в пять лет" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКаково минимальное количество дней беременности для получения права на единовременное пособие беременной жене военнослужащего, проходящего военную службу по призыву, согласно Федеральному закону 'О государственных пособиях гражданам, имеющим детей' N 81-ФЗ?\nA. Один раз в три года\nB. Немедленно выселяет гражданина из жилого помещения\nC. Обеспечение защиты прав и свобод человека и гражданина при обработке его персональных данных\nD. Повышение эффективности рекламных кампаний с использованием персональных данных\nE. 150 дней\nF. 180 дней\nG. 200 дней\nH. 120 дней\nI. Онлайн-курсы в иностранных образовательных учреждениях\nJ. Участие в научно-исследовательских проектах на базе партнерских компаний\nK. Физическое лицо с российским гражданством\nL. Один раз в пять лет\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 197, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.07813149690628052, + "B": 0.04738914594054222, + "C": 0.10032282769680023, + "D": 0.041820771992206573, + "E": 0.2123834192752838, + "F": 0.04738914594054222, + "G": 0.028742969036102295, + "H": 0.04738914594054222, + "I": 0.03690670058131218, + "J": 0.12881705164909363, + "K": 0.022385045886039734, + "L": 0.0041408175602555275 + }, + "sample": { + "question": "Как часто юридические лица и индивидуальные предприниматели, осуществляющие деятельность на объектах II категории, должны представлять декларацию о воздействии на окружающую среду согласно Федеральному закону \"Об охране окружающей среды\" N 7-ФЗ?", + "answerA": "Один раз в пять лет", + "answerB": "Один раз в три года", + "answerC": "Один раз в семь лет", + "answerD": "Ежегодно", + "correct_answer": "C", + "choices": [ + "Статьи 128 и 129", + "Повышение эффективности рекламных кампаний с использованием персональных данных", + "Один раз в семь лет", + "Физическое лицо с российским гражданством", + "Один раз в три года", + "Один раз в пять лет", + "Обеспечение защиты прав и свобод человека и гражданина при обработке его персональных данных", + "Предоставляет предложение о порядке продажи имущества должника собранию кредиторов или в комитет кредиторов в срок не позднее шести месяцев", + "Участие в научно-исследовательских проектах на базе партнерских компаний", + "Ежегодно", + "Онлайн-курсы в иностранных образовательных учреждениях", + "Немедленно выселяет гражданина из жилого помещения" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКак часто юридические лица и индивидуальные предприниматели, осуществляющие деятельность на объектах II категории, должны представлять декларацию о воздействии на окружающую среду согласно Федеральному закону \"Об охране окружающей среды\" N 7-ФЗ?\nA. Статьи 128 и 129\nB. Повышение эффективности рекламных кампаний с использованием персональных данных\nC. Один раз в семь лет\nD. Физическое лицо с российским гражданством\nE. Один раз в три года\nF. Один раз в пять лет\nG. Обеспечение защиты прав и свобод человека и гражданина при обработке его персональных данных\nH. Предоставляет предложение о порядке продажи имущества должника собранию кредиторов или в комитет кредиторов в срок не позднее шести месяцев\nI. Участие в научно-исследовательских проектах на базе партнерских компаний\nJ. Ежегодно\nK. Онлайн-курсы в иностранных образовательных учреждениях\nL. Немедленно выселяет гражданина из жилого помещения\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 209, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.00042277894681319594, + "B": 0.01913643628358841, + "C": 0.00029057145002298057, + "D": 0.0011492323828861117, + "E": 0.007039900869131088, + "F": 0.001223351457156241, + "G": 0.0013022508937865496, + "H": 0.0020169655326753855, + "I": 0.00016556261107325554, + "J": 0.922045111656189, + "K": 0.0074939364567399025, + "L": 8.861927926773205e-05 + }, + "sample": { + "question": "Какова цель Федерального закона 'О персональных данных' N 152-ФЗ?", + "answerA": "Повышение эффективности рекламных кампаний с использованием персональных данных", + "answerB": "Обеспечение защиты прав и свобод человека и гражданина при обработке его персональных данных", + "answerC": "Разрешение компаниям использовать персональные данные без согласия их владельцев", + "answerD": "Регулирование процедур сбора налогов с организаций, работающих с персональными данными", + "correct_answer": "B", + "choices": [ + "Юридическое лицо с лицензией на производство алкогольной продукции", + "Регулирование процедур сбора налогов с организаций, работающих с персональными данными", + "Физическое лицо с российским гражданством", + "Участие в научно-исследовательских проектах на базе партнерских компаний", + "Предоставляет предложение о порядке продажи имущества должника собранию кредиторов или в комитет кредиторов в срок не позднее шести месяцев", + "Онлайн-курсы в иностранных образовательных учреждениях", + "Повышение эффективности рекламных кампаний с использованием персональных данных", + "Немедленно выселяет гражданина из жилого помещения", + "Разрешение компаниям использовать персональные данные без согласия их владельцев", + "Обеспечение защиты прав и свобод человека и гражданина при обработке его персональных данных", + "Использование животных исключительно в экономических целях", + "Статьи 128 и 129" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКакова цель Федерального закона 'О персональных данных' N 152-ФЗ?\nA. Юридическое лицо с лицензией на производство алкогольной продукции\nB. Регулирование процедур сбора налогов с организаций, работающих с персональными данными\nC. Физическое лицо с российским гражданством\nD. Участие в научно-исследовательских проектах на базе партнерских компаний\nE. Предоставляет предложение о порядке продажи имущества должника собранию кредиторов или в комитет кредиторов в срок не позднее шести месяцев\nF. Онлайн-курсы в иностранных образовательных учреждениях\nG. Повышение эффективности рекламных кампаний с использованием персональных данных\nH. Немедленно выселяет гражданина из жилого помещения\nI. Разрешение компаниям использовать персональные данные без согласия их владельцев\nJ. Обеспечение защиты прав и свобод человека и гражданина при обработке его персональных данных\nK. Использование животных исключительно в экономических целях\nL. Статьи 128 и 129\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 214, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.009342903271317482, + "B": 0.155573308467865, + "C": 0.02385793812572956, + "D": 0.07348762452602386, + "E": 0.039335086941719055, + "F": 0.039335086941719055, + "G": 0.06485260277986526, + "H": 0.2263578176498413, + "I": 0.0041458881460130215, + "J": 0.03471309691667557, + "K": 0.039335086941719055, + "L": 0.1997600793838501 + }, + "sample": { + "question": "Какая из перечисленных форм практической подготовки предусмотрена Федеральным законом \"Об образовании в Российской Федерации\" N 273-ФЗ в соответствии с требованиями к реализации образовательных программ?", + "answerA": "Онлайн-курсы в иностранных образовательных учреждениях", + "answerB": "Участие в научно-исследовательских проектах на базе партнерских компаний", + "answerC": "Непосредственно в организации, осуществляющей образовательную деятельность", + "answerD": "Стажировки за рубежом по индивидуальному выбору", + "correct_answer": "C", + "choices": [ + "Взыскание на денежные средства на залоговом счете возможно для любых долгов должника без ограничений.", + "Статьи 130 и 131", + "Юридическое лицо с лицензией на производство алкогольной продукции", + "Статьи 128 и 129", + "Онлайн-курсы в иностранных образовательных учреждениях", + "Немедленно выселяет гражданина из жилого помещения", + "Участие в научно-исследовательских проектах на базе партнерских компаний", + "Непосредственно в организации, осуществляющей образовательную деятельность", + "Предоставляет предложение о порядке продажи имущества должника собранию кредиторов или в комитет кредиторов в срок не позднее шести месяцев", + "Использование животных исключительно в экономических целях", + "Физическое лицо с российским гражданством", + "Стажировки за рубежом по индивидуальному выбору" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакая из перечисленных форм практической подготовки предусмотрена Федеральным законом \"Об образовании в Российской Федерации\" N 273-ФЗ в соответствии с требованиями к реализации образовательных программ?\nA. Взыскание на денежные средства на залоговом счете возможно для любых долгов должника без ограничений.\nB. Статьи 130 и 131\nC. Юридическое лицо с лицензией на производство алкогольной продукции\nD. Статьи 128 и 129\nE. Онлайн-курсы в иностранных образовательных учреждениях\nF. Немедленно выселяет гражданина из жилого помещения\nG. Участие в научно-исследовательских проектах на базе партнерских компаний\nH. Непосредственно в организации, осуществляющей образовательную деятельность\nI. Предоставляет предложение о порядке продажи имущества должника собранию кредиторов или в комитет кредиторов в срок не позднее шести месяцев\nJ. Использование животных исключительно в экономических целях\nK. Физическое лицо с российским гражданством\nL. Стажировки за рубежом по индивидуальному выбору\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 224, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.002882294123992324, + "B": 0.017656194046139717, + "C": 0.029110142961144447, + "D": 0.10160437971353531, + "E": 0.0423550046980381, + "F": 0.04799450933933258, + "G": 0.06162617355585098, + "H": 0.029110142961144447, + "I": 0.006495350506156683, + "J": 0.10160437971353531, + "K": 0.40185311436653137, + "L": 0.017656194046139717 + }, + "sample": { + "question": "Что делает арбитражный управляющий в случае признания сделки по приобретению гражданином у должника жилого помещения недействительной?", + "answerA": "Немедленно выселяет гражданина из жилого помещения", + "answerB": "Предоставляет предложение о порядке продажи имущества должника собранию кредиторов или в комитет кредиторов в срок не позднее шести месяцев", + "answerC": "Открывает новый банковский счет для накопления средств от реализации иного имущества", + "answerD": "Прекращает все судебные разбирательства в отношении должника", + "correct_answer": "B", + "choices": [ + "Использование животных исключительно в экономических целях", + "Физическое лицо с российским гражданством", + "Юридическое лицо с лицензией на производство алкогольной продукции", + "Взыскание на денежные средства на залоговом счете возможно для любых долгов должника без ограничений.", + "Статьи 130 и 131", + "Статьи 128 и 129", + "Открывает новый банковский счет для накопления средств от реализации иного имущества", + "Немедленно выселяет гражданина из жилого помещения", + "Граждане имеют право только на индивидуальные обращения в органы местного самоуправления.", + "Прекращает все судебные разбирательства в отношении должника", + "Предоставляет предложение о порядке продажи имущества должника собранию кредиторов или в комитет кредиторов в срок не позднее шести месяцев", + "Ответственность человека за судьбу животного" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nЧто делает арбитражный управляющий в случае признания сделки по приобретению гражданином у должника жилого помещения недействительной?\nA. Использование животных исключительно в экономических целях\nB. Физическое лицо с российским гражданством\nC. Юридическое лицо с лицензией на производство алкогольной продукции\nD. Взыскание на денежные средства на залоговом счете возможно для любых долгов должника без ограничений.\nE. Статьи 130 и 131\nF. Статьи 128 и 129\nG. Открывает новый банковский счет для накопления средств от реализации иного имущества\nH. Немедленно выселяет гражданина из жилого помещения\nI. Граждане имеют право только на индивидуальные обращения в органы местного самоуправления.\nJ. Прекращает все судебные разбирательства в отношении должника\nK. Предоставляет предложение о порядке продажи имущества должника собранию кредиторов или в комитет кредиторов в срок не позднее шести месяцев\nL. Ответственность человека за судьбу жив��тного\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 215, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.048186175525188446, + "B": 0.24470959603786469, + "C": 0.1309836208820343, + "D": 0.14842388033866882, + "E": 0.05460209399461746, + "F": 0.042524147778749466, + "G": 0.042524147778749466, + "H": 0.042524147778749466, + "I": 0.0027184782084077597, + "J": 0.048186175525188446, + "K": 0.03311784192919731, + "L": 0.02276153862476349 + }, + "sample": { + "question": "Кто НЕ может являться лицом, имеющим право распоряжаться голосами, приходящимися на голосующие акции (доли), составляющие уставный капитал форекс-дилера, согласно Федеральному закону \"О рынке ценных бумаг\" N 39-ФЗ?", + "answerA": "Физическое лицо с российским гражданством", + "answerB": "Юридическое лицо с лицензией на производство алкогольной продукции", + "answerC": "Юридическое лицо, зарегистрированное в государствах или на территориях, не предусматривающих раскрытия и предоставления информации при проведении финансовых операций", + "answerD": "Физическое лицо, зарегистрированное в качестве индивидуального предпринимателя", + "correct_answer": "answerC", + "choices": [ + "Физическое лицо, зарегистрированное в качестве индивидуального предпринимателя", + "Граждане имеют право только на индивидуальные обращения в органы местного самоуправления.", + "Ответственность человека за судьбу животного", + "Статьи 128 и 129", + "За двукратное повышение цен на услуги склада в течение одного года", + "Юридическое лицо, зарегистрированное в государствах или на территориях, не предусматривающих раскрытия и предоставления информации при проведении финансовых операций", + "Физическое лицо с российским гражданством", + "Взыскание на денежные средства, превышающие размер обеспеченного залогом обязательства, запрещено.", + "Статьи 130 и 131", + "Использование животных исключительно в экономических целях", + "Юридическое лицо с лицензией на производство алкогольной продукции", + "Взыскание на денежные средства на залоговом счете возможно для любых долгов должника без ограничений." + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКто НЕ может являться лицом, имеющим право распоряжаться голосами, приходящимися на голосующие акции (доли), составляющие уставный капитал форекс-дилера, согласно Федеральному закону \"О рынке ценных бумаг\" N 39-ФЗ?\nA. Физическое лицо, зарегистрированное в качестве индивидуального предпринимателя\nB. Граждане имеют право только на индивидуальные обращения в органы местного самоуправления.\nC. Ответственность человека за судьбу животного\nD. Статьи 128 и 129\nE. За двукратное повышение цен на услуги склада в течение одного года\nF. Юридическое лицо, зарегистрированное в государствах или на территориях, не предусматривающих раскрытия и предоставления информации при проведении финансовых операций\nG. Физическое лицо с российским гражданством\nH. Взыскание на денежные средства, превышающие размер обеспеченного залогом обязательства, запрещено.\nI. Статьи 130 и 131\nJ. Использование животных исключительно в экономических целях\nK. Юридическое лицо с лицензией на производство алкогольной продукции\nL. Взыскание на денежные средства на залоговом счете возможно для любых долгов должника без ограничений.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 248, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.03703364357352257, + "B": 0.14647090435028076, + "C": 0.03478989005088806, + "D": 0.1292601078748703, + "E": 0.03942210599780083, + "F": 0.061058152467012405, + "G": 0.0691879540681839, + "H": 0.07840022444725037, + "I": 0.009363571181893349, + "J": 0.14647090435028076, + "K": 0.07840022444725037, + "L": 0.07840022444725037 + }, + "sample": { + "question": "Какие статьи Федерального закона \"О таможенном регулировании в Российской Федерации\" N 311-ФЗ утратили силу согласно Федеральному закону от 03.08.2018 N 289-ФЗ?", + "answerA": "Статьи 128 и 129", + "answerB": "Статьи 130 и 131", + "answerC": "Статьи 132 и 133", + "answerD": "Статьи 134 и 135", + "correct_answer": "Статьи 130 и 131", + "choices": [ + "Взыскание на денежные средства на залоговом счете возможно для любых долгов должника без ограничений.", + "Статьи 130 и 131", + "Граждане имеют право только на индивидуальные обращения в органы местного самоуправления.", + "Статьи 128 и 129", + "Использование животных исключительно в экономических целях", + "За двукратное повышение цен на услуги склада в течение одного года", + "Министерством финансов Российской Федерации", + "Ответственность человека за судьбу животного", + "Должностные лица местного самоуправления могут произвольно менять сроки рассмотрения обращений.", + "Статьи 134 и 135", + "Статьи 132 и 133", + "Взыскание на денежные средства, превышающие размер обеспеченного залогом обязательства, запрещено." + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКакие статьи Федерального закона \"О таможенном регулировании в Российской Федерации\" N 311-ФЗ утратили силу согласно Федеральному закону от 03.08.2018 N 289-ФЗ?\nA. Взыскание на денежные средства на залоговом счете возможно для любых долгов должника без ограничений.\nB. Статьи 130 и 131\nC. Граждане имеют право только на индивидуальные обращения в органы местного самоуправления.\nD. Статьи 128 и 129\nE. Использование животных исключительно в экономических целях\nF. За двукратное повышение цен на услуги склада в течение одного года\nG. Министерством финансов Российской Федерации\nH. Ответственность человека за судьбу животного\nI. Должностные лица местного самоуправления могут произвольно менять сроки рассмотрения обращений.\nJ. Статьи 134 и 135\nK. Статьи 132 и 133\nL. Взыскание на денежные средства, превышающие ��азмер обеспеченного залогом обязательства, запрещено.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 234, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0032120475079864264, + "B": 0.02094518020749092, + "C": 0.026894142851233482, + "D": 0.022296028211712837, + "E": 0.044340942054986954, + "F": 0.12053119391202927, + "G": 0.2551645338535309, + "H": 0.2551645338535309, + "I": 0.0030174392741173506, + "J": 0.044340942054986954, + "K": 0.09386979788541794, + "L": 0.03453276306390762 + }, + "sample": { + "question": "Какой из перечисленных принципов является одним из основных при обращении с животными, согласно статье 4 Федерального закона 'Об ответственном обращении с животными и о внесении изменений в отдельные законодательные акты Российской Федерации' N 498-ФЗ?", + "answerA": "Использование животных исключительно в экономических целях", + "answerB": "Ответственность человека за судьбу животного", + "answerC": "Полное исключение взаимодействия человека и животного", + "answerD": "Ограничение естественных потребностей животных", + "correct_answer": "B", + "choices": [ + "За двукратное повышение цен на услуги склада в течение одного года", + "Министерством финансов Российской Федерации", + "Использование животных исключительно в экономических целях", + "Взыскание на денежные средства на залоговом счете возможно для любых долгов должника без ограничений.", + "Граждане имеют право только на индивидуальные обращения в органы местного самоуправления.", + "За непредставление заявления, предусмотренного частью 7 статьи 374 настоящего Федерального закона", + "Ответственность человека за судьбу животного", + "Взыскание на денежные средства, превышающие размер обеспеченного залогом обязательства, запрещено.", + "Должностные лица местного самоуправления могут произвольно менять сроки рассмотрения обращений.", + "Полное исключение взаимодействия человека и животного", + "Ограничение естественных потребностей животных", + "За счет средств частных инвестиций" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКакой из перечисленных принципов является одним из основных при обращении с животными, согласно статье 4 Федерального закона 'Об ответственном обращении с животными и о внесении изменений в отдельные законодательные акты Российской Федерации' N 498-ФЗ?\nA. За двукратное повышение цен на услуги склада в течение одного года\nB. Министерством финансов Российской Федерации\nC. Использование животных исключительно в экономических целях\nD. Взыскание на денежные средства на залоговом счете возможно для любых долгов должника без ограничений.\nE. Граждане имеют право только на индивидуальные обращения в органы местного самоуправления.\nF. За непредставление заявления, предусмотренного частью 7 статьи 374 настоящего Федерального закона\nG. Ответственность человека за судьбу животного\nH. Взыскание на денежные средства, превышающие размер обеспеченного залогом обязательства, запрещено.\nI. Должностные лица местного самоуправления могут произвольно менять сроки рассмотрения обращений.\nJ. Полное исключение взаимодействия человека и животного\nK. Ограничение естественных потребностей животных\nL. За счет средств частных инвестиций\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 227, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.050548262894153595, + "B": 0.03936702758073807, + "C": 0.007282168138772249, + "D": 0.03936702758073807, + "E": 0.027056535705924034, + "F": 0.0174690131098032, + "G": 0.0174690131098032, + "H": 0.10701067000627518, + "I": 0.0036617040168493986, + "J": 0.023877309635281563, + "K": 0.01360488124191761, + "L": 0.5434450507164001 + }, + "sample": { + "question": "Какие особенности обращения взыскания на денежные средства должника по Федеральному закону \"Об исполнительном производстве\" N 229-ФЗ, статья 72.1 указываются относительно залогового банковского счета?", + "answerA": "Взыскание на денежные средства на залоговом счете возможно для любых долгов должника без ограничений.", + "answerB": "Взыскание на денежные средства, превышающие размер обеспеченного залогом обязательства, запрещено.", + "answerC": "Обращение взыскания допускается только в целях удовлетворения требований по обязательствам, обеспеченным залогом прав по договору банковского счета.", + "answerD": "Обращение взыскания на денежные средства на залоговом счете возможно без учета имеющихся у должника других средств.", + "correct_answer": "C", + "choices": [ + "Взыскание на денежные средства, превышающие размер обеспеченного залогом обязательства, запрещено.", + "За непредставление заявления, предусмотренного частью 7 статьи 374 настоящего Федерального закона", + "За двукратное повышение цен на услуги склада в течение одного года", + "Взыскание на денежные средства на залоговом счете возможно для любых долгов должника без ограничений.", + "Обращение взыскания на денежные средства на залоговом счете возможно без учета имеющихся у должника других средств.", + "Министерством финансов Российской Федерации", + "30 суток со дня обращения за получением миграционной карты", + "Граждане имеют право только на индивидуальные обращения в органы местного самоуправления.", + "За счет средств частных инвестиций", + "Правительством Российской Федерации", + "Должностные лица местного самоуправления могут произвольно менять сроки рассмотрения обращений.", + "Обращение взыскания допускается только в целях удовлетворения требований по обязательствам, обеспеченным залогом прав по договору банковского счета." + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКакие особенности обращения взыскания на денежные средства должника по Федеральному закону \"Об исполнительном производстве\" N 229-ФЗ, статья 72.1 указываются относительно залогового банковского счета?\nA. Взыскание на денежные средства, превышающие размер обеспеченного залогом обязательства, запрещено.\nB. За непредставление заявления, предусмотренного частью 7 статьи 374 настоящего Федерального закона\nC. За двукратное повышение цен на услуги склада в течение одного года\nD. Взыскание на денежные средства на залоговом счете возможно для любых долгов должника без ограничений.\nE. Обращение взыскания на денежные средства на залоговом счете возможно без учета имеющихся у должника других средств.\nF. Министерством финансов Российской Федерации\nG. 30 суток со дня обращения за получением миграционной карты\nH. Граждане имеют право только на индивидуальные обращения в органы местного самоуправления.\nI. За счет средств частных инвестиций\nJ. Правительством Российской Федерации\nK. Должностные лица местного самоуправления могут произвольно менять сроки рассмотрения обращений.\nL. Обращение взыскания допускается только в целях удовлетворения требований по обязательствам, обеспеченным залогом прав по договору банковского счета.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 258, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.00017082477279473096, + "B": 0.0017252691322937608, + "C": 0.0003849595959763974, + "D": 0.0020810719579458237, + "E": 0.0022152895107865334, + "F": 0.0011857590870931745, + "G": 0.0006346910959109664, + "H": 0.0025102519430220127, + "I": 0.004405629355460405, + "J": 0.9513510465621948, + "K": 0.008230798877775669, + "L": 0.00013303848390933126 + }, + "sample": { + "question": "В соответствии со Статьей 32 Федерального закона \"Об общих принципах организации местного самоуправления в РФ\" N 131-ФЗ, что правильно описывает права и обязанности граждан и должностных лиц в контексте обращений граждан в органы местного самоуправления?", + "answerA": "Граждане имеют право только на индивидуальные обращения в органы местного самоуправления.", + "answerB": "Должностные лица местного самоуправления могут произвольно менять сроки рассмотрения обращений.", + "answerC": "Обращения граждан не подлежат обязательному рассмотрению.", + "answerD": "Граждане имеют право на индивидуальные и коллективные обращения в органы местного самоуправления, которые подлежат рассмотрению в установленные сроки, а за нарушение этих сроков должностные лица несут ответственность.", + "correct_answer": "answerD", + "choices": [ + "За счет средств частных инвестиций", + "Обращения граждан не подлежат обязательному рассмотрению.", + "30 суток со дня обращения за получением миграционной карты", + "Министерством финансов Российской Федерации", + "Граждане имеют право только на индивидуальные обращения в органы местного самоуправления.", + "За счет бюджетных ассигнований федерального бюджета", + "За двукратное повышение цен на услуги склада в течение одного года", + "Должностные лица местного самоуправления могут произвольно менять сроки рассмотрения обращений.", + "Правительством Российской Федерации", + "Граждане имеют право на индивидуальные и коллективные обращения в органы местного самоуправления, которые подлежат рассмотрению в установленные сроки, а за нарушение этих сроков должностные лица несут ответственность.", + "За непредставление заявления, предусмотренного частью 7 статьи 374 настоящего Федерального закона", + "Исключительно на основе международных стандартов" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nВ соответствии со Статьей 32 Федерального закона \"Об общих принципах организации местного самоуправления в РФ\" N 131-ФЗ, что правильно описывает права и обязанности граждан и должностных лиц в контексте обращений граждан в органы местного самоуправления?\nA. За счет средств частных инвестиций\nB. Обращения граждан не подлежат обязательному рассмотрению.\nC. 30 суток со дня обращения за получением миграционной карты\nD. Министерством финансов Российской Федерации\nE. Граждане имеют право только на индивидуальные обращения в органы местного самоуправления.\nF. За счет бюджетных ассигнований федерального бюджета\nG. За двукратное повышение цен на услуги склада в течение одного года\nH. Должностные лица местного самоуправления могут произвольно менять сроки рассмотрения обращений.\nI. Правительством Российской Федерации\nJ. Граждане имеют право на индивидуальные и коллективные обращения в органы местного самоуправления, которые подлежат рассмотрению в установленные сроки, а за нарушение этих сроков должностные лица несут ответственность.\nK. За непредставление заявления, предусмотренного частью 7 статьи 374 настоящего Федерального закона\nL. Исключительно на основе международных стандартов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 247, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.035018399357795715, + "B": 0.0449645109474659, + "C": 0.010032938793301582, + "D": 0.017608357593417168, + "E": 0.2587529122829437, + "F": 0.15694157779216766, + "G": 0.035018399357795715, + "H": 0.2587529122829437, + "I": 0.006477752700448036, + "J": 0.015539320185780525, + "K": 0.010680008679628372, + "L": 0.08400476723909378 + }, + "sample": { + "question": "На каком основании юридическое лицо может быть исключено из реестра владельцев свободных складов согласно Федеральному закону \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?", + "answerA": "За двукратное повышение цен на услуги склада в течение одного года", + "answerB": "За непредставление заявления, предусмотренного частью 7 статьи 374 настоящего Федерального закона", + "answerC": "За участие руководителя юридического лица в деятельности иностранного агента", + "answerD": "За регистрацию юридического лица в офшорной зоне", + "correct_answer": "За непредставление заявления, предусмотренного частью 7 статьи 374 настоящего Федерального закона", + "choices": [ + "За участие руководителя юридического лица в деятельности иностранного агента", + "За регистрацию юридического лица в офшорной зоне", + "Министерством финансов Российской Федерации", + "За счет средств частных инвестиций", + "За двукратное повышение цен на услуги склада в течение одного года", + "Правительством Российской Федерации", + "60 суток со дня вступления закона в силу", + "За непредставление заявления, предусмотренного частью 7 статьи 374 настоящего Федерального закона", + "30 суток со дня обращения за получением миграционной карты", + "Исключительно на основе международных стандартов", + "За счет бюджетных ассигнований федерального бюджета", + "О повышении заработной платы сотрудникам должника" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nНа каком основании юридическое лицо может быть исключено из реестра владельцев свободных складов согласно Федеральному закону \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?\nA. За участие руководителя юридического лица в деятельности иностранного агента\nB. За регистрацию юридического лица в офшорной зоне\nC. Министерством финансов Российской Федерации\nD. За счет средств частных инвестиций\nE. За двукратное повышение цен на услуги склада в течение одного года\nF. Правительством Российской Федерации\nG. 60 суток со дня вступления закона в силу\nH. За непредставление заявления, предусмотренного частью 7 статьи 374 настоящего Федерального закона\nI. 30 суток со дня обращения за получением миграционной карты\nJ. Исключительно на основе международных стандартов\nK. За счет бюджетных ассигнований федерального бюджета\nL. О повышении заработной платы сотрудникам должника\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 216, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.008045046590268612, + "B": 0.04629604518413544, + "C": 0.019299063831567764, + "D": 0.23511072993278503, + "E": 0.07632927596569061, + "F": 0.059445302933454514, + "G": 0.059445302933454514, + "H": 0.04085611552000046, + "I": 0.017031364142894745, + "J": 0.1426018625497818, + "K": 0.16158908605575562, + "L": 0.06736035645008087 + }, + "sample": { + "question": "Как устанавливаются ставки и база для исчисления таможенных сборов согласно Федеральному закону \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ, статья 46?", + "answerA": "Министерством финансов Российской Федерации", + "answerB": "Правительством Российской Федерации", + "answerC": "Федеральной таможенной службой", + "answerD": "Президентом Российской Федерации", + "correct_answer": "B", + "choices": [ + "Федеральный орган исполнительной власти в сфере образования", + "С учетом решений и деклараций международных организаций", + "30 суток со дня обращения за получением миграционной карты", + "60 суток со дня вступления закона в силу", + "Правительством Российской Федерации", + "Федеральной таможенной службой", + "Президентом Российской Федерации", + "За счет средств частных инвестиций", + "О повышении заработной платы сотрудникам должника", + "Исключительно на основе международных стандартов", + "Министерством финансов Российской Федерации", + "За счет бюджетных ассигнований федерального бюджета" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКак устанавливаются ставки и база для исчисления таможенных сборов согласно Федеральному закону \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ, статья 46?\nA. Федеральный орган исполнительной власти в сфере образования\nB. С учетом решений и деклараций международных организаций\nC. 30 суток со дня обращения за получением миграционной карты\nD. 60 суток со дня вступления закона в силу\nE. Правительством Российской Федерации\nF. Федеральной таможенной службой\nG. Президентом Российской Федерации\nH. За счет средств частных инвестиций\nI. О повышении заработной платы сотрудникам должника\nJ. Исключительно на основе международных стандартов\nK. Министерством финансов Российской Федерации\nL. За счет бюджетных ассигнований федерального бюджета\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 190, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.3676137924194336, + "B": 0.0006262740935198963, + "C": 0.009796575643122196, + "D": 0.004083819687366486, + "E": 0.011100973933935165, + "F": 0.00013974063040222973, + "G": 7.026601088000461e-05, + "H": 9.604224032955244e-05, + "I": 0.5348748564720154, + "J": 0.00015834689838811755, + "K": 0.00031491040135733783, + "L": 2.4283282982651144e-05 + }, + "sample": { + "question": "Как осуществляется материально-техническое обеспечение деятельности полиции согласно Федеральному закону \"О полиции\" N 3-ФЗ, Статья 48?", + "answerA": "За счет средств частных инвестиций", + "answerB": "За счет бюджетных ассигнований федерального бюджета", + "answerC": "Путем благотворительных пожертвований граждан", + "answerD": "По средствам международной финансовой помощи", + "correct_answer": "За счет бюджетных ассигнований федерального бюджета", + "choices": [ + "С учетом решений и деклараций международных организаций", + "Федеральный орган исполн��тельной власти в сфере образования", + "Исключительно на основе международных стандартов", + "О повышении заработной платы сотрудникам должника", + "30 суток со дня обращения за получением миграционной карты", + "За счет средств частных инвестиций", + "60 суток со дня вступления закона в силу", + "Путем благотворительных пожертвований граждан", + "За счет бюджетных ассигнований федерального бюджета", + "По средствам международной финансовой помощи", + "Об обращении в арбитражный суд с ходатайством о продлении установленного срока внешнего управления", + "Введение ежемесячных выплат, зависящих от стажа работы вне зависимости от обстоятельств прекращения службы" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКак осуществляется материально-техническое обеспечение деятельности полиции согласно Федеральному закону \"О полиции\" N 3-ФЗ, Статья 48?\nA. С учетом решений и деклараций международных организаций\nB. Федеральный орган исполнительной власти в сфере образования\nC. Исключительно на основе международных стандартов\nD. О повышении заработной платы сотрудникам должника\nE. 30 суток со дня обращения за получением миграционной карты\nF. За счет средств частных инвестиций\nG. 60 суток со дня вступления закона в силу\nH. Путем благотворительных пожертвований граждан\nI. За счет бюджетных ассигнований федерального бюджета\nJ. По средствам международной финансовой помощи\nK. Об обращении в арбитражный суд с ходатайством о продлении установленного срока внешнего управления\nL. Введение ежемесячных выплат, зависящих от стажа работы вне зависимости от обстоятельств прекращения службы\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 196, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0059489100240170956, + "B": 0.1633194386959076, + "C": 0.04679180309176445, + "D": 0.017213743180036545, + "E": 0.02838066592812538, + "F": 0.0250458475202322, + "G": 0.06808166950941086, + "H": 0.5030593276023865, + "I": 0.0017043913248926401, + "J": 0.015191075392067432, + "K": 0.03644149377942085, + "L": 0.010440662503242493 + }, + "sample": { + "question": "Согласно Федеральному закону \"О правовом положении иностранных граждан в Российской Федерации\" N 115-ФЗ, каков срок временного пребывания в Российской Федерации для иностранных граждан, прибывших до вступления закона в силу без получения визы и обратившихся за получением миграционной карты?", + "answerA": "30 суток со дня обращения за получением миграционной карты", + "answerB": "60 суток со дня вступления закона в силу", + "answerC": "90 суток со дня получения миграционной карты", + "answerD": "Не ограничен до момента получения РВП или ВНЖ", + "correct_answer": "C", + "choices": [ + "Введение ежемесячных выплат, зависящих от стажа работы вне зависимости от обстоятельств прекращения службы", + "60 суток со дня вс��упления закона в силу", + "90 суток со дня получения миграционной карты", + "Получение награды за инновации в сфере таможенного дела", + "Территориальный орган федерального органа исполнительной власти в сфере внутренних дел", + "О повышении заработной платы сотрудникам должника", + "Об обращении в арбитражный суд с ходатайством о продлении установленного срока внешнего управления", + "30 суток со дня обращения за получением миграционной карты", + "Федеральный орган исполнительной власти в сфере образования", + "С учетом решений и деклараций международных организаций", + "Не ограничен до момента получения РВП или ВНЖ", + "Исключительно на основе международных стандартов" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nСогласно Федеральному закону \"О правовом положении иностранных граждан в Российской Федерации\" N 115-ФЗ, каков срок временного пребывания в Российской Федерации для иностранных граждан, прибывших до вступления закона в силу без получения визы и обратившихся за получением миграционной карты?\nA. Введение ежемесячных выплат, зависящих от стажа работы вне зависимости от обстоятельств прекращения службы\nB. 60 суток со дня вступления закона в силу\nC. 90 суток со дня получения миграционной карты\nD. Получение награды за инновации в сфере таможенного дела\nE. Территориальный орган федерального органа исполнительной власти в сфере внутренних дел\nF. О повышении заработной платы сотрудникам должника\nG. Об обращении в арбитражный суд с ходатайством о продлении установленного срока внешнего управления\nH. 30 суток со дня обращения за получением миграционной карты\nI. Федеральный орган исполнительной власти в сфере образования\nJ. С учетом решений и деклараций международных организаций\nK. Не ограничен до момента получения РВП или ВНЖ\nL. Исключительно на основе международных стандартов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 241, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.00036683137295767665, + "B": 0.0006048026261851192, + "C": 0.013765244744718075, + "D": 0.9650182127952576, + "E": 0.00039048996404744685, + "F": 6.785698496969417e-05, + "G": 7.223338616313413e-05, + "H": 1.514093946752837e-05, + "I": 8.104359949356876e-06, + "J": 7.613341949763708e-06, + "K": 0.0005337364855222404, + "L": 5.929276994720567e-06 + }, + "sample": { + "question": "На основе чего разрабатываются национальные стандарты и предварительные национальные стандарты согласно Федеральному закону 'О стандартизации в Российской Федерации' N 162-ФЗ?", + "answerA": "Исключительно на основе международных стандартов", + "answerB": "С учетом решений и деклараций международных организаций", + "answerC": "На основе результатов научных исследований, международных и региональных стандартов, приобретенного практического опыта", + "answerD": "По результатам голосования в социальных сетях", + "correct_answer": "На основе результатов научных исследований, международных и региональных стандартов, приобретенного практического опыта", + "choices": [ + "Исключительно на основе международных стандартов", + "Федеральный орган исполнительной власти в сфере образования", + "По решению правительства Российской Федерации", + "На основе результатов научных исследований, международных и региональных стандартов, приобретенного практического опыта", + "О повышении заработной платы сотрудникам должника", + "Получение награды за инновации в сфере таможенного дела", + "С учетом решений и деклараций международных организаций", + "Право на получение государственной пенсии после 10 лет службы", + "Территориальный орган федерального органа исполнительной власти в сфере внутренних дел", + "По результатам голосования в социальных сетях", + "Введение ежемесячных выплат, зависящих от стажа работы вне зависимости от обстоятельств прекращения службы", + "Об обращении в арбитражный суд с ходатайством о продлении установленного срока внешнего управления" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nНа основе чего разрабатываются национальные стандарты и предварительные национальные стандарты согласно Федеральному закону 'О стандартизации в Российской Федерации' N 162-ФЗ?\nA. Исключительно на основе международных стандартов\nB. Федеральный орган исполнительной власти в сфере образования\nC. По решению правительства Российской Федерации\nD. На основе результатов научных исследований, международных и региональных стандартов, приобретенного практического опыта\nE. О повышении заработной платы сотрудникам должника\nF. Получение награды за инновации в сфере таможенного дела\nG. С учетом решений и деклараций международных организаций\nH. Право на получение государственной пенсии после 10 лет службы\nI. Территориальный орган федерального органа исполнительной власти в сфере внутренних дел\nJ. По результатам голосования в социальных сетях\nK. Введение ежемесячных выплат, зависящих от стажа работы вне зависимости от обстоятельств прекращения службы\nL. Об обращении в арбитражный суд с ходатайством о продлении установленного срока внешнего управления\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 210, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.12501056492328644, + "B": 0.0070526134222745895, + "C": 0.43632975220680237, + "D": 0.01691834069788456, + "E": 0.0521121583878994, + "F": 0.0070526134222745895, + "G": 0.11032143980264664, + "H": 0.010261492803692818, + "I": 0.0405849888920784, + "J": 0.002150925574824214, + "K": 0.014025798067450523, + "L": 0.0001139948726631701 + }, + "sample": { + "question": "Какие решения может принять собрание кредиторов по результатам рассмотрения отчета внеш��его управляющего согласно Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ, Статья 118?", + "answerA": "О повышении заработной платы сотрудникам должника", + "answerB": "Об обращении в арбитражный суд с ходатайством о продлении установленного срока внешнего управления", + "answerC": "О признании внешнего управляющего некомпетентным", + "answerD": "О переводе внешнего долга в долю акций компании", + "correct_answer": "B", + "choices": [ + "Главами 12 и 24 Кодекса Союза", + "Право на получение государственной пенсии после 10 лет службы", + "О признании внешнего управляющего некомпетентным", + "По решению правительства Российской Федерации", + "О повышении заработной платы сотрудникам должника", + "Получение награды за инновации в сфере таможенного дела", + "Ликвидация плательщика - юридического лица", + "Территориальный орган федерального органа исполнительной власти в сфере внутренних дел", + "Об обращении в арбитражный суд с ходатайством о продлении установленного срока внешнего управления", + "О переводе внешнего долга в долю акций компании", + "Федеральный орган исполнительной власти в сфере образования", + "Введение ежемесячных выплат, зависящих от стажа работы вне зависимости от обстоятельств прекращения службы" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКакие решения может принять собрание кредиторов по результатам рассмотрения отчета внешнего управляющего согласно Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ, Статья 118?\nA. Главами 12 и 24 Кодекса Союза\nB. Право на получение государственной пенсии после 10 лет службы\nC. О признании внешнего управляющего некомпетентным\nD. По решению правительства Российской Федерации\nE. О повышении заработной платы сотрудникам должника\nF. Получение награды за инновации в сфере таможенного дела\nG. Ликвидация плательщика - юридического лица\nH. Территориальный орган федерального органа исполнительной власти в сфере внутренних дел\nI. Об обращении в арбитражный суд с ходатайством о продлении установленного срока внешнего управления\nJ. О переводе внешнего долга в долю акций компании\nK. Федеральный орган исполнительной власти в сфере образования\nL. Введение ежемесячных выплат, зависящих от стажа работы вне зависимости от обстоятельств прекращения службы\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 219, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.007175297476351261, + "B": 0.11224054545164108, + "C": 0.013405220583081245, + "D": 0.02837885543704033, + "E": 0.5030272006988525, + "F": 0.022101473063230515, + "G": 0.022101473063230515, + "H": 0.04678881913423538, + "I": 0.004352038260549307, + "J": 0.09905192255973816, + "K": 0.007638064678758383, + "L": 0.008655061013996601 + }, + "sample": { + "question": "Кто выдает приглашение на въезд в Российскую Федерацию иностранному гражданину для обучения в образовательной или научной организации?", + "answerA": "Федеральный орган исполнительной власти в сфере образования", + "answerB": "Территориальный орган федерального органа исполнительной власти в сфере внутренних дел", + "answerC": "Федеральный орган исполнительной власти, ведающий вопросами соответственно обороны, безопасности, или государственной охраны", + "answerD": "Посольство или консульство Российской Федерации за рубежом", + "correct_answer": "B", + "choices": [ + "Введение ежемесячных выплат, зависящих от стажа работы вне зависимости от обстоятельств прекращения службы", + "Федеральный орган исполнительной власти в сфере образования", + "По решению съезда (конференции) или общего собрания", + "Федеральный орган исполнительной власти, ведающий вопросами соответственно обороны, безопасности, или государственной охраны", + "Посольство или консульство Российской Федерации за рубежом", + "Представитель министерства юстиции", + "Получение награды за инновации в сфере таможенного дела", + "Право на получение государственной пенсии после 10 лет службы", + "Ликвидация плательщика - юридического лица", + "По решению правительства Российской Федерации", + "Территориальный орган федерального органа исполнительной власти в сфере внутренних дел", + "Главами 12 и 24 Кодекса Союза" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКто выдает приглашение на въезд в Российскую Федерацию иностранному гражданину для обучения в образовательной или научной организации?\nA. Введение ежемесячных выплат, зависящих от стажа работы вне зависимости от обстоятельств прекращения службы\nB. Федеральный орган исполнительной власти в сфере образования\nC. По решению съезда (конференции) или общего собрания\nD. Федеральный орган исполнительной власти, ведающий вопросами соответственно обороны, безопасности, или государственной охраны\nE. Посольство или консульство Российской Федерации за рубежом\nF. Представитель министерства юстиции\nG. Получение награды за инновации в сфере таможенного дела\nH. Право на получение государственной пенсии после 10 лет службы\nI. Ликвидация плательщика - юридического лица\nJ. По решению правительства Российской Федерации\nK. Территориальный орган федерального органа исполнительной власти в сфере внутренних дел\nL. Главами 12 и 24 Кодекса Союза\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 199, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.00908112432807684, + "B": 0.004289619624614716, + "C": 0.008014063350856304, + "D": 0.9262998104095459, + "E": 0.005507979542016983, + "F": 0.003785575507208705, + "G": 0.002601785585284233, + "H": 0.0008446761057712138, + "I": 0.0003307798760943115, + "J": 0.00022734150115866214, + "K": 0.0015780627727508545, + "L": 4.205394725431688e-05 + }, + "sample": { + "question": "В соответствии с Федеральным законом 'О прокуратуре Российской Федерации' N 2202-1-ФЗ, какие меры включает в себя правовая защита и социальная поддержка прокуроров?", + "answerA": "Введение ежемесячных выплат, зависящих от стажа работы вне зависимости от обстоятельств прекращения службы", + "answerB": "Право на получение государственной пенсии после 10 лет службы", + "answerC": "Особая защита государства для прокуроров, их близких родственников и имущества в случае посягательства, связанного с служебной деятельностью", + "answerD": "Обязательная выплата годового дохода при достижении пенсионного возраста", + "correct_answer": "C", + "choices": [ + "Право на получение государственной пенсии после 10 лет службы", + "Обязательная выплата годового дохода при достижении пенсионного возраста", + "Повестка направляется в электронном виде на электронную почту адресата.", + "Особая защита государства для прокуроров, их близких родственников и имущества в случае посягательства, связанного с служебной деятельностью", + "Получение награды за инновации в сфере таможенного дела", + "Представитель министерства юстиции", + "По решению правительства Российской Федерации", + "Главами 12 и 24 Кодекса Союза", + "Введение ежемесячных выплат, зависящих от стажа работы вне зависимости от обстоятельств прекращения службы", + "Главами 42 и 37 Кодекса Союза", + "По решению съезда (конференции) или общего собрания", + "Ликвидация плательщика - юридического лица" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nВ соответствии с Федеральным законом 'О прокуратуре Российской Федерации' N 2202-1-ФЗ, какие меры включает в себя правовая защита и социальная поддержка прокуроров?\nA. Право на получение государственной пенсии после 10 лет службы\nB. Обязательная выплата годового дохода при достижении пенсионного возраста\nC. Повестка направляется в электронном виде на электронную почту адресата.\nD. Особая защита государства для прокуроров, их близких родственников и имущества в случае посягательства, связанного с служебной деятельностью\nE. Получение награды за инновации в сфере таможенного дела\nF. Представитель министерства юстиции\nG. По решению правительства Российской Федерации\nH. Главами 12 и 24 Кодекса Союза\nI. Введение ежемесячных выплат, зависящих от стажа работы вне зависимости от обстоятельств прекращения службы\nJ. Главами 42 и 37 Кодекса Союза\nK. По решению съезда (конференции) или общего собрания\nL. Ликвидация плательщика - юридического лица\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 228, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.041485872119665146, + "B": 0.019596539437770844, + "C": 0.2705218493938446, + "D": 0.09951943904161453, + "E": 0.015261800028383732, + "F": 0.02851279266178608, + "G": 0.2705218493938446, + "H": 0.009256748482584953, + "I": 0.002823149086907506, + "J": 0.0019403198966756463, + "K": 0.12778548896312714, + "L": 0.0018227619584649801 + }, + "sample": { + "question": "Какое обстоятельство является одним из оснований для признания задолженности по уплате таможенных платежей безнадежной к взысканию согласно Федеральному закону \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?", + "answerA": "Получение награды за инновации в сфере таможенного дела", + "answerB": "Ликвидация плательщика - юридического лица", + "answerC": "Увеличение объема таможенных поступлений в два раза", + "answerD": "Введение новых таможенных технологий", + "correct_answer": "Ликвидация плательщика - юридического лица", + "choices": [ + "Главами 42 и 37 Кодекса Союза", + "Увеличение объема таможенных поступлений в два раза", + "Представитель учредителей (участников) кредитной организации", + "По решению правительства Российской Федерации", + "Получение награды за инновации в сфере таможенного дела", + "Повестка направляется в электронном виде на электронную почту адресата.", + "Ликвидация плательщика - юридического лица", + "Главами 12 и 24 Кодекса Союза", + "Введение новых таможенных технологий", + "По решению съезда (конференции) или общего собрания", + "Местные органы власти", + "Представитель министерства юстиции" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКакое обстоятельство является одним из оснований для признания задолженности по уплате таможенных платежей безнадежной к взысканию согласно Федеральному закону \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?\nA. Главами 42 и 37 Кодекса Союза\nB. Увеличение объема таможенных поступлений в два раза\nC. Представитель учредителей (участников) кредитной организации\nD. По решению правительства Российской Федерации\nE. Получение награды за инновации в сфере таможенного дела\nF. Повестка направляется в электронном виде на электронную почту адресата.\nG. Ликвидация плательщика - юридического лица\nH. Главами 12 и 24 Кодекса Союза\nI. Введение новых таможенных технологий\nJ. По решению съезда (конференции) или общего собрания\nK. Местные органы власти\nL. Представитель министерства юстиции\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 208, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0005090433405712247, + "B": 0.011585772968828678, + "C": 0.08560791611671448, + "D": 0.10992275923490524, + "E": 0.0008933988283388317, + "F": 0.0010123535757884383, + "G": 0.002751862397417426, + "H": 0.0009510181844234467, + "I": 0.0003286630962975323, + "J": 0.0020133054349571466, + "K": 0.49263960123062134, + "L": 0.00025596306659281254 + }, + "sample": { + "question": "Как осуществляется реорганизация общественного объединения согласно Федеральному закону 'Об общественных объединениях' N 82-ФЗ, статье 25?", + "answerA": "По решению правительства Российской Федерации", + "answerB": "По решению съезда (конференции) или общего собрания", + "answerC": "По указу Президента Российской Федерации", + "answerD": "Автоматически через 5 лет существования", + "correct_answer": "answerB", + "choices": [ + "Автоматически через 5 лет существования", + "Повестка направляется в электронном виде на электронную почту адресата.", + "Местные органы власти", + "Представитель учредителей (участников) кредитной организации", + "Единовременная денежная помощь в случае потери работы", + "По указу Президента Российской Федерации", + "Представитель министерства юстиции", + "Главами 42 и 37 Кодекса Союза", + "Главами 12 и 24 Кодекса Союза", + "Повестка отправляется по почте на адрес пребывания, указанный в паспорте адресата.", + "По решению съезда (конференции) или общего собрания", + "По решению правительства Российской Федерации" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКак осуществляется реорганизация общественного объединения согласно Федеральному закону 'Об общественных объединениях' N 82-ФЗ, статье 25?\nA. Автоматически через 5 лет существования\nB. Повестка направляется в электронном виде на электронную почту адресата.\nC. Местные органы власти\nD. Представитель учредителей (участников) кредитной организации\nE. Единовременная денежная помощь в случае потери работы\nF. По указу Президента Российской Федерации\nG. Представитель министерства юстиции\nH. Главами 42 и 37 Кодекса Союза\nI. Главами 12 и 24 Кодекса Союза\nJ. Повестка отправляется по почте на адрес пребывания, указанный в паспорте адресата.\nK. По решению съезда (конференции) или общего собрания\nL. По решению правительства Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 190, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.00830828957259655, + "B": 0.044914186000823975, + "C": 0.10774353891611099, + "D": 0.07405097782611847, + "E": 0.1567659229040146, + "F": 0.22809307277202606, + "G": 0.0950833335518837, + "H": 0.10774353891611099, + "I": 0.0034634103067219257, + "J": 0.011356084607541561, + "K": 0.03086904063820839, + "L": 0.011356084607541561 + }, + "sample": { + "question": "В соответствии с какими главами Кодекса Союза должен осуществляться ввоз в РФ и вывоз из РФ товаров для личного пользования отдельными категориями иностранных лиц, согласно статье 195 Федерального закона \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?", + "answerA": "Главами 12 и 24 Кодекса Союза", + "answerB": "Главами 42 и 37 Кодекса Союза", + "answerC": "Главой 50 Кодекса Союза", + "answerD": "Главами 15 и 30 Кодекса Союза", + "correct_answer": "Главами 42 и 37 Кодекса Союза", + "choices": [ + "Местные органы власти", + "Представитель министерства юстиции", + "Главой 50 Кодекса Союза", + "До 1 января 2030 года", + "Российская Федерация", + "Главами 12 и 24 Кодекса Союза", + "Повестка отправляется по почте на адрес пребывания, указанный в паспорте адресата.", + "Главами 42 и 37 Кодекса Союза", + "Представитель учредителей (участников) кредитной организации", + "Единовременная денежная помощь в случае потери работы", + "Главами 15 и 30 Кодекса Союза", + "Повестка направляется в электронном виде на электронную почту адресата." + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nВ соответствии с какими главами Кодекса Союза должен осуществляться ввоз в РФ и вывоз из РФ товаров для личного пользования отдельными категориями иностранных лиц, согласно статье 195 Федерального закона \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?\nA. Местные органы власти\nB. Представитель министерства юстиции\nC. Главой 50 Кодекса Союза\nD. До 1 января 2030 года\nE. Российская Федерация\nF. Главами 12 и 24 Кодекса Союза\nG. Повестка отправляется по почте на адрес пребывания, указанный в паспорте адресата.\nH. Главами 42 и 37 Кодекса Союза\nI. Представитель учредителей (участников) кредитной организации\nJ. Единовременная денежная помощь в случае потери работы\nK. Главами 15 и 30 Кодекса Союза\nL. Повестка направляется в электронном виде на электронную почту адресата.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 232, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.08329534530639648, + "B": 0.0735078826546669, + "C": 0.03472266346216202, + "D": 0.02704203873872757, + "E": 0.25656771659851074, + "F": 0.10695333778858185, + "G": 0.06487047672271729, + "H": 0.09438600391149521, + "I": 0.00994820985943079, + "J": 0.025403644889593124, + "K": 0.022418636828660965, + "L": 0.009345479309558868 + }, + "sample": { + "question": "Кто из ниже перечисленных лиц участвует в арбитражном процессе по делу о банкротстве, согласно Статье 189.60 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?", + "answerA": "Представитель министерства юстиции", + "answerB": "Представитель учредителей (участников) кредитной организации", + "answerC": "Представитель потребительской организации", + "answerD": "Представитель торгово-промышленной палаты", + "correct_answer": "B", + "choices": [ + "Внешними аудиторами, назначаемыми Банком России", + "Повестка направляется в электронном виде на электронную почту адресата.", + "Оклад по воинской должности и оклад по воинскому званию, коэффициенты за особые условия, командировочные расходы, компенсация за наем жилья", + "До 1 января 2030 года", + "Представитель министерства юстиции", + "Представитель потребительской организации", + "Повестка отправляется по почте на адрес пребывания, указанный в паспорте адресата.", + "Представитель учредителей (участников) кредитной организации", + "Единовременная денежная помощь в случае потери работы", + "Российская Федерация", + "Представитель торгово-промышленной палаты", + "Местные органы власти" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКто из ниже перечисленных лиц участвует в арбитражном процессе по делу о банкротстве, согласно Статье 189.60 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?\nA. Внешними аудиторами, назначаемыми Банком России\nB. Повестка направляется в электронном виде на электронную почту адресата.\nC. Оклад по воинской должности и оклад по воинскому званию, коэффициенты за особые условия, командировочные расходы, компенсация за наем жилья\nD. До 1 января 2030 года\nE. Представитель министерства юстиции\nF. Представитель потребительской организации\nG. Повестка отправляется по почте на адрес пребывания, указанный в паспорте адресата.\nH. Представитель учредителей (участников) кредитной организации\nI. Единовременная денежная помощь в случае потери работы\nJ. Российская Федерация\nK. Представитель торгово-промышленной палаты\nL. Местные органы власти\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 219, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.004693602677434683, + "B": 0.041833627969026566, + "C": 0.007738443091511726, + "D": 0.028751801699399948, + "E": 0.028751801699399948, + "F": 0.021035268902778625, + "G": 0.060867566615343094, + "H": 0.7415187358856201, + "I": 0.0028468139935284853, + "J": 0.008237529546022415, + "K": 0.00876880344003439, + "L": 0.0032258627470582724 + }, + "sample": { + "question": "Как происходит вручение повестки или иного извещения, если адресат не проживает или не находится по адресу, указанному в исполнительном документе, согласно Федеральному закону \"Об исполнительном производстве\" N 229-ФЗ?", + "answerA": "Повестка направляется в электронном виде на электронную почту адресата.", + "answerB": "Повестка отправляется по почте на адрес пребывания, указанный в паспорте адресата.", + "answerC": "Повестка или иное извещение направляются по месту жительства гражданина, юридическому адресу организации.", + "answerD": "Повестку оставляют под дверью адресата с запиской о необходимости связаться с судебными приставами.", + "correct_answer": "Повестка или иное извещение направляются по месту жительства гражданина, юридическому адресу организации.", + "choices": [ + "Российская Федерация", + "Повестка направляется в электронном виде на электронную почту адресата.", + "До 1 января 2030 года", + "Внешними аудиторами, назначаемыми Банком России", + "Местные органы власти", + "До 1 января 2025 года", + "Оклад по воинской должности и оклад по воинскому званию, коэффициенты за особые условия, командировочные расходы, компенсация за наем жилья", + "Повестку оставляют под дверью адресата с запиской о необходимости связаться с судебными приставами.", + "Повестка или иное извещение направляются по месту жительства гражданина, юридическому адресу организации.", + "Единовременная денежная помощь в случае потери работы", + "Повестка отправляется по почте на адрес пребывания, указанный в паспорте адресата.", + "Исключительно муниципальными органами в рамках местных программ охраны окружающей среды." + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКак происходит вручение повестки или иного извещения, если адресат не проживает или не находится по адресу, указанному в исполнительном документе, согласно Федеральному закону \"Об исполнительном производстве\" N 229-ФЗ?\nA. Российская Федерация\nB. Повестка направляется в электронном виде на электронную почту адресата.\nC. До 1 января 2030 года\nD. Внешними аудиторами, назначаемыми Банком России\nE. Местные органы власти\nF. До 1 января 2025 года\nG. Оклад по воинской должности и оклад по воинскому званию, коэффициенты за особые условия, командировочные расходы, компенсация за наем жилья\nH. Повестку оставляют под дверью адресата с запиской о необходимости связаться с судебными приставами.\nI. Повестка или иное извещение направляются по месту жительства гражданина, юридическому адресу организации.\nJ. Единовременная денежная помощь в случае потери работы\nK. Повестка отправляется по почте на адрес пребывания, указанный в паспорте адресата.\nL. Исключительно муниципальными органами в рамках местных программ охраны окружающей среды.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 258, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.03600683808326721, + "B": 0.819511890411377, + "C": 0.02183925174176693, + "D": 0.019273072481155396, + "E": 0.0043004038743674755, + "F": 0.0010873123537749052, + "G": 0.0008467996958643198, + "H": 0.0009595497394911945, + "I": 8.925203292164952e-05, + "J": 0.002776549430564046, + "K": 0.0012320862151682377, + "L": 9.500829764874652e-05 + }, + "sample": { + "question": "В соответствии со статьей 11 Федерального закона \"О лицензировании отдельных видов деятельности\" N 99-ФЗ, какая сторона является ответственной за финансовое обеспечение деятельности лицензирующих органов?", + "answerA": "Местные органы власти", + "answerB": "Российская Федерация", + "answerC": "Субъекты Российской Федерации", + "answerD": "Частные организации", + "correct_answer": "B", + "choices": [ + "До 1 января 2030 года", + "Российская Федерация", + "Документы национальной системы стандартизации", + "Единовременная денежная помощь в случае потери работы", + "До 1 января 2025 года", + "Исключительно муниципальными орга��ами в рамках местных программ охраны окружающей среды.", + "Внешними аудиторами, назначаемыми Банком России", + "Частные организации", + "Службой внутреннего аудита, подотчетной совету директоров Агентства", + "Субъекты Российской Федерации", + "Оклад по воинской должности и оклад по воинскому званию, коэффициенты за особые условия, командировочные расходы, компенсация за наем жилья", + "Местные органы власти" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nВ соответствии со статьей 11 Федерального закона \"О лицензировании отдельных видов деятельности\" N 99-ФЗ, какая сторона является ответственной за финансовое обеспечение деятельности лицензирующих органов?\nA. До 1 января 2030 года\nB. Российская Федерация\nC. Документы национальной системы стандартизации\nD. Единовременная денежная помощь в случае потери работы\nE. До 1 января 2025 года\nF. Исключительно муниципальными органами в рамках местных программ охраны окружающей среды.\nG. Внешними аудиторами, назначаемыми Банком России\nH. Частные организации\nI. Службой внутреннего аудита, подотчетной совету директоров Агентства\nJ. Субъекты Российской Федерации\nK. Оклад по воинской должности и оклад по воинскому званию, коэффициенты за особые условия, командировочные расходы, компенсация за наем жилья\nL. Местные органы власти\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 208, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.004932195879518986, + "B": 0.05644598975777626, + "C": 0.012594803236424923, + "D": 0.019507212564349174, + "E": 0.01519223302602768, + "F": 0.011114874854683876, + "G": 0.08212843537330627, + "H": 0.05644598975777626, + "I": 0.0071763028390705585, + "J": 0.2866564095020294, + "K": 0.22324822843074799, + "L": 0.10545501112937927 + }, + "sample": { + "question": "Какие денежные выплаты предусмотрены для граждан, призванных на военные сборы, согласно статье 13.1 Федерального закона 'О статусе военнослужащих' N 76-ФЗ?", + "answerA": "Единовременная денежная помощь в случае потери работы", + "answerB": "Оклад по воинской должности и оклад по воинскому званию, коэффициенты за особые условия, командировочные расходы, компенсация за наем жилья", + "answerC": "Страховка от несчастных случаев и болезней", + "answerD": "Пенсионные выплаты в размере 100% от оклада", + "correct_answer": "B", + "choices": [ + "Внешними аудиторами, назначаемыми Банком России", + "Пенсионные выплаты в размере 100% от оклада", + "Единовременная денежная помощь в случае потери работы", + "Документы национальной системы стандартизации", + "До 1 января 2025 года", + "Исключительно муниципальными органами в рамках местных программ охраны окружающей среды.", + "До 1 января 2030 года", + "Страховка от несчастных случаев и болезней", + "Службой внутреннего аудита, подотчетной совету директоров Агентства", + "Через международные эко-организации с использованием внешних ресурсов и фондов.", + "Через регистрацию в территориальных органах социальной защиты населения.", + "Оклад по воинской должности и оклад по воинскому званию, коэффициенты за особые условия, командировочные расходы, компенсация за наем жилья" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКакие денежные выплаты предусмотрены для граждан, призванных на военные сборы, согласно статье 13.1 Федерального закона 'О статусе военнослужащих' N 76-ФЗ?\nA. Внешними аудиторами, назначаемыми Банком России\nB. Пенсионные выплаты в размере 100% от оклада\nC. Единовременная денежная помощь в случае потери работы\nD. Документы национальной системы стандартизации\nE. До 1 января 2025 года\nF. Исключительно муниципальными органами в рамках местных программ охраны окружающей среды.\nG. До 1 января 2030 года\nH. Страховка от несчастных случаев и болезней\nI. Службой внутреннего аудита, подотчетной совету директоров Агентства\nJ. Через международные эко-организации с использованием внешних ресурсов и фондов.\nK. Через регистрацию в территориальных органах социальной защиты населения.\nL. Оклад по воинской должности и оклад по воинскому званию, коэффициенты за особые условия, командировочные расходы, компенсация за наем жилья\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 243, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0383782833814621, + "B": 0.043488290160894394, + "C": 0.11821344494819641, + "D": 0.06327508389949799, + "E": 0.32133743166923523, + "F": 0.04927869141101837, + "G": 0.10432298481464386, + "H": 0.09206471592187881, + "I": 0.004305924288928509, + "J": 0.015998447313904762, + "K": 0.015998447313904762, + "L": 0.020542412996292114 + }, + "sample": { + "question": "Каков срок, до которого в реестр границ могут вноситься сведения о местоположении границ минимальных расстояний до магистральных и промышленных трубопроводов, согласно Федеральному закону \"О государственной регистрации недвижимости\" N 218-ФЗ, статье 71.1?", + "answerA": "До 1 января 2030 года", + "answerB": "До 1 января 2025 года", + "answerC": "До 1 января 2022 года", + "answerD": "До 1 января 2028 года", + "correct_answer": "B", + "choices": [ + "Внешними аудиторами, назначаемыми Банком России", + "Место заключения договора и гражданство сторон", + "Федеральные законы и иные нормативные правовые акты", + "Исключительно муниципальными органами в рамках местных программ охраны окружающей среды.", + "До 1 января 2028 года", + "Через регистрацию в территориальных органах социальной защиты населения.", + "До 1 января 2025 года", + "Документы национальной системы стандартизации", + "До 1 января 2030 года", + "Службой внутреннего аудита, подотчетной совету директоров Агентства", + "Через международные эко-организации с использованием внешних ресурсо�� и фондов.", + "До 1 января 2022 года" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКаков срок, до которого в реестр границ могут вноситься сведения о местоположении границ минимальных расстояний до магистральных и промышленных трубопроводов, согласно Федеральному закону \"О государственной регистрации недвижимости\" N 218-ФЗ, статье 71.1?\nA. Внешними аудиторами, назначаемыми Банком России\nB. Место заключения договора и гражданство сторон\nC. Федеральные законы и иные нормативные правовые акты\nD. Исключительно муниципальными органами в рамках местных программ охраны окружающей среды.\nE. До 1 января 2028 года\nF. Через регистрацию в территориальных органах социальной защиты населения.\nG. До 1 января 2025 года\nH. Документы национальной системы стандартизации\nI. До 1 января 2030 года\nJ. Службой внутреннего аудита, подотчетной совету директоров Агентства\nK. Через международные эко-организации с использованием внешних ресурсов и фондов.\nL. До 1 января 2022 года\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 234, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0018348158337175846, + "B": 0.8387763500213623, + "C": 0.009317964315414429, + "D": 0.009317964315414429, + "E": 0.022352632135152817, + "F": 0.0135575570166111, + "G": 0.022352632135152817, + "H": 0.005651630461215973, + "I": 0.00028137810295447707, + "J": 0.0135575570166111, + "K": 0.008223074488341808, + "L": 0.00020586064783856273 + }, + "sample": { + "question": "Каким образом осуществляется внутренний аудит Агентства по страхованию вкладов в банках Российской Федерации согласно статье 25 Федерального закона N 177-ФЗ?", + "answerA": "Внешними аудиторами, назначаемыми Банком России", + "answerB": "Службой внутреннего аудита, подотчетной совету директоров Агентства", + "answerC": "Независимым финансовым консультантом", + "answerD": "Министерством финансов Российской Федерации", + "correct_answer": "answerB", + "choices": [ + "Документы национальной системы стандартизации", + "Службой внутреннего аудита, подотчетной совету директоров Агентства", + "Исключительно муниципальными органами в рамках местных программ охраны окружающей среды.", + "Посредством публикации в федеральных СМИ.", + "Через международные эко-организации с использованием внешних ресурсов и фондов.", + "Место заключения договора и гражданство сторон", + "Федеральные законы и иные нормативные правовые акты", + "Через регистрацию в территориальных органах социальной защиты населения.", + "Лица без гражданства, имеющие соответствующую лицензию", + "Внешними аудиторами, назначаемыми Банком России", + "Независимым финансовым консультантом", + "Министерством финансов Российской Федерации" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКаким образом осуществляется внутренний аудит Агентства по страхованию вкладов в банках Российской Федерации согласно статье 25 Федерального закона N 177-ФЗ?\nA. Документы национальной системы стандартизации\nB. Службой внутреннего аудита, подотчетной совету директоров Агентства\nC. Исключительно муниципальными органами в рамках местных программ охраны окружающей среды.\nD. Посредством публикации в федеральных СМИ.\nE. Через международные эко-организации с использованием внешних ресурсов и фондов.\nF. Место заключения договора и гражданство сторон\nG. Федеральные законы и иные нормативные правовые акты\nH. Через регистрацию в территориальных органах социальной защиты населения.\nI. Лица без гражданства, имеющие соответствующую лицензию\nJ. Внешними аудиторами, назначаемыми Банком России\nK. Независимым финансовым консультантом\nL. Министерством финансов Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 201, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0014478847151622176, + "B": 0.012904856353998184, + "C": 0.003262858372181654, + "D": 0.021276509389281273, + "E": 0.02731957845389843, + "F": 0.5487284064292908, + "G": 0.01763884723186493, + "H": 0.021276509389281273, + "I": 0.0008781864889897406, + "J": 0.016570163890719414, + "K": 0.10805103182792664, + "L": 0.12243786454200745 + }, + "sample": { + "question": "Как организуется государственный экологический мониторинг в соответствии со статьей 63 Федерального закона \"Об охране окружающей среды\" N 7-ФЗ?", + "answerA": "Исключительно муниципальными органами в рамках местных программ охраны окружающей среды.", + "answerB": "Через международные эко-организации с использованием внешних ресурсов и фондов.", + "answerC": "Федеральными и региональными органами власти в рамках единой системы государственного экологического мониторинга, включая создание и функционирование наблюдательных сетей и информационных ресурсов.", + "answerD": "Независимыми экологическими аудиторами на основе добровольных начинаний предприятий.", + "correct_answer": "answerC", + "choices": [ + "Срок и обстоятельства, при которых займодавец может потребовать размещения дополнительных акций", + "Место заключения договора и гражданство сторон", + "Документы национальной системы стандартизации", + "Независимыми экологическими аудиторами на основе добровольных начинаний предприятий.", + "Посредством публикации в федеральных СМИ.", + "Федеральными и региональными органами власти в рамках единой системы государственного экологического мониторинга, включая создание и функционирование наблюдательных сетей и информационных ресурсов.", + "Исключительно муниципальными органами в рамках местных программ охраны окружающей среды.", + "Через регистрацию в территориальных органах социальной защиты населения.", + "Требования по налогам на заложенное имущество", + "Через международные эко-организации с использованием внешних ресурсов и фондов.", + "Лица без гражданства, имеющие соответствующую лицензию", + "Федеральные законы и иные нормативные правовые акты" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКак организуется государственный экологический мониторинг в соответствии со статьей 63 Федерального закона \"Об охране окружающей среды\" N 7-ФЗ?\nA. Срок и обстоятельства, при которых займодавец может потребовать размещения дополнительных акций\nB. Место заключения договора и гражданство сторон\nC. Документы национальной системы стандартизации\nD. Независимыми экологическими аудиторами на основе добровольных начинаний предприятий.\nE. Посредством публикации в федеральных СМИ.\nF. Федеральными и региональными органами власти в рамках единой системы государственного экологического мониторинга, включая создание и функционирование наблюдательных сетей и информационных ресурсов.\nG. Исключительно муниципальными органами в рамках местных программ охраны окружающей среды.\nH. Через регистрацию в территориальных органах социальной защиты населения.\nI. Требования по налогам на заложенное имущество\nJ. Через международные эко-организации с использованием внешних ресурсов и фондов.\nK. Лица без гражданства, имеющие соответствующую лицензию\nL. Федеральные законы и иные нормативные правовые акты\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 223, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.005322606302797794, + "B": 0.8951247334480286, + "C": 0.006834361702203751, + "D": 0.006031303200870752, + "E": 0.0030327297281473875, + "F": 0.0006356946541927755, + "G": 0.0007667941390536726, + "H": 0.0010480833007022738, + "I": 0.00010377430589869618, + "J": 0.0007667941390536726, + "K": 0.00011046716826967895, + "L": 5.554637755267322e-05 + }, + "sample": { + "question": "Какие проекты перед их утверждением могут представляться в соответствующий технический комитет по стандартизации для проведения экспертизы?", + "answerA": "Документы национальной системы стандартизации", + "answerB": "Федеральные законы и иные нормативные правовые акты", + "answerC": "Проект стандарта организации и проект технических условий", + "answerD": "Годовой отчет организации", + "correct_answer": "Проект стандарта организации и проект технических условий", + "choices": [ + "Физические лица, прошедшие специализированное обучение", + "Проект стандарта организации и проект технических условий", + "Годовой отчет организации", + "Посредством публикации в федеральных СМИ.", + "Лица без гражданства, имеющие соответствующую лицензию", + "Назначается учредителем образовательной организации", + "Срок и обстоятельства, при которых займодавец может потребовать размещения дополнительных акций", + "Документы национальной системы стандартизации", + "Федеральные зак��ны и иные нормативные правовые акты", + "Место заключения договора и гражданство сторон", + "Требования по налогам на заложенное имущество", + "Через регистрацию в территориальных органах социальной защиты населения." + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКакие проекты перед их утверждением могут представляться в соответствующий технический комитет по стандартизации для проведения экспертизы?\nA. Физические лица, прошедшие специализированное обучение\nB. Проект стандарта организации и проект технических условий\nC. Годовой отчет организации\nD. Посредством публикации в федеральных СМИ.\nE. Лица без гражданства, имеющие соответствующую лицензию\nF. Назначается учредителем образовательной организации\nG. Срок и обстоятельства, при которых займодавец может потребовать размещения дополнительных акций\nH. Документы национальной системы стандартизации\nI. Федеральные законы и иные нормативные правовые акты\nJ. Место заключения договора и гражданство сторон\nK. Требования по налогам на заложенное имущество\nL. Через регистрацию в территориальных органах социальной защиты населения.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 180, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.41060197353363037, + "B": 0.004855559207499027, + "C": 0.36235496401786804, + "D": 0.004561376292258501, + "E": 0.004561376292258501, + "F": 0.026248903945088387, + "G": 0.00585692236199975, + "H": 0.002154641319066286, + "I": 0.0020240982994437218, + "J": 0.0010177805088460445, + "K": 0.03370426222681999, + "L": 4.471815555007197e-05 + }, + "sample": { + "question": "Согласно Федеральному закону 'О ветеранах' N 5-ФЗ и его Статье 24.1., вновь введенной Федеральным законом от 10.07.2023 N 293-ФЗ, как осуществляется учет сведений о предоставлении мер социальной поддержки ветеранам?", + "answerA": "Через регистрацию в территориальных органах социальной защиты населения.", + "answerB": "Посредством публикации в федеральных СМИ.", + "answerC": "Через регистрацию соответствующих решений в государственной информационной системе 'Единая централизованная цифровая платформа в социальной сфере'.", + "answerD": "Путем персонального уведомления каждого ветерана по почте.", + "correct_answer": "C", + "choices": [ + "Через регистрацию соответствующих решений в государственной информационной системе 'Единая централизованная цифровая платформа в социальной сфере'.", + "Требования последующего залогодержателя", + "ФИО любого гражданина без его согласия", + "Посредством публикации в федеральных СМИ.", + "Физические лица, прошедшие специализированное обучение", + "Срок и обстоятельства, при которых займодавец может потребовать размещения дополнительных акций", + "Лица без гражданства, имеющие соответствующую лицензию", + "Место заключения договора и гражданство сторон", + "Назначается учредителем образовательной организации", + "Путем персонального уведомления каждого ветерана по почте.", + "Через регистрацию в территориальных органах социальной защиты населения.", + "Требования по налогам на заложенное имущество" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nСогласно Федеральному закону 'О ветеранах' N 5-ФЗ и его Статье 24.1., вновь введенной Федеральным законом от 10.07.2023 N 293-ФЗ, как осуществляется учет сведений о предоставлении мер социальной поддержки ветеранам?\nA. Через регистрацию соответствующих решений в государственной информационной системе 'Единая централизованная цифровая платформа в социальной сфере'.\nB. Требования последующего залогодержателя\nC. ФИО любого гражданина без его согласия\nD. Посредством публикации в федеральных СМИ.\nE. Физические лица, прошедшие специализированное обучение\nF. Срок и обстоятельства, при которых займодавец может потребовать размещения дополнительных акций\nG. Лица без гражданства, имеющие соответствующую лицензию\nH. Место заключения договора и гражданство сторон\nI. Назначается учредителем образовательной организации\nJ. Путем персонального уведомления каждого ветерана по почте.\nK. Через регистрацию в территориальных органах социальной защиты населения.\nL. Требования по налогам на заложенное имущество\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 228, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0077719921246171, + "B": 0.0077719921246171, + "C": 0.6572250723838806, + "D": 0.042014993727207184, + "E": 0.03707810491323471, + "F": 0.025483381003141403, + "G": 0.11420858651399612, + "H": 0.017514454200863838, + "I": 0.0019650673493742943, + "J": 0.0023703237529844046, + "K": 0.008273242972791195, + "L": 0.00030135284760035574 + }, + "sample": { + "question": "Каковы существенные условия договора конвертируемого займа в соответствии со Статьей 32.3 Федерального закона \"Об акционерных обществах\" (АО) N 208-ФЗ?", + "answerA": "Место заключения договора и гражданство сторон", + "answerB": "Срок и обстоятельства, при которых займодавец может потребовать размещения дополнительных акций", + "answerC": "Цвет и форма документа договора", + "answerD": "Ограничение по возрасту займодавца и заемщика", + "correct_answer": "B", + "choices": [ + "Для обучения навыкам рукопашного боя.", + "ФИО любого гражданина без его согласия", + "Ограничение по возрасту займодавца и заемщика", + "Назначается Президентом Российской Федерации", + "Лица без гражданства, имеющие соответствующую лицензию", + "Требования последующего залогодержателя", + "Срок и обстоятельства, при которых займодавец может потребовать размещения дополнительных акций", + "Физические лица, прошедшие специализированное обучение", + "Место заключения договора и гражданство сторон", + "Требования по налогам на заложенное имущество", + "Цвет и форма документа договора", + "Назначается учредителем образовательной организации" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКаковы существенные условия договора конвертируемого займа в соответствии со Статьей 32.3 Федерального закона \"Об акционерных обществах\" (АО) N 208-ФЗ?\nA. Для обучения навыкам рукопашного боя.\nB. ФИО любого гражданина без его согласия\nC. Ограничение по возрасту займодавца и заемщика\nD. Назначается Президентом Российской Федерации\nE. Лица без гражданства, имеющие соответствующую лицензию\nF. Требования последующего залогодержателя\nG. Срок и обстоятельства, при которых займодавец может потребовать размещения дополнительных акций\nH. Физические лица, прошедшие специализированное обучение\nI. Место заключения договора и гражданство сторон\nJ. Требования по налогам на заложенное имущество\nK. Цвет и форма документа договора\nL. Назначается учредителем образовательной организации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 198, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.011308232322335243, + "B": 0.0028591689188033342, + "C": 0.004713972564786673, + "D": 0.014520058408379555, + "E": 0.05742794647812843, + "F": 0.000599314400460571, + "G": 0.0020918126683682203, + "H": 0.0017341736238449812, + "I": 0.7927682995796204, + "J": 0.027127038687467575, + "K": 0.0032398628536611795, + "L": 0.000599314400460571 + }, + "sample": { + "question": "Какие лица имеют право на торговлю гражданским и служебным оружием и патронами к нему на территории РФ согласно Федеральному закону 'Об оружии' N 150-ФЗ, Статье 18?", + "answerA": "Лица без гражданства, имеющие соответствующую лицензию", + "answerB": "Физические лица, прошедшие специализированное обучение", + "answerC": "Юридические лица, имеющие лицензию на производство гражданского и служебного оружия и патроны к нему, и юридические лица, осуществляющие торговлю на основании лицензии", + "answerD": "Некоммерческие организации, направленные на развитие спортивной стрельбы", + "correct_answer": "C", + "choices": [ + "ФИО любого гражданина без его согласия", + "Лица без гражданства, имеющие соответствующую лицензию", + "Только право на страхование риска профессиональной ответственности", + "Требования по налогам на заложенное имущество", + "Физические лица, прошедшие специализированное обучение", + "Требования последующего залогодержателя", + "Для обучения навыкам рукопашного боя.", + "Некоммерческие организации, направленные на развитие спортивной стрельбы", + "Юридические лица, имеющие лицензию на производство гражданского и служебного оружия и патроны к нему, и юридические лица, осуществляющие торговлю на основании лицензии", + "Назначается учредителем образовательной организации", + "Назначается Президентом Рос��ийской Федерации", + "Указание на организационно-правовую форму, территориальную сферу и характер деятельности" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКакие лица имеют право на торговлю гражданским и служебным оружием и патронами к нему на территории РФ согласно Федеральному закону 'Об оружии' N 150-ФЗ, Статье 18?\nA. ФИО любого гражданина без его согласия\nB. Лица без гражданства, имеющие соответствующую лицензию\nC. Только право на страхование риска профессиональной ответственности\nD. Требования по налогам на заложенное имущество\nE. Физические лица, прошедшие специализированное обучение\nF. Требования последующего залогодержателя\nG. Для обучения навыкам рукопашного боя.\nH. Некоммерческие организации, направленные на развитие спортивной стрельбы\nI. Юридические лица, имеющие лицензию на производство гражданского и служебного оружия и патроны к нему, и юридические лица, осуществляющие торговлю на основании лицензии\nJ. Назначается учредителем образовательной организации\nK. Назначается Президентом Российской Федерации\nL. Указание на организационно-правовую форму, территориальную сферу и характер деятельности\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 224, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.18095450103282928, + "B": 0.01683139055967331, + "C": 0.013108300976455212, + "D": 0.009009194560348988, + "E": 0.005464352201670408, + "F": 0.0012192620197311044, + "G": 0.0017740156035870314, + "H": 0.0015655632596462965, + "I": 0.715688943862915, + "J": 0.0017740156035870314, + "K": 0.0008379855426028371, + "L": 0.00010008311073761433 + }, + "sample": { + "question": "В соответствии со статьей 61 Федерального закона \"Об ипотеке (залоге недвижимости)\" N 102-ФЗ, какие требования удовлетворяются из стоимости предмета залога после удовлетворения требований предшествующего залогодержателя?", + "answerA": "Требования по налогам на заложенное имущество", + "answerB": "Требования последующего залогодержателя", + "answerC": "Требования по коммунальным платежам", + "answerD": "Требования к залогодателю от его супруги(а)", + "correct_answer": "Требования последующего залогодержателя", + "choices": [ + "Требования по коммунальным платежам", + "Требования последующего залогодержателя", + "Назначается Президентом Российской Федерации", + "Указание на организационно-правовую форму, территориальную сферу и характер деятельности", + "Для пресечения правонарушения.", + "Назначается учредителем образовательной организации", + "Только право на страхование риска профессиональной ответственности", + "Для обучения навыкам рукопашного боя.", + "До момента полного погашения долгов должника", + "ФИО любого гражданина без его согласия", + "Требования к залогодателю от его супруги(а)", + "Требования по налогам на заложенное имущество" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nВ соответствии со статьей 61 Федерального закона \"Об ипотеке (залоге недвижимости)\" N 102-ФЗ, какие требования удовлетворяются из стоимости предмета залога после удовлетворения требований предшествующего залогодержателя?\nA. Требования по коммунальным платежам\nB. Требования последующего залогодержателя\nC. Назначается Президентом Российской Федерации\nD. Указание на организационно-правовую форму, территориальную сферу и характер деятельности\nE. Для пресечения правонарушения.\nF. Назначается учредителем образовательной организации\nG. Только право на страхование риска профессиональной ответственности\nH. Для обучения навыкам рукопашного боя.\nI. До момента полного погашения долгов должника\nJ. ФИО любого гражданина без его согласия\nK. Требования к залогодателю от его супруги(а)\nL. Требования по налогам на заложенное имущество\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 196, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.00131760083604604, + "B": 0.017086906358599663, + "C": 0.008071282878518105, + "D": 0.03850593790411949, + "E": 0.01174364797770977, + "F": 0.1343989372253418, + "G": 0.46909835934638977, + "H": 0.029988452792167664, + "I": 0.005905076861381531, + "J": 0.09237093478441238, + "K": 0.0815170630812645, + "L": 0.001493037212640047 + }, + "sample": { + "question": "Каким образом президент образовательной организации высшего образования может быть избран в соответствии с Федеральным законом 'Об образовании в Российской Федерации' N273-ФЗ?", + "answerA": "Назначается учредителем образовательной организации", + "answerB": "Назначается Президентом Российской Федерации", + "answerC": "Избирается общим собранием, конференцией работников образовательной организации", + "answerD": "Избирается в порядке, определяемом уставом образовательной организации", + "correct_answer": "Избирается в порядке, определяемом уставом образовательной организации", + "choices": [ + "Только право на страхование риска профессиональной ответственности", + "Для обучения навыкам рукопашного боя.", + "Для пресечения правонарушения.", + "Принимать от организаций подарки, денежные средства и участвовать в развлекательных мероприятиях за их счет.", + "ФИО любого гражданина без его согласия", + "Назначается учредителем образовательной организации", + "Избирается в порядке, определяемом уставом образовательной организации", + "Назначается Президентом Российской Федерации", + "Указание на организационно-правовую форму, территориальную сферу и характер деятельности", + "Избирается общим собранием, конференцией работников образовательной организации", + "Только право на профессиональную переподготовку при увольнении", + "До момента полного погашения долгов должника" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКаким образом президент образовательной организации высшего образования может быть избран в соответствии с Федеральным законом 'Об образовании в Российской Федерации' N273-ФЗ?\nA. Только право на страхование риска профессиональной ответственности\nB. Для обучения навыкам рукопашного боя.\nC. Для пресечения правонарушения.\nD. Принимать от организаций подарки, денежные средства и участвовать в развлекательных мероприятиях за их счет.\nE. ФИО любого гражданина без его согласия\nF. Назначается учредителем образовательной организации\nG. Избирается в порядке, определяемом уставом образовательной организации\nH. Назначается Президентом Российской Федерации\nI. Указание на организационно-правовую форму, территориальную сферу и характер деятельности\nJ. Избирается общим собранием, конференцией работников образовательной организации\nK. Только право на профессиональную переподготовку при увольнении\nL. До момента полного погашения долгов должника\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 205, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.00037081463960930705, + "B": 0.0006507999496534467, + "C": 0.0007850145339034498, + "D": 0.9754968881607056, + "E": 0.00032724274205975235, + "F": 0.00037081463960930705, + "G": 0.00032724274205975235, + "H": 0.00015457851986866444, + "I": 6.053382094250992e-05, + "J": 4.160424578003585e-05, + "K": 0.0010079785715788603, + "L": 2.686172229005024e-05 + }, + "sample": { + "question": "Что должно содержаться в официальном наименовании общественного объединения согласно Федеральному закону 'Об общественных объединениях' N 82-ФЗ, статья 28?", + "answerA": "ФИО любого гражданина без его согласия", + "answerB": "Указание на организационно-правовую форму, территориальную сферу и характер деятельности", + "answerC": "Наименования войск и воинских формирований Российской Федерации без ограничений", + "answerD": "Слова 'политическая', 'партия' для всех видов общественных объединений", + "correct_answer": "B", + "choices": [ + "Для обучения навыкам рукопашного боя.", + "ФИО любого гражданина без его согласия", + "До момента полного погашения долгов должника", + "Указание на организационно-правовую форму, территориальную сферу и характер деятельности", + "Только право на профессиональную переподготовку при увольнении", + "Для пресечения правонарушения.", + "Слова 'политическая', 'партия' для всех видов общественных объединений", + "Министерство финансов Российской Федерации", + "Только право на страхование риска профессиональной ответственности", + "Принимать от организаций подарки, денежные средства и участвовать в развлекательных мероприятиях за их счет.", + "Наименования войск и воинских формирований Российской Федерации без ограничений", + "До даты завершения конкурсного производс��ва или прекращения производства по делу о банкротстве" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nЧто должно содержаться в официальном наименовании общественного объединения согласно Федеральному закону 'Об общественных объединениях' N 82-ФЗ, статья 28?\nA. Для обучения навыкам рукопашного боя.\nB. ФИО любого гражданина без его согласия\nC. До момента полного погашения долгов должника\nD. Указание на организационно-правовую форму, территориальную сферу и характер деятельности\nE. Только право на профессиональную переподготовку при увольнении\nF. Для пресечения правонарушения.\nG. Слова 'политическая', 'партия' для всех видов общественных объединений\nH. Министерство финансов Российской Федерации\nI. Только право на страхование риска профессиональной ответственности\nJ. Принимать от организаций подарки, денежные средства и участвовать в развлекательных мероприятиях за их счет.\nK. Наименования войск и воинских формирований Российской Федерации без ограничений\nL. До даты завершения конкурсного производства или прекращения производства по делу о банкротстве\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 210, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0025105387903749943, + "B": 0.0018367493757978082, + "C": 0.0020813096780329943, + "D": 0.007733004167675972, + "E": 0.6961027979850769, + "F": 0.00162092549726367, + "G": 0.001343794516287744, + "H": 0.004992802161723375, + "I": 0.0018367493757978082, + "J": 0.002358432859182358, + "K": 0.00098314112983644, + "L": 0.00018186279339715838 + }, + "sample": { + "question": "В каких случаях должностные лица таможенных органов имеют право применять физическую силу согласно Федеральному закону 'О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации' N 289-ФЗ?", + "answerA": "Для обучения навыкам рукопашного боя.", + "answerB": "Для пресечения правонарушения.", + "answerC": "Для прохождения физического тестирования.", + "answerD": "Для разрешения споров между сотрудниками.", + "correct_answer": "B", + "choices": [ + "Министерство финансов Российской Федерации", + "Заказывать обеды и напитки в медицинских учреждениях за счет собственных средств.", + "Принимать от организаций подарки, денежные средства и участвовать в развлекательных мероприятиях за их счет.", + "Для прохождения физического тестирования.", + "Для пресечения правонарушения.", + "Сроки хранения товаров на складе таможни", + "Для разрешения споров между сотрудниками.", + "Только право на профессиональную переподготовку при увольнении", + "Для обучения навыкам рукопашного боя.", + "Только право на страхование риска профессиональной ответственности", + "До даты завершения конкурсного производства или прекращения производства по делу о банкротстве", + "До ��омента полного погашения долгов должника" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nВ каких случаях должностные лица таможенных органов имеют право применять физическую силу согласно Федеральному закону 'О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации' N 289-ФЗ?\nA. Министерство финансов Российской Федерации\nB. Заказывать обеды и напитки в медицинских учреждениях за счет собственных средств.\nC. Принимать от организаций подарки, денежные средства и участвовать в развлекательных мероприятиях за их счет.\nD. Для прохождения физического тестирования.\nE. Для пресечения правонарушения.\nF. Сроки хранения товаров на складе таможни\nG. Для разрешения споров между сотрудниками.\nH. Только право на профессиональную переподготовку при увольнении\nI. Для обучения навыкам рукопашного боя.\nJ. Только право на страхование риска профессиональной ответственности\nK. До даты завершения конкурсного производства или прекращения производства по делу о банкротстве\nL. До момента полного погашения долгов должника\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 210, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.47496169805526733, + "B": 0.002066247398033738, + "C": 0.0038602587301284075, + "D": 0.005978885106742382, + "E": 0.00985751487314701, + "F": 0.0007140759844332933, + "G": 0.0011059825774282217, + "H": 0.0006301698740571737, + "I": 0.4191522002220154, + "J": 0.0005919898394495249, + "K": 0.00012408779002726078, + "L": 1.3922265679866541e-05 + }, + "sample": { + "question": "Какие основные гарантии предусмотрены для медицинских и фармацевтических работников согласно Федеральному закону \"Об основах охраны здоровья граждан в Российской Федерации\" N 323-ФЗ?", + "answerA": "Только право на страхование риска профессиональной ответственности", + "answerB": "Только право на профессиональную переподготовку при увольнении", + "answerC": "Право на социальное страхование и пенсионное обеспечение", + "answerD": "Создание условий для выполнения трудовых обязанностей, профессиональную подготовку, и другие", + "correct_answer": "Создание условий для выполнения трудовых обязанностей, профессиональную подготовку, и другие", + "choices": [ + "Право на социальное страхование и пенсионное обеспечение", + "Сроки хранения товаров на складе таможни", + "Заказывать обеды и напитки в медицинских учреждениях за счет собственных средств.", + "Расчет размера компенсационного платежа осуществляется исключительно по решению суда.", + "Принимать от организаций подарки, денежные средства и участвовать в развлекательных мероприятиях за их счет.", + "До даты завершения конкурсного производства или прекращения производства по делу о банкротстве", + "Совет директоров Банка России", + "Министерство финансов ��оссийской Федерации", + "Создание условий для выполнения трудовых обязанностей, профессиональную подготовку, и другие", + "Только право на профессиональную переподготовку при увольнении", + "Только право на страхование риска профессиональной ответственности", + "До момента полного погашения долгов должника" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКакие основные гарантии предусмотрены для медицинских и фармацевтических работников согласно Федеральному закону \"Об основах охраны здоровья граждан в Российской Федерации\" N 323-ФЗ?\nA. Право на социальное страхование и пенсионное обеспечение\nB. Сроки хранения товаров на складе таможни\nC. Заказывать обеды и напитки в медицинских учреждениях за счет собственных средств.\nD. Расчет размера компенсационного платежа осуществляется исключительно по решению суда.\nE. Принимать от организаций подарки, денежные средства и участвовать в развлекательных мероприятиях за их счет.\nF. До даты завершения конкурсного производства или прекращения производства по делу о банкротстве\nG. Совет директоров Банка России\nH. Министерство финансов Российской Федерации\nI. Создание условий для выполнения трудовых обязанностей, профессиональную подготовку, и другие\nJ. Только право на профессиональную переподготовку при увольнении\nK. Только право на страхование риска профессиональной ответственности\nL. До момента полного погашения долгов должника\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 215, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.001240014098584652, + "B": 0.005220654886215925, + "C": 0.0016948984703049064, + "D": 0.01711786724627018, + "E": 0.024906352162361145, + "F": 0.007135788910090923, + "G": 0.01510646566748619, + "H": 0.3229904770851135, + "I": 0.004607211332768202, + "J": 0.007135788910090923, + "K": 0.01333140954375267, + "L": 0.5325212478637695 + }, + "sample": { + "question": "Как действует конкурсный управляющий согласно Федеральному закону \"О несостоятельности (банкротстве)\" N 127-ФЗ, Статья 127?", + "answerA": "До момента полного погашения долгов должника", + "answerB": "До даты завершения конкурсного производства или прекращения производства по делу о банкротстве", + "answerC": "В течение одного года после принятия арбитражным судом решения о признании должника банкротом", + "answerD": "Пока не будет выбран новый временный управляющий", + "correct_answer": "B", + "choices": [ + "Заказывать обеды и напитки в медицинских учреждениях за счет собственных средств.", + "Министерство финансов Российской Федерации", + "Совет директоров Банка России", + "До момента полного погашения долгов должника", + "Сроки хранения товаров на складе таможни", + "Была изменена", + "Пока не будет выбран новый временный управляющий", + "В течение одного года после принятия арбитражным судом решения о признании должника банкротом", + "Расчет размера компенсационного платежа осуществляется исключительно по решению суда.", + "Случаи, когда товары могут находиться в зоне таможенного контроля, не являющейся таможенным органом, зарегистрировавшим таможенную декларацию", + "Принимать от организаций подарки, денежные средства и участвовать в развлекательных мероприятиях за их счет.", + "До даты завершения конкурсного производства или прекращения производства по делу о банкротстве" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКак действует конкурсный управляющий согласно Федеральному закону \"О несостоятельности (банкротстве)\" N 127-ФЗ, Статья 127?\nA. Заказывать обеды и напитки в медицинских учреждениях за счет собственных средств.\nB. Министерство финансов Российской Федерации\nC. Совет директоров Банка России\nD. До момента полного погашения долгов должника\nE. Сроки хранения товаров на складе таможни\nF. Была изменена\nG. Пока не будет выбран новый временный управляющий\nH. В течение одного года после принятия арбитражным судом решения о признании должника банкротом\nI. Расчет размера компенсационного платежа осуществляется исключительно по решению суда.\nJ. Случаи, когда товары могут находиться в зоне таможенного контроля, не являющейся таможенным органом, зарегистрировавшим таможенную декларацию\nK. Принимать от организаций подарки, денежные средства и участвовать в развлекательных мероприятиях за их счет.\nL. До даты завершения конкурсного производства или прекращения производства по делу о банкротстве\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 224, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.013561869040131569, + "B": 0.14580383896827698, + "C": 0.02533690631389618, + "D": 0.6534474492073059, + "E": 0.0197324026376009, + "F": 0.02533690631389618, + "G": 0.03686498478055, + "H": 0.015367611311376095, + "I": 0.0030260621570050716, + "J": 0.013561869040131569, + "K": 0.005310904700309038, + "L": 0.00221391418017447 + }, + "sample": { + "question": "Какой орган принимает решение о применении мер по предупреждению банкротства страховой организации с участием контрольного органа, согласно статье 184.1-2 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?", + "answerA": "Министерство финансов Российской Федерации", + "answerB": "Совет директоров Банка России", + "answerC": "Правительство Российской Федерации", + "answerD": "Федеральная служба по финансовым рынкам", + "correct_answer": "answerB", + "choices": [ + "Компенсационный платеж уплачивается в течение трех месяцев со дня предъявления требования.", + "Федеральная служба по финансовым рынкам", + "Была изменена", + "Министерство финансов Российской Федерации", + "Расчет размера компенсационного платежа осуществляется исключительно по решению суда.", + "Со��ет директоров Банка России", + "1 год", + "Правила ведения бухгалтерского учета для индивидуальных предпринимателей.", + "Была добавлена новая часть", + "Правительство Российской Федерации", + "Сроки хранения товаров на складе таможни", + "Случаи, когда товары могут находиться в зоне таможенного контроля, не являющейся таможенным органом, зарегистрировавшим таможенную декларацию" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКакой орган принимает решение о применении мер по предупреждению банкротства страховой организации с участием контрольного органа, согласно статье 184.1-2 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?\nA. Компенсационный платеж уплачивается в течение трех месяцев со дня предъявления требования.\nB. Федеральная служба по финансовым рынкам\nC. Была изменена\nD. Министерство финансов Российской Федерации\nE. Расчет размера компенсационного платежа осуществляется исключительно по решению суда.\nF. Совет директоров Банка России\nG. 1 год\nH. Правила ведения бухгалтерского учета для индивидуальных предпринимателей.\nI. Была добавлена новая часть\nJ. Правительство Российской Федерации\nK. Сроки хранения товаров на складе таможни\nL. Случаи, когда товары могут находиться в зоне таможенного контроля, не являющейся таможенным органом, зарегистрировавшим таможенную декларацию\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 209, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.11582332104444504, + "B": 0.07025039941072464, + "C": 0.11582332104444504, + "D": 0.06199575960636139, + "E": 0.10221372544765472, + "F": 0.13124501705169678, + "G": 0.11582332104444504, + "H": 0.09020330011844635, + "I": 0.029284723103046417, + "J": 0.03318393975496292, + "K": 0.025843676179647446, + "L": 0.009507358074188232 + }, + "sample": { + "question": "Что устанавливает Федеральный орган исполнительной власти по политике и нормативно-правовому регулированию в области таможенного дела согласно статье 101 Федерального закона \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?", + "answerA": "Сроки хранения товаров на складе таможни", + "answerB": "Случаи, когда товары могут находиться в зоне таможенного контроля, не являющейся таможенным органом, зарегистрировавшим таможенную декларацию", + "answerC": "Правила проведения таможенного осмотра", + "answerD": "Тарифы на услуги таможенного оформления", + "correct_answer": "B", + "choices": [ + "Была добавлена новая часть", + "Сроки хранения товаров на складе таможни", + "Если сумма авансовых платежей, заявленных к возврату, меньше фактического остатка авансовых платежей плательщика", + "Правила ведения бухгалтерского учета для индивидуальных предпринимателей.", + "1 год", + "Случаи, когда това��ы могут находиться в зоне таможенного контроля, не являющейся таможенным органом, зарегистрировавшим таможенную декларацию", + "Тарифы на услуги таможенного оформления", + "Компенсационный платеж уплачивается в течение трех месяцев со дня предъявления требования.", + "Была изменена", + "Расчет размера компенсационного платежа осуществляется исключительно по решению суда.", + "Порядок проведения аудиторских проверок у организаций.", + "Правила проведения таможенного осмотра" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nЧто устанавливает Федеральный орган исполнительной власти по политике и нормативно-правовому регулированию в области таможенного дела согласно статье 101 Федерального закона \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?\nA. Была добавлена новая часть\nB. Сроки хранения товаров на складе таможни\nC. Если сумма авансовых платежей, заявленных к возврату, меньше фактического остатка авансовых платежей плательщика\nD. Правила ведения бухгалтерского учета для индивидуальных предпринимателей.\nE. 1 год\nF. Случаи, когда товары могут находиться в зоне таможенного контроля, не являющейся таможенным органом, зарегистрировавшим таможенную декларацию\nG. Тарифы на услуги таможенного оформления\nH. Компенсационный платеж уплачивается в течение трех месяцев со дня предъявления требования.\nI. Была изменена\nJ. Расчет размера компенсационного платежа осуществляется исключительно по решению суда.\nK. Порядок проведения аудиторских проверок у организаций.\nL. Правила проведения таможенного осмотра\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 247, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.03366362303495407, + "B": 0.020418018102645874, + "C": 0.4101068675518036, + "D": 0.03814588114619255, + "E": 0.03366362303495407, + "F": 0.010266824625432491, + "G": 0.2818620502948761, + "H": 0.014033084735274315, + "I": 0.0014790763380005956, + "J": 0.0008971051429398358, + "K": 0.010928977280855179, + "L": 0.0003300265234429389 + }, + "sample": { + "question": "Что произошло со Статьей 31 Федерального закона \"О прокуратуре Российской Федерации\" N 2202-1-ФЗ?", + "answerA": "Была изменена", + "answerB": "Была добавлена новая часть", + "answerC": "Утратила силу", + "answerD": "Был добавлен комментарий", + "correct_answer": "Утратила силу", + "choices": [ + "Была изменена", + "2 года", + "При подаче заявления о возврате авансовых платежей уполномоченным лицом", + "Совершать сделки за свой счет, если имущества достаточно для исполнения обязательств", + "Была добавлена новая часть", + "Был добавлен комментарий", + "Утратила силу", + "Правила ведения бухгалтерского учета для индивидуальных предпринимателей.", + "Любые юридические лица, зарегистрированные в Российской Федерации", + "1 год", + "Если сумма авансовых платежей, заявленных к возврату, меньше фактического остатка авансовых платежей плательщика", + "Порядок проведения аудиторских проверок у организаций." + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nЧто произошло со Статьей 31 Федерального закона \"О прокуратуре Российской Федерации\" N 2202-1-ФЗ?\nA. Была изменена\nB. 2 года\nC. При подаче заявления о возврате авансовых платежей уполномоченным лицом\nD. Совершать сделки за свой счет, если имущества достаточно для исполнения обязательств\nE. Была добавлена новая часть\nF. Был добавлен комментарий\nG. Утратила силу\nH. Правила ведения бухгалтерского учета для индивидуальных предпринимателей.\nI. Любые юридические лица, зарегистрированные в Российской Федерации\nJ. 1 год\nK. Если сумма авансовых платежей, заявленных к возврату, меньше фактического остатка авансовых платежей плательщика\nL. Порядок проведения аудиторских проверок у организаций.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 183, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.001172006712295115, + "B": 0.0028114980086684227, + "C": 0.0991087257862091, + "D": 0.015198814682662487, + "E": 0.0038428620900958776, + "F": 0.0026411579456180334, + "G": 0.0016019432805478573, + "H": 0.0028114980086684227, + "I": 0.0004885650705546141, + "J": 0.0015048864297568798, + "K": 0.44417446851730347, + "L": 0.0012475947150960565 + }, + "sample": { + "question": "Что устанавливает Правительство Российской Федерации в рамках компетенции по решению вопросов финансового оздоровления и банкротства согласно Федеральному закону \"О несостоятельности (банкротстве)\" N 127-ФЗ?", + "answerA": "Правила ведения бухгалтерского учета для индивидуальных предпринимателей.", + "answerB": "Порядок проведения аудиторских проверок у организаций.", + "answerC": "Порядок объединения и представления в деле о банкротстве требований об уплате обязательных платежей и требований Российской Федерации по денежным обязательствам.", + "answerD": "Стандарты для маркетинговых исследований на рынке коммерческих услуг.", + "correct_answer": "C", + "choices": [ + "2 года", + "1 год", + "Если сумма авансовых платежей, заявленных к возврату, меньше фактического остатка авансовых платежей плательщика", + "Правила ведения бухгалтерского учета для индивидуальных предпринимателей.", + "При подаче заявления о возврате авансовых платежей уполномоченным лицом", + "Совершать сделки за свой счет, если имущества достаточно для исполнения обязательств", + "Только юридические лица, имеющие специальное разрешение от Министерства обороны", + "Любые юридические лица, зарегистрированные в Российской Федерации", + "Местные органы самоуправления", + "Стандарты для маркетинговых исследований на рынке коммерческих усл��г.", + "Порядок объединения и представления в деле о банкротстве требований об уплате обязательных платежей и требований Российской Федерации по денежным обязательствам.", + "Порядок проведения аудиторских проверок у организаций." + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nЧто устанавливает Правительство Российской Федерации в рамках компетенции по решению вопросов финансового оздоровления и банкротства согласно Федеральному закону \"О несостоятельности (банкротстве)\" N 127-ФЗ?\nA. 2 года\nB. 1 год\nC. Если сумма авансовых платежей, заявленных к возврату, меньше фактического остатка авансовых платежей плательщика\nD. Правила ведения бухгалтерского учета для индивидуальных предпринимателей.\nE. При подаче заявления о возврате авансовых платежей уполномоченным лицом\nF. Совершать сделки за свой счет, если имущества достаточно для исполнения обязательств\nG. Только юридические лица, имеющие специальное разрешение от Министерства обороны\nH. Любые юридические лица, зарегистрированные в Российской Федерации\nI. Местные органы самоуправления\nJ. Стандарты для маркетинговых исследований на рынке коммерческих услуг.\nK. Порядок объединения и представления в деле о банкротстве требований об уплате обязательных платежей и требований Российской Федерации по денежным обязательствам.\nL. Порядок проведения аудиторских проверок у организаций.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 224, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.031116971746087074, + "B": 0.3790823221206665, + "C": 0.22992505133152008, + "D": 0.0658746212720871, + "E": 0.04527492821216583, + "F": 0.051303211599588394, + "G": 0.051303211599588394, + "H": 0.031116971746087074, + "I": 0.0022541058715432882, + "J": 0.021386362612247467, + "K": 0.021386362612247467, + "L": 0.0015492228558287024 + }, + "sample": { + "question": "Каков срок признания социально ориентированной некоммерческой организации исполнителем общественно полезных услуг, после которого может быть проведено повторное признание в упрощенном порядке?", + "answerA": "1 год", + "answerB": "2 года", + "answerC": "3 года", + "answerD": "5 лет", + "correct_answer": "B", + "choices": [ + "Только юридические лица, имеющие специальное разрешение от Министерства обороны", + "3 года", + "15 рабочих дней", + "Местные органы самоуправления", + "При подаче заявления о возврате авансовых платежей уполномоченным лицом", + "5 лет", + "Любые юридические лица, зарегистрированные в Российской Федерации", + "2 года", + "Использовать в своих интересах денежные средства, находящиеся на специальном брокерском счете", + "1 год", + "Если сумма авансовых платежей, заявленных к возврату, меньше фактического остатка авансовых платежей плательщика", + "Совершать сделки за свой счет, если имущества достаточно для исполнения обязательств" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКаков срок признания социально ориентированной некоммерческой организации исполнителем общественно полезных услуг, после которого может быть проведено повторное признание в упрощенном порядке?\nA. Только юридические лица, имеющие специальное разрешение от Министерства обороны\nB. 3 года\nC. 15 рабочих дней\nD. Местные органы самоуправления\nE. При подаче заявления о возврате авансовых платежей уполномоченным лицом\nF. 5 лет\nG. Любые юридические лица, зарегистрированные в Российской Федерации\nH. 2 года\nI. Использовать в своих интересах денежные средства, находящиеся на специальном брокерском счете\nJ. 1 год\nK. Если сумма авансовых платежей, заявленных к возврату, меньше фактического остатка авансовых платежей плательщика\nL. Совершать сделки за свой счет, если имущества достаточно для исполнения обязательств\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 191, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.08483658730983734, + "B": 0.0660707950592041, + "C": 0.20351237058639526, + "D": 0.09613243490457535, + "E": 0.03536514937877655, + "F": 0.03536514937877655, + "G": 0.230609729886055, + "H": 0.0660707950592041, + "I": 0.006963810417801142, + "J": 0.0122218681499362, + "K": 0.04007396101951599, + "L": 0.002561842789873481 + }, + "sample": { + "question": "Согласно Федеральному закону \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ, в каком случае возврат авансовых платежей не производится?", + "answerA": "Если сумма авансовых платежей, заявленных к возврату, меньше фактического остатка авансовых платежей плательщика", + "answerB": "При подаче заявления о возврате авансовых платежей уполномоченным лицом", + "answerC": "Если возврат авансовых платежей запрошен в иностранной валюте", + "answerD": "При подаче заявления о возврате авансовых платежей в электронном виде с использованием усиленной квалифицированной электронной подписи", + "correct_answer": "Если возврат авансовых платежей запрошен в иностранной валюте", + "choices": [ + "Федеральное Собрание", + "При подаче заявления о возврате авансовых платежей уполномоченным лицом", + "Если возврат авансовых платежей запрошен в иностранной валюте", + "Местные органы самоуправления", + "Любые юридические лица, зарегистрированные в Российской Федерации", + "Только юридические лица, имеющие специальное разрешение от Министерства обороны", + "Если сумма авансовых платежей, заявленных к возврату, меньше фактического остатка авансовых платежей плательщика", + "При подаче заявления о возврате авансовых платежей в электронном виде с использованием усиленной квалифицированной электронной подписи", + "Им предоставляется доступ к секретной и��формации.", + "Использовать в своих интересах денежные средства, находящиеся на специальном брокерском счете", + "15 рабочих дней", + "Совершать сделки за свой счет, если имущества достаточно для исполнения обязательств" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nСогласно Федеральному закону \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ, в каком случае возврат авансовых платежей не производится?\nA. Федеральное Собрание\nB. При подаче заявления о возврате авансовых платежей уполномоченным лицом\nC. Если возврат авансовых платежей запрошен в иностранной валюте\nD. Местные органы самоуправления\nE. Любые юридические лица, зарегистрированные в Российской Федерации\nF. Только юридические лица, имеющие специальное разрешение от Министерства обороны\nG. Если сумма авансовых платежей, заявленных к возврату, меньше фактического остатка авансовых платежей плательщика\nH. При подаче заявления о возврате авансовых платежей в электронном виде с использованием усиленной квалифицированной электронной подписи\nI. Им предоставляется доступ к секретной информации.\nJ. Использовать в своих интересах денежные средства, находящиеся на специальном брокерском счете\nK. 15 рабочих дней\nL. Совершать сделки за свой счет, если имущества достаточно для исполнения обязательств\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 241, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.002614158671349287, + "B": 0.11115685105323792, + "C": 0.002035908866673708, + "D": 0.014132007956504822, + "E": 0.003153277328237891, + "F": 0.008052175864577293, + "G": 0.008052175864577293, + "H": 0.821344256401062, + "I": 0.00022842263570055366, + "J": 0.0005479574319906533, + "K": 0.0005832976312376559, + "L": 0.003356646280735731 + }, + "sample": { + "question": "Какие юридические лица имеют право на производство оружия и патронов к нему в соответствии с Федеральным законом \"Об оружии\" N 150-ФЗ?", + "answerA": "Любые юридические лица, зарегистрированные в Российской Федерации", + "answerB": "Только юридические лица, имеющие специальное разрешение от Министерства обороны", + "answerC": "Юридические лица, имеющие лицензию на производство, в порядке, устанавливаемом Правительством Российской Федерации", + "answerD": "Юридические лица, занимающиеся производством табачных изделий", + "correct_answer": "Юридические лица, имеющие лицензию на производство, в порядке, устанавливаемом Правительством Российской Федерации", + "choices": [ + "15 рабочих дней", + "Только юридические лица, имеющие специальное разрешение от Министерства обороны", + "Юридические лица, занимающиеся производством табачных изделий", + "Любые юридические лица, зарегистрированные в Российской Федерации", + "Федеральное Собрание", + "Им предоставляется доступ к секретной информации.", + "Местные органы самоуправления", + "Юридические лица, имеющие лицензию на производство, в порядке, устанавливаемом Правительством Российской Федерации", + "Использовать в своих интересах денежные средства, находящиеся на специальном брокерском счете", + "Совершать сделки за свой счет, если имущества достаточно для исполнения обязательств", + "30 рабочих дней", + "По желанию военнослужащего" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакие юридические лица имеют право на производство оружия и патронов к нему в соответствии с Федеральным законом \"Об оружии\" N 150-ФЗ?\nA. 15 рабочих дней\nB. Только юридические лица, имеющие специальное разрешение от Министерства обороны\nC. Юридические лица, занимающиеся производством табачных изделий\nD. Любые юридические лица, зарегистрированные в Российской Федерации\nE. Федеральное Собрание\nF. Им предоставляется доступ к секретной информации.\nG. Местные органы самоуправления\nH. Юридические лица, имеющие лицензию на производство, в порядке, устанавливаемом Правительством Российской Федерации\nI. Использовать в своих интересах денежные средства, находящиеся на специальном брокерском счете\nJ. Совершать сделки за свой счет, если имущества достаточно для исполнения обязательств\nK. 30 рабочих дней\nL. По желанию военнослужащего\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 192, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0918361246585846, + "B": 0.08104510605335236, + "C": 0.03378462418913841, + "D": 0.05929386243224144, + "E": 0.0715220496058464, + "F": 0.03828299045562744, + "G": 0.05570142716169357, + "H": 0.22030341625213623, + "I": 0.026311492547392845, + "J": 0.1040639728307724, + "K": 0.043380312621593475, + "L": 0.0715220496058464 + }, + "sample": { + "question": "Что нельзя делать профессиональному участнику рынка ценных бумаг, управляющей компании, клиринговой организации при введении наблюдения, согласно Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ статье 185.4?", + "answerA": "Совершать сделки за свой счет, если имущества достаточно для исполнения обязательств", + "answerB": "Использовать в своих интересах денежные средства, находящиеся на специальном брокерском счете", + "answerC": "Предоставлять собственное имущество в заем с согласия временного управляющего", + "answerD": "Передавать денежные средства и иное имущество клиента без наличия задолженности перед клиентом", + "correct_answer": "B", + "choices": [ + "Федеральное Собрание", + "30 рабочих дней", + "Местные органы самоуправления", + "Предоставлять собственное имущество в заем с согласия временного управляющего", + "Им предоставляется доступ к секретной информации.", + "15 рабочих дней", + "Им предоставляются преимущества при участии в размеще��ии заказов.", + "Использовать в своих интересах денежные средства, находящиеся на специальном брокерском счете", + "Совершать сделки за свой счет, если имущества достаточно для исполнения обязательств", + "Передавать денежные средства и иное имущество клиента без наличия задолженности перед клиентом", + "По усмотрению владельца оружия, без дополнительных условий.", + "По желанию военнослужащего" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nЧто нельзя делать профессиональному участнику рынка ценных бумаг, управляющей компании, клиринговой организации при введении наблюдения, согласно Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ статье 185.4?\nA. Федеральное Собрание\nB. 30 рабочих дней\nC. Местные органы самоуправления\nD. Предоставлять собственное имущество в заем с согласия временного управляющего\nE. Им предоставляется доступ к секретной информации.\nF. 15 рабочих дней\nG. Им предоставляются преимущества при участии в размещении заказов.\nH. Использовать в своих интересах денежные средства, находящиеся на специальном брокерском счете\nI. Совершать сделки за свой счет, если имущества достаточно для исполнения обязательств\nJ. Передавать денежные средства и иное имущество клиента без наличия задолженности перед клиентом\nK. По усмотрению владельца оружия, без дополнительных условий.\nL. По желанию военнослужащего\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 204, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.017213623970746994, + "B": 0.03644124045968056, + "C": 0.5700369477272034, + "D": 0.022102730348706245, + "E": 0.008131139911711216, + "F": 0.005948869977146387, + "G": 0.02504567615687847, + "H": 0.007175706326961517, + "I": 0.0008570158970542252, + "J": 0.002055874327197671, + "K": 0.11224692314863205, + "L": 0.0011714018182829022 + }, + "sample": { + "question": "Кто разрабатывает, утверждает, изменяет и отменяет своды правил по Федеральному закону \"О стандартизации в Российской Федерации\" N 162-ФЗ?", + "answerA": "Местные органы самоуправления", + "answerB": "Федеральное Собрание", + "answerC": "Федеральный орган исполнительной власти или Государственная корпорация по атомной энергии \"Росатом\"", + "answerD": "Министерство экономического развития", + "correct_answer": "Федеральный орган исполнительной власти или Государственная корпорация по атомной энергии \"Росатом\"", + "choices": [ + "30 рабочих дней", + "Министерство экономического развития", + "Федеральный орган исполнительной власти или Государственная корпорация по атомной энергии \"Росатом\"", + "Им предоставляется доступ к секретной информации.", + "15 рабочих дней", + "Только собственники недвижимого имущества", + "По усмотрению владельца оружия, без дополнительных условий.", + "Им предоставляются преимущества при участии в размещении заказов.", + "При переводе военнослужащего в другую воинскую часть", + "Местные органы самоуправления", + "Федеральное Собрание", + "По желанию военнослужащего" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКто разрабатывает, утверждает, изменяет и отменяет своды правил по Федеральному закону \"О стандартизации в Российской Федерации\" N 162-ФЗ?\nA. 30 рабочих дней\nB. Министерство экономического развития\nC. Федеральный орган исполнительной власти или Государственная корпорация по атомной энергии \"Росатом\"\nD. Им предоставляется доступ к секретной информации.\nE. 15 рабочих дней\nF. Только собственники недвижимого имущества\nG. По усмотрению владельца оружия, без дополнительных условий.\nH. Им предоставляются преимущества при участии в размещении заказов.\nI. При переводе военнослужащего в другую воинскую часть\nJ. Местные органы самоуправления\nK. Федеральное Собрание\nL. По желанию военнослужащего\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 165, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.003755098907276988, + "B": 0.006191111169755459, + "C": 0.003755098907276988, + "D": 0.0074679055251181126, + "E": 0.2802310883998871, + "F": 0.029536139219999313, + "G": 0.02606555074453354, + "H": 0.21824419498443604, + "I": 0.16996875405311584, + "J": 0.11681769788265228, + "K": 0.010865738615393639, + "L": 0.0486968569457531 + }, + "sample": { + "question": "Какой срок установлен Федеральным законом \"Об охране окружающей среды\" N 7-ФЗ для включения объектов накопленного вреда окружающей среде в государственный реестр после поступления результатов их инвентаризации?", + "answerA": "15 рабочих дней", + "answerB": "30 рабочих дней", + "answerC": "45 рабочих дней", + "answerD": "60 рабочих дней", + "correct_answer": "B", + "choices": [ + "Им предоставляются преимущества при участии в размещении заказов.", + "С предварительным уведомлением и получением разрешения от министерства обороны.", + "По усмотрению владельца оружия, без дополнительных условий.", + "По желанию военнослужащего", + "15 рабочих дней", + "Им предоставляется доступ к секретной информации.", + "При переводе военнослужащего в другую воинскую часть", + "60 рабочих дней", + "45 рабочих дней", + "30 рабочих дней", + "Только собственники недвижимого имущества", + "Только советом директоров общества" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКакой срок установлен Федеральным законом \"Об охране окружающей среды\" N 7-ФЗ для включения объектов накопленного вреда окружающей среде в государственный реестр после поступления результатов их инвентаризации?\nA. Им предоставляются преимущества при участии в размещении заказов.\nB. С предварительным уведомлением и получением разрешения от министерства обороны.\nC. По усмотрению владельца оружия, без дополнительных условий.\nD. По ж��ланию военнослужащего\nE. 15 рабочих дней\nF. Им предоставляется доступ к секретной информации.\nG. При переводе военнослужащего в другую воинскую часть\nH. 60 рабочих дней\nI. 45 рабочих дней\nJ. 30 рабочих дней\nK. Только собственники недвижимого имущества\nL. Только советом директоров общества\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 170, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0024620648473501205, + "B": 0.038513172417879105, + "C": 0.0560363307595253, + "D": 0.020614614710211754, + "E": 0.009737654589116573, + "F": 0.013309796340763569, + "G": 0.008072799071669579, + "H": 0.043641138821840286, + "I": 0.0009641583310440183, + "J": 0.0055483486503362656, + "K": 0.06349748373031616, + "L": 0.5316579341888428 + }, + "sample": { + "question": "Какие преимущества предоставляются учреждениям и предприятиям уголовно-исполнительной системы и организациям инвалидов при участии в размещении заказов согласно Федеральному закону \"О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд\" N 44-ФЗ?", + "answerA": "Им предоставляется доступ к секретной информации.", + "answerB": "Им предоставляются преимущества при участии в размещении заказов.", + "answerC": "Они освобождаются от уплаты налогов при участии в закупках.", + "answerD": "Им предоставляется право первоочередного заключения контрактов без конкурса.", + "correct_answer": "Им предоставляются преимущества при участии в размещении заказов.", + "choices": [ + "Им предоставляется доступ к секретной информации.", + "При переводе военнослужащего в другую воинскую часть", + "Им предоставляются преимущества при участии в размещении заказов.", + "Только российские граждане", + "По желанию военнослужащего", + "Они освобождаются от уплаты налогов при участии в закупках.", + "По усмотрению владельца оружия, без дополнительных условий.", + "Только собственники недвижимого имущества", + "Только советом директоров общества", + "Все собственность крестьянского (фермерского) хозяйства переходит в собственность государства.", + "С предварительным уведомлением и получением разрешения от министерства обороны.", + "Им предоставляется право первоочередного заключения контрактов без конкурса." + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКакие преимущества предоставляются учреждениям и предприятиям уголовно-исполнительной системы и организациям инвалидов при участии в размещении заказов согласно Федеральному закону \"О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд\" N 44-ФЗ?\nA. Им предоставляется доступ к секретной информации.\nB. При переводе военнослужащего в другую воинскую часть\nC. Им предоставляются преимущества при участии в размещении заказов.\nD. Только российские граждане\nE. По желанию военнослужащего\nF. Они освобождаются от уплаты налогов при участии в закупках.\nG. По усмотрению владельца оружия, без дополнительных условий.\nH. Только собственники недвижимого имущества\nI. Только советом директоров общества\nJ. Все собственность крестьянского (фермерского) хозяйства переходит в собственность государства.\nK. С предварительным уведомлением и получением разрешения от министерства обороны.\nL. Им предоставляется право первоочередного заключения контрактов без конкурса.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 212, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0062620812095701694, + "B": 0.6000497341156006, + "C": 0.0632447749376297, + "D": 0.0181199312210083, + "E": 0.005526266526430845, + "F": 0.012453634291887283, + "G": 0.0181199312210083, + "H": 0.007553511299192905, + "I": 0.0004003214417025447, + "J": 0.0632447749376297, + "K": 0.09202060848474503, + "L": 0.0006600184133276343 + }, + "sample": { + "question": "Согласно Федеральному закону \"О статусе военнослужащих\" N 76-ФЗ, Статье 28.10, в каком случае исполнение дисциплинарного взыскания прекращается досрочно?", + "answerA": "По желанию военнослужащего", + "answerB": "При переводе военнослужащего в другую воинскую часть", + "answerC": "Гибель (смерть) военнослужащего, признания его безвестно отсутствующим или объявления умершим", + "answerD": "По истечении срока службы", + "correct_answer": "Гибель (смерть) военнослужащего, признания его безвестно отсутствующим или объявления умершим", + "choices": [ + "По истечении срока службы", + "Гибель (смерть) военнослужащего, признания его безвестно отсутствующим или объявления умершим", + "По желанию военнослужащего", + "Только общим собранием акционеров", + "Все собственность крестьянского (фермерского) хозяйства переходит в собственность государства.", + "Только собственники недвижимого имущества", + "При переводе военнослужащего в другую воинскую часть", + "Только советом директоров общества", + "По усмотрению владельца оружия, без дополнительных условий.", + "Только российские граждане", + "С предварительным уведомлением и получением разрешения от министерства обороны.", + "двадцать дней" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nСогласно Федеральному закону \"О статусе военнослужащих\" N 76-ФЗ, Статье 28.10, в каком случае исполнение дисциплинарного взыскания прекращается досрочно?\nA. По истечении срока службы\nB. Гибель (смерть) военнослужащего, признания его безвестно отсутствующим или объявления умершим\nC. По желанию военнослужащего\nD. Только общим собранием акционеров\nE. Все собственность крестьянского (фермерского) хозяйства переходит в собственность государства.\nF. Только собственники недвижимого имущества\nG. При переводе военнослужащего в другую воинскую часть\nH. Только советом директоров общества\nI. По усмотрению владельца оружия, без дополнительных условий.\nJ. Только российские граждане\nK. С предварительным уведомлением и получением разрешения от министерства обороны.\nL. двадцать дней\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 180, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0028923838399350643, + "B": 0.22977052628993988, + "C": 0.00693846819922328, + "D": 0.02007712423801422, + "E": 0.014688737690448761, + "F": 0.02421763353049755, + "G": 0.01074650976806879, + "H": 0.01886071264743805, + "I": 0.0005026209400966763, + "J": 0.05126873031258583, + "K": 0.021371988579630852, + "L": 0.48642420768737793 + }, + "sample": { + "question": "В каком порядке осуществляется дарение и наследование гражданского оружия, зарегистрированного в федеральном органе исполнительной власти?", + "answerA": "По усмотрению владельца оружия, без дополнительных условий.", + "answerB": "С предварительным уведомлением и получением разрешения от министерства обороны.", + "answerC": "В порядке, определяемом законодательством Российской Федерации, при наличии у наследника или лица, в пользу которого осуществляется дарение, лицензии на приобретение оружия.", + "answerD": "Только через официальные торги или аукционы.", + "correct_answer": "C", + "choices": [ + "двадцать дней", + "С предварительным уведомлением и получением разрешения от министерства обороны.", + "Только собственники недвижимого имущества", + "Только советом директоров общества", + "Только общим собранием акционеров", + "Только через официальные торги или аукционы.", + "Все собственность крестьянского (фермерского) хозяйства переходит в собственность государства.", + "Только российские граждане", + "Государственная регистрация главы крестьянского (фермерского) хозяйства в качестве индивидуального предпринимателя утрачивает силу.", + "Статья 8.1", + "По усмотрению владельца оружия, без дополнительных условий.", + "В порядке, определяемом законодательством Российской Федерации, при наличии у наследника или лица, в пользу которого осуществляется дарение, лицензии на приобретение оружия." + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nВ каком порядке осуществляется дарение и наследование гражданского оружия, зарегистрированного в федеральном органе исполнительной власти?\nA. двадцать дней\nB. С предварительным уведомлением и получением разрешения от министерства обороны.\nC. Только собственники недвижимого имущества\nD. Только советом директоров общества\nE. Только общим собранием акционеров\nF. Только через официальные торги или аукционы.\nG. Все собственность крестьянского (фермерского) хозяйства переходит в собственность государства.\nH. Только российские граждане\nI. Государственная регистрация главы крестьянского (фермерского) хоз��йства в качестве индивидуального предпринимателя утрачивает силу.\nJ. Статья 8.1\nK. По усмотрению владельца оружия, без дополнительных условий.\nL. В порядке, определяемом законодательством Российской Федерации, при наличии у наследника или лица, в пользу которого осуществляется дарение, лицензии на приобретение оружия.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 187, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0003264526603743434, + "B": 0.0007356724818237126, + "C": 0.0002388378925388679, + "D": 0.005786512047052383, + "E": 0.0027333549223840237, + "F": 0.0008336260798387229, + "G": 0.003509697038680315, + "H": 0.9731417298316956, + "I": 0.000369919347576797, + "J": 0.00022436740982811898, + "K": 0.00047498586354777217, + "L": 0.001999764936044812 + }, + "sample": { + "question": "Кто является участником отношений при осуществлении государственного кадастрового учета и государственной регистрации прав согласно Федеральному закону \"О государственной регистрации недвижимости\" N 218-ФЗ, Статья 4?", + "answerA": "Только собственники недвижимого имущества", + "answerB": "Только российские граждане", + "answerC": "Собственники недвижимого имущества, иностранные граждане, юридические лица, кадастровые инженеры и другие указанные лица", + "answerD": "Только кадастровые инженеры", + "correct_answer": "Собственники недвижимого имущества, иностранные граждане, юридические лица, кадастровые инженеры и другие указанные лица", + "choices": [ + "Государственная регистрация главы крестьянского (фермерского) хозяйства в качестве индивидуального предпринимателя утрачивает силу.", + "Только общим собранием акционеров", + "Только кадастровые инженеры", + "двадцать дней", + "Статья 8.1", + "Только советом директоров общества", + "семь дней", + "Собственники недвижимого имущества, иностранные граждане, юридические лица, кадастровые инженеры и другие указанные лица", + "Только российские граждане", + "Все собственность крестьянского (фермерского) хозяйства переходит в собственность государства.", + "Обращаться за помощью к частным охранным службам для проведения контрольных мероприятий.", + "Только собственники недвижимого имущества" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКто является участником отношений при осуществлении государственного кадастрового учета и государственной регистрации прав согласно Федеральному закону \"О государственной регистрации недвижимости\" N 218-ФЗ, Статья 4?\nA. Государственная регистрация главы крестьянского (фермерского) хозяйства в качестве индивидуального предпринимателя утрачивает силу.\nB. Только общим собранием акционеров\nC. Только кадастровые инженеры\nD. двадцать дней\nE. Статья 8.1\nF. Только советом директоров общества\nG. семь дней\nH. Собственники недвижимого имущества, иностранные граждане, ��ридические лица, кадастровые инженеры и другие указанные лица\nI. Только российские граждане\nJ. Все собственность крестьянского (фермерского) хозяйства переходит в собственность государства.\nK. Обращаться за помощью к частным охранным службам для проведения контрольных мероприятий.\nL. Только собственники недвижимого имущества\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 196, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.01621403731405735, + "B": 0.032245464622974396, + "C": 0.02216196060180664, + "D": 0.05316378176212311, + "E": 0.2102668285369873, + "F": 0.11254773288965225, + "G": 0.04691687226295471, + "H": 0.09932302683591843, + "I": 0.14451414346694946, + "J": 0.12753328680992126, + "K": 0.0183729100972414, + "L": 0.0011745409574359655 + }, + "sample": { + "question": "Кем может быть принято решение об увеличении уставного капитала банка путем размещения привилегированных акций согласно Федеральному закону \"Об акционерных обществах\" N 208-ФЗ?", + "answerA": "Только советом директоров общества", + "answerB": "Только общим собранием акционеров", + "answerC": "Только правительством Российской Федерации", + "answerD": "Только Президентом Российской Федерации", + "correct_answer": "Только общим собранием акционеров", + "choices": [ + "семь дней", + "Сотрудник полиции при получении приказа, противоречащего закону, обязан руководствоваться законом.", + "Только советом директоров общества", + "Все собственность крестьянского (фермерского) хозяйства переходит в собственность государства.", + "Статья 8.1", + "Только правительством Российской Федерации", + "Обращаться за помощью к частным охранным службам для проведения контрольных мероприятий.", + "двадцать дней", + "Статьи 10.1 - 10.3", + "Только общим собранием акционеров", + "Только Президентом Российской Федерации", + "Государственная регистрация главы крестьянского (фермерского) хозяйства в качестве индивидуального предпринимателя утрачивает силу." + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКем может быть принято решение об увеличении уставного капитала банка путем размещения привилегированных акций согласно Федеральному закону \"Об акционерных обществах\" N 208-ФЗ?\nA. семь дней\nB. Сотрудник полиции при получении приказа, противоречащего закону, обязан руководствоваться законом.\nC. Только советом директоров общества\nD. Все собственность крестьянского (фермерского) хозяйства переходит в собственность государства.\nE. Статья 8.1\nF. Только правительством Российской Федерации\nG. Обращаться за помощью к частным охранным службам для проведения контрольных мероприятий.\nH. двадцать дней\nI. Статьи 10.1 - 10.3\nJ. Только общим собранием акционеров\nK. Только Президентом Российской Федерации\nL. Государственная регистрация главы крестьянского (фермерского) хозяйства в качестве и��дивидуального предпринимателя утрачивает силу.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 192, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.07839741557836533, + "B": 0.053881704807281494, + "C": 0.032680902630090714, + "D": 0.053881704807281494, + "E": 0.21310627460479736, + "F": 0.022461235523223877, + "G": 0.04755043610930443, + "H": 0.35135284066200256, + "I": 0.013623427599668503, + "J": 0.010609936900436878, + "K": 0.01543736644089222, + "L": 0.00996711291372776 + }, + "sample": { + "question": "Каково одно из последствий признания крестьянского (фермерского) хозяйства банкротом согласно статье 223 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?", + "answerA": "Все собственность крестьянского (фермерского) хозяйства переходит в собственность государства.", + "answerB": "Государственная регистрация главы крестьянского (фермерского) хозяйства в качестве индивидуального предпринимателя утрачивает силу.", + "answerC": "Главе хозяйства автоматически предоставляется новый статус индивидуального предпринимателя.", + "answerD": "Крестьянское (фермерское) хозяйство обязано удвоить производственные объемы в следующем году.", + "correct_answer": "B", + "choices": [ + "двадцать дней", + "Обращаться за помощью к частным охранным службам для проведения контрольных мероприятий.", + "По соглашению между залогодателем и залогодержателем", + "Главе хозяйства автоматически предоставляется новый статус индивидуального предпринимателя.", + "Проводить контрольные мероприятия и совершать контрольные действия на законном основании и в соответствии с их назначением только во время исполнения служебных обязанностей.", + "Сотрудник полиции при получении приказа, противоречащего закону, обязан руководствоваться законом.", + "семь дней", + "Государственная регистрация главы крестьянского (фермерского) хозяйства в качестве индивидуального предпринимателя утрачивает силу.", + "Все собственность крестьянского (фермерского) хозяйства переходит в собственность государства.", + "Статьи 10.1 - 10.3", + "Крестьянское (фермерское) хозяйство обязано удвоить производственные объемы в следующем году.", + "Статья 8.1" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКаково одно из последствий признания крестьянского (фермерского) хозяйства банкротом согласно статье 223 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?\nA. двадцать дней\nB. Обращаться за помощью к частным охранным службам для проведения контрольных мероприятий.\nC. По соглашению между залогодателем и залогодержателем\nD. Главе хозяйства автоматически предоставляется новый статус индивидуального предпринимателя.\nE. Проводить контрольные мероприятия и совершать контрольные действия на законном основании и в соответствии с их назначением только во время исполнения служебных обязанностей.\nF. Сотрудник полиции при получении приказа, противоречащего закону, обязан руководствоваться законом.\nG. семь дней\nH. Государственная регистрация главы крестьянского (фермерского) хозяйства в качестве индивидуального предпринимателя утрачивает силу.\nI. Все собственность крестьянского (фермерского) хозяйства переходит в собственность государства.\nJ. Статьи 10.1 - 10.3\nK. Крестьянское (фермерское) хозяйство обязано удвоить производственные объемы в следующем году.\nL. Статья 8.1\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 246, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.04611321911215782, + "B": 0.3006959557533264, + "C": 0.0522531159222126, + "D": 0.0522531159222126, + "E": 0.0670943334698677, + "F": 0.11061986535787582, + "G": 0.0522531159222126, + "H": 0.12534871697425842, + "I": 0.003785203443840146, + "J": 0.021782342344522476, + "K": 0.011659246869385242, + "L": 0.05921053886413574 + }, + "sample": { + "question": "Сколько дней минимум до даты окончания подачи заявок на участие в открытом аукционе в электронной форме должно быть размещено извещение, если начальная (максимальная) цена контракта не превышает три миллиона рублей?", + "answerA": "двадцать дней", + "answerB": "семь дней", + "answerC": "пятнадцать дней", + "answerD": "десять дней", + "correct_answer": "семь дней", + "choices": [ + "Статьи 10.1 - 10.3", + "двадцать дней", + "Статья 8.1", + "Проводить контрольные мероприятия и совершать контрольные действия на законном основании и в соответствии с их назначением только во время исполнения служебных обязанностей.", + "Обращаться за помощью к частным охранным службам для проведения контрольных мероприятий.", + "пятнадцать дней", + "Исключительно на основании законодательства о недрах", + "семь дней", + "Сотрудник полиции при получении приказа, противоречащего закону, обязан руководствоваться законом.", + "По соглашению между залогодателем и залогодержателем", + "Воспрепятствование выполнению сотрудником полиции служебных обязанностей влечет ответственность, предусмотренную законодательством.", + "десять дней" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nСколько дней минимум до даты окончания подачи заявок на участие в открытом аукционе в электронной форме должно быть размещено извещение, если начальная (максимальная) цена контракта не превышает три миллиона рублей?\nA. Статьи 10.1 - 10.3\nB. двадцать дней\nC. Статья 8.1\nD. Проводить контрольные мероприятия и совершать контрольные действия на законном основании и в соответствии с их назначением только во время исполнения служебных обязанностей.\nE. Обращаться за помощью к частным охранным службам для проведения контрольных мероприятий.\nF. пятнадцать дней\nG. Исключительно на основании законодательства о недрах\nH. семь дней\nI. Сотру��ник полиции при получении приказа, противоречащего закону, обязан руководствоваться законом.\nJ. По соглашению между залогодателем и залогодержателем\nK. Воспрепятствование выполнению сотрудником полиции служебных обязанностей влечет ответственность, предусмотренную законодательством.\nL. десять дней\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 216, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.4779225289821625, + "B": 0.03923026844859123, + "C": 0.0503726601600647, + "D": 0.1208377406001091, + "E": 0.06467977911233902, + "F": 0.03923026844859123, + "G": 0.03923026844859123, + "H": 0.030552564188838005, + "I": 0.017408326268196106, + "J": 0.010558683425188065, + "K": 0.010558683425188065, + "L": 0.002841831184923649 + }, + "sample": { + "question": "Какие статьи Федерального закона 'О государственных пособиях гражданам, имеющим детей' N 81-ФЗ утратили силу с 1 мая 2022 года?", + "answerA": "Статья 8.1", + "answerB": "Статьи 10.1 - 10.3", + "answerC": "Статья 15.5", + "answerD": "Статья 12", + "correct_answer": "Статьи 10.1 - 10.3", + "choices": [ + "Статьи 10.1 - 10.3", + "Если декларант активно продвигает экологически чистое производство товаров", + "Только по решению суда", + "Статья 12", + "Проводить контрольные мероприятия и совершать контрольные действия на законном основании и в соответствии с их назначением только во время исполнения служебных обязанностей.", + "По соглашению между залогодателем и залогодержателем", + "Статья 15.5", + "Сотрудник полиции при получении приказа, противоречащего закону, обязан руководствоваться законом.", + "Статья 8.1", + "Обращаться за помощью к частным охранным службам для проведения контрольных мероприятий.", + "Исключительно на основании законодательства о недрах", + "Воспрепятствование выполнению сотрудником полиции служебных обязанностей влечет ответственность, предусмотренную законодательством." + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКакие статьи Федерального закона 'О государственных пособиях гражданам, имеющим детей' N 81-ФЗ утратили силу с 1 мая 2022 года?\nA. Статьи 10.1 - 10.3\nB. Если декларант активно продвигает экологически чистое производство товаров\nC. Только по решению суда\nD. Статья 12\nE. Проводить контрольные мероприятия и совершать контрольные действия на законном основании и в соответствии с их назначением только во время исполнения служебных обязанностей.\nF. По соглашению между залогодателем и залогодержателем\nG. Статья 15.5\nH. Сотрудник полиции при получении приказа, противоречащего закону, обязан руководствоваться законом.\nI. Статья 8.1\nJ. Обращаться за помощью к частным охранным службам для проведения контрольных мероприятий.\nK. Исключительно на основании законодательства о недрах\nL. Воспрепятствование выполнению сотрудником полиции служебных обязанностей влечет ответственность, пре��усмотренную законодательством.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 229, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.015488606877624989, + "B": 0.845649242401123, + "C": 0.004723758436739445, + "D": 0.0022313452791422606, + "E": 0.0008208660292439163, + "F": 0.0002836837084032595, + "G": 0.00016163810505531728, + "H": 0.00011109214392490685, + "I": 4.929683927912265e-05, + "J": 6.329840107355267e-05, + "K": 2.478800706740003e-05, + "L": 6.67160111333942e-06 + }, + "sample": { + "question": "Какие из перечисленных действий являются обязанностями инспектора согласно Федеральному закону от 31.07.2020 N 248-ФЗ?", + "answerA": "Обращаться за помощью к частным охранным службам для проведения контрольных мероприятий.", + "answerB": "Проводить контрольные мероприятия и совершать контрольные действия на законном основании и в соответствии с их назначением только во время исполнения служебных обязанностей.", + "answerC": "Игнорировать требования о предоставлении информации в едином реестре контрольных мероприятий.", + "answerD": "По собственному усмотрению изменять сроки проведения контрольных мероприятий без уведомления контролируемых лиц.", + "correct_answer": "B", + "choices": [ + "Исключительно на основании законодательства о недрах", + "Проводить контрольные мероприятия и совершать контрольные действия на законном основании и в соответствии с их назначением только во время исполнения служебных обязанностей.", + "Один понятой", + "По соглашению между залогодателем и залогодержателем", + "Обращаться за помощью к частным охранным службам для проведения контрольных мероприятий.", + "Если декларант активно продвигает экологически чистое производство товаров", + "Сотрудник полиции при получении приказа, противоречащего закону, обязан руководствоваться законом.", + "Игнорировать требования о предоставлении информации в едином реестре контрольных мероприятий.", + "На основании законодательства о недрах, земельного, водного, лесного законодательства, законодательства о животном мире и иного законодательства в области охраны окружающей среды", + "По собственному усмотрению изменять сроки проведения контрольных мероприятий без уведомления контролируемых лиц.", + "Воспрепятствование выполнению сотрудником полиции служебных обязанностей влечет ответственность, предусмотренную законодательством.", + "Только по решению суда" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКакие из перечисленных действий являются обязанностями инспектора согласно Федеральному закону от 31.07.2020 N 248-ФЗ?\nA. Исключительно на основании законодательства о недрах\nB. Проводить контрольные мероприятия и совершать контрольные действия на законном основании и в соответствии с их назначением только во время исполнения служебных обязанностей.\nC. ��дин понятой\nD. По соглашению между залогодателем и залогодержателем\nE. Обращаться за помощью к частным охранным службам для проведения контрольных мероприятий.\nF. Если декларант активно продвигает экологически чистое производство товаров\nG. Сотрудник полиции при получении приказа, противоречащего закону, обязан руководствоваться законом.\nH. Игнорировать требования о предоставлении информации в едином реестре контрольных мероприятий.\nI. На основании законодательства о недрах, земельного, водного, лесного законодательства, законодательства о животном мире и иного законодательства в области охраны окружающей среды\nJ. По собственному усмотрению изменять сроки проведения контрольных мероприятий без уведомления контролируемых лиц.\nK. Воспрепятствование выполнению сотрудником полиции служебных обязанностей влечет ответственность, предусмотренную законодательством.\nL. Только по решению суда\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 265, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.060587745159864426, + "B": 0.08281362801790237, + "C": 0.02688564918935299, + "D": 0.07308276742696762, + "E": 0.06865490227937698, + "F": 0.1753164529800415, + "G": 0.06865490227937698, + "H": 0.08281362801790237, + "I": 0.010528570972383022, + "J": 0.07308276742696762, + "K": 0.04164130613207817, + "L": 0.15471622347831726 + }, + "sample": { + "question": "Какой из нижеуказанных пунктов НЕ соответствует гарантиям правовой защиты сотрудника полиции, предусмотренным в Федеральном законе \"О полиции\" N 3-ФЗ, Статья 30?", + "answerA": "Сотрудник полиции при получении приказа, противоречащего закону, обязан руководствоваться законом.", + "answerB": "Воспрепятствование выполнению сотрудником полиции служебных обязанностей влечет ответственность, предусмотренную законодательством.", + "answerC": "Сотрудник полиции может давать объяснения по существу находящихся в его производстве дел и материалов по своему усмотрению.", + "answerD": "Государственная защита применяется в отношении сотрудника полиции, его семьи и близких родственников от преступных посягательств.", + "correct_answer": "answerC", + "choices": [ + "Исключительно на основании законодательства о недрах", + "На основании законодательства о недрах, земельного, водного, лесного законодательства, законодательства о животном мире и иного законодательства в области охраны окружающей среды", + "Сотрудник полиции при получении приказа, противоречащего закону, обязан руководствоваться законом.", + "Сотрудник полиции может давать объяснения по существу находящихся в его производстве дел и материалов по своему усмотрению.", + "Один понятой", + "Если декларант активно продвигает экологически чистое производство товаров", + "Воспрепятствование выполнению сотрудником полиции служебных обязанностей влечет о��ветственность, предусмотренную законодательством.", + "Только по решению суда", + "По соглашению между залогодателем и залогодержателем", + "Государственная защита применяется в отношении сотрудника полиции, его семьи и близких родственников от преступных посягательств.", + "Если декларант не соблюдает условия помещения товаров под таможенную процедуру переработки вне таможенной территории, установленные международными договорами и законодательством РФ", + "Министерство здравоохранения Российской Федерации" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКакой из нижеуказанных пунктов НЕ соответствует гарантиям правовой защиты сотрудника полиции, предусмотренным в Федеральном законе \"О полиции\" N 3-ФЗ, Статья 30?\nA. Исключительно на основании законодательства о недрах\nB. На основании законодательства о недрах, земельного, водного, лесного законодательства, законодательства о животном мире и иного законодательства в области охраны окружающей среды\nC. Сотрудник полиции при получении приказа, противоречащего закону, обязан руководствоваться законом.\nD. Сотрудник полиции может давать объяснения по существу находящихся в его производстве дел и материалов по своему усмотрению.\nE. Один понятой\nF. Если декларант активно продвигает экологически чистое производство товаров\nG. Воспрепятствование выполнению сотрудником полиции служебных обязанностей влечет ответственность, предусмотренную законодательством.\nH. Только по решению суда\nI. По соглашению между залогодателем и залогодержателем\nJ. Государственная защита применяется в отношении сотрудника полиции, его семьи и близких родственников от преступных посягательств.\nK. Если декларант не соблюдает условия помещения товаров под таможенную процедуру переработки вне таможенной территории, установленные международными договорами и законодательством РФ\nL. Министерство здравоохранения Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 260, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.12787127494812012, + "B": 0.06844456493854523, + "C": 0.041513726115226746, + "D": 0.053304679691791534, + "E": 0.12787127494812012, + "F": 0.0878845602273941, + "G": 0.04704121872782707, + "H": 0.07755785435438156, + "I": 0.06844456493854523, + "J": 0.1128460019826889, + "K": 0.02222069352865219, + "L": 0.017305495217442513 + }, + "sample": { + "question": "В соответствии со статьей 73 Федерального закона \"Об ипотеке (залоге недвижимости)\" N 102-ФЗ, в каком случае взыскание на заложенное предприятие может быть обращено?", + "answerA": "По соглашению между залогодателем и залогодержателем", + "answerB": "Только по решению суда", + "answerC": "По решению арбитражного управляющего", + "answerD": "Автоматически после наступления срока платежа", + "correct_answer": "B", + "choices": [ + "Исключител��но на основании законодательства о недрах", + "Один понятой", + "Только по решению суда", + "Автоматически после наступления срока платежа", + "Если декларант активно продвигает экологически чистое производство товаров", + "По соглашению между залогодателем и залогодержателем", + "Министерство здравоохранения Российской Федерации", + "По решению арбитражного управляющего", + "Если декларант не соблюдает условия помещения товаров под таможенную процедуру переработки вне таможенной территории, установленные международными договорами и законодательством РФ", + "На основании законодательства о недрах, земельного, водного, лесного законодательства, законодательства о животном мире и иного законодательства в области охраны окружающей среды", + "50 миллионов рублей", + "Два понятых" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nВ соответствии со статьей 73 Федерального закона \"Об ипотеке (залоге недвижимости)\" N 102-ФЗ, в каком случае взыскание на заложенное предприятие может быть обращено?\nA. Исключительно на основании законодательства о недрах\nB. Один понятой\nC. Только по решению суда\nD. Автоматически после наступления срока платежа\nE. Если декларант активно продвигает экологически чистое производство товаров\nF. По соглашению между залогодателем и залогодержателем\nG. Министерство здравоохранения Российской Федерации\nH. По решению арбитражного управляющего\nI. Если декларант не соблюдает условия помещения товаров под таможенную процедуру переработки вне таможенной территории, установленные международными договорами и законодательством РФ\nJ. На основании законодательства о недрах, земельного, водного, лесного законодательства, законодательства о животном мире и иного законодательства в области охраны окружающей среды\nK. 50 миллионов рублей\nL. Два понятых\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 217, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0013519098283722997, + "B": 0.03711489588022232, + "C": 0.00569175323471427, + "D": 0.05400184914469719, + "E": 0.017531832680106163, + "F": 0.6578772068023682, + "G": 0.032753776758909225, + "H": 0.04205667972564697, + "I": 0.0004973398172296584, + "J": 0.008815559558570385, + "K": 0.014534399844706059, + "L": 0.015471789054572582 + }, + "sample": { + "question": "В соответствии с Федеральным законом 'Об охране окружающей среды' N 7-ФЗ, на основании чего устанавливаются нормативы допустимого изъятия компонентов природной среды?", + "answerA": "Исключительно на основании законодательства о недрах", + "answerB": "На основании законодательства о недрах, земельного, водного, лесного законодательства, законодательства о животном мире и иного законодательства в области охраны окружающей среды", + "answerC": "По усмотрению региональных органов власти", + "answerD": "На о��новании международных экологических стандартов", + "correct_answer": "B", + "choices": [ + "Исключительно на основании законодательства о недрах", + "На основании международных экологических стандартов", + "50 миллионов рублей", + "В случае установления точных сведений о товарах, задержанных таможенными органами", + "Если декларант активно продвигает экологически чистое производство товаров", + "На основании законодательства о недрах, земельного, водного, лесного законодательства, законодательства о животном мире и иного законодательства в области охраны окружающей среды", + "Один понятой", + "Министерство здравоохранения Российской Федерации", + "Российская академия наук", + "Если декларант не соблюдает условия помещения товаров под таможенную процедуру переработки вне таможенной территории, установленные международными договорами и законодательством РФ", + "Два понятых", + "По усмотрению региональных органов власти" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nВ соответствии с Федеральным законом 'Об охране окружающей среды' N 7-ФЗ, на основании чего устанавливаются нормативы допустимого изъятия компонентов природной среды?\nA. Исключительно на основании законодательства о недрах\nB. На основании международных экологических стандартов\nC. 50 миллионов рублей\nD. В случае установления точных сведений о товарах, задержанных таможенными органами\nE. Если декларант активно продвигает экологически чистое производство товаров\nF. На основании законодательства о недрах, земельного, водного, лесного законодательства, законодательства о животном мире и иного законодательства в области охраны окружающей среды\nG. Один понятой\nH. Министерство здравоохранения Российской Федерации\nI. Российская академия наук\nJ. Если декларант не соблюдает условия помещения товаров под таможенную процедуру переработки вне таможенной территории, установленные международными договорами и законодательством РФ\nK. Два понятых\nL. По усмотрению региональных органов власти\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 211, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.14085523784160614, + "B": 0.007012769114226103, + "C": 0.0968082994222641, + "D": 0.011562101542949677, + "E": 0.006188747473061085, + "F": 0.003995755221694708, + "G": 0.009585319086909294, + "H": 0.0037536651361733675, + "I": 0.014846032485365868, + "J": 0.0031118972692638636, + "K": 0.33789414167404175, + "L": 0.00014554537483491004 + }, + "sample": { + "question": "Что может являться причиной отзыва разрешения на переработку товаров вне таможенной территории РФ согласно Федеральному закону \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?", + "answerA": "Если декларант активно про��вигает экологически чистое производство товаров", + "answerB": "Если декларант не соблюдает условия помещения товаров под таможенную процедуру переработки вне таможенной территории, установленные международными договорами и законодательством РФ", + "answerC": "Если декларант успешно выполняет все экономические обязательства перед таможенным органом в течение двух лет", + "answerD": "Если декларант посетил всемирную выставку товаров и технологий последовательно три года", + "correct_answer": "B", + "choices": [ + "Если декларант не соблюдает условия помещения товаров под таможенную процедуру переработки вне таможенной территории, установленные международными договорами и законодательством РФ", + "Российская академия наук", + "Все валютные операции подлежат полному запрету", + "Министерство здравоохранения Российской Федерации", + "Если декларант успешно выполняет все экономические обязательства перед таможенным органом в течение двух лет", + "50 миллионов рублей", + "Если декларант посетил всемирную выставку товаров и технологий последовательно три года", + "75 миллионов рублей", + "Один понятой", + "Два понятых", + "В случае установления точных сведений о товарах, задержанных таможенными органами", + "Если декларант активно продвигает экологически чистое производство товаров" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nЧто может являться причиной отзыва разрешения на переработку товаров вне таможенной территории РФ согласно Федеральному закону \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?\nA. Если декларант не соблюдает условия помещения товаров под таможенную процедуру переработки вне таможенной территории, установленные международными договорами и законодательством РФ\nB. Российская академия наук\nC. Все валютные операции подлежат полному запрету\nD. Министерство здравоохранения Российской Федерации\nE. Если декларант успешно выполняет все экономические обязательства перед таможенным органом в течение двух лет\nF. 50 миллионов рублей\nG. Если декларант посетил всемирную выставку товаров и технологий последовательно три года\nH. 75 миллионов рублей\nI. Один понятой\nJ. Два понятых\nK. В случае установления точных сведений о товарах, задержанных таможенными органами\nL. Если декларант активно продвигает экологически чистое производство товаров\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 222, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0011678223963826895, + "B": 0.008106294088065624, + "C": 0.004076100420206785, + "D": 0.9369601607322693, + "E": 0.004916715435683727, + "F": 0.0016991713782772422, + "G": 0.0033792059402912855, + "H": 0.0020495920907706022, + "I": 0.0006250902661122382, + "J": 0.0024722798261791468, + "K": 0.009185634553432465, + "L": 0.004916715435683727 + }, + "sample": { + "question": "В соответствии со Статьей 35.3 Федерального закона \"О правовом положении иностранных граждан в Российской Федерации\" N 115-ФЗ, личный досмотр иностранных граждан и досмотр вещей и предметов, находящихся при них, в специальных учреждениях должен производиться в присутствии скольких понятых?", + "answerA": "Один понятой", + "answerB": "Два понятых", + "answerC": "Три понятых", + "answerD": "Понятые отсутствуют", + "correct_answer": "Два понятых", + "choices": [ + "Российская академия наук", + "50 миллионов рублей", + "В случае установления точных сведений о товарах, задержанных таможенными органами", + "Два понятых", + "Понятые отсутствуют", + "Все валютные операции подлежат полному запрету", + "Работник увольняется с занимаемой должности", + "75 миллионов рублей", + "В случае выявления товаров, подлежащих изъятию в соответствии с федеральными законами", + "Министерство здравоохранения Российской Федерации", + "Один понятой", + "Три понятых" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nВ соответствии со Статьей 35.3 Федерального закона \"О правовом положении иностранных граждан в Российской Федерации\" N 115-ФЗ, личный досмотр иностранных граждан и досмотр вещей и предметов, находящихся при них, в специальных учреждениях должен производиться в присутствии скольких понятых?\nA. Российская академия наук\nB. 50 миллионов рублей\nC. В случае установления точных сведений о товарах, задержанных таможенными органами\nD. Два понятых\nE. Понятые отсутствуют\nF. Все валютные операции подлежат полному запрету\nG. Работник увольняется с занимаемой должности\nH. 75 миллионов рублей\nI. В случае выявления товаров, подлежащих изъятию в соответствии с федеральными законами\nJ. Министерство здравоохранения Российской Федерации\nK. Один понятой\nL. Три понятых\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 192, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.001782563398592174, + "B": 0.018003251403570175, + "C": 0.005844800267368555, + "D": 0.8674452900886536, + "E": 0.005158017855137587, + "F": 0.010257943533360958, + "G": 0.020400358363986015, + "H": 0.029682345688343048, + "I": 0.00024124373157974333, + "J": 0.0010811794782057405, + "K": 0.0024364753626286983, + "L": 0.0004233959480188787 + }, + "sample": { + "question": "Кто является страховщиком в соответствии с Федеральным законом 'Об обязательном социальном страховании от несчастных случаев на производстве и профессиональных заболеваний' N 125-ФЗ?", + "answerA": "Министерство здравоохранения Российской Федерации", + "answerB": "Российская академия наук", + "answerC": "Фонд пенсионного и социального страхования Российской Федерации", + "answerD": "Министерство труда и социальной защиты Российской Федерации", + "correct_answer": "Фонд пенсионного и социального страхования Российской Федерации", + "choices": [ + "50 миллионов рублей", + "Министерство здравоохранения Российской Федерации", + "Валютные операции разрешены только в рамках государственных кредитов", + "Фонд пенсионного и социального страхования Российской Федерации", + "Работник увольняется с занимаемой должности", + "75 миллионов рублей", + "В случае установления точных сведений о товарах, задержанных таможенными органами", + "Министерство труда и социальной защиты Российской Федерации", + "В случае выявления товаров, подлежащих изъятию в соответствии с федеральными законами", + "Российская академия наук", + "Статья 75", + "Все валютные операции подлежат полному запрету" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКто является страховщиком в соответствии с Федеральным законом 'Об обязательном социальном страховании от несчастных случаев на производстве и профессиональных заболеваний' N 125-ФЗ?\nA. 50 миллионов рублей\nB. Министерство здравоохранения Российской Федерации\nC. Валютные операции разрешены только в рамках государственных кредитов\nD. Фонд пенсионного и социального страхования Российской Федерации\nE. Работник увольняется с занимаемой должности\nF. 75 миллионов рублей\nG. В случае установления точных сведений о товарах, задержанных таможенными органами\nH. Министерство труда и социальной защиты Российской Федерации\nI. В случае выявления товаров, подлежащих изъятию в соответствии с федеральными законами\nJ. Российская академия наук\nK. Статья 75\nL. Все валютные операции подлежат полному запрету\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 184, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.1387760490179062, + "B": 0.293788880109787, + "C": 0.20191796123981476, + "D": 0.08417192846536636, + "E": 0.03508807718753815, + "F": 0.021281996741890907, + "G": 0.03976000100374222, + "H": 0.03976000100374222, + "I": 0.011391431093215942, + "J": 0.024115659296512604, + "K": 0.008334149606525898, + "L": 0.0025417718570679426 + }, + "sample": { + "question": "Каков минимальный размер собственных средств, который должен иметь оператор финансовой платформы согласно Федеральному закону от 20.07.2020 N 211-ФЗ 'О совершении финансовых сделок с использованием финансовой платформы'?", + "answerA": "50 миллионов рублей", + "answerB": "75 миллионов рублей", + "answerC": "100 миллионов рублей", + "answerD": "150 миллионов рублей", + "correct_answer": "answerC", + "choices": [ + "Статья 75", + "100 миллионов рублей", + "Не превышающий двадцати пяти рабочих дней со дня его получения", + "Валютные операции разрешены только в рамках государственных кредитов", + "Работник может оставить должность, но без права возвращения", + "Работник увольняется с занимаемой должности", + "Все валютные операции подлежат полному запрету", + "150 миллионов рублей", + "50 миллионов рублей", + "В случае установления точных сведений о товарах, задержанных таможенными органами", + "75 миллионов рублей", + "В случае выявления товаров, подлежащих изъятию в соответствии с федеральными законами" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКаков минимальный размер собственных средств, который должен иметь оператор финансовой платформы согласно Федеральному закону от 20.07.2020 N 211-ФЗ 'О совершении финансовых сделок с использованием финансовой платформы'?\nA. Статья 75\nB. 100 миллионов рублей\nC. Не превышающий двадцати пяти рабочих дней со дня его получения\nD. Валютные операции разрешены только в рамках государственных кредитов\nE. Работник может оставить должность, но без права возвращения\nF. Работник увольняется с занимаемой должности\nG. Все валютные операции подлежат полному запрету\nH. 150 миллионов рублей\nI. 50 миллионов рублей\nJ. В случае установления точных сведений о товарах, задержанных таможенными органами\nK. 75 миллионов рублей\nL. В случае выявления товаров, подлежащих изъятию в соответствии с федеральными законами\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 205, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.025204641744494438, + "B": 0.016273340210318565, + "C": 0.02856059931218624, + "D": 0.5736550092697144, + "E": 0.04155543074011803, + "F": 0.0323634035885334, + "G": 0.0323634035885334, + "H": 0.025204641744494438, + "I": 0.0056239161640405655, + "J": 0.02856059931218624, + "K": 0.12799973785877228, + "L": 0.0014219486620277166 + }, + "sample": { + "question": "Какое решение принимается по результатам таможенного контроля в случае выявления товаров, подлежащих изъятию в соответствии с федеральными законами?", + "answerA": "В случае установления точных сведений о товарах, задержанных таможенными органами", + "answerB": "В случае выявления товаров, подлежащих изъятию в соответствии с федеральными законами", + "answerC": "В случае выявления нарушений международных договоров и актов в сфере таможенного регулирования", + "answerD": "В случае установления сведений о товарах, в отношении которых ранее было принято решение по результатам таможенного контроля", + "correct_answer": "В случае выявления товаров, подлежащих изъятию в соответствии с федеральными законами", + "choices": [ + "В случае выявления нарушений международных договоров и актов в сфере таможенного регулирования", + "Работник увольняется с занимаемой должности", + "Все валютные операции подлежат полному запрету", + "В случае выявления товаров, подлежащих изъятию в соответствии с федеральными законами", + "Не превышающий двадцати пяти рабочих дней со дня его получения", + "В случае установления сведений о товарах, в отношении которых ранее было принято решение по результатам таможе��ного контроля", + "Работник может оставить должность, но без права возвращения", + "Для регистрации новых клиентов во время производства по делу о несостоятельности", + "Валютные операции разрешены только в рамках государственных кредитов", + "Статья 84.10", + "В случае установления точных сведений о товарах, задержанных таможенными органами", + "Статья 75" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКакое решение принимается по результатам таможенного контроля в случае выявления товаров, подлежащих изъятию в соответствии с федеральными законами?\nA. В случае выявления нарушений международных договоров и актов в сфере таможенного регулирования\nB. Работник увольняется с занимаемой должности\nC. Все валютные операции подлежат полному запрету\nD. В случае выявления товаров, подлежащих изъятию в соответствии с федеральными законами\nE. Не превышающий двадцати пяти рабочих дней со дня его получения\nF. В случае установления сведений о товарах, в отношении которых ранее было принято решение по результатам таможенного контроля\nG. Работник может оставить должность, но без права возвращения\nH. Для регистрации новых клиентов во время производства по делу о несостоятельности\nI. Валютные операции разрешены только в рамках государственных кредитов\nJ. Статья 84.10\nK. В случае установления точных сведений о товарах, задержанных таможенными органами\nL. Статья 75\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 213, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0012947357026860118, + "B": 0.011539852246642113, + "C": 0.020253073424100876, + "D": 0.029468048363924026, + "E": 0.009566874243319035, + "F": 0.010183884762227535, + "G": 0.03783772513270378, + "H": 0.00793121661990881, + "I": 0.0017696938011795282, + "J": 0.005120778456330299, + "K": 0.6706896424293518, + "L": 0.0012947357026860118 + }, + "sample": { + "question": "Какие ограничения для валютных операций между резидентами и нерезидентами устанавливаются Федеральным законом \"О валютном регулировании и валютном контроле\" N 173-ФЗ?", + "answerA": "Все валютные операции подлежат полному запрету", + "answerB": "Валютные операции разрешены только в рамках государственных кредитов", + "answerC": "Ограничения устанавливаются в целях предотвращения существенного сокращения золотовалютных резервов, резких колебаний курса валюты Российской Федерации и для поддержания устойчивости платежного баланса", + "answerD": "Ограничения вводятся исключительно на операции с цифровыми валютами", + "correct_answer": "answerC", + "choices": [ + "Работник увольняется с занимаемой должности", + "Не превышающий двадцати пяти рабочих дней со дня его получения", + "Валютные операции разрешены только в рамках государственных кредитов", + "Ограничения вводятся исключительно на операции с цифровыми валютами", + "Свид��тельство о регистрации изменений объекта", + "Не превышающий тридцати рабочих дней со дня его получения", + "Работник может оставить должность, но без права возвращения", + "Все валютные операции подлежат полному запрету", + "Статья 75", + "Для регистрации новых клиентов во время производства по делу о несостоятельности", + "Ограничения устанавливаются в целях предотвращения существенного сокращения золотовалютных резервов, резких колебаний курса валюты Российской Федерации и для поддержания устойчивости платежного баланса", + "Статья 84.10" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКакие ограничения для валютных операций между резидентами и нерезидентами устанавливаются Федеральным законом \"О валютном регулировании и валютном контроле\" N 173-ФЗ?\nA. Работник увольняется с занимаемой должности\nB. Не превышающий двадцати пяти рабочих дней со дня его получения\nC. Валютные операции разрешены только в рамках государственных кредитов\nD. Ограничения вводятся исключительно на операции с цифровыми валютами\nE. Свидетельство о регистрации изменений объекта\nF. Не превышающий тридцати рабочих дней со дня его получения\nG. Работник может оставить должность, но без права возвращения\nH. Все валютные операции подлежат полному запрету\nI. Статья 75\nJ. Для регистрации новых клиентов во время производства по делу о несостоятельности\nK. Ограничения устанавливаются в целях предотвращения существенного сокращения золотовалютных резервов, резких колебаний курса валюты Российской Федерации и для поддержания устойчивости платежного баланса\nL. Статья 84.10\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 221, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.018220091238617897, + "B": 0.06769585609436035, + "C": 0.021977625787258148, + "D": 0.07670945674180984, + "E": 0.04652663320302963, + "F": 0.03623497486114502, + "G": 0.04370772838592529, + "H": 0.10484939813613892, + "I": 0.03197725489735603, + "J": 0.2850101888179779, + "K": 0.10484939813613892, + "L": 0.07206185907125473 + }, + "sample": { + "question": "Что происходит с должностью работника прокуратуры, избранного депутатом или выборным должностным лицом органов государственной власти или органов местного самоуправления, в соответствии со статьёй 43.1 Федерального закона \"О прокуратуре Российской Федерации\" N 2202-1-ФЗ?", + "answerA": "Работник увольняется с занимаемой должности", + "answerB": "Работник может оставить должность, но без права возвращения", + "answerC": "Работник продолжает занимать свою должность, но без выполнения служебных обязанностей", + "answerD": "Работник приостанавливает службу, с последующим предоставлением занимаемой или равноценной должности", + "correct_answer": "Работник приостанавливает службу, с последующим предоставлением занимаемой или равноценной должности", + "choices": [ + "Работник продолжает занимать свою должность, но без выполнения служебных обязанностей", + "Статья 75", + "Информация о специализированных тренингах для должностных лиц", + "Работник увольняется с занимаемой должности", + "Свидетельство о регистрации изменений объекта", + "Работник может оставить должность, но без права возвращения", + "Для регистрации новых клиентов во время производства по делу о несостоятельности", + "Не превышающий тридцати рабочих дней со дня его получения", + "Не превышающий двадцати пяти рабочих дней со дня его получения", + "Работник приостанавливает службу, с последующим предоставлением занимаемой или равноценной должности", + "Статья 84.10", + "Для целей удовлетворения требований клиентов в ходе наблюдения или конкурсного производства" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nЧто происходит с должностью работника прокуратуры, избранного депутатом или выборным должностным лицом органов государственной власти или органов местного самоуправления, в соответствии со статьёй 43.1 Федерального закона \"О прокуратуре Российской Федерации\" N 2202-1-ФЗ?\nA. Работник продолжает занимать свою должность, но без выполнения служебных обязанностей\nB. Статья 75\nC. Информация о специализированных тренингах для должностных лиц\nD. Работник увольняется с занимаемой должности\nE. Свидетельство о регистрации изменений объекта\nF. Работник может оставить должность, но без права возвращения\nG. Для регистрации новых клиентов во время производства по делу о несостоятельности\nH. Не превышающий тридцати рабочих дней со дня его получения\nI. Не превышающий двадцати пяти рабочих дней со дня его получения\nJ. Работник приостанавливает службу, с последующим предоставлением занимаемой или равноценной должности\nK. Статья 84.10\nL. Для целей удовлетворения требований клиентов в ходе наблюдения или конкурсного производства\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 225, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.10451250523328781, + "B": 0.2840944230556488, + "C": 0.15206478536128998, + "D": 0.06339003145694733, + "E": 0.06339003145694733, + "F": 0.03844799846410751, + "G": 0.043567292392253876, + "H": 0.043567292392253876, + "I": 0.016027510166168213, + "J": 0.049368202686309814, + "K": 0.014144227840006351, + "L": 0.0013156182831153274 + }, + "sample": { + "question": "Какая статья Федерального закона \"Об акционерных обществах\" (АО) N 208-ФЗ утратила силу в связи с принятием Федерального закона от 29.06.2015 N 210-ФЗ?", + "answerA": "Статья 75", + "answerB": "Статья 84.10", + "answerC": "Статья 101", + "answerD": "Статья 55", + "correct_answer": "Статья 84.10", + "choices": [ + "Не превышающий двадцати пяти рабочих дней со дня его получения", + "Статья 75", + "Статья 101", + "Свидетельство о регистрации изменений объекта", + "Не превышающий тридцати рабочих дней со дня его получения", + "Для регистрации новых клиентов во время производства по делу о несостоятельности", + "Свидетельство об актуализации учетных сведений", + "Информация о специализированных тренингах для должностных лиц", + "Статья 84.10", + "Статья 55", + "Назначение новой временной администрации без предварительной проверки.", + "Для целей удовлетворения требований клиентов в ходе наблюдения или конкурсного производства" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКакая статья Федерального закона \"Об акционерных обществах\" (АО) N 208-ФЗ утратила силу в связи с принятием Федерального закона от 29.06.2015 N 210-ФЗ?\nA. Не превышающий двадцати пяти рабочих дней со дня его получения\nB. Статья 75\nC. Статья 101\nD. Свидетельство о регистрации изменений объекта\nE. Не превышающий тридцати рабочих дней со дня его получения\nF. Для регистрации новых клиентов во время производства по делу о несостоятельности\nG. Свидетельство об актуализации учетных сведений\nH. Информация о специализированных тренингах для должностных лиц\nI. Статья 84.10\nJ. Статья 55\nK. Назначение новой временной администрации без предварительной проверки.\nL. Для целей удовлетворения требований клиентов в ходе наблюдения или конкурсного производства\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 208, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.005507636349648237, + "B": 0.021783122792840004, + "C": 0.1420438140630722, + "D": 0.031694259494543076, + "E": 0.2066725194454193, + "F": 0.1420438140630722, + "G": 0.2066725194454193, + "H": 0.08615392446517944, + "I": 0.011659666895866394, + "J": 0.014064242132008076, + "K": 0.021783122792840004, + "L": 0.019223539158701897 + }, + "sample": { + "question": "Какой срок установлен для рассмотрения заявления о включении юридического лица в реестр лиц, осуществляющих деятельность в сфере таможенного дела, при подаче заявления на бумажном носителе?", + "answerA": "Не превышающий двадцати пяти рабочих дней со дня его получения", + "answerB": "Не превышающий тридцати рабочих дней со дня его получения", + "answerC": "Не превышающий десяти рабочих дней со дня его получения", + "answerD": "Не превышающий пятнадцати рабочих дней со дня его получения", + "correct_answer": "Не превышающий тридцати рабочих дней со дня его получения", + "choices": [ + "Для целей удовлетворения требований клиентов в ходе наблюдения или конкурсного производства", + "Информация о специализированных тренингах для должностных лиц", + "Информация, требующаяся для выполнения решений судов", + "Любой желающий гражданин", + "Свидетельство о регистрации изменений объекта", + "Не превышающий двадцати пяти рабочих дней со дня его получения", + "Не превышающий тридцати рабочих дней со дня его получения", + "Не превышающий пятнадцати рабочих дней со дня его получения", + "Не превышающий десяти рабочих дней со дня его получения", + "Назначение новой временной администрации без предварительной проверки.", + "Для регистрации новых клиентов во время производства по делу о несостоятельности", + "Свидетельство об актуализации учетных сведений" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКакой срок установлен для рассмотрения заявления о включении юридического лица в реестр лиц, осуществляющих деятельность в сфере таможенного дела, при подаче заявления на бумажном носителе?\nA. Для целей удовлетворения требований клиентов в ходе наблюдения или конкурсного производства\nB. Информация о специализированных тренингах для должностных лиц\nC. Информация, требующаяся для выполнения решений судов\nD. Любой желающий гражданин\nE. Свидетельство о регистрации изменений объекта\nF. Не превышающий двадцати пяти рабочих дней со дня его получения\nG. Не превышающий тридцати рабочих дней со дня его получения\nH. Не превышающий пятнадцати рабочих дней со дня его получения\nI. Не превышающий десяти рабочих дней со дня его получения\nJ. Назначение новой временной администрации без предварительной проверки.\nK. Для регистрации новых клиентов во время производства по делу о несостоятельности\nL. Свидетельство об актуализации учетных сведений\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 200, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.012488503009080887, + "B": 0.00520598329603672, + "C": 0.4686276316642761, + "D": 0.018170664086937904, + "E": 0.17239849269390106, + "F": 0.002966279396787286, + "G": 0.004890568554401398, + "H": 0.0020386921241879463, + "I": 0.10456496477127075, + "J": 0.00520598329603672, + "K": 0.007574660237878561, + "L": 6.976020813453943e-05 + }, + "sample": { + "question": "По какой причине арбитражный управляющий или реестродержатель ведет реестр клиентов профессионального участника рынка ценных бумаг, управляющей компании, клиринговой организации в соответствии со статьей 185.3 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?", + "answerA": "Для регистрации новых клиентов во время производства по делу о несостоятельности", + "answerB": "Для целей удовлетворения требований клиентов в ходе наблюдения или конкурсного производства", + "answerC": "Для поддержки текущей деятельности профессионального участника рынка ценных бумаг после завершения процедуры банкротства", + "answerD": "Для каталогизации финансовой отчетности управляющей компании или клиринговой организации", + "correct_answer": "answerB", + "choices": [ + "Требование об улучшении качества банковских услуг.", + "Назначение новой временной администрации без предварительной проверки.", + "Информация, требующаяся для выполнения решений судов", + "Свидетельство о регистрации изменений объекта", + "Для поддержки текущей деятельности профессионального участника рынка ценных бумаг после завершения процедуры банкротства", + "Для регистрации новых клиентов во время производства по делу о несостоятельности", + "Свидетельство об актуализации учетных сведений", + "Любой желающий гражданин", + "Для целей удовлетворения требований клиентов в ходе наблюдения или конкурсного производства", + "Информация о специализированных тренингах для должностных лиц", + "Для каталогизации финансовой отчетности управляющей компании или клиринговой организации", + "Министерство внутренних дел" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nПо какой причине арбитражный управляющий или реестродержатель ведет реестр клиентов профессионального участника рынка ценных бумаг, управляющей компании, клиринговой организации в соответствии со статьей 185.3 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?\nA. Требование об улучшении качества банковских услуг.\nB. Назначение новой временной администрации без предварительной проверки.\nC. Информация, требующаяся для выполнения решений судов\nD. Свидетельство о регистрации изменений объекта\nE. Для поддержки текущей деятельности профессионального участника рынка ценных бумаг после завершения процедуры банкротства\nF. Для регистрации новых клиентов во время производства по делу о несостоятельности\nG. Свидетельство об актуализации учетных сведений\nH. Любой желающий гражданин\nI. Для целей удовлетворения требований клиентов в ходе наблюдения или конкурсного производства\nJ. Информация о специализированных тренингах для должностных лиц\nK. Для каталогизации финансовой отчетности управляющей компании или клиринговой организации\nL. Министерство внутренних дел\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 219, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0044170343317091465, + "B": 0.0017297356389462948, + "C": 0.002221024362370372, + "D": 0.15570583939552307, + "E": 0.6978251338005066, + "F": 0.002364268060773611, + "G": 0.0018412938807159662, + "H": 0.0016249361215159297, + "I": 0.018596408888697624, + "J": 0.004701908677816391, + "K": 0.0015264862449839711, + "L": 0.002679066965356469 + }, + "sample": { + "question": "Согласно Федеральному закону 'Об охране окружающей среды' N 7-ФЗ, какой документ выдается при актуализации учетных сведений об объекте, оказывающем негативное воздействие на окружающую среду?", + "answerA": "Свидетельство о регистрации изменений объекта", + "answerB": "Свидетельство об актуализации учетных сведений", + "answerC": "Акт о проверке состояния объекта", + "answerD": "Декларация об осуществлении воздействия на окружающую среду", + "correct_answer": "Свидетельство об актуализации учетных сведений", + "choices": [ + "Акт о проверке состояния объекта", + "Назначение новой временной администрации без предварительной проверки.", + "Информация о специализированных тренингах для должностных лиц", + "Свидетельство о регистрации изменений объекта", + "Свидетельство об актуализации учетных сведений", + "Министерство внутренних дел", + "Информация, требующаяся для выполнения решений судов", + "Декларация об осуществлении воздействия на окружающую среду", + "Требование об улучшении качества банковских услуг.", + "Любой желающий гражданин", + "Соответствующий орган местного самоуправления", + "Максимальное количество сотрудников общества" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nСогласно Федеральному закону 'Об охране окружающей среды' N 7-ФЗ, какой документ выдается при актуализации учетных сведений об объекте, оказывающем негативное воздействие на окружающую среду?\nA. Акт о проверке состояния объекта\nB. Назначение новой временной администрации без предварительной проверки.\nC. Информация о специализированных тренингах для должностных лиц\nD. Свидетельство о регистрации изменений объекта\nE. Свидетельство об актуализации учетных сведений\nF. Министерство внутренних дел\nG. Информация, требующаяся для выполнения решений судов\nH. Декларация об осуществлении воздействия на окружающую среду\nI. Требование об улучшении качества банковских услуг.\nJ. Любой желающий гражданин\nK. Соответствующий орган местного самоуправления\nL. Максимальное количество сотрудников общества\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 176, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.002290403237566352, + "B": 0.03582793474197388, + "C": 0.0020212738309055567, + "D": 0.005161503329873085, + "E": 0.005848749075084925, + "F": 0.003776236204430461, + "G": 0.004848782904446125, + "H": 0.16056965291500092, + "I": 0.0013050322886556387, + "J": 0.029702400788664818, + "K": 0.02621227689087391, + "L": 0.6350653171539307 + }, + "sample": { + "question": "В соответствии со Статьей 314 Федерального закона 'О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации' № 289-ФЗ, какая информация о тактике применения системы управления рисками таможенными органами является конфиденциальной?", + "answerA": "Информация о специализированных тренингах для должностных лиц", + "answerB": "Информация, требующаяся для выполнения решений судов", + "answerC": "Определенная информация, которая используется для внутренних целей таможенных органов", + "answerD": "Информация, необходимая государственным органам для выполнения задач, возложенных на них законодательством", + "correct_answer": "D", + "choices": [ + "Максимальное количество сотрудников общества", + "Информация о специализированных тренингах для должностных лиц", + "Министерст��о внутренних дел", + "Генеральный прокурор Российской Федерации и подчиненные ему прокуроры", + "Назначение новой временной администрации без предварительной проверки.", + "Информация, требующаяся для выполнения решений судов", + "Требование об улучшении качества банковских услуг.", + "Информация, необходимая государственным органам для выполнения задач, возложенных на них законодательством", + "Соответствующий орган местного самоуправления", + "Любой желающий гражданин", + "Лица, заключившие контракт с частными военными компаниями в любой период времени", + "Определенная информация, которая используется для внутренних целей таможенных органов" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nВ соответствии со Статьей 314 Федерального закона 'О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации' № 289-ФЗ, какая информация о тактике применения системы управления рисками таможенными органами является конфиденциальной?\nA. Максимальное количество сотрудников общества\nB. Информация о специализированных тренингах для должностных лиц\nC. Министерство внутренних дел\nD. Генеральный прокурор Российской Федерации и подчиненные ему прокуроры\nE. Назначение новой временной администрации без предварительной проверки.\nF. Информация, требующаяся для выполнения решений судов\nG. Требование об улучшении качества банковских услуг.\nH. Информация, необходимая государственным органам для выполнения задач, возложенных на них законодательством\nI. Соответствующий орган местного самоуправления\nJ. Любой желающий гражданин\nK. Лица, заключившие контракт с частными военными компаниями в любой период времени\nL. Определенная информация, которая используется для внутренних целей таможенных органов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 219, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.006912944372743368, + "B": 0.10813664644956589, + "C": 0.07432115823030472, + "D": 0.15733788907527924, + "E": 0.06558819115161896, + "F": 0.13885019719600677, + "G": 0.05788138136267662, + "H": 0.03098166547715664, + "I": 0.0027071477379649878, + "J": 0.1225348711013794, + "K": 0.1225348711013794, + "L": 0.005731032229959965 + }, + "sample": { + "question": "Какие меры Банк России может предпринять в отношении временной администрации по управлению кредитной организацией в случае выявления нарушений?", + "answerA": "Назначение новой временной администрации без предварительной проверки.", + "answerB": "Требование об улучшении качества банковских услуг.", + "answerC": "Требование о замене представителя Агентства в временной администрации.", + "answerD": "Автоматическое возобновление лицензии кредитной организации.", + "correct_answer": "Требование о замене представителя Агентства в временной администрации.", + "choices": [ + "Любой желающий гражданин", + "Количество, номинальная стоимость акций, приобретенных акционерами (размещенные акции), и права, предоставляемые размещенными привилегированными акциями каждого типа", + "Министерство внутренних дел", + "Автоматическое возобновление лицензии кредитной организации.", + "Максимальное количество сотрудников общества", + "Требование о замене представителя Агентства в временной администрации.", + "Лица, заключившие контракт с частными военными компаниями в любой период времени", + "Назначение новой временной администрации без предварительной проверки.", + "Соответствующий орган местного самоуправления", + "Требование об улучшении качества банковских услуг.", + "Генеральный прокурор Российской Федерации и подчиненные ему прокуроры", + "Только для рассмотрения дел об административных правонарушениях" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКакие меры Банк России может предпринять в отношении временной администрации по управлению кредитной организацией в случае выявления нарушений?\nA. Любой желающий гражданин\nB. Количество, номинальная стоимость акций, приобретенных акционерами (размещенные акции), и права, предоставляемые размещенными привилегированными акциями каждого типа\nC. Министерство внутренних дел\nD. Автоматическое возобновление лицензии кредитной организации.\nE. Максимальное количество сотрудников общества\nF. Требование о замене представителя Агентства в временной администрации.\nG. Лица, заключившие контракт с частными военными компаниями в любой период времени\nH. Назначение новой временной администрации без предварительной проверки.\nI. Соответствующий орган местного самоуправления\nJ. Требование об улучшении качества банковских услуг.\nK. Генеральный прокурор Российской Федерации и подчиненные ему прокуроры\nL. Только для рассмотрения дел об административных правонарушениях\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 193, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0036719059571623802, + "B": 0.006444395985454321, + "C": 0.0015306781278923154, + "D": 0.007773425430059433, + "E": 0.07850880920886993, + "F": 0.04761800169944763, + "G": 0.01645634137094021, + "H": 0.5801060199737549, + "I": 0.005342591553926468, + "J": 0.011310267262160778, + "K": 0.008808444254100323, + "L": 0.18833284080028534 + }, + "sample": { + "question": "Кто признается лицом, участвующим в деле о банкротстве градообразующей организации, согласно статье 170 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?", + "answerA": "Любой желающий гражданин", + "answerB": "Соответствующий орган местного самоуправления", + "answerC": "Исключительно финансовый управляющий", + "answerD": "Иностранные инвесторы", + "correct_answer": "B", + "choices": [ + "Лица, заключившие контракт с частными военными компаниями в любой период времени", + "Иностранные инвесторы", + "Количество, номинальная стоимость акций, приобретенных акционерами (размещенные акции), и права, предоставляемые размещенными привилегированными акциями каждого типа", + "Снижение уровня цифровой грамотности среди населения", + "Все военнослужащие без исключения, прошедшие военную службу на территории СССР", + "Соответствующий орган местного самоуправления", + "Министерство внутренних дел", + "Исключительно финансовый управляющий", + "Максимальное количество сотрудников общества", + "Только для рассмотрения дел об административных правонарушениях", + "Любой желающий гражданин", + "Генеральный прокурор Российской Федерации и подчиненные ему прокуроры" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКто признается лицом, участвующим в деле о банкротстве градообразующей организации, согласно статье 170 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?\nA. Лица, заключившие контракт с частными военными компаниями в любой период времени\nB. Иностранные инвесторы\nC. Количество, номинальная стоимость акций, приобретенных акционерами (размещенные акции), и права, предоставляемые размещенными привилегированными акциями каждого типа\nD. Снижение уровня цифровой грамотности среди населения\nE. Все военнослужащие без исключения, прошедшие военную службу на территории СССР\nF. Соответствующий орган местного самоуправления\nG. Министерство внутренних дел\nH. Исключительно финансовый управляющий\nI. Максимальное количество сотрудников общества\nJ. Только для рассмотрения дел об административных правонарушениях\nK. Любой желающий гражданин\nL. Генеральный прокурор Российской Федерации и подчиненные ему прокуроры\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 204, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.004345613066107035, + "B": 0.0024760558735579252, + "C": 0.0007551542948931456, + "D": 0.006730616558343172, + "E": 0.06385832279920578, + "F": 0.006322829052805901, + "G": 0.003179318504408002, + "H": 0.8815369009971619, + "I": 0.0008038575761020184, + "J": 0.0010321735171601176, + "K": 0.0015986616490408778, + "L": 0.0024760558735579252 + }, + "sample": { + "question": "Кто осуществляет надзор за исполнением полицией законов согласно Статье 52 Федерального закона \"О полиции\" N 3-ФЗ?", + "answerA": "Министерство внутренних дел", + "answerB": "Генеральный прокурор Российской Федерации и подчиненные ему прокуроры", + "answerC": "Федеральная служба безопасности", + "answerD": "Судебная власть", + "correct_answer": "B", + "choices": [ + "Судебная власть", + "Федеральная служба безопасности", + "Только для рассмотрения дел об административных правонарушениях", + "Количество, номинальная ��тоимость акций, приобретенных акционерами (размещенные акции), и права, предоставляемые размещенными привилегированными акциями каждого типа", + "Министерство внутренних дел", + "Максимальное количество сотрудников общества", + "Снижение уровня цифровой грамотности среди населения", + "Генеральный прокурор Российской Федерации и подчиненные ему прокуроры", + "Физические лица для личного пользования", + "Только как основание для начисления таможенных пошлин", + "Все военнослужащие без исключения, прошедшие военную службу на территории СССР", + "Лица, заключившие контракт с частными военными компаниями в любой период времени" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКто осуществляет надзор за исполнением полицией законов согласно Статье 52 Федерального закона \"О полиции\" N 3-ФЗ?\nA. Судебная власть\nB. Федеральная служба безопасности\nC. Только для рассмотрения дел об административных правонарушениях\nD. Количество, номинальная стоимость акций, приобретенных акционерами (размещенные акции), и права, предоставляемые размещенными привилегированными акциями каждого типа\nE. Министерство внутренних дел\nF. Максимальное количество сотрудников общества\nG. Снижение уровня цифровой грамотности среди населения\nH. Генеральный прокурор Российской Федерации и подчиненные ему прокуроры\nI. Физические лица для личного пользования\nJ. Только как основание для начисления таможенных пошлин\nK. Все военнослужащие без исключения, прошедшие военную службу на территории СССР\nL. Лица, заключившие контракт с частными военными компаниями в любой период времени\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 197, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.8240969181060791, + "B": 0.008079162798821926, + "C": 0.008079162798821926, + "D": 0.008079162798821926, + "E": 0.01509386207908392, + "F": 0.013320285826921463, + "G": 0.008079162798821926, + "H": 0.0055527216754853725, + "I": 0.013320285826921463, + "J": 0.002972157672047615, + "K": 0.0015908813802525401, + "L": 8.43136222101748e-05 + }, + "sample": { + "question": "Что должно быть определено уставом акционерного общества согласно статье 27 Федерального закона 'Об акционерных обществах' (АО) N 208-ФЗ?", + "answerA": "Максимальное количество сотрудников общества", + "answerB": "Количество, номинальная стоимость акций, приобретенных акционерами (размещенные акции), и права, предоставляемые размещенными привилегированными акциями каждого типа", + "answerC": "Процент налога на прибыль общества", + "answerD": "Размер дивидендов по обыкновенным акциям", + "correct_answer": "answerB", + "choices": [ + "Количество, номинальная стоимость акций, приобретенных акционерами (размещенные акции), и права, предоставляемые размещенными привилегированными акциями каждого типа", + "Только как основание для начисления таможенных пошлин", + "Снижение уровня цифровой грамотности среди населения", + "Все военнослужащие без исключения, прошедшие военную службу на территории СССР", + "Только для рассмотрения дел об административных правонарушениях", + "Максимальное количество сотрудников общества", + "Процент налога на прибыль общества", + "Лица, заключившие контракт с частными военными компаниями в любой период времени", + "Физические лица для личного пользования", + "Размер дивидендов по обыкновенным акциям", + "3 года", + "Сокращение численности работников в сфере цифровых инноваций" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nЧто должно быть определено уставом акционерного общества согласно статье 27 Федерального закона 'Об акционерных обществах' (АО) N 208-ФЗ?\nA. Количество, номинальная стоимость акций, приобретенных акционерами (размещенные акции), и права, предоставляемые размещенными привилегированными акциями каждого типа\nB. Только как основание для начисления таможенных пошлин\nC. Снижение уровня цифровой грамотности среди населения\nD. Все военнослужащие без исключения, прошедшие военную службу на территории СССР\nE. Только для рассмотрения дел об административных правонарушениях\nF. Максимальное количество сотрудников общества\nG. Процент налога на прибыль общества\nH. Лица, заключившие контракт с частными военными компаниями в любой период времени\nI. Физические лица для личного пользования\nJ. Размер дивидендов по обыкновенным акциям\nK. 3 года\nL. Сокращение численности работников в сфере цифровых инноваций\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 209, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.002097207820042968, + "B": 0.001970144221559167, + "C": 0.9587274193763733, + "D": 0.0022324658930301666, + "E": 0.00034235973726026714, + "F": 0.0001950707082869485, + "G": 0.00034235973726026714, + "H": 0.0002210440579801798, + "I": 6.741463585058227e-05, + "J": 2.056030098174233e-05, + "K": 0.00011831636220449582, + "L": 4.883499514107825e-06 + }, + "sample": { + "question": "Какие категории лиц относятся к инвалидам Великой Отечественной войны и инвалидам боевых действий согласно Федеральному закону \"О ветеранах\" N 5-ФЗ?", + "answerA": "Лица, заключившие контракт с частными военными компаниями в любой период времени", + "answerB": "Все военнослужащие без исключения, прошедшие военную службу на территории СССР", + "answerC": "Военнослужащие, партизаны и члены подпольных организаций, работавшие в районах боевых действий и ставшие инвалидами вследствие ранения, контузии, увечья или заболевания в определенные периоды", + "answerD": "Любой гражданин, живший на территории СССР в период Великой Отечественной войны", + "correct_answer": "Военнослужащие, партизаны и члены подпольных организаций, работавшие в районах боевых действий и ставшие инвалидами вследствие ранения, контузии, увечья или заболевания в определенные периоды", + "choices": [ + "Сокращение численности работников в сфере цифровых инноваций", + "Лица, заключившие контракт с частными военными компаниями в любой период времени", + "Военнослужащие, партизаны и члены подпольных организаций, работавшие в районах боевых действий и ставшие инвалидами вследствие ранения, контузии, увечья или заболевания в определенные периоды", + "Российские лица, заключившие сделку или от имени которых заключена сделка по перемещению товаров с государствами - членами Союза", + "Снижение уровня цифровой грамотности среди населения", + "Любой гражданин, живший на территории СССР в период Великой Отечественной войны", + "3 года", + "Физические лица для личного пользования", + "Только для рассмотрения дел об административных правонарушениях", + "Только как основание для начисления таможенных пошлин", + "Все военнослужащие без исключения, прошедшие военную службу на территории СССР", + "Статья 101" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКакие категории лиц относятся к инвалидам Великой Отечественной войны и инвалидам боевых действий согласно Федеральному закону \"О ветеранах\" N 5-ФЗ?\nA. Сокращение численности работников в сфере цифровых инноваций\nB. Лица, заключившие контракт с частными военными компаниями в любой период времени\nC. Военнослужащие, партизаны и члены подпольных организаций, работавшие в районах боевых действий и ставшие инвалидами вследствие ранения, контузии, увечья или заболевания в определенные периоды\nD. Российские лица, заключившие сделку или от имени которых заключена сделка по перемещению товаров с государствами - членами Союза\nE. Снижение уровня цифровой грамотности среди населения\nF. Любой гражданин, живший на территории СССР в период Великой Отечественной войны\nG. 3 года\nH. Физические лица для личного пользования\nI. Только для рассмотрения дел об административных правонарушениях\nJ. Только как основание для начисления таможенных пошлин\nK. Все военнослужащие без исключения, прошедшие военную службу на территории СССР\nL. Статья 101\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 238, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.00040531440754421055, + "B": 0.001035006600432098, + "C": 0.8304001688957214, + "D": 0.009224913083016872, + "E": 0.0019336467375978827, + "F": 0.0013289747294038534, + "G": 0.08752353489398956, + "H": 0.0012484561884775758, + "I": 7.981113594723865e-05, + "J": 0.00033601743052713573, + "K": 0.0007572269532829523, + "L": 8.95456105354242e-06 + }, + "sample": { + "question": "В соответствии со статьей 223 Федерального закона \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ, как используются результаты таможенного контроля?", + "answerA": "Только для рассмотрения дел об административных правонарушениях", + "answerB": "Только как основание для начисления таможенных пошлин", + "answerC": "Как доказательства по уголовным, гражданским делам и делам об административных правонарушениях", + "answerD": "Исключительно в учебных целях в академиях таможенной службы", + "correct_answer": "C", + "choices": [ + "5 лет", + "Только для рассмотрения дел об административных правонарушениях", + "Исключительно в учебных целях в академиях таможенной службы", + "Подтверждение владения таможенным лицензированием.", + "Физические лица для личного пользования", + "3 года", + "Как доказательства по уголовным, гражданским делам и делам об административных правонарушениях", + "Сокращение численности работников в сфере цифровых инноваций", + "Статья 101", + "Российские лица, заключившие сделку или от имени которых заключена сделка по перемещению товаров с государствами - членами Союза", + "Снижение уровня цифровой грамотности среди населения", + "Только как основание для начисления таможенных пошлин" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nВ соответствии со статьей 223 Федерального закона \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ, как используются результаты таможенного контроля?\nA. 5 лет\nB. Только для рассмотрения дел об административных правонарушениях\nC. Исключительно в учебных целях в академиях таможенной службы\nD. Подтверждение владения таможенным лицензированием.\nE. Физические лица для личного пользования\nF. 3 года\nG. Как доказательства по уголовным, гражданским делам и делам об административных правонарушениях\nH. Сокращение численности работников в сфере цифровых инноваций\nI. Статья 101\nJ. Российские лица, заключившие сделку или от имени которых заключена сделка по перемещению товаров с государствами - членами Союза\nK. Снижение уровня цифровой грамотности среди населения\nL. Только как основание для начисления таможенных пошлин\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 214, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.018091563135385513, + "B": 0.1255803406238556, + "C": 0.2658535838127136, + "D": 0.07616832852363586, + "E": 0.035979367792606354, + "F": 0.086310014128685, + "G": 0.07616832852363586, + "H": 0.086310014128685, + "I": 0.0048692780546844006, + "J": 0.035979367792606354, + "K": 0.035979367792606354, + "L": 0.009097008965909481 + }, + "sample": { + "question": "Какая из перечисленных целей соответствует Федеральному закону от 31.07.2020 N 258-ФЗ 'Об экспериментальных правовых режимах в сфере цифровых инноваций в Российской Федерации'?", + "answerA": "Снижение уровня цифровой грамотности среди населения", + "answerB": "Сокращение численности работников в сфере цифровых инноваций", + "answerC": "Развитие конкуренции", + "answerD": "Уменьшение количества стартапов в сфере цифровых технологий", + "correct_answer": "Развитие конкуренции", + "choices": [ + "Уменьшение количества стартапов в сфере цифровых технологий", + "5 лет", + "Развитие конкуренции", + "Статья 189.39", + "Сокращение численности работников в сфере цифровых инноваций", + "Статья 101", + "Разрешение доступа к персональным данным всем сотрудникам без ограничений", + "Российские лица, заключившие сделку или от имени которых заключена сделка по перемещению товаров с государствами - членами Союза", + "Снижение уровня цифровой грамотности среди населения", + "3 года", + "Физические лица для личного пользования", + "Подтверждение владения таможенным лицензированием." + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКакая из перечисленных целей соответствует Федеральному закону от 31.07.2020 N 258-ФЗ 'Об экспериментальных правовых режимах в сфере цифровых инноваций в Российской Федерации'?\nA. Уменьшение количества стартапов в сфере цифровых технологий\nB. 5 лет\nC. Развитие конкуренции\nD. Статья 189.39\nE. Сокращение численности работников в сфере цифровых инноваций\nF. Статья 101\nG. Разрешение доступа к персональным данным всем сотрудникам без ограничений\nH. Российские лица, заключившие сделку или от имени которых заключена сделка по перемещению товаров с государствами - членами Союза\nI. Снижение уровня цифровой грамотности среди населения\nJ. 3 года\nK. Физические лица для личного пользования\nL. Подтверждение владения таможенным лицензированием.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 198, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.04558056965470314, + "B": 0.8079348802566528, + "C": 0.014797843992710114, + "D": 0.010170400142669678, + "E": 0.003301845397800207, + "F": 0.0014651849633082747, + "G": 0.0027373258490115404, + "H": 0.001007006037980318, + "I": 6.852760998299345e-05, + "J": 0.0002110798959620297, + "K": 0.0001450729469070211, + "L": 3.237014971091412e-05 + }, + "sample": { + "question": "Какие лица обязаны представлять статистическую форму учета перемещения товаров по статье 278 Федерального закона 'О таможенном регулировании в Российской Федерации'?", + "answerA": "Физические лица для личного пользования", + "answerB": "Российские лица, заключившие сделку или от имени которых заключена сделка по перемещению товаров с государствами - членами Союза", + "answerC": "Таможенные представители", + "answerD": "Иностранные лица, ввозящие товары на территорию Российской Федерации", + "correct_answer": "answerB", + "choices": [ + "Статья 101", + "Российские лица, заключившие сделку или от имени которых заключена сделка по перемещению товаров с государствами - членами Союза", + "3 года", + "10 000 рублей", + "Таможенные представители", + "Статья 189.39", + "Отсутствие фактов привлечения к административной ответственности за административные правонарушения в области таможенного дела в течение одного года.", + "5 лет", + "Иностранные лица, ввозящие товары на территорию Российской Федерации", + "Подтверждение владения таможенным лицензированием.", + "Физические лица для личного пользования", + "Разрешение доступа к персональным данным всем сотрудникам без ограничений" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКакие лица обязаны представлять статистическую форму учета перемещения товаров по статье 278 Федерального закона 'О таможенном регулировании в Российской Федерации'?\nA. Статья 101\nB. Российские лица, заключившие сделку или от имени которых заключена сделка по перемещению товаров с государствами - членами Союза\nC. 3 года\nD. 10 000 рублей\nE. Таможенные представители\nF. Статья 189.39\nG. Отсутствие фактов привлечения к административной ответственности за административные правонарушения в области таможенного дела в течение одного года.\nH. 5 лет\nI. Иностранные лица, ввозящие товары на территорию Российской Федерации\nJ. Подтверждение владения таможенным лицензированием.\nK. Физические лица для личного пользования\nL. Разрешение доступа к персональным данным всем сотрудникам без ограничений\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 200, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.4861990511417389, + "B": 0.03990964964032173, + "C": 0.29489463567733765, + "D": 0.05124500021338463, + "E": 0.01143430545926094, + "F": 0.006515071261674166, + "G": 0.02420642413198948, + "H": 0.00785867590457201, + "I": 0.0061203427612781525, + "J": 0.0028910450637340546, + "K": 0.0034872659016400576, + "L": 0.0002526167081668973 + }, + "sample": { + "question": "Сколько лет должна храниться информация об имуществе, обязательствах кредитной организации и их движении в базах данных на электронных носителях согласно Федеральному закону 'О банках и банковской деятельности' N 395-1, статья 40.1?", + "answerA": "3 года", + "answerB": "5 лет", + "answerC": "10 лет", + "answerD": "7 лет", + "correct_answer": "answerB", + "choices": [ + "5 лет", + "Разрешение доступа к персональным данным всем сотрудникам без ограничений", + "10 лет", + "10 000 рублей", + "Статья 101", + "Назначение ответственного за организацию обработки персональных данных", + "7 лет", + "Подтверждение владения таможенным лицензированием.", + "Статья 189.39", + "Генеральный директор назначается Всероссийским Объединением предпринимателей", + "3 года", + "Отсутствие фактов привлечения к административной ответственности за административные правонарушения в области таможенного дела в течение одного года." + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nСколько лет должна храниться информация об имуществе, обязательствах кредитной организации и их движении в базах данных на электронных носителях согласно Федеральному закону 'О банках и банковской деятельности' N 395-1, статья 40.1?\nA. 5 лет\nB. Разрешение доступа к персональным данным всем сотрудникам без ограничений\nC. 10 лет\nD. 10 000 рублей\nE. Статья 101\nF. Назначение ответственного за организацию обработки персональных данных\nG. 7 лет\nH. Подтверждение владения таможенным лицензированием.\nI. Статья 189.39\nJ. Генеральный директор назначается Всероссийским Объединением предпринимателей\nK. 3 года\nL. Отсутствие фактов привлечения к административной ответственности за административные правонарушения в области таможенного дела в течение одного года.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 205, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.009256131947040558, + "B": 0.735305666923523, + "C": 0.0470065139234066, + "D": 0.07750064134597778, + "E": 0.008168508298695087, + "F": 0.006361640524119139, + "G": 0.010488571599125862, + "H": 0.008168508298695087, + "I": 0.00035889921127818525, + "J": 0.0072086830623447895, + "K": 0.004654275253415108, + "L": 0.0006705119740217924 + }, + "sample": { + "question": "В соответствии с какой статьей Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ руководитель временной администрации по управлению кредитной организацией вправе отказаться от исполнения договоров и иных сделок кредитной организации?", + "answerA": "Статья 101", + "answerB": "Статья 189.39", + "answerC": "Статья 102", + "answerD": "Статья 124", + "correct_answer": "Статья 189.39", + "choices": [ + "Отсутствие фактов привлечения к административной ответственности за административные правонарушения в области таможенного дела в течение одного года.", + "Статья 189.39", + "Подтверждение владения таможенным лицензированием.", + "Статья 101", + "Назначение ответственного за организацию обработки персональных данных", + "Разрешение доступа к персональным данным всем сотрудникам без ограничений", + "Статья 102", + "6 000 рублей", + "10 000 рублей", + "Генеральный директор назначается Всероссийским Объединением предпринимателей", + "15 дней со дня поступления документов", + "Статья 124" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nВ соответствии с какой статьей Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ руководитель временной администрации по управлению кредитной организацией вправе отказаться от исполнения договоров и иных сделок кредитной организации?\nA. Отсутствие фактов привлечения к административной ответственности за административные правонарушения в области таможенного дела в течение одного года.\nB. Статья 189.39\nC. Подтверждение владения таможенным лицензированием.\nD. Статья 101\nE. Назначение ответственного за орган��зацию обработки персональных данных\nF. Разрешение доступа к персональным данным всем сотрудникам без ограничений\nG. Статья 102\nH. 6 000 рублей\nI. 10 000 рублей\nJ. Генеральный директор назначается Всероссийским Объединением предпринимателей\nK. 15 дней со дня поступления документов\nL. Статья 124\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 205, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.20599859952926636, + "B": 0.11026310175657272, + "C": 0.2645074427127838, + "D": 0.18179313838481903, + "E": 0.05208459869027138, + "F": 0.014922489412128925, + "G": 0.04056353121995926, + "H": 0.014922489412128925, + "I": 0.04056353121995926, + "J": 0.010256065987050533, + "K": 0.004016333259642124, + "L": 0.00037357720430009067 + }, + "sample": { + "question": "Какое условие является дополнительным для включения юридического лица в реестр таможенных перевозчиков согласно статье 351 Федерального закона \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?", + "answerA": "Подтверждение владения таможенным лицензированием.", + "answerB": "Отсутствие фактов привлечения к административной ответственности за административные правонарушения в области таможенного дела в течение одного года.", + "answerC": "Ежегодный минимальный объем перевозимых товаров.", + "answerD": "Наличие сертифицированного программного обеспечения для ведения таможенного учета.", + "correct_answer": "Отсутствие фактов привлечения к административной ответственности за административные правонарушения в области таможенного дела в течение одного года.", + "choices": [ + "Назначение ответственного за организацию обработки персональных данных", + "Ежегодный минимальный объем перевозимых товаров.", + "Подтверждение владения таможенным лицензированием.", + "За успешное выполнение всех обязанностей", + "Разрешение доступа к персональным данным всем сотрудникам без ограничений", + "10 000 рублей", + "Генеральный директор назначается Всероссийским Объединением предпринимателей", + "Наличие сертифицированного программного обеспечения для ведения таможенного учета.", + "Отсутствие фактов привлечения к административной ответственности за административные правонарушения в области таможенного дела в течение одного года.", + "15 дней со дня поступления документов", + "6 000 рублей", + "Генеральный директор назначается Президентом Российской Федерации" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКакое условие является дополнительным для включения юридического лица в реестр таможенных перевозчиков согласно статье 351 Федерального закона \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?\nA. Назначение ответственного за организацию обработки персональных данных\nB. Ежегодный минимальный объем перевозимых товаров.\nC. Подтверждение владения таможенным лицензированием.\nD. За успешное выполнение всех обязанностей\nE. Разрешение доступа к персональным данным всем сотрудникам без ограничений\nF. 10 000 рублей\nG. Генеральный директор назначается Всероссийским Объединением предпринимателей\nH. Наличие сертифицированного программного обеспечения для ведения таможенного учета.\nI. Отсутствие фактов привлечения к административной ответственности за административные правонарушения в области таможенного дела в течение одного года.\nJ. 15 дней со дня поступления документов\nK. 6 000 рублей\nL. Генеральный директор назначается Президентом Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 224, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.004269319586455822, + "B": 0.0380520299077034, + "C": 0.01024156529456377, + "D": 0.05201096087694168, + "E": 0.03358079865574837, + "F": 0.09128207713365555, + "G": 0.09128207713365555, + "H": 0.2811685800552368, + "I": 0.009621059522032738, + "J": 0.13281464576721191, + "K": 0.05536537244915962, + "L": 0.11720850318670273 + }, + "sample": { + "question": "Какие из перечисленных мер необходимы для защиты персональных данных согласно Федеральному закону \"О персональных данных\" N 152-ФЗ?", + "answerA": "Разрешение доступа к персональным данным всем сотрудникам без ограничений", + "answerB": "Назначение ответственного за организацию обработки персональных данных", + "answerC": "Использование персональных данных сотрудников без их согласия", + "answerD": "Продажа персональных данных третьим лицам без уведомления субъектов данных", + "correct_answer": "B", + "choices": [ + "Использование персональных данных сотрудников без их согласия", + "Продажа персональных данных третьим лицам без уведомления субъектов данных", + "Генеральный директор назначается Всероссийским Объединением предпринимателей", + "За успешное выполнение всех обязанностей", + "6 000 рублей", + "Не менее 10 тысяч рублей на каждого члена", + "60 дней со дня поступления документов", + "Назначение ответственного за организацию обработки персональных данных", + "Генеральный директор назначается Президентом Российской Федерации", + "Разрешение доступа к персональным данным всем сотрудникам без ограничений", + "15 дней со дня поступления документов", + "10 000 рублей" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакие из перечисленных мер необходимы для защиты персональных данных согласно Федеральному закону \"О персональных данных\" N 152-ФЗ?\nA. Использование персональных данных сотрудников без их согласия\nB. Продажа персональных данных третьим лицам без уведомления субъектов данных\nC. Генеральный директор назначается Всероссий��ким Объединением предпринимателей\nD. За успешное выполнение всех обязанностей\nE. 6 000 рублей\nF. Не менее 10 тысяч рублей на каждого члена\nG. 60 дней со дня поступления документов\nH. Назначение ответственного за организацию обработки персональных данных\nI. Генеральный директор назначается Президентом Российской Федерации\nJ. Разрешение доступа к персональным данным всем сотрудникам без ограничений\nK. 15 дней со дня поступления документов\nL. 10 000 рублей\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 184, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.02176124043762684, + "B": 0.023164719343185425, + "C": 0.0522025041282177, + "D": 0.14190112054347992, + "E": 0.09752711653709412, + "F": 0.08606737852096558, + "G": 0.18220463395118713, + "H": 0.20646490156650543, + "I": 0.024658717215061188, + "J": 0.018040701746940613, + "K": 0.02176124043762684, + "L": 0.0522025041282177 + }, + "sample": { + "question": "Каков размер ежемесячного пособия на ребенка для военнослужащего, проходящего военную службу по призыву, согласно Федеральному закону 'О государственных пособиях гражданам, имеющим детей' N 81-ФЗ?", + "answerA": "10 000 рублей", + "answerB": "6 000 рублей", + "answerC": "8 500 рублей", + "answerD": "12 000 рублей", + "correct_answer": "6 000 рублей", + "choices": [ + "Генеральный директор назначается Президентом Российской Федерации", + "На основании ходатайства саморегулируемой организации арбитражных управляющих в случае применения к управляющему административного наказания в виде дисквалификации", + "За успешное выполнение всех обязанностей", + "10 000 рублей", + "Генеральный директор назначается Всероссийским Объединением предпринимателей", + "15 дней со дня поступления документов", + "Не менее 10 тысяч рублей на каждого члена", + "8 500 рублей", + "12 000 рублей", + "6 000 рублей", + "60 дней со дня поступления документов", + "Представлять документы и сведения в электронном виде в течение 5 рабочих дней после запроса" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКаков размер ежемесячного пособия на ребенка для военнослужащего, проходящего военную службу по призыву, согласно Федеральному закону 'О государственных пособиях гражданам, имеющим детей' N 81-ФЗ?\nA. Генеральный директор назначается Президентом Российской Федерации\nB. На основании ходатайства саморегулируемой организации арбитражных управляющих в случае применения к управляющему административного наказания в виде дисквалификации\nC. За успешное выполнение всех обязанностей\nD. 10 000 рублей\nE. Генеральный директор назначается Всероссийским Объединением предпринимателей\nF. 15 дней со дня поступления документов\nG. Не менее 10 тысяч рублей на каждого члена\nH. 8 500 рублей\nI. 12 000 рублей\nJ. 6 000 рублей\nK. 60 дней со дня поступления документов\nL. Представлять документы и сведения в электронном виде в тече��ие 5 рабочих дней после запроса\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 220, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.018450535833835602, + "B": 0.12031260132789612, + "C": 0.0826895609498024, + "D": 0.06439869105815887, + "E": 0.04426053166389465, + "F": 0.03905978053808212, + "G": 0.106175497174263, + "H": 0.07297328114509583, + "I": 0.018450535833835602, + "J": 0.106175497174263, + "K": 0.15448443591594696, + "L": 0.03905978053808212 + }, + "sample": { + "question": "Кто назначается на должность генерального директора корпорации развития малого и среднего предпринимательства согласно Федеральному закону 'О развитии малого и среднего предпринимательства в Российской Федерации' N 209-ФЗ?", + "answerA": "Генеральный директор назначается Всероссийским Объединением предпринимателей", + "answerB": "Генеральный директор назначается Президентом Российской Федерации", + "answerC": "Генеральный директор назначается на должность Правительством Российской Федерации", + "answerD": "Генеральный директор избирается членами совета директоров корпорации", + "correct_answer": "Генеральный директор назначается на должность Правительством Российской Федерации", + "choices": [ + "Генеральный директор назначается Президентом Российской Федерации", + "Генеральный директор назначается на должность Правительством Российской Федерации", + "15 дней со дня поступления документов", + "Не менее 10 тысяч рублей на каждого члена", + "На основании ходатайства саморегулируемой организации арбитражных управляющих в случае применения к управляющему административного наказания в виде дисквалификации", + "Представлять документы и сведения в электронном виде в течение 5 рабочих дней после запроса", + "60 дней со дня поступления документов", + "Любые публичные объявления", + "Генеральный директор назначается Всероссийским Объединением предпринимателей", + "Не менее 25 тысяч рублей на каждого члена", + "За успешное выполнение всех обязанностей", + "Генеральный директор избирается членами совета директоров корпорации" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКто назначается на должность генерального директора корпорации развития малого и среднего предпринимательства согласно Федеральному закону 'О развитии малого и среднего предпринимательства в Российской Федерации' N 209-ФЗ?\nA. Генеральный директор назначается Президентом Российской Федерации\nB. Генеральный директор назначается на должность Правительством Российской Федерации\nC. 15 дней со дня поступления документов\nD. Не менее 10 тысяч рублей на каждого члена\nE. На основании ходатайства саморегулируемой организации арбитражных управляющих в случае применения к управляющему административного наказания в виде дисквалификации\nF. Представлять документы и сведения в электронном виде в течение 5 рабочих дней после запроса\nG. 60 дней со дня поступления документов\nH. Любые публичные объявления\nI. Генеральный директор назначается Всероссийским Объединением предпринимателей\nJ. Не менее 25 тысяч рублей на каждого члена\nK. За успешное выполнение всех обязанностей\nL. Генеральный директор избирается членами совета директоров корпорации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 217, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.16787166893482208, + "B": 0.3136255443096161, + "C": 0.054499946534633636, + "D": 0.07929696142673492, + "E": 0.04244460165500641, + "F": 0.06997932493686676, + "G": 0.06175652891397476, + "H": 0.13073858618736267, + "I": 0.002713392721489072, + "J": 0.007375766523182392, + "K": 0.005069285165518522, + "L": 0.003074676962569356 + }, + "sample": { + "question": "Какой срок установлен для согласования Банком России промежуточного ликвидационного баланса и ликвидационного баланса согласно Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ?", + "answerA": "15 дней со дня поступления документов", + "answerB": "60 дней со дня поступления документов", + "answerC": "30 дней со дня поступления документов", + "answerD": "90 дней со дня поступления документов", + "correct_answer": "answerC", + "choices": [ + "30 дней со дня поступления документов", + "90 дней со дня поступления документов", + "Любые публичные объявления", + "15 дней со дня поступления документов", + "Список активов должника", + "Не менее 10 тысяч рублей на каждого члена", + "Исполнить требования налогового законодательства, предусмотренные Налоговым кодексом Российской Федерации", + "60 дней со дня поступления документов", + "За успешное выполнение всех обязанностей", + "На основании ходатайства саморегулируемой организации арбитражных управляющих в случае применения к управляющему административного наказания в виде дисквалификации", + "Представлять документы и сведения в электронном виде в течение 5 рабочих дней после запроса", + "Не менее 25 тысяч рублей на каждого члена" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКакой срок установлен для согласования Банком России промежуточного ликвидационного баланса и ликвидационного баланса согласно Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ?\nA. 30 дней со дня поступления документов\nB. 90 дней со дня поступления документов\nC. Любые публичные объявления\nD. 15 дней со дня поступления документов\nE. Список активов должника\nF. Не менее 10 тысяч рублей на каждого члена\nG. Исполнить требования налогового законодательства, предусмотренные Налоговым кодексом Российской Федерации\nH. 60 дней со дня поступления документов\nI. За успешное выполнение всех обязанностей\nJ. На основании ходатайства саморегулируемой организации арбитражных управляющих в случае п��именения к управляющему административного наказания в виде дисквалификации\nK. Представлять документы и сведения в электронном виде в течение 5 рабочих дней после запроса\nL. Не менее 25 тысяч рублей на каждого члена\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 220, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.001249650726094842, + "B": 0.003849195083603263, + "C": 0.04689279943704605, + "D": 0.011856356635689735, + "E": 0.004361709579825401, + "F": 0.003396902931854129, + "G": 0.004942464176565409, + "H": 0.007655038498342037, + "I": 0.0004893702571280301, + "J": 0.0011028130538761616, + "K": 0.6473351120948792, + "L": 0.001935497042723 + }, + "sample": { + "question": "На основании чего конкурсный управляющий может быть отстранен арбитражным судом от исполнения своих обязанностей?", + "answerA": "За успешное выполнение всех обязанностей", + "answerB": "На основании ходатайства саморегулируемой организации арбитражных управляющих в случае применения к управляющему административного наказания в виде дисквалификации", + "answerC": "По личному желанию большинства кредиторов, независимо от каких-либо оснований", + "answerD": "В случае выигрыша конкурсного управляющего в лотерее, превышающей сумму долга должника", + "correct_answer": "B", + "choices": [ + "Исполнить требования налогового законодательства, предусмотренные Налоговым кодексом Российской Федерации", + "Список активов должника", + "По личному желанию большинства кредиторов, независимо от каких-либо оснований", + "Любые публичные объявления", + "Представлять документы и сведения в электронном виде в течение 5 рабочих дней после запроса", + "В случае выигрыша конкурсного управляющего в лотерее, превышающей сумму долга должника", + "За успешное выполнение всех обязанностей", + "Нормативные правовые акты", + "Не менее 10 тысяч рублей на каждого члена", + "Не менее 25 тысяч рублей на каждого члена", + "На основании ходатайства саморегулируемой организации арбитражных управляющих в случае применения к управляющему административного наказания в виде дисквалификации", + "Такие решения подлежат обязательному исполнению" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nНа основании чего конкурсный управляющий может быть отстранен арбитражным судом от исполнения своих обязанностей?\nA. Исполнить требования налогового законодательства, предусмотренные Налоговым кодексом Российской Федерации\nB. Список активов должника\nC. По личному желанию большинства кредиторов, независимо от каких-либо оснований\nD. Любые публичные объявления\nE. Представлять документы и сведения в электронном виде в течение 5 рабочих дней после запроса\nF. В случае выигрыша конкурсного управляющего в лотерее, превышающей сумму долга должника\nG. За успешное выполнение всех обязанностей\nH. Норматив��ые правовые акты\nI. Не менее 10 тысяч рублей на каждого члена\nJ. Не менее 25 тысяч рублей на каждого члена\nK. На основании ходатайства саморегулируемой организации арбитражных управляющих в случае применения к управляющему административного наказания в виде дисквалификации\nL. Такие решения подлежат обязательному исполнению\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 211, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.021211329847574234, + "B": 0.17760029435157776, + "C": 0.6198859214782715, + "D": 0.039627980440855026, + "E": 0.006077148020267487, + "F": 0.008842197246849537, + "G": 0.01457832008600235, + "H": 0.004732887260615826, + "I": 0.0003220770158804953, + "J": 0.0018534254049882293, + "K": 0.004732887260615826, + "L": 9.822793799685314e-05 + }, + "sample": { + "question": "Какой минимальный размер компенсационного фонда должна сформировать саморегулируемая организация для признания результатов её деятельности контрольными (надзорными) органами согласно Федеральному закону от 31.07.2020 N 248-ФЗ?", + "answerA": "Не менее 10 тысяч рублей на каждого члена", + "answerB": "Не менее 25 тысяч рублей на каждого члена", + "answerC": "Не менее 50 тысяч рублей на каждого члена", + "answerD": "Не менее 100 тысяч рублей на каждого члена", + "correct_answer": "Не менее 25 тысяч рублей на каждого члена", + "choices": [ + "Нормативные правовые акты", + "Не менее 25 тысяч рублей на каждого члена", + "Не менее 50 тысяч рублей на каждого члена", + "Исполнить требования налогового законодательства, предусмотренные Налоговым кодексом Российской Федерации", + "Любые публичные объявления", + "Не менее 100 тысяч рублей на каждого члена", + "Не менее 10 тысяч рублей на каждого члена", + "Список активов должника", + "Очень высокий риск, высокий риск, низкий риск", + "Такие решения подлежат обязательному исполнению", + "Признание заявления о признании должника банкротом обоснованным и введение наблюдения", + "Представлять документы и сведения в электронном виде в течение 5 рабочих дней после запроса" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКакой минимальный размер компенсационного фонда должна сформировать саморегулируемая организация для признания результатов её деятельности контрольными (надзорными) органами согласно Федеральному закону от 31.07.2020 N 248-ФЗ?\nA. Нормативные правовые акты\nB. Не менее 25 тысяч рублей на каждого члена\nC. Не менее 50 тысяч рублей на каждого члена\nD. Исполнить требования налогового законодательства, предусмотренные Налоговым кодексом Российской Федерации\nE. Любые публичные объявления\nF. Не менее 100 тысяч рублей на каждого члена\nG. Не менее 10 тысяч рублей на каждого члена\nH. Список активов должника\nI. Очень высокий риск, высокий риск, низкий риск\nJ. Такие решения подлежат обязательному исполнению\nK. Признание заявления о признании должника банкротом обоснованным и введение наблюдения\nL. Представлять документы и сведения в электронном виде в течение 5 рабочих дней после запроса\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 223, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0006272402824833989, + "B": 0.0008053924539126456, + "C": 0.0026407805271446705, + "D": 0.9401829242706299, + "E": 0.0007107564015313983, + "F": 0.00035739075974561274, + "G": 0.00035739075974561274, + "H": 0.00013147671415936202, + "I": 0.00016881943156477064, + "J": 8.488774619763717e-05, + "K": 0.0011008409783244133, + "L": 8.94710228749318e-06 + }, + "sample": { + "question": "Какие обязанности несет проверяемое лицо при проведении таможенной проверки в соответствии с Федеральным законом \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ, статьей 236?", + "answerA": "Представлять документы и сведения в электронном виде в течение 5 рабочих дней после запроса", + "answerB": "Исполнить требования налогового законодательства, предусмотренные Налоговым кодексом Российской Федерации", + "answerC": "Обеспечивать доступ к документам и базам данных, необходимым для проведения выездной таможенной проверки, а также предоставление копий необходимых документов", + "answerD": "Предоставлять информацию о перемещении товаров через границу только по запросу физических лиц", + "correct_answer": "C", + "choices": [ + "Нормативные правовые акты", + "Любые публичные объявления", + "Список активов должника", + "Обеспечивать доступ к документам и базам данных, необходимым для проведения выездной таможенной проверки, а также предоставление копий необходимых документов", + "Способ определения поставщика услуг путем публичного аукциона", + "Очень высокий риск, высокий риск, низкий риск", + "Представлять документы и сведения в электронном виде в течение 5 рабочих дней после запроса", + "Предоставлять информацию о перемещении товаров через границу только по запросу физических лиц", + "Признание заявления о признании должника банкротом обоснованным и введение наблюдения", + "Такие решения подлежат обязательному исполнению", + "Исполнить требования налогового законодательства, предусмотренные Налоговым кодексом Российской Федерации", + "Может быть установлено иное порядком, не определенным федеральным конституционным законом" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКакие обязанности несет проверяемое лицо при проведении таможенной проверки в соответствии с Федеральным законом \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ, статьей 236?\nA. Нормативные правовые акты\nB. Любые публичные объявления\nC. Список активов должника\nD. Обеспечивать доступ к документам и базам данных, необходимым для проведения выездной таможенной проверки, а также предоставление копий необходимых документов\nE. Способ определения поставщика услуг путем публичного аукциона\nF. Очень высокий риск, высокий риск, низкий риск\nG. Представлять документы и сведения в электронном виде в течение 5 рабочих дней после запроса\nH. Предоставлять информацию о перемещении товаров через границу только по запросу физических лиц\nI. Признание заявления о признании должника банкротом обоснованным и введение наблюдения\nJ. Такие решения подлежат обязательному исполнению\nK. Исполнить требования налогового законодательства, предусмотренные Налоговым кодексом Российской Федерации\nL. Может быть установлено иное порядком, не определенным федеральным конституционным законом\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 250, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.007518921047449112, + "B": 0.035870764404535294, + "C": 0.02624361217021942, + "D": 0.02043854631483555, + "E": 0.019200235605239868, + "F": 0.029737910255789757, + "G": 0.035870764404535294, + "H": 0.20642200112342834, + "I": 0.0037807507906109095, + "J": 0.01803695410490036, + "K": 0.30034223198890686, + "L": 0.18216678500175476 + }, + "sample": { + "question": "Какие документы могут содержать ссылки на официально опубликованные национальные стандарты и информационно-технические справочники согласно Федеральному закону 'О стандартизации в Российской Федерации' N 162-ФЗ?", + "answerA": "Любые публичные объявления", + "answerB": "Нормативные правовые акты", + "answerC": "Персональные документы граждан", + "answerD": "Внутренние докладные записки организаций", + "correct_answer": "Нормативные правовые акты", + "choices": [ + "Может быть установлено иное порядком, не определенным федеральным конституционным законом", + "Внутренние докладные записки организаций", + "Такие решения подлежат обязательному исполнению", + "Способ определения поставщика услуг путем публичного аукциона", + "Список активов должника", + "Признание заявления о признании должника банкротом обоснованным и введение наблюдения", + "Персональные документы граждан", + "В случае участия в федеральной программе поддержки предпринимателей-иностранцев", + "Очень высокий риск, высокий риск, низкий риск", + "Любые публичные объявления", + "Чрезвычайно высокий риск, значительный риск, умеренный риск, низкий риск", + "Нормативные правовые акты" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКакие документы могут содержать ссылки на официально опубликованные национальные стандарты и информационно-технические справочники согласно Федеральному закону 'О стандартизации в Российской Федерации' N 162-ФЗ?\nA. Может быть установлено иное порядком, не определенным федеральным конституционным законом\nB. Внутренние докладные записки организаций\nC. Такие решения подлежат обязательному исполнению\nD. Способ определения поставщика услуг путем публичного аукциона\nE. Список активов должника\nF. Признание заявления о признании должника банкротом обоснованным и введение наблюдения\nG. Персональные документы граждан\nH. В случае участия в федеральной программе поддержки предпринимателей-иностранцев\nI. Очень высокий риск, высокий риск, низкий риск\nJ. Любые публичные объявления\nK. Чрезвычайно высокий риск, значительный риск, умеренный риск, низкий риск\nL. Нормативные правовые акты\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 199, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.5450411438941956, + "B": 0.07376329600811005, + "C": 0.027135999873280525, + "D": 0.02394743822515011, + "E": 0.07376329600811005, + "F": 0.09471394121646881, + "G": 0.012041526846587658, + "H": 0.034843314439058304, + "I": 0.006861055735498667, + "J": 0.011311967857182026, + "K": 0.002860113512724638, + "L": 0.0013510220451280475 + }, + "sample": { + "question": "Что должно содержаться в определении арбитражного суда о введении наблюдения согласно Федеральному закону \"О несостоятельности (банкротстве)\" N 127-ФЗ, Статья 49?", + "answerA": "Список активов должника", + "answerB": "Признание заявления о признании должника банкротом обоснованным и введение наблюдения", + "answerC": "План реструктуризации долгов", + "answerD": "Список кредиторов должника", + "correct_answer": "B", + "choices": [ + "Признание заявления о признании должника банкротом обоснованным и введение наблюдения", + "Может быть установлено иное порядком, не определенным федеральным конституционным законом", + "План реструктуризации долгов", + "Способ определения поставщика услуг путем публичного аукциона", + "Список активов должника", + "Чрезвычайно высокий риск, значительный риск, умеренный риск, низкий риск", + "Способ заключения контракта без предварительного извещения", + "В случае участия в федеральной программе поддержки предпринимателей-иностранцев", + "5 процентов", + "Очень высокий риск, высокий риск, низкий риск", + "Список кредиторов должника", + "Такие решения подлежат обязательному исполнению" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nЧто должно содержаться в определении арбитражного суда о введении наблюдения согласно Федеральному закону \"О несостоятельности (банкротстве)\" N 127-ФЗ, Статья 49?\nA. Признание заявления о признании должника банкротом обоснованным и введение наблюдения\nB. Может быть установлено иное порядком, не определенным федеральным конституционным законом\nC. План реструктуризации долгов\nD. Способ определения поставщика услуг путем публичного аукциона\nE. Список активов должника\nF. Чрезвычайно высокий риск, значительный риск, умеренный риск, низкий риск\nG. Способ заключения контракта без предварительного извещения\nH. В случае участия в федеральной программе поддержки предпринимателей-иностранцев\nI. 5 процентов\nJ. Очень высокий риск, высокий риск, низкий риск\nK. Список кредиторов должника\nL. Такие решения подлежат обязательному исполнению\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 198, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0019929383415728807, + "B": 0.7095351815223694, + "C": 0.004491155501455069, + "D": 0.01472593192011118, + "E": 0.040029238909482956, + "F": 0.10881074517965317, + "G": 0.01668666861951351, + "H": 0.024278957396745682, + "I": 0.00021005416056141257, + "J": 0.01668666861951351, + "K": 0.00421905005350709, + "L": 0.010120974853634834 + }, + "sample": { + "question": "Что указано в Федеральном законе \"О концессионных соглашениях\" N 115-ФЗ относительно истолкования межгосударственных решений, противоречащих Конституции РФ?", + "answerA": "Такие решения подлежат обязательному исполнению", + "answerB": "Может быть установлено иное порядком, не определенным федеральным конституционным законом", + "answerC": "Может быть установлено противоречие в порядке, определенном федеральным конституционным законом", + "answerD": "Такие решения автоматически становятся частью внутреннего законодательства РФ", + "correct_answer": "Может быть установлено противоречие в порядке, определенном федеральным конституционным законом", + "choices": [ + "Такие решения автоматически становятся частью внутреннего законодательства РФ", + "Может быть установлено иное порядком, не определенным федеральным конституционным законом", + "Очень высокий риск, высокий риск, низкий риск", + "Способ определения поставщика услуг путем публичного аукциона", + "В случае участия в федеральной программе поддержки предпринимателей-иностранцев", + "Арбитражный суд", + "Чрезвычайно высокий риск, значительный риск, умеренный риск, низкий риск", + "5 процентов", + "В случае получения статуса участника Государственной программы по оказанию содействия добровольному переселению соотечественников или в связи с переездом к месту жительства гражданина РФ", + "Такие решения подлежат обязательному исполнению", + "Способ заключения контракта без предварительного извещения", + "Может быть установлено противоречие в порядке, определенном федеральным конституционным законом" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nЧто указано в Федеральном законе \"О концессионных соглашениях\" N 115-ФЗ относительно истолкования межгосударственных решений, противоречащих Конституции РФ?\nA. Такие решения автоматически становятся частью внутреннего законодательства РФ\nB. Может быть установлено иное порядком, не определенным федеральным конституционным законом\nC. Очень высокий риск, высокий риск, низкий риск\nD. Способ определения поставщика услуг путем публичного аукциона\nE. В случае участия в федеральной программе поддержки предпринимателей-иностранцев\nF. Арбитражный суд\nG. Чрезвычайно высокий риск, значительный риск, умеренный риск, низкий риск\nH. 5 процентов\nI. В случае получения статуса участника Государственной программы по оказанию содействия добровольному переселению соотечественников или в связи с переездом к месту жительства гражданина РФ\nJ. Такие решения подлежат обязательному исполнению\nK. Способ заключения контракта без предварительного извещения\nL. Может быть установлено противоречие в порядке, определенном федеральным конституционным законом\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 221, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.00737267080694437, + "B": 0.029159480705857277, + "C": 0.017686117440462112, + "D": 0.05447707697749138, + "E": 0.4025341868400574, + "F": 0.06994994729757309, + "G": 0.10177657753229141, + "H": 0.06173061951994896, + "I": 0.015607943758368492, + "J": 0.06173061951994896, + "K": 0.048075854778289795, + "L": 0.00835433043539524 + }, + "sample": { + "question": "Какие категории риска причинения вреда (ущерба) упоминаются в Федеральном законе от 31.07.2020 N 248-ФЗ 'О государственном контроле (надзоре) и муниципальном контроле в Российской Федерации'?", + "answerA": "Очень высокий риск, высокий риск, низкий риск", + "answerB": "Чрезвычайно высокий риск, значительный риск, умеренный риск, низкий риск", + "answerC": "Высокий риск, средний риск, низший риск", + "answerD": "Чрезвычайно высокий риск, высокий риск, умеренный риск", + "correct_answer": "B", + "choices": [ + "В случае участия в федеральной программе поддержки предпринимателей-иностранцев", + "Способ определения поставщика услуг путем публичного аукциона", + "Арбитражный суд", + "1 процент", + "Чрезвычайно высокий риск, высокий риск, умеренный риск", + "Высокий риск, средний риск, низший риск", + "В случае получения статуса участника Государственной программы по оказанию содействия добровольному переселению соотечественников или в связи с переездом к месту жительства гражданина РФ", + "Способ заключения контракта без предварительного извещения", + "5 процентов", + "Чрезвычайно высокий риск, значительный риск, умеренный риск, низкий риск", + "Очень высокий риск, высокий риск, низкий риск", + "Только обязательства по договорам страхования, исполненные на дату принятия решения о передаче." + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКакие категории риска причинения вреда (ущерба) упоминаются в Федеральном законе от 31.07.2020 N 248-ФЗ 'О государственном контроле (надзоре) и муниципальном контроле в Российской Федерации'?\nA. В случае участия в федеральной программе поддержки предпринимателей-иностранцев\nB. Способ определения поставщика услуг путем публичного аукциона\nC. Арбитражный суд\nD. 1 процент\nE. Чрезвычайно высокий риск, высокий риск, умеренный риск\nF. Высокий риск, средний риск, низший риск\nG. В случае получения статуса участника Государственной программы по оказанию содействия добровольному переселению соотечественников или в связи с переездом к месту жительства гражданина РФ\nH. Способ заключения контракта без предварительного извещения\nI. 5 процентов\nJ. Чрезвычайно высокий риск, значительный риск, умеренный риск, низкий риск\nK. Очень высокий риск, высокий риск, низкий риск\nL. Только обязательства по договорам страхования, исполненные на дату принятия решения о передаче.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 231, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.010992289520800114, + "B": 0.012455896474421024, + "C": 0.680068850517273, + "D": 0.17194834351539612, + "E": 0.010992289520800114, + "F": 0.012455896474421024, + "G": 0.023270675912499428, + "H": 0.007554883137345314, + "I": 0.0012333006598055363, + "J": 0.0016857222653925419, + "K": 0.0020333691500127316, + "L": 0.00013837250298820436 + }, + "sample": { + "question": "Что понимается под запросом котировок согласно Федеральному закону \"О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд\" N 44-ФЗ?", + "answerA": "Способ определения поставщика услуг путем публичного аукциона", + "answerB": "Способ заключения контракта без предварительного извещения", + "answerC": "Способ размещения заказа, при котором информация о нуждах сообщается неограниченному кругу лиц с признанием победителя, предложившего наименьшую цену", + "answerD": "Прямое заключение контракта на основе личной рекомендации", + "correct_answer": "Способ размещения заказа, при котором информация о нуждах сообщается неограниченному кругу лиц с признанием победителя, предложившего наименьшую цену", + "choices": [ + "В случае участия в федеральной программе поддержки предпринимателей-иностранцев", + "Уполномоченный орган", + "Способ размещения заказа, при котором информация о нуждах сообщается неограниченному кругу лиц с признанием победителя, предложившего наименьшую цену", + "Способ определения поставщика услуг путем публичного аукциона", + "Способ заключения контракта без предварительного извещения", + "1 процент", + "Арбитражный суд", + "В случае получения статуса участника Государственной программы по оказанию содействия добровольному переселению соотечественников или в связи с переездом к месту жительства гражданина РФ", + "Прямое заключение контракта на основе личной рекомендации", + "Только государственные органы", + "5 процентов", + "Только обязательства по договорам страхования, исполненные на дату принят��я решения о передаче." + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nЧто понимается под запросом котировок согласно Федеральному закону \"О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд\" N 44-ФЗ?\nA. В случае участия в федеральной программе поддержки предпринимателей-иностранцев\nB. Уполномоченный орган\nC. Способ размещения заказа, при котором информация о нуждах сообщается неограниченному кругу лиц с признанием победителя, предложившего наименьшую цену\nD. Способ определения поставщика услуг путем публичного аукциона\nE. Способ заключения контракта без предварительного извещения\nF. 1 процент\nG. Арбитражный суд\nH. В случае получения статуса участника Государственной программы по оказанию содействия добровольному переселению соотечественников или в связи с переездом к месту жительства гражданина РФ\nI. Прямое заключение контракта на основе личной рекомендации\nJ. Только государственные органы\nK. 5 процентов\nL. Только обязательства по договорам страхования, исполненные на дату принятия решения о передаче.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 222, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.06825355440378189, + "B": 0.008677464909851551, + "C": 0.03653349354863167, + "D": 0.009832857176661491, + "E": 0.5043293237686157, + "F": 0.003850601613521576, + "G": 0.007193871308118105, + "H": 0.004944270942360163, + "I": 0.007657836191356182, + "J": 0.002998851705342531, + "K": 0.004098944831639528, + "L": 9.63979255175218e-05 + }, + "sample": { + "question": "В соответствии с Федеральным законом \"О правовом положении иностранных граждан в Российской Федерации\" N 115-ФЗ, в каких случаях временно проживающий иностранный гражданин может выбирать место проживания вне субъекта Российской Федерации, где ему выдано разрешение на временное проживание?", + "answerA": "В случае участия в федеральной программе поддержки предпринимателей-иностранцев", + "answerB": "В случае получения статуса участника Государственной программы по оказанию содействия добровольному переселению соотечественников или в связи с переездом к месту жительства гражданина РФ", + "answerC": "При наличии официального приглашения от органов местного самоуправления для участия в культурных мероприятиях", + "answerD": "Если иностранный гражданин является студентом образовательного учреждения РФ", + "correct_answer": "B", + "choices": [ + "Уполномоченный орган", + "Только обязательства по договорам страхования, исполненные на дату принятия решения о передаче.", + "Если иностранный гражданин является студентом образовательного учреждения РФ", + "Арбитражный суд", + "В случае получения статуса участника Государственной программы по оказанию содействия добровольному переселению соотечественников или в связи с переездом к месту жительства гражданина РФ", + "При наличии официального приглашения от органов местного самоуправления для участия в культурных мероприятиях", + "1 процент", + "5 процентов", + "В случае участия в федеральной программе поддержки предпринимателей-иностранцев", + "Полиция обязана привлекать граждан к реализации государственной политики.", + "Только государственные органы", + "Активы, принимаемые для покрытия страховых резервов и обязательства по неисполненным договорам страхования." + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nВ соответствии с Федеральным законом \"О правовом положении иностранных граждан в Российской Федерации\" N 115-ФЗ, в каких случаях временно проживающий иностранный гражданин может выбирать место проживания вне субъекта Российской Федерации, где ему выдано разрешение на временное проживание?\nA. Уполномоченный орган\nB. Только обязательства по договорам страхования, исполненные на дату принятия решения о передаче.\nC. Если иностранный гражданин является студентом образовательного учреждения РФ\nD. Арбитражный суд\nE. В случае получения статуса участника Государственной программы по оказанию содействия добровольному переселению соотечественников или в связи с переездом к месту жительства гражданина РФ\nF. При наличии официального приглашения от органов местного самоуправления для участия в культурных мероприятиях\nG. 1 процент\nH. 5 процентов\nI. В случае участия в федеральной программе поддержки предпринимателей-иностранцев\nJ. Полиция обязана привлекать граждан к реализации государственной политики.\nK. Только государственные органы\nL. Активы, принимаемые для покрытия страховых резервов и обязательства по неисполненным договорам страхования.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 232, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.019908035174012184, + "B": 0.019908035174012184, + "C": 0.5817980766296387, + "D": 0.03719310462474823, + "E": 0.025562424212694168, + "F": 0.02255875989794731, + "G": 0.14710159599781036, + "H": 0.032822802662849426, + "I": 0.002233619801700115, + "J": 0.0032498976215720177, + "K": 0.01368257962167263, + "L": 0.0011955704540014267 + }, + "sample": { + "question": "Сколько процентов от числа жителей муниципального образования, обладающих избирательным правом, не может превышать минимальная численность инициативной группы граждан для выдвижения правотворческой инициативы в соответствии со статьёй 26 Федерального закона \"Об общих принципах организации местного самоуправления в РФ\" (закон о МСУ) N 131-ФЗ?", + "answerA": "5 процентов", + "answerB": "1 процент", + "answerC": "3 процента", + "answerD": "10 процентов", + "correct_answer": "3 процента", + "choices": [ + "Только обязательства по договорам страхования, исполненные на дату принятия решения о передаче.", + "Только муниципа��ьные организации", + "3 процента", + "Уполномоченный орган", + "Исключительно указами Президента Российской Федерации", + "Только государственные органы", + "1 процент", + "Активы, принимаемые для покрытия страховых резервов и обязательства по неисполненным договорам страхования.", + "Полиция обязана привлекать граждан к реализации государственной политики.", + "5 процентов", + "10 процентов", + "Арбитражный суд" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nСколько процентов от числа жителей муниципального образования, обладающих избирательным правом, не может превышать минимальная численность инициативной группы граждан для выдвижения правотворческой инициативы в соответствии со статьёй 26 Федерального закона \"Об общих принципах организации местного самоуправления в РФ\" (закон о МСУ) N 131-ФЗ?\nA. Только обязательства по договорам страхования, исполненные на дату принятия решения о передаче.\nB. Только муниципальные организации\nC. 3 процента\nD. Уполномоченный орган\nE. Исключительно указами Президента Российской Федерации\nF. Только государственные органы\nG. 1 процент\nH. Активы, принимаемые для покрытия страховых резервов и обязательства по неисполненным договорам страхования.\nI. Полиция обязана привлекать граждан к реализации государственной политики.\nJ. 5 процентов\nK. 10 процентов\nL. Арбитражный суд\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 201, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0015783567214384675, + "B": 0.012414737604558468, + "C": 0.004861680790781975, + "D": 0.11778775602579117, + "E": 0.009668607264757156, + "F": 0.00403047539293766, + "G": 0.0026022703386843204, + "H": 0.00624252250418067, + "I": 0.00037489261012524366, + "J": 0.0019038617610931396, + "K": 0.008532516658306122, + "L": 0.7680726051330566 + }, + "sample": { + "question": "Кто созывает собрание кредиторов в случае банкротства гражданина по Федеральному закону \"О несостоятельности (банкротстве)\" N 127-ФЗ?", + "answerA": "Арбитражный суд", + "answerB": "Уполномоченный орган", + "answerC": "Финансовый управляющий", + "answerD": "Гражданин", + "correct_answer": "C", + "choices": [ + "Гражданин", + "Действия сотрудников полиции должны быть обоснованными и понятными для граждан.", + "Исключительно указами Президента Российской Федерации", + "Уполномоченный орган", + "Только государственные органы", + "Только обязательства по договорам страхования, исполненные на дату принятия решения о передаче.", + "Финансовый управляющий", + "В течение одного рабочего дня", + "Активы, принимаемые для покрытия страховых резервов и обязательства по неисполненным договорам страхования.", + "Полиция обязана привлекать граждан к реализации государственной политики.", + "Только муниципальные организации", + "Арбитражный суд" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКто созывает собрание кредиторов в случае банкротства гражданина по Федеральному закону \"О несостоятельности (банкротстве)\" N 127-ФЗ?\nA. Гражданин\nB. Действия сотрудников полиции должны быть обоснованными и понятными для граждан.\nC. Исключительно указами Президента Российской Федерации\nD. Уполномоченный орган\nE. Только государственные органы\nF. Только обязательства по договорам страхования, исполненные на дату принятия решения о передаче.\nG. Финансовый управляющий\nH. В течение одного рабочего дня\nI. Активы, принимаемые для покрытия страховых резервов и обязательства по неисполненным договорам страхования.\nJ. Полиция обязана привлекать граждан к реализации государственной политики.\nK. Только муниципальные организации\nL. Арбитражный суд\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 176, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.005924546159803867, + "B": 0.004071877337992191, + "C": 0.020678699016571045, + "D": 0.014212247915565968, + "E": 0.004911621566861868, + "F": 0.003825174644589424, + "G": 0.8792806267738342, + "H": 0.011068509891629219, + "I": 0.0023200856521725655, + "J": 0.0016974109457805753, + "K": 0.0029790489934384823, + "L": 0.00019044421787839383 + }, + "sample": { + "question": "Что включает в себя страховой портфель страховой организации при его передаче согласно статье 184.9 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?", + "answerA": "Только обязательства по договорам страхования, исполненные на дату принятия решения о передаче.", + "answerB": "Активы, принимаемые для покрытия страховых резервов и обязательства по неисполненным договорам страхования.", + "answerC": "Исключительно активы, предназначенные для выплат по договорам страхования.", + "answerD": "Только информацию о страховых выплатах, произведенных до момента передачи страхового портфеля.", + "correct_answer": "answerB", + "choices": [ + "Исключительно указами Президента Российской Федерации", + "Только обязательства по договорам страхования, исполненные на дату принятия решения о передаче.", + "Полиция обязана привлекать граждан к реализации государственной политики.", + "Федеральными законами, актами, составляющими право Евразийского экономического союза, и нормативными правовыми актами субъектов Российской Федерации", + "Только государственные органы", + "Только муниципальные организации", + "Активы, принимаемые для покрытия страховых резервов и обязательства по неисполненным договорам страхования.", + "Меры социальной защиты, включая финансовую поддержку неизлечимо больных.", + "Исключительно активы, предназначенные для выплат по договорам страхования.", + "В течение одного рабочего дня", + "Только информацию о страховых выплатах, произведенных до момента передачи ��трахового портфеля.", + "Действия сотрудников полиции должны быть обоснованными и понятными для граждан." + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nЧто включает в себя страховой портфель страховой организации при его передаче согласно статье 184.9 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?\nA. Исключительно указами Президента Российской Федерации\nB. Только обязательства по договорам страхования, исполненные на дату принятия решения о передаче.\nC. Полиция обязана привлекать граждан к реализации государственной политики.\nD. Федеральными законами, актами, составляющими право Евразийского экономического союза, и нормативными правовыми актами субъектов Российской Федерации\nE. Только государственные органы\nF. Только муниципальные организации\nG. Активы, принимаемые для покрытия страховых резервов и обязательства по неисполненным договорам страхования.\nH. Меры социальной защиты, включая финансовую поддержку неизлечимо больных.\nI. Исключительно активы, предназначенные для выплат по договорам страхования.\nJ. В течение одного рабочего дня\nK. Только информацию о страховых выплатах, произведенных до момента передачи страхового портфеля.\nL. Действия сотрудников полиции должны быть обоснованными и понятными для граждан.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 235, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.001226823776960373, + "B": 0.01802804321050644, + "C": 0.006230324972420931, + "D": 0.023148467764258385, + "E": 0.01693577878177166, + "F": 0.8160116076469421, + "G": 0.019190752878785133, + "H": 0.027922380715608597, + "I": 0.0002002734981942922, + "J": 0.002597186015918851, + "K": 0.019190752878785133, + "L": 0.003132804296910763 + }, + "sample": { + "question": "Какой орган или организация осуществляет внутренний контроль качества и безопасности медицинской деятельности в соответствии с Федеральным законом 'Об основах охраны здоровья граждан в Российской Федерации' N 323-ФЗ, Статьей 90?", + "answerA": "Только государственные органы", + "answerB": "Только муниципальные организации", + "answerC": "Только частные медицинские учреждения", + "answerD": "Органами, организациями государственной, муниципальной и частной систем здравоохранения", + "correct_answer": "answerD", + "choices": [ + "В течение одного рабочего дня", + "Действия сотрудников полиции должны быть обоснованными и понятными для граждан.", + "Только государственные органы", + "Исключительно указами Президента Российской Федерации", + "Полиция обязана привлекать граждан к реализации государственной политики.", + "Органами, организациями государственной, муниципальной и частной систем здравоохранения", + "Меры социальной защиты, включая финансовую поддержку неизлечимо больных.", + "Федеральными законами, актами, составляющими право Евразийского экономического союза, и нормативными правовыми актами субъектов Российской Федерации", + "Организация и проведение аукциона по продаже имущества кредитной организации", + "В течение трех рабочих дней", + "Только муниципальные организации", + "Только частные медицинские учреждения" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКакой орган или организация осуществляет внутренний контроль качества и безопасности медицинской деятельности в соответствии с Федеральным законом 'Об основах охраны здоровья граждан в Российской Федерации' N 323-ФЗ, Статьей 90?\nA. В течение одного рабочего дня\nB. Действия сотрудников полиции должны быть обоснованными и понятными для граждан.\nC. Только государственные органы\nD. Исключительно указами Президента Российской Федерации\nE. Полиция обязана привлекать граждан к реализации государственной политики.\nF. Органами, организациями государственной, муниципальной и частной систем здравоохранения\nG. Меры социальной защиты, включая финансовую поддержку неизлечимо больных.\nH. Федеральными законами, актами, составляющими право Евразийского экономического союза, и нормативными правовыми актами субъектов Российской Федерации\nI. Организация и проведение аукциона по продаже имущества кредитной организации\nJ. В течение трех рабочих дней\nK. Только муниципальные организации\nL. Только частные медицинские учреждения\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 209, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0015663942322134972, + "B": 0.0012985863722860813, + "C": 0.06660477072000504, + "D": 0.005136008840054274, + "E": 0.006195208989083767, + "F": 0.0013823381159454584, + "G": 0.0054672532714903355, + "H": 0.0016674179350957274, + "I": 0.0045325118117034435, + "J": 0.0012199090560898185, + "K": 0.49214640259742737, + "L": 0.00013686998863704503 + }, + "sample": { + "question": "Какой из пунктов определяет, что действия сотрудников полиции должны быть обоснованными и понятными для граждан согласно Федеральному закону 'О полиции' N 3-ФЗ?", + "answerA": "Полиция обязана привлекать граждан к реализации государственной политики.", + "answerB": "Действия сотрудников полиции должны быть обоснованными и понятными для граждан.", + "answerC": "Общественные советы формируются на основе добровольного участия граждан и организаций.", + "answerD": "Полиция принимает меры по восстановлению нарушенных прав и свобод.", + "correct_answer": "answerB", + "choices": [ + "Федеральными законами, актами, составляющими право Евразийского экономического союза, и нормативными правовыми актами субъектов Российской Федерации", + "Исключительно указами Президента Российской Федерации", + "В течение одного рабочего дня", + "Взимать дополнительные платежи с потребителей услуг субъекта естественной монополии", + "Меры социальной защиты, вклю��ая финансовую поддержку неизлечимо больных.", + "В течение трех рабочих дней", + "Организация и проведение аукциона по продаже имущества кредитной организации", + "Общественные советы формируются на основе добровольного участия граждан и организаций.", + "Полиция принимает меры по восстановлению нарушенных прав и свобод.", + "Полиция обязана привлекать граждан к реализации государственной политики.", + "Действия сотрудников полиции должны быть обоснованными и понятными для граждан.", + "Комплекс мероприятий, включающих медицинские вмешательства, психологическую помощь и уход, направленные на улучшение качества жизни неизлечимо больных." + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКакой из пунктов определяет, что действия сотрудников полиции должны быть обоснованными и понятными для граждан согласно Федеральному закону 'О полиции' N 3-ФЗ?\nA. Федеральными законами, актами, составляющими право Евразийского экономического союза, и нормативными правовыми актами субъектов Российской Федерации\nB. Исключительно указами Президента Российской Федерации\nC. В течение одного рабочего дня\nD. Взимать дополнительные платежи с потребителей услуг субъекта естественной монополии\nE. Меры социальной защиты, включая финансовую поддержку неизлечимо больных.\nF. В течение трех рабочих дней\nG. Организация и проведение аукциона по продаже имущества кредитной организации\nH. Общественные советы формируются на основе добровольного участия граждан и организаций.\nI. Полиция принимает меры по восстановлению нарушенных прав и свобод.\nJ. Полиция обязана привлекать граждан к реализации государственной политики.\nK. Действия сотрудников полиции должны быть обоснованными и понятными для граждан.\nL. Комплекс мероприятий, включающих медицинские вмешательства, психологическую помощь и уход, направленные на улучшение качества жизни неизлечимо больных.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 234, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.019602956250309944, + "B": 0.8335388898849487, + "C": 0.025170695036649704, + "D": 0.013472901657223701, + "E": 0.015266797505319118, + "F": 0.004109002649784088, + "G": 0.009259781800210476, + "H": 0.011889793910086155, + "I": 0.00023181407595984638, + "J": 0.0018233589362353086, + "K": 0.001712887198664248, + "L": 0.0001240811252500862 + }, + "sample": { + "question": "Каким образом устанавливаются обязательные требования в Российской Федерации согласно Федеральному закону от 31.07.2020 N 247-ФЗ?", + "answerA": "Исключительно указами Президента Российской Федерации", + "answerB": "Федеральными законами, актами, составляющими право Евразийского экономического союза, и нормативными правовыми актами субъектов Российской Федерации", + "answerC": "Только международными договорами Российской Федерации", + "answerD": "Огран��чительными приказами федеральных министерств", + "correct_answer": "B", + "choices": [ + "В течение трех рабочих дней", + "Федеральными законами, актами, составляющими право Евразийского экономического союза, и нормативными правовыми актами субъектов Российской Федерации", + "Ограничительными приказами федеральных министерств", + "Взимать дополнительные платежи с потребителей услуг субъекта естественной монополии", + "В течение одного рабочего дня", + "Только международными договорами Российской Федерации", + "Меры социальной защиты, включая финансовую поддержку неизлечимо больных.", + "Комплекс мероприятий, включающих медицинские вмешательства, психологическую помощь и уход, направленные на улучшение качества жизни неизлечимо больных.", + "Организация и проведение аукциона по продаже имущества кредитной организации", + "О согласии на внесение эмитентом изменений в решение о выпуске облигаций.", + "Разработка мероприятий по финансовому оздоровлению кредитной организации", + "Исключительно указами Президента Российской Федерации" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКаким образом устанавливаются обязательные требования в Российской Федерации согласно Федеральному закону от 31.07.2020 N 247-ФЗ?\nA. В течение трех рабочих дней\nB. Федеральными законами, актами, составляющими право Евразийского экономического союза, и нормативными правовыми актами субъектов Российской Федерации\nC. Ограничительными приказами федеральных министерств\nD. Взимать дополнительные платежи с потребителей услуг субъекта естественной монополии\nE. В течение одного рабочего дня\nF. Только международными договорами Российской Федерации\nG. Меры социальной защиты, включая финансовую поддержку неизлечимо больных.\nH. Комплекс мероприятий, включающих медицинские вмешательства, психологическую помощь и уход, направленные на улучшение качества жизни неизлечимо больных.\nI. Организация и проведение аукциона по продаже имущества кредитной организации\nJ. О согласии на внесение эмитентом изменений в решение о выпуске облигаций.\nK. Разработка мероприятий по финансовому оздоровлению кредитной организации\nL. Исключительно указами Президента Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 237, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.06268194317817688, + "B": 0.038018520921468735, + "C": 0.03355122730135918, + "D": 0.0488167442381382, + "E": 0.17038719356060028, + "F": 0.11710529029369354, + "G": 0.1503661721944809, + "H": 0.28092098236083984, + "I": 0.00961258728057146, + "J": 0.0062063527293503284, + "K": 0.013138850219547749, + "L": 0.026129720732569695 + }, + "sample": { + "question": "Сколько рабочих дней отводится на уведомление правообладателя о предварительном решении о включении объекта интеллек��уальной собственности в таможенный реестр?", + "answerA": "В течение одного рабочего дня", + "answerB": "В течение трех рабочих дней", + "answerC": "В течение пяти рабочих дней", + "answerD": "В течение семи рабочих дней", + "correct_answer": "В течение трех рабочих дней", + "choices": [ + "В течение семи рабочих дней", + "Организация и проведение аукциона по продаже имущества кредитной организации", + "Взимать дополнительные платежи с потребителей услуг субъекта естественной монополии", + "Комплекс мероприятий, включающих медицинские вмешательства, психологическую помощь и уход, направленные на улучшение качества жизни неизлечимо больных.", + "Разработка мероприятий по финансовому оздоровлению кредитной организации", + "О согласии на внесение эмитентом изменений в решение о выпуске облигаций.", + "В течение одного рабочего дня", + "В течение трех рабочих дней", + "Отказаться от исполнения договоров должника перед потребителями", + "Меры социальной защиты, включая финансовую поддержку неизлечимо больных.", + "Взыскание может быть обращено на любое имущество участников клиринга без ограничений.", + "В течение пяти рабочих дней" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nСколько рабочих дней отводится на уведомление правообладателя о предварительном решении о включении объекта интеллектуальной собственности в таможенный реестр?\nA. В течение семи рабочих дней\nB. Организация и проведение аукциона по продаже имущества кредитной организации\nC. Взимать дополнительные платежи с потребителей услуг субъекта естественной монополии\nD. Комплекс мероприятий, включающих медицинские вмешательства, психологическую помощь и уход, направленные на улучшение качества жизни неизлечимо больных.\nE. Разработка мероприятий по финансовому оздоровлению кредитной организации\nF. О согласии на внесение эмитентом изменений в решение о выпуске облигаций.\nG. В течение одного рабочего дня\nH. В течение трех рабочих дней\nI. Отказаться от исполнения договоров должника перед потребителями\nJ. Меры социальной защиты, включая финансовую поддержку неизлечимо больных.\nK. Взыскание может быть обращено на любое имущество участников клиринга без ограничений.\nL. В течение пяти рабочих дней\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 217, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0007003467180766165, + "B": 0.005508653819561005, + "C": 0.0020265206694602966, + "D": 0.0027699253987520933, + "E": 0.5981372594833374, + "F": 0.029779501259326935, + "G": 0.023192299529910088, + "H": 0.014066840521991253, + "I": 0.0007455152808688581, + "J": 0.04332892224192619, + "K": 0.014974074438214302, + "L": 0.014974074438214302 + }, + "sample": { + "question": "Что представляет собой паллиативная медицинская помощь по Федеральному закону \"Об основах охраны здоровья граждан в Российской Федерации\" N 323-ФЗ?", + "answerA": "Меры социальной защиты, включая финансовую поддержку неизлечимо больных.", + "answerB": "Комплекс мероприятий, включающих медицинские вмешательства, психологическую помощь и уход, направленные на улучшение качества жизни неизлечимо больных.", + "answerC": "Программа медицинского страхования, обеспечивающая доступ к лекарственным средствам для лиц с хроническими заболеваниями.", + "answerD": "Государственная программа обеспечения жильем для семей, имеющих неизлечимо больных членов.", + "correct_answer": "B", + "choices": [ + "Взимать дополнительные платежи с потребителей услуг субъекта естественной монополии", + "Сети электросвязи, предназначенные для бесплатного общения между гражданами.", + "Государственная программа обеспечения жильем для семей, имеющих неизлечимо больных членов.", + "Разработка мероприятий по финансовому оздоровлению кредитной организации", + "Меры социальной защиты, включая финансовую поддержку неизлечимо больных.", + "Комплекс мероприятий, включающих медицинские вмешательства, психологическую помощь и уход, направленные на улучшение качества жизни неизлечимо больных.", + "О согласии на внесение эмитентом изменений в решение о выпуске облигаций.", + "Об избрании представителя владельцев облигаций.", + "Взыскание может быть обращено на любое имущество участников клиринга без ограничений.", + "Отказаться от исполнения договоров должника перед потребителями", + "Организация и проведение аукциона по продаже имущества кредитной организации", + "Программа медицинского страхования, обеспечивающая доступ к лекарственным средствам для лиц с хроническими заболеваниями." + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nЧто представляет собой паллиативная медицинская помощь по Федеральному закону \"Об основах охраны здоровья граждан в Российской Федерации\" N 323-ФЗ?\nA. Взимать дополнительные платежи с потребителей услуг субъекта естественной монополии\nB. Сети электросвязи, предназначенные для бесплатного общения между гражданами.\nC. Государственная программа обеспечения жильем для семей, имеющих неизлечимо больных членов.\nD. Разработка мероприятий по финансовому оздоровлению кредитной организации\nE. Меры социальной защиты, включая финансовую поддержку неизлечимо больных.\nF. Комплекс мероприятий, включающих медицинские вмешательства, психологическую помощь и уход, направленные на улучшение качества жизни неизлечимо больных.\nG. О согласии на внесение эмитентом изменений в решение о выпуске облигаций.\nH. Об избрании представителя владельцев облигаций.\nI. Взыскание может быть обращено на любое имущество участников клиринга без ограничений.\nJ. Отказаться от исполнения договоров должника перед потребителями\nK. Организация и проведение аукциона по продаже имущества кредитной организации\nL. Программа медицинского страхования, обеспечивающая доступ к лекарственным средствам для лиц с хроническими заболеваниями.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 253, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.21343478560447693, + "B": 0.07851827144622803, + "C": 0.0539647676050663, + "D": 0.042027797549963, + "E": 0.1466914415359497, + "F": 0.02249586023390293, + "G": 0.0539647676050663, + "H": 0.24185329675674438, + "I": 0.0060546789318323135, + "J": 0.006860849913209677, + "K": 0.007774361874908209, + "L": 0.003044483717530966 + }, + "sample": { + "question": "Что не вправе делать внешний управляющий в рамках внешнего управления субъектом естественной монополии согласно Статье 200 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?", + "answerA": "Взимать дополнительные платежи с потребителей услуг субъекта естественной монополии", + "answerB": "Отказаться от исполнения договоров должника перед потребителями", + "answerC": "Отчуждать имущество должника, представляющее собой единый технологический комплекс", + "answerD": "Проводить аудит финансовой отчетности должника", + "correct_answer": "C", + "choices": [ + "Обращение взыскания на имущество участника клиринга может происходить только после удовлетворения всех требований клиентов.", + "Отчуждать имущество должника, представляющее собой единый технологический комплекс", + "Сети электросвязи, предназначенные для бесплатного общения между гражданами.", + "Об избрании представителя владельцев облигаций.", + "Сети электросвязи, используемые исключительно правительственными органами.", + "Доклад официально публикуется в журнале \"Права Ребенка в России\" и на радио.", + "О согласии на внесение эмитентом изменений в решение о выпуске облигаций.", + "Взыскание может быть обращено на любое имущество участников клиринга без ограничений.", + "Взимать дополнительные платежи с потребителей услуг субъекта естественной монополии", + "Проводить аудит финансовой отчетности должника", + "Отказаться от исполнения договоров должника перед потребителями", + "Таможенная стоимость определяется исключительно таможенным органом." + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nЧто не вправе делать внешний управляющий в рамках внешнего управления субъектом естественной монополии согласно Статье 200 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?\nA. Обращение взыскания на имущество участника клиринга может происходить только после удовлетворения всех требований клиентов.\nB. Отчуждать имущество должника, представляющее собой единый технологический комплекс\nC. Сети электросвязи, предназначенные для бесплатного общения между гражданами.\nD. Об избрании представителя владельцев облигаций.\nE. Сети электросвязи, используемые исключительно правительственными органами.\nF. Доклад официально публикуется в журнале \"Права Ребенка в России\" и на радио.\nG. О согласии на внесение эмитентом изменений в решение о выпуске облигаций.\nH. Взыскание может быть обращено на любое имущество участников клиринга без ограничений.\nI. Взимать дополнительные платежи с потребителей услуг субъекта естественной монополии\nJ. Проводить аудит финансовой отчетности должника\nK. Отказаться от исполнения договоров должника перед потребителями\nL. Таможенная стоимость определяется исключительно таможенным органом.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 246, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0182785801589489, + "B": 0.06791316717863083, + "C": 0.1846071183681488, + "D": 0.09881307184696198, + "E": 0.04119141772389412, + "F": 0.036351293325424194, + "G": 0.11196988075971603, + "H": 0.04667598754167557, + "I": 0.005236900877207518, + "J": 0.07695569097995758, + "K": 0.1437721699476242, + "L": 0.0038313984405249357 + }, + "sample": { + "question": "Какое из перечисленных ниже прав НЕ входит в компетенцию общего собрания владельцев облигаций согласно Федеральному закону \"О рынке ценных бумаг\" N 39-ФЗ, Статья 29.7?", + "answerA": "О согласии на внесение эмитентом изменений в решение о выпуске облигаций.", + "answerB": "Об избрании представителя владельцев облигаций.", + "answerC": "О назначении внешнего управляющего для эмитента облигаций.", + "answerD": "Об отказе от права требовать досрочного погашения или приобретения облигаций.", + "correct_answer": "C", + "choices": [ + "Не позднее шестимесячного срока со дня прибытия на новое место военной службы", + "Обращение взыскания на имущество участника клиринга может происходить только после удовлетворения всех требований клиентов.", + "О согласии на внесение эмитентом изменений в решение о выпуске облигаций.", + "Сети электросвязи, предназначенные для бесплатного общения между гражданами.", + "Сети электросвязи, используемые исключительно правительственными органами.", + "Доклад официально публикуется в журнале \"Права Ребенка в России\" и на радио.", + "Таможенная стоимость определяется исключительно таможенным органом.", + "О назначении внешнего управляющего для эмитента облигаций.", + "Ежегодные доклады Уполномоченного подлежат размещению на официальном сайте Уполномоченного в интернете и официальному опубликованию в \"Российской газете\".", + "Об избрании представителя владельцев облигаций.", + "Взыскание может быть обращено на любое имущество участников клиринга без ограничений.", + "Об отказе от права требовать досрочного погашения или приобретения облигаций." + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакое из перечисленных ниже прав НЕ входит в компетенцию общего собрания владельцев облигаций согласно Федеральному закону \"О рынке ценных бумаг\" N 39-ФЗ, Статья 29.7?\nA. Не позднее шестимесячного срока со дня прибытия на новое место военной службы\nB. Обращение взыскания на имущество участника клиринга может происходить только после удовлетворения всех требований клиентов.\nC. О согласии на внесение эмитентом изменений в решение о выпуске облигаций.\nD. Сети электросвязи, предназначенные для бесплатного общения между гражданами.\nE. Сети электросвязи, используемые исключительно правительственными органами.\nF. Доклад официально публикуется в журнале \"Права Ребенка в России\" и на радио.\nG. Таможенная стоимость определяется исключительно таможенным органом.\nH. О назначении внешнего управляющего для эмитента облигаций.\nI. Ежегодные доклады Уполномоченного подлежат размещению на официальном сайте Уполномоченного в интернете и официальному опубликованию в \"Российской газете\".\nJ. Об избрании представителя владельцев облигаций.\nK. Взыскание может быть обращено на любое имущество участников клиринга без ограничений.\nL. Об отказе от права требовать досрочного погашения или приобретения облигаций.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 268, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.008698821067810059, + "B": 0.0642760768532753, + "C": 0.6098344326019287, + "D": 0.10597332566976547, + "E": 0.02086738683283329, + "F": 0.016251536086201668, + "G": 0.03036186844110489, + "H": 0.01188987959176302, + "I": 0.0006301404791884124, + "J": 0.004656143020838499, + "K": 0.008698821067810059, + "L": 0.0002318157348781824 + }, + "sample": { + "question": "Какие особенности обращения взысканий на имущество участника клиринга и его клиентов определены в Статье 73.2 Федерального закона \"Об исполнительном производстве\" N 229-ФЗ?", + "answerA": "Взыскание может быть обращено на любое имущество участников клиринга без ограничений.", + "answerB": "Обращение взыскания на имущество участника клиринга может происходить только после удовлетворения всех требований клиентов.", + "answerC": "На имущество, учитываемое отдельно от имущества участника клиринга, по долгам этого участника взыскание обращено быть не может.", + "answerD": "Операции по клиринговому счету могут быть приостановлены до окончания срока обращения взыскания.", + "correct_answer": "На имущество, учитываемое отдельно от имущества участника клиринга, по долгам этого участника взыскание обращено быть не может.", + "choices": [ + "Таможенная стоимость определяется исключительно таможенным органом.", + "Ежегодные доклады Уполномоченного подлежат размещению на официальном сайте Уполномоченного в интернете и официальному опубликованию в \"Российской газете\".", + "На имущество, учитываемое отдельно от имущества участника клиринга, по долгам этого участника взыскан��е обращено быть не может.", + "Операции по клиринговому счету могут быть приостановлены до окончания срока обращения взыскания.", + "Сети электросвязи, предназначенные для бесплатного общения между гражданами.", + "Таможенная стоимость определяется декларантом, за исключением случаев, определяемых Комиссией.", + "Сделку можно совершать без получения предварительного согласия, если имеется уставное решение.", + "Взыскание может быть обращено на любое имущество участников клиринга без ограничений.", + "Не позднее шестимесячного срока со дня прибытия на новое место военной службы", + "Обращение взыскания на имущество участника клиринга может происходить только после удовлетворения всех требований клиентов.", + "Сети электросвязи, используемые исключительно правительственными органами.", + "Доклад официально публикуется в журнале \"Права Ребенка в России\" и на радио." + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКакие особенности обращения взысканий на имущество участника клиринга и его клиентов определены в Статье 73.2 Федерального закона \"Об исполнительном производстве\" N 229-ФЗ?\nA. Таможенная стоимость определяется исключительно таможенным органом.\nB. Ежегодные доклады Уполномоченного подлежат размещению на официальном сайте Уполномоченного в интернете и официальному опубликованию в \"Российской газете\".\nC. На имущество, учитываемое отдельно от имущества участника клиринга, по долгам этого участника взыскание обращено быть не может.\nD. Операции по клиринговому счету могут быть приостановлены до окончания срока обращения взыскания.\nE. Сети электросвязи, предназначенные для бесплатного общения между гражданами.\nF. Таможенная стоимость определяется декларантом, за исключением случаев, определяемых Комиссией.\nG. Сделку можно совершать без получения предварительного согласия, если имеется уставное решение.\nH. Взыскание может быть обращено на любое имущество участников клиринга без ограничений.\nI. Не позднее шестимесячного срока со дня прибытия на новое место военной службы\nJ. Обращение взыскания на имущество участника клиринга может происходить только после удовлетворения всех требований клиентов.\nK. Сети электросвязи, используемые исключительно правительственными органами.\nL. Доклад официально публикуется в журнале \"Права Ребенка в России\" и на радио.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 298, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.014942853711545467, + "B": 0.03367424011230469, + "C": 0.01590658538043499, + "D": 0.0358460433781147, + "E": 0.13318420946598053, + "F": 0.0489957295358181, + "G": 0.17101190984249115, + "H": 0.24882085621356964, + "I": 0.010270063765347004, + "J": 0.0489957295358181, + "K": 0.09153608977794647, + "L": 0.08078030496835709 + }, + "sample": { + "question": "��то такое выделенные сети связи согласно Федеральному закону 'О связи' N 126-ФЗ?", + "answerA": "Сети электросвязи, предназначенные для бесплатного общения между гражданами.", + "answerB": "Сети электросвязи, используемые исключительно правительственными органами.", + "answerC": "Сети электросвязи, предназначенные для возмездного оказания услуг электросвязи ограниченному кругу пользователей или группам таких пользователей.", + "answerD": "Открытые сети, доступные для свободного использования любым пользователем.", + "correct_answer": "Сети электросвязи, предназначенные для возмездного оказания услуг электросвязи ограниченному кругу пользователей или группам таких пользователей.", + "choices": [ + "Не позднее одного месяца со дня прибытия на новое место военной службы", + "Открытые сети, доступные для свободного использования любым пользователем.", + "На основании решения правления Агентства", + "Таможенная стоимость определяется декларантом, за исключением случаев, определяемых Комиссией.", + "Сети электросвязи, используемые исключительно правительственными органами.", + "Ежегодные доклады Уполномоченного подлежат размещению на официальном сайте Уполномоченного в интернете и официальному опубликованию в \"Российской газете\".", + "Таможенная стоимость определяется исключительно таможенным органом.", + "Не позднее шестимесячного срока со дня прибытия на новое место военной службы", + "Сделку можно совершать без получения предварительного согласия, если имеется уставное решение.", + "Доклад официально публикуется в журнале \"Права Ребенка в России\" и на радио.", + "Сети электросвязи, предназначенные для бесплатного общения между гражданами.", + "Сети электросвязи, предназначенные для возмездного оказания услуг электросвязи ограниченному кругу пользователей или группам таких пользователей." + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nЧто такое выделенные сети связи согласно Федеральному закону 'О связи' N 126-ФЗ?\nA. Не позднее одного месяца со дня прибытия на новое место военной службы\nB. Открытые сети, доступные для свободного использования любым пользователем.\nC. На основании решения правления Агентства\nD. Таможенная стоимость определяется декларантом, за исключением случаев, определяемых Комиссией.\nE. Сети электросвязи, используемые исключительно правительственными органами.\nF. Ежегодные доклады Уполномоченного подлежат размещению на официальном сайте Уполномоченного в интернете и официальному опубликованию в \"Российской газете\".\nG. Таможенная стоимость определяется исключительно таможенным органом.\nH. Не позднее шестимесячного срока со дня прибытия на новое место военной службы\nI. Сделку можно совершать без получения предварительного согласия, если имеется уставное решение.\nJ. Доклад официально публикуется в журнале \"Права Ребенка в России\" и на радио.\nK. Сети электросвязи, предназначенные для бесплатного общения между гражданами.\nL. Сети электросвязи, предназначенные для возмездного оказания услуг электросвязи ограниченному кругу пользователей или группам таких пользователей.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 259, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0009623780497349799, + "B": 0.0023086252622306347, + "C": 0.01505412720143795, + "D": 0.017058558762073517, + "E": 0.002457518596202135, + "F": 0.0023086252622306347, + "G": 0.002457518596202135, + "H": 0.0014905603602528572, + "I": 0.0005151238292455673, + "J": 0.0005837118369527161, + "K": 0.8219274282455444, + "L": 0.0010905172675848007 + }, + "sample": { + "question": "Какова процедура публикации ежегодного доклада Уполномоченного по правам ребенка в Российской Федерации согласно Федеральному закону \"Об уполномоченных по правам ребенка в Российской Федерации\" N 501-ФЗ?", + "answerA": "Доклад официально публикуется в журнале \"Права Ребенка в России\" и на радио.", + "answerB": "Ежегодные доклады Уполномоченного подлежат размещению на официальном сайте Уполномоченного в интернете и официальному опубликованию в \"Российской газете\".", + "answerC": "Доклад передается только в печатном виде в администрацию Президента Российской Федерации.", + "answerD": "Доклад публикуется ежемесячно в социальных сетях и на городских билбордах.", + "correct_answer": "B", + "choices": [ + "Доклад передается только в печатном виде в администрацию Президента Российской Федерации.", + "Таможенная стоимость определяется декларантом, за исключением случаев, определяемых Комиссией.", + "Не позднее шестимесячного срока со дня прибытия на новое место военной службы", + "На основании решения правления Агентства", + "Доклад официально публикуется в журнале \"Права Ребенка в России\" и на радио.", + "Сделку можно совершать без получения предварительного согласия, если имеется уставное решение.", + "Доклад публикуется ежемесячно в социальных сетях и на городских билбордах.", + "Сделку обязательно одобряют все акционеры единогласно, независимо от их доли.", + "Не позднее одного месяца со дня прибытия на новое место военной службы", + "Таможенная стоимость определяется исключительно таможенным органом.", + "Ежегодные доклады Уполномоченного подлежат размещению на официальном сайте Уполномоченного в интернете и официальному опубликованию в \"Российской газете\".", + "Выдавать гражданам разрешения на покупку любых видов оружия без ограничений" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКакова процедура публикации ежегодного доклада Уполномоченного по правам ребенка в Российской Федерации согласно Федеральному закону \"Об уполномоченных по правам ребенка в Российской Федерации\" N 501-ФЗ?\nA. Доклад передается только в печатном виде в администрацию Президента Российской Федерации.\nB. Таможенная стоимость определяется декларантом, за исключением случаев, определяемых Комиссией.\nC. Не позднее шестимесячного срока со дня прибытия на новое место военной службы\nD. На основании решения правления Агентства\nE. Доклад официально публикуется в журнале \"Права Ребенка в России\" и на радио.\nF. Сделку можно совершать без получения предварительного согласия, если имеется уставное решение.\nG. Доклад публикуется ежемесячно в социальных сетях и на городских билбордах.\nH. Сделку обязательно одобряют все акционеры единогласно, независимо от их доли.\nI. Не позднее одного месяца со дня прибытия на новое место военной службы\nJ. Таможенная стоимость определяется исключительно таможенным органом.\nK. Ежегодные доклады Уполномоченного подлежат размещению на официальном сайте Уполномоченного в интернете и официальному опубликованию в \"Российской газете\".\nL. Выдавать гражданам разрешения на покупку любых видов оружия без ограничений\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 274, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.07349959760904312, + "B": 0.01978214830160141, + "C": 0.0030336908530443907, + "D": 0.01978214830160141, + "E": 0.05051548406481743, + "F": 0.01978214830160141, + "G": 0.023861825466156006, + "H": 0.543092668056488, + "I": 0.03471875190734863, + "J": 0.13731533288955688, + "K": 0.01639997772872448, + "L": 0.03063919208943844 + }, + "sample": { + "question": "Каким образом определяется таможенная стоимость товаров, ввозимых в Российскую Федерацию?", + "answerA": "Таможенная стоимость определяется исключительно таможенным органом.", + "answerB": "Таможенная стоимость определяется декларантом, за исключением случаев, определяемых Комиссией.", + "answerC": "Таможенная стоимость определяется декларантом при декларировании товаров, за исключением случаев, если в соответствии с Кодексом Союза таможенная стоимость определяется таможенным органом.", + "answerD": "Таможенная стоимость определяется исключительно Правительством Российской Федерации.", + "correct_answer": "answerC", + "choices": [ + "Таможенная стоимость определяется декларантом при декларировании товаров, за исключением случаев, если в соответствии с Кодексом Союза таможенная стоимость определяется таможенным органом.", + "Не позднее одного месяца со дня прибытия на новое место военной службы", + "Сделку обязательно одобряют все акционеры единогласно, независимо от их доли.", + "Таможенная стоимость определяется декларантом, за исключением случаев, определяемых Комиссией.", + "Медицинская деятельность", + "На основании президентского указа", + "На основании решения правления Агентства", + "Выдавать гражданам разрешения на покупк�� любых видов оружия без ограничений", + "Не позднее шестимесячного срока со дня прибытия на новое место военной службы", + "Таможенная стоимость определяется исключительно таможенным органом.", + "Сделку можно совершать без получения предварительного согласия, если имеется уставное решение.", + "Таможенная стоимость определяется исключительно Правительством Российской Федерации." + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКаким образом определяется таможенная стоимость товаров, ввозимых в Российскую Федерацию?\nA. Таможенная стоимость определяется декларантом при декларировании товаров, за исключением случаев, если в соответствии с Кодексом Союза таможенная стоимость определяется таможенным органом.\nB. Не позднее одного месяца со дня прибытия на новое место военной службы\nC. Сделку обязательно одобряют все акционеры единогласно, независимо от их доли.\nD. Таможенная стоимость определяется декларантом, за исключением случаев, определяемых Комиссией.\nE. Медицинская деятельность\nF. На основании президентского указа\nG. На основании решения правления Агентства\nH. Выдавать гражданам разрешения на покупку любых видов оружия без ограничений\nI. Не позднее шестимесячного срока со дня прибытия на новое место военной службы\nJ. Таможенная стоимость определяется исключительно таможенным органом.\nK. Сделку можно совершать без получения предварительного согласия, если имеется уставное решение.\nL. Таможенная стоимость определяется исключительно Правительством Российской Федерации.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 224, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.007276967633515596, + "B": 0.8411030769348145, + "C": 0.047451794147491455, + "D": 0.01745653711259365, + "E": 0.013595165684819221, + "F": 0.0011879323283210397, + "G": 0.001728431205265224, + "H": 0.0014329199912026525, + "I": 2.3160993805504404e-05, + "J": 0.0005271417321637273, + "K": 0.0005611394881270826, + "L": 5.219410013523884e-05 + }, + "sample": { + "question": "Какой срок предусмотрен Федеральным законом \"О статусе военнослужащих\" N 76-ФЗ для предоставления служебных жилых помещений или жилых помещений в общежитиях военнослужащим, прибывшим на новое место военной службы?", + "answerA": "Не позднее шестимесячного срока со дня прибытия на новое место военной службы", + "answerB": "Не позднее одного месяца со дня прибытия на новое место военной службы", + "answerC": "Не позднее трехмесячного срока со дня прибытия на новое место военной службы", + "answerD": "Не позднее двухнедельного срока со дня прибытия на новое место военной службы", + "correct_answer": "answerC", + "choices": [ + "Медицинская деятельность", + "Не позднее трехмесячного срока со дня прибытия на новое место военной службы", + "Не позднее двухнедельного срока со дня прибытия на новое место военной служб��", + "На основании президентского указа", + "Не позднее одного месяца со дня прибытия на новое место военной службы", + "На основании решения правления Агентства", + "Выдавать гражданам разрешения на покупку любых видов оружия без ограничений", + "Сделку можно совершать без получения предварительного согласия, если имеется уставное решение.", + "Сделку обязательно одобряют все акционеры единогласно, независимо от их доли.", + "Не позднее шестимесячного срока со дня прибытия на новое место военной службы", + "Путем продажи имущества общества", + "Безвозмездно изымать и уничтожать оружие, запрещенное к обороту" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКакой срок предусмотрен Федеральным законом \"О статусе военнослужащих\" N 76-ФЗ для предоставления служебных жилых помещений или жилых помещений в общежитиях военнослужащим, прибывшим на новое место военной службы?\nA. Медицинская деятельность\nB. Не позднее трехмесячного срока со дня прибытия на новое место военной службы\nC. Не позднее двухнедельного срока со дня прибытия на новое место военной службы\nD. На основании президентского указа\nE. Не позднее одного месяца со дня прибытия на новое место военной службы\nF. На основании решения правления Агентства\nG. Выдавать гражданам разрешения на покупку любых видов оружия без ограничений\nH. Сделку можно совершать без получения предварительного согласия, если имеется уставное решение.\nI. Сделку обязательно одобряют все акционеры единогласно, независимо от их доли.\nJ. Не позднее шестимесячного срока со дня прибытия на новое место военной службы\nK. Путем продажи имущества общества\nL. Безвозмездно изымать и уничтожать оружие, запрещенное к обороту\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 224, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.8309949636459351, + "B": 0.010460682213306427, + "C": 0.013431781902909279, + "D": 0.022145263850688934, + "E": 0.017246749252080917, + "F": 0.006753924768418074, + "G": 0.003190327901393175, + "H": 0.0023340939078480005, + "I": 0.0015070041408762336, + "J": 0.0007577692740596831, + "K": 0.0007118583889678121, + "L": 4.550758239929564e-05 + }, + "sample": { + "question": "Какой порядок действий предусмотрен Федеральным законом \"Об акционерных обществах\" (АО) N 208-ФЗ при совершении сделки, в совершении которой имеется заинтересованность?", + "answerA": "Сделку можно совершать без получения предварительного согласия, если имеется уставное решение.", + "answerB": "Сделку обязательно одобряют все акционеры единогласно, независимо от их доли.", + "answerC": "Сделка требует согласия совета директоров (наблюдательного совета) общества или общего собрания акционеров, если это требуется по закону или уставу общества.", + "answerD": "Одобрение сделки не требуется, если ее сумма менее 1% от балансовой стоимости активов общества.", + "correct_answer": "C", + "choices": [ + "Сделка требует согласия совета директоров (наблюдательного совета) общества или общего собрания акционеров, если это требуется по закону или уставу общества.", + "На основании президентского указа", + "Путем продажи имущества общества", + "Одобрение сделки не требуется, если ее сумма менее 1% от балансовой стоимости активов общества.", + "На основании решения правления Агентства", + "Сделку обязательно одобряют все акционеры единогласно, независимо от их доли.", + "Деятельность по управлению многоквартирными домами", + "Выдавать гражданам разрешения на покупку любых видов оружия без ограничений", + "С 1 января 2003 года", + "Сделку можно совершать без получения предварительного согласия, если имеется уставное решение.", + "Медицинская деятельность", + "Безвозмездно изымать и уничтожать оружие, запрещенное к обороту" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКакой порядок действий предусмотрен Федеральным законом \"Об акционерных обществах\" (АО) N 208-ФЗ при совершении сделки, в совершении которой имеется заинтересованность?\nA. Сделка требует согласия совета директоров (наблюдательного совета) общества или общего собрания акционеров, если это требуется по закону или уставу общества.\nB. На основании президентского указа\nC. Путем продажи имущества общества\nD. Одобрение сделки не требуется, если ее сумма менее 1% от балансовой стоимости активов общества.\nE. На основании решения правления Агентства\nF. Сделку обязательно одобряют все акционеры единогласно, независимо от их доли.\nG. Деятельность по управлению многоквартирными домами\nH. Выдавать гражданам разрешения на покупку любых видов оружия без ограничений\nI. С 1 января 2003 года\nJ. Сделку можно совершать без получения предварительного согласия, если имеется уставное решение.\nK. Медицинская деятельность\nL. Безвозмездно изымать и уничтожать оружие, запрещенное к обороту\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 230, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.7988419532775879, + "B": 0.039771996438503265, + "C": 0.039771996438503265, + "D": 0.010055935941636562, + "E": 0.02412293665111065, + "F": 0.0011282447958365083, + "G": 0.0015421276912093163, + "H": 0.0014486948493868113, + "I": 0.0006843150476925075, + "J": 0.00034409519867040217, + "K": 0.00023649295326322317, + "L": 2.8245054636499844e-05 + }, + "sample": { + "question": "На основании какого документа может быть произведена реорганизация или ликвидация Агентства по страхованию вкладов физических лиц в банках РФ, согласно Федеральному закону N 177-ФЗ?", + "answerA": "На основании решения правления Агентства", + "answerB": "На основании президентского указа", + "answerC": "На основании местного законодательного акта", + "answerD": "На основании федерального закона", + "correct_answer": "answerD", + "choices": [ + "На основании федерального закона", + "С 1 января 2003 года", + "На основании президентского указа", + "На основании решения правления Агентства", + "Путем уменьшения номинальной стоимости долей всех участников общества или погашения долей, принадлежащих обществу", + "На основании местного законодательного акта", + "Только административная ответственность", + "Путем продажи имущества общества", + "Безвозмездно изымать и уничтожать оружие, запрещенное к обороту", + "Выдавать гражданам разрешения на покупку любых видов оружия без ограничений", + "Деятельность по управлению многоквартирными домами", + "Медицинская деятельность" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nНа основании какого документа может быть произведена реорганизация или ликвидация Агентства по страхованию вкладов физических лиц в банках РФ, согласно Федеральному закону N 177-ФЗ?\nA. На основании федерального закона\nB. С 1 января 2003 года\nC. На основании президентского указа\nD. На основании решения правления Агентства\nE. Путем уменьшения номинальной стоимости долей всех участников общества или погашения долей, принадлежащих обществу\nF. На основании местного законодательного акта\nG. Только административная ответственность\nH. Путем продажи имущества общества\nI. Безвозмездно изымать и уничтожать оружие, запрещенное к обороту\nJ. Выдавать гражданам разрешения на покупку любых видов оружия без ограничений\nK. Деятельность по управлению многоквартирными домами\nL. Медицинская деятельность\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 187, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.00397632597014308, + "B": 0.016740957275032997, + "C": 0.27876198291778564, + "D": 0.029381295666098595, + "E": 0.03772633150219917, + "F": 0.017820656299591064, + "G": 0.07986664772033691, + "H": 0.025928901508450508, + "I": 0.004232776816934347, + "J": 0.07986664772033691, + "K": 0.21710005402565002, + "L": 0.002128373831510544 + }, + "sample": { + "question": "Какие действия могут предпринимать должностные лица органов, уполномоченных осуществлять контроль за оборотом гражданского и служебного оружия, согласно статье 28 Федерального закона \"Об оружии\" N 150-ФЗ?", + "answerA": "Выдавать гражданам разрешения на покупку любых видов оружия без ограничений", + "answerB": "Безвозмездно изымать и уничтожать оружие, запрещенное к обороту", + "answerC": "Осуществлять продажу оружия и патронов к нему", + "answerD": "Налагать налоги на оборот оружия и патронов к нему", + "correct_answer": "Безвозмездно изымать и уничтожать оружие, запрещенное к обороту", + "choices": [ + "Выдавать гражданам разрешения на покупку любых видов оружия без ограничений", + "Путем уменьшения номинальной стоимости долей всех участников общества или погашения долей, принадлежащих обществу", + "Налагать налоги на оборот оружия и патронов к нему", + "Путем продажи имущества общества", + "С 1 января 2004 года", + "Осуществлять продажу оружия и патронов к нему", + "С 1 января 2003 года", + "Медицинская деятельность", + "Деятельность по управлению многоквартирными домами", + "Безвозмездно изымать и уничтожать оружие, запрещенное к обороту", + "Только административная ответственность", + "Денежные требования, не принадлежащие эмитенту этих облигаций" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКакие действия могут предпринимать должностные лица органов, уполномоченных осуществлять контроль за оборотом гражданского и служебного оружия, согласно статье 28 Федерального закона \"Об оружии\" N 150-ФЗ?\nA. Выдавать гражданам разрешения на покупку любых видов оружия без ограничений\nB. Путем уменьшения номинальной стоимости долей всех участников общества или погашения долей, принадлежащих обществу\nC. Налагать налоги на оборот оружия и патронов к нему\nD. Путем продажи имущества общества\nE. С 1 января 2004 года\nF. Осуществлять продажу оружия и патронов к нему\nG. С 1 января 2003 года\nH. Медицинская деятельность\nI. Деятельность по управлению многоквартирными домами\nJ. Безвозмездно изымать и уничтожать оружие, запрещенное к обороту\nK. Только административная ответственность\nL. Денежные требования, не принадлежащие эмитенту этих облигаций\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 217, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.1399460732936859, + "B": 0.05833819881081581, + "C": 0.1235019713640213, + "D": 0.08488158136606216, + "E": 0.07036930322647095, + "F": 0.05480366572737694, + "G": 0.1235019713640213, + "H": 0.08488158136606216, + "I": 0.025887420400977135, + "J": 0.045433834195137024, + "K": 0.035383906215429306, + "L": 0.035383906215429306 + }, + "sample": { + "question": "Какой вид деятельности НЕ подлежит лицензированию согласно Федеральному закону \"О лицензировании отдельных видов деятельности\" N 99-ФЗ?", + "answerA": "Медицинская деятельность", + "answerB": "Деятельность по управлению многоквартирными домами", + "answerC": "Использование атомной энергии", + "answerD": "Частная детективная (сыскная) деятельность", + "correct_answer": "Использование атомной энергии", + "choices": [ + "Только административная ответственность", + "Медицинская деятельность", + "Денежные требования, не принадлежащие эмитенту этих облигаций", + "Деятельность по управлению многоквартирными домами", + "Путем уменьшения номинальной стоимости долей всех участников общества или погашения долей, принадлежащих обществу", + "Путем продажи имущества общества", + "Ежегодный отчет о деятельности контрольного органа", + "Частная детективная (сыскная) деятельность", + "С 1 января 2003 года", + "Только уголовная ответственность", + "С 1 января 2004 года", + "Использование атомной энергии" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКакой вид деятельности НЕ подлежит лицензированию согласно Федеральному закону \"О лицензировании отдельных видов деятельности\" N 99-ФЗ?\nA. Только административная ответственность\nB. Медицинская деятельность\nC. Денежные требования, не принадлежащие эмитенту этих облигаций\nD. Деятельность по управлению многоквартирными домами\nE. Путем уменьшения номинальной стоимости долей всех участников общества или погашения долей, принадлежащих обществу\nF. Путем продажи имущества общества\nG. Ежегодный отчет о деятельности контрольного органа\nH. Частная детективная (сыскная) деятельность\nI. С 1 января 2003 года\nJ. Только уголовная ответственность\nK. С 1 января 2004 года\nL. Использование атомной энергии\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 178, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.011664493940770626, + "B": 0.01923150196671486, + "C": 0.005509917624294758, + "D": 0.02179214544594288, + "E": 0.014070065692067146, + "F": 0.014070065692067146, + "G": 0.049109358340501785, + "H": 0.6779337525367737, + "I": 0.006243553943932056, + "J": 0.007531164214015007, + "K": 0.00853392668068409, + "L": 0.1334930658340454 + }, + "sample": { + "question": "Каким образом общество с ограниченной ответственностью может уменьшить свой уставный капитал?", + "answerA": "Путем продажи имущества общества", + "answerB": "Путем уменьшения номинальной стоимости долей всех участников общества или погашения долей, принадлежащих обществу", + "answerC": "Путем увеличения числа участников общества", + "answerD": "Путем объединения с другим юридическим лицом", + "correct_answer": "B", + "choices": [ + "Путем объединения с другим юридическим лицом", + "Путем увеличения числа участников общества", + "С 1 января 2004 года", + "Ежегодный отчет о деятельности контрольного органа", + "Только административная ответственность", + "Охрана объектов в целях предотвращения противоправных посягательств", + "Денежные требования, обремененные залогом или иными правами третьих лиц", + "Путем уменьшения номинальной стоимости долей всех участников общества или погашения долей, принадлежащих обществу", + "С 1 января 2003 года", + "Только уголовная ответственность", + "Денежные требования, не принадлежащие эмитенту этих облигаций", + "Путем продажи имущества общества" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКаким образом общество с ограниченной ответственностью может уменьшить свой уставный капитал?\nA. Путем объединения с другим юридическим лицом\nB. Путем увеличения числа участников общества\nC. С 1 января 2004 года\nD. Ежегодный отчет о деятельности контрольного органа\nE. Только административная ответс��венность\nF. Охрана объектов в целях предотвращения противоправных посягательств\nG. Денежные требования, обремененные залогом или иными правами третьих лиц\nH. Путем уменьшения номинальной стоимости долей всех участников общества или погашения долей, принадлежащих обществу\nI. С 1 января 2003 года\nJ. Только уголовная ответственность\nK. Денежные требования, не принадлежащие эмитенту этих облигаций\nL. Путем продажи имущества общества\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 180, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.003600673982873559, + "B": 0.019465060904622078, + "C": 0.0341622456908226, + "D": 0.03871089592576027, + "E": 0.019465060904622078, + "F": 0.03014807403087616, + "G": 0.47159525752067566, + "H": 0.15310455858707428, + "I": 0.0011689678067341447, + "J": 0.003600673982873559, + "K": 0.13511429727077484, + "L": 0.0033825200516730547 + }, + "sample": { + "question": "Когда вступил в силу Федеральный закон \"О связи\" N 126-ФЗ?", + "answerA": "С 1 января 2003 года", + "answerB": "С 1 января 2004 года", + "answerC": "С 1 января 2005 года", + "answerD": "С 7 июля 2003 года", + "correct_answer": "С 1 января 2004 года", + "choices": [ + "Документ, устанавливающий правила проведения контрольных мероприятий", + "Жалоба содержит излишние документы, не требуемые для рассмотрения.", + "Только уголовная ответственность", + "Денежные требования, не принадлежащие эмитенту этих облигаций", + "Только административная ответственность", + "Охрана объектов в целях предотвращения противоправных посягательств", + "С 1 января 2003 года", + "С 1 января 2004 года", + "Ежегодный отчет о деятельности контрольного органа", + "С 1 января 2005 года", + "С 7 июля 2003 года", + "Денежные требования, обремененные залогом или иными правами третьих лиц" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКогда вступил в силу Федеральный закон \"О связи\" N 126-ФЗ?\nA. Документ, устанавливающий правила проведения контрольных мероприятий\nB. Жалоба содержит излишние документы, не требуемые для рассмотрения.\nC. Только уголовная ответственность\nD. Денежные требования, не принадлежащие эмитенту этих облигаций\nE. Только административная ответственность\nF. Охрана объектов в целях предотвращения противоправных посягательств\nG. С 1 января 2003 года\nH. С 1 января 2004 года\nI. Ежегодный отчет о деятельности контрольного органа\nJ. С 1 января 2005 года\nK. С 7 июля 2003 года\nL. Денежные требования, обремененные залогом или иными правами третьих лиц\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 190, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0018700197106227279, + "B": 0.0018700197106227279, + "C": 0.5519452691078186, + "D": 0.01888652890920639, + "E": 0.024250783026218414, + "F": 0.0030831412877887487, + "G": 0.20304934680461884, + "H": 0.0028963431250303984, + "I": 0.00022334199456963688, + "J": 0.00026940187672153115, + "K": 0.007873076014220715, + "L": 3.0226052331272513e-05 + }, + "sample": { + "question": "Какая ответственность предусмотрена за нарушение требований Федерального закона 'Об ответственном обращении с животными и о внесении изменений в отдельные законодательные акты Российской Федерации' N 498-ФЗ?", + "answerA": "Только административная ответственность", + "answerB": "Только уголовная ответственность", + "answerC": "Административная, уголовная и иную ответственность в порядке, установленном законодательством", + "answerD": "Никакой ответственности не предусмотрено", + "correct_answer": "Административная, уголовная и иную ответственность в порядке, установленном законодательством", + "choices": [ + "Ежегодный отчет о деятельности контрольного органа", + "Сеть кабельного телевидения, мобильные сети связи, Wi-Fi сети, спутниковые сети связи", + "Только уголовная ответственность", + "Документ, устанавливающий правила проведения контрольных мероприятий", + "Никакой ответственности не предусмотрено", + "Жалоба содержит излишние документы, не требуемые для рассмотрения.", + "Административная, уголовная и иную ответственность в порядке, установленном законодательством", + "Денежные требования, обремененные залогом или иными правами третьих лиц", + "Только административная ответственность", + "Охрана объектов в целях предотвращения противоправных посягательств", + "Денежные требования, не принадлежащие эмитенту этих облигаций", + "Обеспечение на охраняемых объектах пропускного и внутриобъектового режимов" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКакая ответственность предусмотрена за нарушение требований Федерального закона 'Об ответственном обращении с животными и о внесении изменений в отдельные законодательные акты Российской Федерации' N 498-ФЗ?\nA. Ежегодный отчет о деятельности контрольного органа\nB. Сеть кабельного телевидения, мобильные сети связи, Wi-Fi сети, спутниковые сети связи\nC. Только уголовная ответственность\nD. Документ, устанавливающий правила проведения контрольных мероприятий\nE. Никакой ответственности не предусмотрено\nF. Жалоба содержит излишние документы, не требуемые для рассмотрения.\nG. Административная, уголовная и иную ответственность в порядке, установленном законодательством\nH. Денежные требования, обремененные залогом или иными правами третьих лиц\nI. Только административная ответственность\nJ. Охрана объектов в целях предотвращения противоправных посягательств\nK. Денежные требования, не принадлежащие эмитенту этих облигаций\nL. Обеспечение на охраняемых объектах пропускного и внутриобъектового режимов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 225, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.15216191112995148, + "B": 0.06343051791191101, + "C": 0.25087258219718933, + "D": 0.09229087084531784, + "E": 0.049399737268686295, + "F": 0.029962457716464996, + "G": 0.04359511286020279, + "H": 0.03395191207528114, + "I": 0.01817314885556698, + "J": 0.02059287577867508, + "K": 0.01934521645307541, + "L": 0.002786942757666111 + }, + "sample": { + "question": "Что НЕ может стать предметом залога по облигациям с залоговым обеспечением денежными требованиями, согласно Федеральному закону 'О рынке ценных бумаг' N 39-ФЗ?", + "answerA": "Денежные требования, не принадлежащие эмитенту этих облигаций", + "answerB": "Денежные требования, обремененные залогом или иными правами третьих лиц", + "answerC": "Денежные требования, являющиеся предметом залога по облигациям других выпусков того же эмитента", + "answerD": "Ипотечные ценные бумаги", + "correct_answer": "answerB", + "choices": [ + "Ежегодный отчет о деятельности контрольного органа", + "Документ, устанавливающий правила проведения контрольных мероприятий", + "Денежные требования, не принадлежащие эмитенту этих облигаций", + "Ипотечные ценные бумаги", + "Ответственность ограничивается предупреждением", + "Денежные требования, обремененные залогом или иными правами третьих лиц", + "Денежные требования, являющиеся предметом залога по облигациям других выпусков того же эмитента", + "Жалоба не содержит наименование заказчика, уполномоченного органа, специализированной организации при наличии данной информации на официальном сайте оператора электронной площадки.", + "Сеть кабельного телевидения, мобильные сети связи, Wi-Fi сети, спутниковые сети связи", + "Обеспечение на охраняемых объектах пропускного и внутриобъектового режимов", + "Жалоба содержит излишние документы, не требуемые для рассмотрения.", + "Охрана объектов в целях предотвращения противоправных посягательств" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nЧто НЕ может стать предметом залога по облигациям с залоговым обеспечением денежными требованиями, согласно Федеральному закону 'О рынке ценных бумаг' N 39-ФЗ?\nA. Ежегодный отчет о деятельности контрольного органа\nB. Документ, устанавливающий правила проведения контрольных мероприятий\nC. Денежные требования, не принадлежащие эмитенту этих облигаций\nD. Ипотечные ценные бумаги\nE. Ответственность ограничивается предупреждением\nF. Денежные требования, обремененные залогом или иными правами третьих лиц\nG. Денежные требования, являющиеся предметом залога по облигациям других выпусков того же эмитента\nH. Жалоба не содержит наименование заказчика, уполномоченного органа, специализированной организации при наличии данной информации на официальном сайте оператора электронной площадки.\nI. Сеть кабельного телевидения, мобильные сети связи, Wi-Fi сети, спутниковые сети связи\nJ. Обеспечение на охраняемых объектах пропускного и внутриоб��ектового режимов\nK. Жалоба содержит излишние документы, не требуемые для рассмотрения.\nL. Охрана объектов в целях предотвращения противоправных посягательств\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 252, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0014549705665558577, + "B": 0.0022535023745149374, + "C": 0.0003246478154323995, + "D": 0.0012840069830417633, + "E": 0.0027182430494576693, + "F": 0.001548808184452355, + "G": 0.0027182430494576693, + "H": 0.9677615165710449, + "I": 0.00017377144831698388, + "J": 0.0003049784281756729, + "K": 0.0005028243758715689, + "L": 0.0004168560553807765 + }, + "sample": { + "question": "Что такое программа профилактики рисков причинения вреда (ущерба) охраняемым законом ценностям по Федеральному закону от 31.07.2020 N 248-ФЗ?", + "answerA": "Ежегодный отчет о деятельности контрольного органа", + "answerB": "Документ, устанавливающий правила проведения контрольных мероприятий", + "answerC": "Ежегодно утверждаемая программа, направленная на профилактику рисков причинения вреда охраняемым законом ценностям", + "answerD": "Кодекс профессионального поведения сотрудников контрольных органов", + "correct_answer": "Ежегодно утверждаемая программа, направленная на профилактику рисков причинения вреда охраняемым законом ценностям", + "choices": [ + "Любой заинтересованный физический лицо", + "Охрана объектов в целях предотвращения противоправных посягательств", + "Жалоба содержит излишние документы, не требуемые для рассмотрения.", + "Ответственность ограничивается предупреждением", + "Кодекс профессионального поведения сотрудников контрольных органов", + "Сеть кабельного телевидения, мобильные сети связи, Wi-Fi сети, спутниковые сети связи", + "Жалоба не содержит наименование заказчика, уполномоченного органа, специализированной организации при наличии данной информации на официальном сайте оператора электронной площадки.", + "Ежегодно утверждаемая программа, направленная на профилактику рисков причинения вреда охраняемым законом ценностям", + "Документ, устанавливающий правила проведения контрольных мероприятий", + "Сеть связи общего пользования, выделенные сети связи, технологические сети связи, сети связи специального назначения", + "Ежегодный отчет о деятельности контрольного органа", + "Обеспечение на охраняемых объектах пропускного и внутриобъектового режимов" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nЧто такое программа профилактики рисков причинения вреда (ущерба) охраняемым законом ценностям по Федеральному закону от 31.07.2020 N 248-ФЗ?\nA. Любой заинтересованный физический лицо\nB. Охрана объектов в целях предотвращения противоправных посягательств\nC. Жалоба содержит излишние документы, не требуемые для рассмотрения.\nD. Ответственность ограничивается предупреждением\nE. Кодекс профессионального поведения сотрудников контрольных органов\nF. Сеть кабельного телевидения, мобильные сети связи, Wi-Fi сети, спутниковые сети связи\nG. Жалоба не содержит наименование заказчика, уполномоченного органа, специализированной организации при наличии данной информации на официальном сайте оператора электронной площадки.\nH. Ежегодно утверждаемая программа, направленная на профилактику рисков причинения вреда охраняемым законом ценностям\nI. Документ, устанавливающий правила проведения контрольных мероприятий\nJ. Сеть связи общего пользования, выделенные сети связи, технологические сети связи, сети связи специального назначения\nK. Ежегодный отчет о деятельности контрольного органа\nL. Обеспечение на охраняемых объектах пропускного и внутриобъектового режимов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 255, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.14701758325099945, + "B": 0.11449740827083588, + "C": 0.0891706719994545, + "D": 0.10104361176490784, + "E": 0.061286043375730515, + "F": 0.07869284600019455, + "G": 0.0891706719994545, + "H": 0.06944619119167328, + "I": 0.012067938223481178, + "J": 0.06944619119167328, + "K": 0.032804057002067566, + "L": 0.023999961093068123 + }, + "sample": { + "question": "Какая из перечисленных задач НЕ является основной для ведомственной охраны согласно Федеральному закону \"О ведомственной охране\" N 77-ФЗ, Статья 2?", + "answerA": "Охрана объектов в целях предотвращения противоправных посягательств", + "answerB": "Обеспечение на охраняемых объектах пропускного и внутриобъектового режимов", + "answerC": "Выдача лицензий на право ношения оружия", + "answerD": "Предупреждение и пресечение преступлений и административных правонарушений на охраняемых объектах", + "correct_answer": "answerC", + "choices": [ + "Сеть связи общего пользования, выделенные сети связи, технологические сети связи, сети связи специального назначения", + "Жалоба не содержит наименование заказчика, уполномоченного органа, специализированной организации при наличии данной информации на официальном сайте оператора электронной площадки.", + "Обеспечение на охраняемых объектах пропускного и внутриобъектового режимов", + "Ответственность ограничивается предупреждением", + "Предупреждение и пресечение преступлений и административных правонарушений на охраняемых объектах", + "Любой заинтересованный физический лицо", + "Жалоба содержит излишние документы, не требуемые для рассмотрения.", + "Выдача лицензий на право ношения оружия", + "Никакой ответственности не предусмотрено", + "Сеть кабельного телевидения, мобильные сети связи, Wi-Fi сети, спутниковые сети связи", + "Охрана объектов в целях предотвращения противоправных посягательств", + "Только государственная академическая стипендия студентам" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакая из перечисленных задач НЕ является основной для ведомственной охраны согласно Федеральному закону \"О ведомственной охране\" N 77-ФЗ, Статья 2?\nA. Сеть связи общего пользования, выделенные сети связи, технологические сети связи, сети связи специального назначения\nB. Жалоба не содержит наименование заказчика, уполномоченного органа, специализированной организации при наличии данной информации на официальном сайте оператора электронной площадки.\nC. Обеспечение на охраняемых объектах пропускного и внутриобъектового режимов\nD. Ответственность ограничивается предупреждением\nE. Предупреждение и пресечение преступлений и административных правонарушений на охраняемых объектах\nF. Любой заинтересованный физический лицо\nG. Жалоба содержит излишние документы, не требуемые для рассмотрения.\nH. Выдача лицензий на право ношения оружия\nI. Никакой ответственности не предусмотрено\nJ. Сеть кабельного телевидения, мобильные сети связи, Wi-Fi сети, спутниковые сети связи\nK. Охрана объектов в целях предотвращения противоправных посягательств\nL. Только государственная академическая стипендия студентам\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 241, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.012598966248333454, + "B": 0.038807548582553864, + "C": 0.03022334910929203, + "D": 0.7794704437255859, + "E": 0.01519725564867258, + "F": 0.03022334910929203, + "G": 0.02353796921670437, + "H": 0.01341152936220169, + "I": 0.0012474666582420468, + "J": 0.008134504780173302, + "K": 0.01519725564867258, + "L": 0.0012474666582420468 + }, + "sample": { + "question": "По какой причине жалоба на действия (бездействие) заказчика, уполномоченного органа, специализированной организации, оператора электронной площадки, конкурсной, аукционной или котировочной комиссии может быть возвращена участнику размещения заказа?", + "answerA": "Жалоба содержит излишние документы, не требуемые для рассмотрения.", + "answerB": "Жалоба не содержит наименование заказчика, уполномоченного органа, специализированной организации при наличии данной информации на официальном сайте оператора электронной площадки.", + "answerC": "Жалоба была отправлена по электронной почте без цифровой подписи.", + "answerD": "В жалобе указана некорректная стоимость контракта.", + "correct_answer": "Жалоба не содержит наименование заказчика, уполномоченного органа, специализированной организации при наличии данной информации на официальном сайте оператора электронной площадки.", + "choices": [ + "Сеть связи общего пользования, выделенные сети связи, технологические сети связи, сети связи специального назначения", + "В жалобе указана некорректная стоимость контракта.", + "Ответственность ограничивается предупреждением", + "Жалоба не содержит наименование заказчика, уполномоченного органа, специализированной организации при наличии данной информации на официальном сайте оператора электронной площадки.", + "Любой заинтересованный физический лицо", + "Жалоба содержит излишние документы, не требуемые для рассмотрения.", + "Жалоба была отправлена по электронной почте без цифровой подписи.", + "Федеральный орган исполнительной власти, уполномоченный Правительством РФ проводить государственную политику в отношении соответствующего субъекта", + "Положения о возможности участия в лотереях и азартных играх.", + "Только государственная академическая стипендия студентам", + "Никакой ответственности не предусмотрено", + "Сеть кабельного телевидения, мобильные сети связи, Wi-Fi сети, спутниковые сети связи" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nПо какой причине жалоба на действия (бездействие) заказчика, уполномоченного органа, специализированной организации, оператора электронной площадки, конкурсной, аукционной или котировочной комиссии может быть возвращена участнику размещения заказа?\nA. Сеть связи общего пользования, выделенные сети связи, технологические сети связи, сети связи специального назначения\nB. В жалобе указана некорректная стоимость контракта.\nC. Ответственность ограничивается предупреждением\nD. Жалоба не содержит наименование заказчика, уполномоченного органа, специализированной организации при наличии данной информации на официальном сайте оператора электронной площадки.\nE. Любой заинтересованный физический лицо\nF. Жалоба содержит излишние документы, не требуемые для рассмотрения.\nG. Жалоба была отправлена по электронной почте без цифровой подписи.\nH. Федеральный орган исполнительной власти, уполномоченный Правительством РФ проводить государственную политику в отношении соответствующего субъекта\nI. Положения о возможности участия в лотереях и азартных играх.\nJ. Только государственная академическая стипендия студентам\nK. Никакой ответственности не предусмотрено\nL. Сеть кабельного телевидения, мобильные сети связи, Wi-Fi сети, спутниковые сети связи\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 253, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.9338487982749939, + "B": 0.005552867893129587, + "C": 0.008079375140368938, + "D": 0.006292223930358887, + "E": 0.0010934245074167848, + "F": 0.00012267884449101985, + "G": 0.00013059093907941133, + "H": 0.0001082636954379268, + "I": 8.975375385489315e-05, + "J": 4.239667032379657e-05, + "K": 5.114014493301511e-05, + "L": 6.501740244857501e-06 + }, + "sample": { + "question": "Из каких категорий сетей электросвязи состоит Единая сеть электросвязи Российской Федерации согласно Федеральному закону 'О связи' N 126-ФЗ, Статье 12?", + "answerA": "Сеть кабельного телевидения, мобильные сети связи, Wi-Fi сети, спутниковые ��ети связи", + "answerB": "Сеть связи общего пользования, выделенные сети связи, технологические сети связи, сети связи специального назначения", + "answerC": "Интернет сети, сети данных, внутренние корпоративные сети, сети мобильного интернета", + "answerD": "Сети радио и телевизионного вещания, сети метрополитена, местные сети связи, глобальные сети связи", + "correct_answer": "B", + "choices": [ + "Сеть связи общего пользования, выделенные сети связи, технологические сети связи, сети связи специального назначения", + "Сети радио и телевизионного вещания, сети метрополитена, местные сети связи, глобальные сети связи", + "Федеральный орган исполнительной власти, уполномоченный Правительством РФ проводить государственную политику в отношении соответствующего субъекта", + "Любой заинтересованный физический лицо", + "Сеть кабельного телевидения, мобильные сети связи, Wi-Fi сети, спутниковые сети связи", + "Никакой ответственности не предусмотрено", + "70%", + "Ответственность ограничивается предупреждением", + "Государственная академическая и социальная стипендии, именные стипендии", + "Положения о возможности участия в лотереях и азартных играх.", + "Только государственная академическая стипендия студентам", + "Интернет сети, сети данных, внутренние корпоративные сети, сети мобильного интернета" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nИз каких категорий сетей электросвязи состоит Единая сеть электросвязи Российской Федерации согласно Федеральному закону 'О связи' N 126-ФЗ, Статье 12?\nA. Сеть связи общего пользования, выделенные сети связи, технологические сети связи, сети связи специального назначения\nB. Сети радио и телевизионного вещания, сети метрополитена, местные сети связи, глобальные сети связи\nC. Федеральный орган исполнительной власти, уполномоченный Правительством РФ проводить государственную политику в отношении соответствующего субъекта\nD. Любой заинтересованный физический лицо\nE. Сеть кабельного телевидения, мобильные сети связи, Wi-Fi сети, спутниковые сети связи\nF. Никакой ответственности не предусмотрено\nG. 70%\nH. Ответственность ограничивается предупреждением\nI. Государственная академическая и социальная стипендии, именные стипендии\nJ. Положения о возможности участия в лотереях и азартных играх.\nK. Только государственная академическая стипендия студентам\nL. Интернет сети, сети данных, внутренние корпоративные сети, сети мобильного интернета\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 235, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0022338831331580877, + "B": 0.003459906205534935, + "C": 0.0023779564071446657, + "D": 0.03282667323946953, + "E": 0.7471316456794739, + "F": 0.006463955156505108, + "G": 0.006463955156505108, + "H": 0.003920587245374918, + "I": 0.0006012414814904332, + "J": 0.002694577444344759, + "K": 0.0018519542645663023, + "L": 0.0003023231984116137 + }, + "sample": { + "question": "Какова ответственность органов государственного контроля (надзора) и их должностных лиц за ненадлежащее исполнение своих служебных обязанностей согласно Федеральному закону 'О техническом регулировании' N 184-ФЗ, Статья 35?", + "answerA": "Ответственность ограничивается предупреждением", + "answerB": "Никакой ответственности не предусмотрено", + "answerC": "Несут ответственность в соответствии с законодательством Российской Федерации", + "answerD": "Ответственность ограничивается штрафом в размере до 5000 рублей", + "correct_answer": "Несут ответственность в соответствии с законодательством Российской Федерации", + "choices": [ + "Ответственность ограничивается штрафом в размере до 5000 рублей", + "Условия об определяемом на дату заключения данного договора совокупном размере общего имущества товарищей-вкладчиков, о составе их вкладов в общее дело товарищей, размере, сроках и порядке внесения товарищами вкладов и другие условия.", + "Государственная академическая и социальная стипендии, именные стипендии", + "Никакой ответственности не предусмотрено", + "Несут ответственность в соответствии с законодательством Российской Федерации", + "Ответственность ограничивается предупреждением", + "На срок до трех месяцев", + "Федеральный орган исполнительной власти, уполномоченный Правительством РФ проводить государственную политику в отношении соответствующего субъекта", + "70%", + "Любой заинтересованный физический лицо", + "Только государственная академическая стипендия студентам", + "Положения о возможности участия в лотереях и азартных играх." + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКакова ответственность органов государственного контроля (надзора) и их должностных лиц за ненадлежащее исполнение своих служебных обязанностей согласно Федеральному закону 'О техническом регулировании' N 184-ФЗ, Статья 35?\nA. Ответственность ограничивается штрафом в размере до 5000 рублей\nB. Условия об определяемом на дату заключения данного договора совокупном размере общего имущества товарищей-вкладчиков, о составе их вкладов в общее дело товарищей, размере, сроках и порядке внесения товарищами вкладов и другие условия.\nC. Государственная академическая и социальная стипендии, именные стипендии\nD. Никакой ответственности не предусмотрено\nE. Несут ответственность в соответствии с законодательством Российской Федерации\nF. Ответственность ограничивается предупреждением\nG. На срок до трех месяцев\nH. Федеральный орган исполнительной власти, уполномоченный Правительством РФ проводить государственную политику в отношении соответствующего субъекта\nI. 70%\nJ. Любой заинтересованный физический лицо\nK. Только государственная академическая стипендия студентам\nL. Положения о возможности участия в лотереях и азартных играх.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 247, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0028199024964123964, + "B": 0.010477208532392979, + "C": 0.012637927196919918, + "D": 0.019574003294110298, + "E": 0.08772460371255875, + "F": 0.06029217317700386, + "G": 0.08772460371255875, + "H": 0.053207654505968094, + "I": 0.053207654505968094, + "J": 0.3061889410018921, + "K": 0.14463341236114502, + "L": 0.0031953684519976377 + }, + "sample": { + "question": "Какое лицо признается участвующим в деле о банкротстве должника – субъекта естественной монополии, согласно Статье 198 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?", + "answerA": "Любой заинтересованный физический лицо", + "answerB": "Федеральный орган исполнительной власти, уполномоченный Правительством РФ проводить государственную политику в отношении соответствующего субъекта", + "answerC": "Региональный орган власти местного самоуправления", + "answerD": "Независимый финансовый консультант", + "correct_answer": "B", + "choices": [ + "Только государственная академическая стипендия студентам", + "Положения о возможности участия в лотереях и азартных играх.", + "Государственная академическая и социальная стипендии, именные стипендии", + "На срок до трех месяцев", + "50%", + "Объединение, деятельность которого осуществляется на территории одного субъекта Российской Федерации", + "Любой заинтересованный физический лицо", + "Региональный орган власти местного самоуправления", + "Независимый финансовый консультант", + "Федеральный орган исполнительной власти, уполномоченный Правительством РФ проводить государственную политику в отношении соответствующего субъекта", + "70%", + "Условия об определяемом на дату заключения данного договора совокупном размере общего имущества товарищей-вкладчиков, о составе их вкладов в общее дело товарищей, размере, сроках и порядке внесения товарищами вкладов и другие условия." + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКакое лицо признается участвующим в деле о банкротстве должника – субъекта естественной монополии, согласно Статье 198 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?\nA. Только государственная академическая стипендия студентам\nB. Положения о возможности участия в лотереях и азартных играх.\nC. Государственная академическая и социальная стипендии, именные стипендии\nD. На срок до трех месяцев\nE. 50%\nF. Объединение, деятельность которого осуществляется на территории одного субъекта Российской Федерации\nG. Любой заинтересованный физический лицо\nH. Региональный орган власти местного самоуправления\nI. Независимый финансовый консультант\nJ. Федеральный орган исполнител��ной власти, уполномоченный Правительством РФ проводить государственную политику в отношении соответствующего субъекта\nK. 70%\nL. Условия об определяемом на дату заключения данного договора совокупном размере общего имущества товарищей-вкладчиков, о составе их вкладов в общее дело товарищей, размере, сроках и порядке внесения товарищами вкладов и другие условия.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 239, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.8938750624656677, + "B": 0.021021926775574684, + "C": 0.014448144473135471, + "D": 0.00993005558848381, + "E": 0.0077335345558822155, + "F": 0.0009236389887519181, + "G": 0.001343886717222631, + "H": 0.0009832085343077779, + "I": 0.0015228233532980084, + "J": 0.0005602153250947595, + "K": 0.0005963461589999497, + "L": 4.058186459587887e-05 + }, + "sample": { + "question": "Какие виды стипендий установлены Федеральным законом \"Об образовании в Российской Федерации\" N 273-ФЗ?", + "answerA": "Только государственная академическая стипендия студентам", + "answerB": "Государственная академическая и социальная стипендии, именные стипендии", + "answerC": "Только именные стипендии", + "answerD": "Государственные стипендии аспирантам, ординаторам, без указания других видов", + "correct_answer": "Государственная академическая и социальная стипендии, именные стипендии", + "choices": [ + "Государственная академическая и социальная стипендии, именные стипендии", + "Государственные стипендии аспирантам, ординаторам, без указания других видов", + "50%", + "Объединение, деятельность которого осуществляется на территории одного субъекта Российской Федерации", + "Условия об определяемом на дату заключения данного договора совокупном размере общего имущества товарищей-вкладчиков, о составе их вкладов в общее дело товарищей, размере, сроках и порядке внесения товарищами вкладов и другие условия.", + "70%", + "На срок от одного до шести месяцев", + "На срок до трех месяцев", + "Положения о возможности участия в лотереях и азартных играх.", + "Письмо согласия собственника земельного участка", + "Только именные стипендии", + "Только государственная академическая стипендия студентам" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКакие виды стипендий установлены Федеральным законом \"Об образовании в Российской Федерации\" N 273-ФЗ?\nA. Государственная академическая и социальная стипендии, именные стипендии\nB. Государственные стипендии аспирантам, ординаторам, без указания других видов\nC. 50%\nD. Объединение, деятельность которого осуществляется на территории одного субъекта Российской Федерации\nE. Условия об определяемом на дату заключения данного договора совокупном размере общего имущества товарищей-вкладчиков, о составе их вкладов в общее дело товарищей, размере, сроках и порядке внесения товарищами вкладов и другие условия.\nF. 70%\nG. На срок от одного до шести месяцев\nH. На срок до трех месяцев\nI. Положения о возможности участия в лотереях и азартных играх.\nJ. Письмо согласия собственника земельного участка\nK. Только именные стипендии\nL. Только государственная академическая стипендия студентам\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 223, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.8516005873680115, + "B": 0.006502050440758467, + "C": 0.009460428729653358, + "D": 0.007367788814008236, + "E": 0.0027104581240564585, + "F": 0.0004710069624707103, + "G": 0.0004424701037351042, + "H": 0.0007765592308714986, + "I": 0.0005337207694537938, + "J": 0.0004156622162554413, + "K": 0.0003904784971382469, + "L": 2.4962455427157693e-05 + }, + "sample": { + "question": "Какие условия должен содержать договор инвестиционного товарищества согласно Федеральному закону 'Об инвестиционном товариществе' N 335-ФЗ, Статья 11?", + "answerA": "Положения о возможности участия в лотереях и азартных играх.", + "answerB": "Условия об определяемом на дату заключения данного договора совокупном размере общего имущества товарищей-вкладчиков, о составе их вкладов в общее дело товарищей, размере, сроках и порядке внесения товарищами вкладов и другие условия.", + "answerC": "Описание обязательств по личным кредитам каждого из участников.", + "answerD": "Детали сотрудничества с иностранными инвесторами вне рамок инвестиционной деятельности, предусмотренной законом.", + "correct_answer": "B", + "choices": [ + "Условия об определяемом на дату заключения данного договора совокупном размере общего имущества товарищей-вкладчиков, о составе их вкладов в общее дело товарищей, размере, сроках и порядке внесения товарищами вкладов и другие условия.", + "Объединение, которое осуществляет свою деятельность в соответствии с уставными целями на территории всех субъектов Российской Федерации", + "На срок до трех месяцев", + "Объединение, деятельность которого осуществляется на территории одного субъекта Российской Федерации", + "Три миллиона рублей в год", + "На срок от одного до шести месяцев", + "70%", + "50%", + "Детали сотрудничества с иностранными инвесторами вне рамок инвестиционной деятельности, предусмотренной законом.", + "Положения о возможности участия в лотереях и азартных играх.", + "Описание обязательств по личным кредитам каждого из участников.", + "Письмо согласия собственника земельного участка" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКакие условия должен содержать договор инвестиционного товарищества согласно Федеральному закону 'Об инвестиционном товариществе' N 335-ФЗ, Статья 11?\nA. Условия об определяемом на дату заключения данного договора совокупном размере общего имущества товарищей-вкладчиков, о составе их вкладов в общее дело то��арищей, размере, сроках и порядке внесения товарищами вкладов и другие условия.\nB. Объединение, которое осуществляет свою деятельность в соответствии с уставными целями на территории всех субъектов Российской Федерации\nC. На срок до трех месяцев\nD. Объединение, деятельность которого осуществляется на территории одного субъекта Российской Федерации\nE. Три миллиона рублей в год\nF. На срок от одного до шести месяцев\nG. 70%\nH. 50%\nI. Детали сотрудничества с иностранными инвесторами вне рамок инвестиционной деятельности, предусмотренной законом.\nJ. Положения о возможности участия в лотереях и азартных играх.\nK. Описание обязательств по личным кредитам каждого из участников.\nL. Письмо согласия собственника земельного участка\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 230, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.06733828037977219, + "B": 0.1425551474094391, + "C": 0.16153614223003387, + "D": 0.16153614223003387, + "E": 0.05942583084106445, + "F": 0.07630427181720734, + "G": 0.07630427181720734, + "H": 0.06733828037977219, + "I": 0.021861538290977478, + "J": 0.04084273427724838, + "K": 0.019292742013931274, + "L": 0.0035687980707734823 + }, + "sample": { + "question": "Согласно Федеральному закону \"О трудовых пенсиях в Российской Федерации\" N 173-ФЗ, максимальный процент удержаний из трудовой пенсии, осуществляемых на основании решений органов, осуществляющих пенсионное обеспечение, составляет:", + "answerA": "70%", + "answerB": "50%", + "answerC": "20%", + "answerD": "30%", + "correct_answer": "C", + "choices": [ + "Три миллиона рублей в год", + "70%", + "Объединение, деятельность которого осуществляется на территории одного субъекта Российской Федерации", + "До 1 января 2020 года", + "Письмо согласия собственника земельного участка", + "Соглашение об изъятии недвижимости для государственных или муниципальных нужд или вступившее в силу решение суда об изъятии недвижимости для государственных или муниципальных нужд", + "На срок от одного до шести месяцев", + "Объединение, которое осуществляет свою деятельность в соответствии с уставными целями на территории всех субъектов Российской Федерации", + "20%", + "30%", + "50%", + "На срок до трех месяцев" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nСогласно Федеральному закону \"О трудовых пенсиях в Российской Федерации\" N 173-ФЗ, максимальный процент удержаний из трудовой пенсии, осуществляемых на основании решений органов, осуществляющих пенсионное обеспечение, составляет:\nA. Три миллиона рублей в год\nB. 70%\nC. Объединение, деятельность которого осуществляется на территории одного субъекта Российской Федерации\nD. До 1 января 2020 года\nE. Письмо согласия собственника земельного участка\nF. Соглашение об изъятии недвижимости для государственных или муниципальных нужд или вступившее в силу решение суда об изъятии недвижимости для государственных или муниципальных нужд\nG. На срок от одного до шести месяцев\nH. Объединение, которое осуществляет свою деятельность в соответствии с уставными целями на территории всех субъектов Российской Федерации\nI. 20%\nJ. 30%\nK. 50%\nL. На срок до трех месяцев\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 202, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.040244992822408676, + "B": 0.08519865572452545, + "C": 0.18036554753780365, + "D": 0.14046882092952728, + "E": 0.07518754154443741, + "F": 0.14046882092952728, + "G": 0.08519865572452545, + "H": 0.06635278463363647, + "I": 0.0244098212569952, + "J": 0.07518754154443741, + "K": 0.015760164707899094, + "L": 0.0065698144026100636 + }, + "sample": { + "question": "На какой срок может быть предоставлена отсрочка или рассрочка уплаты налогов в соответствии с Федеральным законом \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ, Статья 49?", + "answerA": "На срок до трех месяцев", + "answerB": "На срок от одного до шести месяцев", + "answerC": "На срок до одного года", + "answerD": "На неопределенный срок", + "correct_answer": "answerB", + "choices": [ + "На срок до одного года", + "Объединение, деятельность которого осуществляется на территории одного субъекта Российской Федерации", + "На срок до трех месяцев", + "Объединение, которое осуществляет свою деятельность в соответствии с уставными целями на территории всех субъектов Российской Федерации", + "Три миллиона рублей в год", + "Соглашение об изъятии недвижимости для государственных или муниципальных нужд или вступившее в силу решение суда об изъятии недвижимости для государственных или муниципальных нужд", + "На неопределенный срок", + "Письмо согласия собственника земельного участка", + "Пять миллионов рублей в год", + "На срок от одного до шести месяцев", + "Штрафные санкции за нарушение обязательных требований", + "До 1 января 2020 года" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nНа какой срок может быть предоставлена отсрочка или рассрочка уплаты налогов в соответствии с Федеральным законом \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ, Статья 49?\nA. На срок до одного года\nB. Объединение, деятельность которого осуществляется на территории одного субъекта Российской Федерации\nC. На срок до трех месяцев\nD. Объединение, которое осуществляет свою деятельность в соответствии с уставными целями на территории всех субъектов Российской Федерации\nE. Три миллиона рублей в год\nF. Соглашение об изъятии недвижимости для государственных или муниципальных нужд или вступившее в силу решение суда об изъятии недвижимости для государ��твенных или муниципальных нужд\nG. На неопределенный срок\nH. Письмо согласия собственника земельного участка\nI. Пять миллионов рублей в год\nJ. На срок от одного до шести месяцев\nK. Штрафные санкции за нарушение обязательных требований\nL. До 1 января 2020 года\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 226, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.1884290724992752, + "B": 0.009381331503391266, + "C": 0.022504644468426704, + "D": 0.03274406120181084, + "E": 0.11428800970315933, + "F": 0.02889653481543064, + "G": 0.025501100346446037, + "H": 0.10085881501436234, + "I": 0.39890432357788086, + "J": 0.0068635279312729836, + "K": 0.0014386737020686269, + "L": 0.0018472936935722828 + }, + "sample": { + "question": "Что понимается под общероссийским общественным объединением согласно Федеральному закону 'Об общественных объединениях' N 82-ФЗ?", + "answerA": "Объединение, деятельность которого осуществляется на территории одного субъекта Российской Федерации", + "answerB": "Объединение, которое осуществляет свою деятельность в соответствии с уставными целями на территории всех субъектов Российской Федерации", + "answerC": "Объединение, которое осуществляет свою деятельность в соответствии с уставными целями на территориях менее половины субъектов Российской Федерации", + "answerD": "Объединение, которое осуществляет свою деятельность в соответствии с уставными целями на территориях более половины субъектов Российской Федерации", + "correct_answer": "answerD", + "choices": [ + "Объединение, деятельность которого осуществляется на территории одного субъекта Российской Федерации", + "Соглашение об изъятии недвижимости для государственных или муниципальных нужд или вступившее в силу решение суда об изъятии недвижимости для государственных или муниципальных нужд", + "Если внешний управляющий запросит увеличение срока без указания причин.", + "Три миллиона рублей в год", + "Пять миллионов рублей в год", + "Объединение, которое осуществляет свою деятельность в соответствии с уставными целями на территориях более половины субъектов Российской Федерации", + "Письмо согласия собственника земельного участка", + "Объединение, которое осуществляет свою деятельность в соответствии с уставными целями на территориях менее половины субъектов Российской Федерации", + "Объединение, которое осуществляет свою деятельность в соответствии с уставными целями на территории всех субъектов Российской Федерации", + "До 1 января 2020 года", + "До 1 января 2021 года", + "Штрафные санкции за нарушение обязательных требований" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nЧто понимается под общероссийским общественным объединением согласно Федеральному закону 'Об общественных объединениях' N 82-ФЗ?\nA. Объединение, деятельность которого осуществля��тся на территории одного субъекта Российской Федерации\nB. Соглашение об изъятии недвижимости для государственных или муниципальных нужд или вступившее в силу решение суда об изъятии недвижимости для государственных или муниципальных нужд\nC. Если внешний управляющий запросит увеличение срока без указания причин.\nD. Три миллиона рублей в год\nE. Пять миллионов рублей в год\nF. Объединение, которое осуществляет свою деятельность в соответствии с уставными целями на территориях более половины субъектов Российской Федерации\nG. Письмо согласия собственника земельного участка\nH. Объединение, которое осуществляет свою деятельность в соответствии с уставными целями на территориях менее половины субъектов Российской Федерации\nI. Объединение, которое осуществляет свою деятельность в соответствии с уставными целями на территории всех субъектов Российской Федерации\nJ. До 1 января 2020 года\nK. До 1 января 2021 года\nL. Штрафные санкции за нарушение обязательных требований\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 235, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0037168769631534815, + "B": 0.0008293473511002958, + "C": 0.008916324935853481, + "D": 0.010103519074618816, + "E": 0.014700532890856266, + "F": 0.00034572341246530414, + "G": 0.0005030245520174503, + "H": 0.0012845182791352272, + "I": 0.9094897508621216, + "J": 0.00612809369340539, + "K": 0.0006067634676583111, + "L": 9.305018465965986e-05 + }, + "sample": { + "question": "Какой документ является основанием для государственной регистрации прав на изъятые для государственных или муниципальных нужд земельный участок и (или) расположенные на таком земельном участке объекты недвижимости?", + "answerA": "Письмо согласия собственника земельного участка", + "answerB": "Соглашение об изъятии недвижимости для государственных или муниципальных нужд или вступившее в силу решение суда об изъятии недвижимости для государственных или муниципальных нужд", + "answerC": "Протокол заседания местной администрации", + "answerD": "Разрешение на строительство нового объекта на земельном участке", + "correct_answer": "answerB", + "choices": [ + "Штрафные санкции за нарушение обязательных требований", + "Протокол заседания местной администрации", + "Письмо согласия собственника земельного участка", + "До 1 января 2020 года", + "Если внешний управляющий запросит увеличение срока без указания причин.", + "Три миллиона рублей в год", + "Была добавлена новая часть, касающаяся интернет-рекламы", + "Пять миллионов рублей в год", + "Соглашение об изъятии недвижимости для государственных или муниципальных нужд или вступившее в силу решение суда об изъятии недвижимости для государственных или муниципальных нужд", + "Разрешение на строительство нового объекта на земельном участке", + "Нематериальное поощрение доб��осовестных контролируемых лиц", + "До 1 января 2021 года" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКакой документ является основанием для государственной регистрации прав на изъятые для государственных или муниципальных нужд земельный участок и (или) расположенные на таком земельном участке объекты недвижимости?\nA. Штрафные санкции за нарушение обязательных требований\nB. Протокол заседания местной администрации\nC. Письмо согласия собственника земельного участка\nD. До 1 января 2020 года\nE. Если внешний управляющий запросит увеличение срока без указания причин.\nF. Три миллиона рублей в год\nG. Была добавлена новая часть, касающаяся интернет-рекламы\nH. Пять миллионов рублей в год\nI. Соглашение об изъятии недвижимости для государственных или муниципальных нужд или вступившее в силу решение суда об изъятии недвижимости для государственных или муниципальных нужд\nJ. Разрешение на строительство нового объекта на земельном участке\nK. Нематериальное поощрение добросовестных контролируемых лиц\nL. До 1 января 2021 года\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 213, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.05086955428123474, + "B": 0.3758779764175415, + "C": 0.10769084841012955, + "D": 0.12202971428632736, + "E": 0.04489222541451454, + "F": 0.03496209904551506, + "G": 0.03961724787950516, + "H": 0.030853943899273872, + "I": 0.006884445436298847, + "J": 0.10769084841012955, + "K": 0.021205585449934006, + "L": 0.003461716463789344 + }, + "sample": { + "question": "Каков минимальный размер страховой суммы по договору обязательного страхования ответственности арбитражного управляющего в соответствии со статьей 24.1 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?", + "answerA": "Три миллиона рублей в год", + "answerB": "Пять миллионов рублей в год", + "answerC": "Десять миллионов рублей в год", + "answerD": "Пятнадцать миллионов рублей в год", + "correct_answer": "Десять миллионов рублей в год", + "choices": [ + "Штрафные санкции за нарушение обязательных требований", + "Пять миллионов рублей в год", + "Нематериальное поощрение добросовестных контролируемых лиц", + "До 1 января 2020 года", + "До 1 января 2021 года", + "Каждые пять лет", + "Была добавлена новая часть, касающаяся интернет-рекламы", + "Если внешний управляющий запросит увеличение срока без указания причин.", + "Если собранием кредиторов принято решение об увеличении срока внешнего управления, основываясь на плане внешнего управления.", + "Десять миллионов рублей в год", + "Пятнадцать миллионов рублей в год", + "Три миллиона рублей в год" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКаков минимальный размер страховой суммы по договору обязательного страхования ответственности арбитражного управляющего в соответствии со статьей 24.1 Федеральн��го закона 'О несостоятельности (банкротстве)' N 127-ФЗ?\nA. Штрафные санкции за нарушение обязательных требований\nB. Пять миллионов рублей в год\nC. Нематериальное поощрение добросовестных контролируемых лиц\nD. До 1 января 2020 года\nE. До 1 января 2021 года\nF. Каждые пять лет\nG. Была добавлена новая часть, касающаяся интернет-рекламы\nH. Если внешний управляющий запросит увеличение срока без указания причин.\nI. Если собранием кредиторов принято решение об увеличении срока внешнего управления, основываясь на плане внешнего управления.\nJ. Десять миллионов рублей в год\nK. Пятнадцать миллионов рублей в год\nL. Три миллиона рублей в год\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 204, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.14775975048542023, + "B": 0.2760515511035919, + "C": 0.08962081372737885, + "D": 0.2760515511035919, + "E": 0.03296965733170509, + "F": 0.03296965733170509, + "G": 0.025676792487502098, + "H": 0.025676792487502098, + "I": 0.004749728832393885, + "J": 0.037359513342380524, + "K": 0.006492110434919596, + "L": 0.0014485855353996158 + }, + "sample": { + "question": "Каков срок для получения лицензии на деятельность по содержанию и использованию животных в зоопарках, зоосадах, цирках, зоотеатрах, дельфинариях, океанариумах согласно Федеральному закону 'Об ответственном обращении с животными и о внесении изменений в отдельные законодательные акты Российской Федерации' N 498-ФЗ?", + "answerA": "До 1 января 2020 года", + "answerB": "До 1 января 2021 года", + "answerC": "До 1 января 2022 года", + "answerD": "До 1 января 2023 года", + "correct_answer": "До 1 января 2022 года", + "choices": [ + "До 1 января 2021 года", + "До 1 января 2023 года", + "Была добавлена новая часть, касающаяся интернет-рекламы", + "До 1 января 2022 года", + "Нематериальное поощрение добросовестных контролируемых лиц", + "Если внешний управляющий запросит увеличение срока без указания причин.", + "Если собранием кредиторов принято решение об увеличении срока внешнего управления, основываясь на плане внешнего управления.", + "Требования застрахованных лиц удовлетворяются в первую очередь, в полном объеме, без учета требований Банка России.", + "До 1 января 2020 года", + "Каждые пять лет", + "Штрафные санкции за нарушение обязательных требований", + "Утратила силу с 15 ноября 2013 года" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКаков срок для получения лицензии на деятельность по содержанию и использованию животных в зоопарках, зоосадах, цирках, зоотеатрах, дельфинариях, океанариумах согласно Федеральному закону 'Об ответственном обращении с животными и о внесении изменений в отдельные законодательные акты Российской Федерации' N 498-ФЗ?\nA. До 1 января 2021 года\nB. До 1 января 2023 года\nC. Была добавлена новая часть, касающаяся интернет-рекламы\nD. До 1 января 2022 года\nE. Нематериальное поощрени�� добросовестных контролируемых лиц\nF. Если внешний управляющий запросит увеличение срока без указания причин.\nG. Если собранием кредиторов принято решение об увеличении срока внешнего управления, основываясь на плане внешнего управления.\nH. Требования застрахованных лиц удовлетворяются в первую очередь, в полном объеме, без учета требований Банка России.\nI. До 1 января 2020 года\nJ. Каждые пять лет\nK. Штрафные санкции за нарушение обязательных требований\nL. Утратила силу с 15 ноября 2013 года\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 268, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.18281690776348114, + "B": 0.08635659515857697, + "C": 0.031768813729286194, + "D": 0.040791966021060944, + "E": 0.18281690776348114, + "F": 0.03599878028035164, + "G": 0.04622335359454155, + "H": 0.04622335359454155, + "I": 0.0762094259262085, + "J": 0.08635659515857697, + "K": 0.015006525442004204, + "L": 0.0026077430229634047 + }, + "sample": { + "question": "Что включает в себя меры стимулирования добросовестности согласно Федеральному закону от 31.07.2020 N 248-ФЗ?", + "answerA": "Штрафные санкции за нарушение обязательных требований", + "answerB": "Нематериальное поощрение добросовестных контролируемых лиц", + "answerC": "Обязательную регистрацию контролируемых лиц в специальном реестре", + "answerD": "Установление дополнительных требований к проведению контрольных мероприятий", + "correct_answer": "Нематериальное поощрение добросовестных контролируемых лиц", + "choices": [ + "Если внешний управляющий запросит увеличение срока без указания причин.", + "Если собранием кредиторов принято решение об увеличении срока внешнего управления, основываясь на плане внешнего управления.", + "Все нормативные правовые акты должны быть утверждены только в электронной форме.", + "Была добавлена новая часть, касающаяся интернет-рекламы", + "Установление дополнительных требований к проведению контрольных мероприятий", + "Штрафные санкции за нарушение обязательных требований", + "Обязательную регистрацию контролируемых лиц в специальном реестре", + "Утратила силу с 15 ноября 2013 года", + "Нематериальное поощрение добросовестных контролируемых лиц", + "Требования застрахованных лиц удовлетворяются в первую очередь, в полном объеме, без учета требований Банка России.", + "Ежегодно", + "Каждые пять лет" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nЧто включает в себя меры стимулирования добросовестности согласно Федеральному закону от 31.07.2020 N 248-ФЗ?\nA. Если внешний управляющий запросит увеличение срока без указания причин.\nB. Если собранием кредиторов принято решение об увеличении срока внешнего управления, основываясь на плане внешнего управления.\nC. Все нормативные правовые акты должны быть утверждены только в электронной форме.\nD. Была добавлена новая часть, касающаяся интернет-рекламы\nE. Установление дополнительных требований к проведению контрольных мероприятий\nF. Штрафные санкции за нарушение обязательных требований\nG. Обязательную регистрацию контролируемых лиц в специальном реестре\nH. Утратила силу с 15 ноября 2013 года\nI. Нематериальное поощрение добросовестных контролируемых лиц\nJ. Требования застрахованных лиц удовлетворяются в первую очередь, в полном объеме, без учета требований Банка России.\nK. Ежегодно\nL. Каждые пять лет\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 223, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0020552531350404024, + "B": 0.008128684014081955, + "C": 0.09902763366699219, + "D": 0.04677734524011612, + "E": 0.011110593564808369, + "F": 0.028371896594762802, + "G": 0.1440843790769577, + "H": 0.013401933945715427, + "I": 0.0009708328871056437, + "J": 0.0049302964471280575, + "K": 0.5029038786888123, + "L": 0.000856757047586143 + }, + "sample": { + "question": "По какой причине арбитражный суд может продлить срок внешнего управления согласно статье 108 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?", + "answerA": "Если внешний управляющий запросит увеличение срока без указания причин.", + "answerB": "Если собранием кредиторов принято решение об увеличении срока внешнего управления, основываясь на плане внешнего управления.", + "answerC": "Если внешнее управление требует продления на неопределенный срок в связи с предполагаемыми финансовыми трудностями.", + "answerD": "Если президент компании обратится с таким запросом напрямую в суд.", + "correct_answer": "answerB", + "choices": [ + "Была добавлена новая часть, касающаяся интернет-рекламы", + "Все нормативные правовые акты должны быть утверждены только в электронной форме.", + "Частичное возмещение в зависимости от степени вины", + "Если президент компании обратится с таким запросом напрямую в суд.", + "Ежегодно", + "Если внешний управляющий запросит увеличение срока без указания причин.", + "Если внешнее управление требует продления на неопределенный срок в связи с предполагаемыми финансовыми трудностями.", + "Утратила силу с 15 ноября 2013 года", + "Требования кредиторов удовлетворяются пропорционально суммам их требований без учета требований застрахованных лиц.", + "Требования застрахованных лиц удовлетворяются в первую очередь, в полном объеме, без учета требований Банка России.", + "Если собранием кредиторов принято решение об увеличении срока внешнего управления, основываясь на плане внешнего управления.", + "Каждые пять лет" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nПо какой причине арбитражный суд может продлить срок внешнего управления согласно статье 108 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?\nA. Была добавлена новая часть, касающаяся ��нтернет-рекламы\nB. Все нормативные правовые акты должны быть утверждены только в электронной форме.\nC. Частичное возмещение в зависимости от степени вины\nD. Если президент компании обратится с таким запросом напрямую в суд.\nE. Ежегодно\nF. Если внешний управляющий запросит увеличение срока без указания причин.\nG. Если внешнее управление требует продления на неопределенный срок в связи с предполагаемыми финансовыми трудностями.\nH. Утратила силу с 15 ноября 2013 года\nI. Требования кредиторов удовлетворяются пропорционально суммам их требований без учета требований застрахованных лиц.\nJ. Требования застрахованных лиц удовлетворяются в первую очередь, в полном объеме, без учета требований Банка России.\nK. Если собранием кредиторов принято решение об увеличении срока внешнего управления, основываясь на плане внешнего управления.\nL. Каждые пять лет\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 238, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.010971487499773502, + "B": 0.06720851361751556, + "C": 0.012432325631380081, + "D": 0.03829425573348999, + "E": 0.028016677126288414, + "F": 0.03597412630915642, + "G": 0.03379456326365471, + "H": 0.06720851361751556, + "I": 0.007083724718540907, + "J": 0.4966074824333191, + "K": 0.04619168862700462, + "L": 0.1108081042766571 + }, + "sample": { + "question": "Какое изменение претерпела статья 23 в Федеральном законе 'О рекламе' N 38-ФЗ?", + "answerA": "Была добавлена новая часть, касающаяся интернет-рекламы", + "answerB": "Утратила силу с 15 ноября 2013 года", + "answerC": "Были ужесточены требования к рекламе алкогольной продукции", + "answerD": "Введены дополнительные ограничения для рекламы табачных изделий", + "correct_answer": "Утратила силу с 15 ноября 2013 года", + "choices": [ + "Все нормативные правовые акты должны быть утверждены только в электронной форме.", + "Частичное возмещение в зависимости от степени вины", + "Введены дополнительные ограничения для рекламы табачных изделий", + "Были ужесточены требования к рекламе алкогольной продукции", + "Требования кредиторов удовлетворяются пропорционально суммам их требований без учета требований застрахованных лиц.", + "Требования застрахованных лиц удовлетворяются в первую очередь, в полном объеме, без учета требований Банка России.", + "Каждые пять лет", + "Проекты нормативных правовых актов подлежат публичному обсуждению, и такие акты должны быть опубликованы для сведения лиц, обязанных их соблюдать.", + "Утратила силу с 15 ноября 2013 года", + "Была добавлена новая часть, касающаяся интернет-рекламы", + "Ежегодно", + "В течение трех рабочих дней" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКакое изменение претерпела статья 23 в Федеральном законе 'О рекламе' N 38-ФЗ?\nA. Все нормативные правовые акты должны быть утверждены только в электронной форме.\nB. Частичное возмещение в зависимости от степени вины\nC. Введены дополнительные ограничения для рекламы табачных изделий\nD. Были ужесточены требования к рекламе алкогольной продукции\nE. Требования кредиторов удовлетворяются пропорционально суммам их требований без учета требований застрахованных лиц.\nF. Требования застрахованных лиц удовлетворяются в первую очередь, в полном объеме, без учета требований Банка России.\nG. Каждые пять лет\nH. Проекты нормативных правовых актов подлежат публичному обсуждению, и такие акты должны быть опубликованы для сведения лиц, обязанных их соблюдать.\nI. Утратила силу с 15 ноября 2013 года\nJ. Была добавлена новая часть, касающаяся интернет-рекламы\nK. Ежегодно\nL. В течение трех рабочих дней\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 223, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0011794213205575943, + "B": 0.3072076439857483, + "C": 0.011911733075976372, + "D": 0.011911733075976372, + "E": 0.01963912695646286, + "F": 0.3944624364376068, + "G": 0.08801646530628204, + "H": 0.04711182042956352, + "I": 0.0002631644601933658, + "J": 0.013497761450707912, + "K": 0.04157603159546852, + "L": 0.007224831730127335 + }, + "sample": { + "question": "Согласно Федеральному закону 'О пожарной безопасности' N 69-ФЗ, как часто лицензиаты должны подтверждать соблюдение лицензионных требований перед лицензирующим органом?", + "answerA": "Каждые пять лет", + "answerB": "Ежегодно", + "answerC": "Каждые три года", + "answerD": "Один раз в десять лет", + "correct_answer": "Каждые три года", + "choices": [ + "Все нормативные правовые акты должны быть утверждены только в электронной форме.", + "Каждые пять лет", + "Требования кредиторов удовлетворяются пропорционально суммам их требований без учета требований застрахованных лиц.", + "Частичное возмещение в зависимости от степени вины", + "Обращается за консультацией к вышестоящему органу.", + "Ежегодно", + "Возмещение в полном объеме", + "Требования застрахованных лиц удовлетворяются в первую очередь, в полном объеме, без учета требований Банка России.", + "Один раз в десять лет", + "В течение трех рабочих дней", + "Каждые три года", + "Проекты нормативных правовых актов подлежат публичному обсуждению, и такие акты должны быть опубликованы для сведения лиц, обязанных их соблюдать." + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nСогласно Федеральному закону 'О пожарной безопасности' N 69-ФЗ, как часто лицензиаты должны подтверждать соблюдение лицензионных требований перед лицензирующим органом?\nA. Все нормативные правовые акты должны быть утверждены только в электронной форме.\nB. Каждые пять лет\nC. Требования кредиторов удовлетворяются пропорционально суммам их требований без учета требований застрахованных лиц.\nD. Частичное возмещение в зависимости от ст��пени вины\nE. Обращается за консультацией к вышестоящему органу.\nF. Ежегодно\nG. Возмещение в полном объеме\nH. Требования застрахованных лиц удовлетворяются в первую очередь, в полном объеме, без учета требований Банка России.\nI. Один раз в десять лет\nJ. В течение трех рабочих дней\nK. Каждые три года\nL. Проекты нормативных правовых актов подлежат публичному обсуждению, и такие акты должны быть опубликованы для сведения лиц, обязанных их соблюдать.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 210, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.00662410631775856, + "B": 0.024611540138721466, + "C": 0.007990198209881783, + "D": 0.018006188794970512, + "E": 0.027888529002666473, + "F": 0.01237545907497406, + "G": 0.09734053164720535, + "H": 0.7192546725273132, + "I": 0.007051324937492609, + "J": 0.004276844207197428, + "K": 0.004276844207197428, + "L": 0.00228923000395298 + }, + "sample": { + "question": "Каков порядок удовлетворения требований за счет средств пенсионных накоплений в ходе конкурсного производства негосударственного пенсионного фонда, не являющегося участником системы гарантирования прав застрахованных лиц?", + "answerA": "Требования застрахованных лиц удовлетворяются в первую очередь, в полном объеме, без учета требований Банка России.", + "answerB": "Требования кредиторов удовлетворяются пропорционально суммам их требований без учета требований застрахованных лиц.", + "answerC": "В первую очередь удовлетворяются требования Банка России и требования застрахованных лиц, затем требования кредиторов фонда во вторую очередь.", + "answerD": "Все требования удовлетворяются без ранжирования в едином порядке из совокупных средств фонда.", + "correct_answer": "C", + "choices": [ + "Возмещение в полном объеме", + "Требования кредиторов удовлетворяются пропорционально суммам их требований без учета требований застрахованных лиц.", + "Частичное возмещение в зависимости от степени вины", + "Обращается за консультацией к вышестоящему органу.", + "В течение одного дня", + "Федеральным законом \"О национальной безопасности\"", + "Проекты нормативных правовых актов подлежат публичному обсуждению, и такие акты должны быть опубликованы для сведения лиц, обязанных их соблюдать.", + "В первую очередь удовлетворяются требования Банка России и требования застрахованных лиц, затем требования кредиторов фонда во вторую очередь.", + "Требования застрахованных лиц удовлетворяются в первую очередь, в полном объеме, без учета требований Банка России.", + "В течение трех рабочих дней", + "Все требования удовлетворяются без ранжирования в едином порядке из совокупных средств фонда.", + "Все нормативные правовые акты должны быть утверждены только в электронной форме." + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКаков порядок удовл��творения требований за счет средств пенсионных накоплений в ходе конкурсного производства негосударственного пенсионного фонда, не являющегося участником системы гарантирования прав застрахованных лиц?\nA. Возмещение в полном объеме\nB. Требования кредиторов удовлетворяются пропорционально суммам их требований без учета требований застрахованных лиц.\nC. Частичное возмещение в зависимости от степени вины\nD. Обращается за консультацией к вышестоящему органу.\nE. В течение одного дня\nF. Федеральным законом \"О национальной безопасности\"\nG. Проекты нормативных правовых актов подлежат публичному обсуждению, и такие акты должны быть опубликованы для сведения лиц, обязанных их соблюдать.\nH. В первую очередь удовлетворяются требования Банка России и требования застрахованных лиц, затем требования кредиторов фонда во вторую очередь.\nI. Требования застрахованных лиц удовлетворяются в первую очередь, в полном объеме, без учета требований Банка России.\nJ. В течение трех рабочих дней\nK. Все требования удовлетворяются без ранжирования в едином порядке из совокупных средств фонда.\nL. Все нормативные правовые акты должны быть утверждены только в электронной форме.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 244, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.010018703527748585, + "B": 0.006076650694012642, + "C": 0.901854932308197, + "D": 0.007802573963999748, + "E": 0.002533124992623925, + "F": 0.002379650715738535, + "G": 0.004176417365670204, + "H": 0.002696497365832329, + "I": 0.00019533360318746418, + "J": 0.00020793154544662684, + "K": 0.0007725594332441688, + "L": 2.8140475478721783e-05 + }, + "sample": { + "question": "Что требуется для обеспечения открытости и предсказуемости обязательных требований, согласно Федеральному закону от 31.07.2020 N 247-ФЗ 'Об обязательных требованиях в Российской Федерации'?", + "answerA": "Все нормативные правовые акты должны быть утверждены только в электронной форме.", + "answerB": "Проекты нормативных правовых актов подлежат публичному обсуждению, и такие акты должны быть опубликованы для сведения лиц, обязанных их соблюдать.", + "answerC": "Обязательные требования могут вступать в силу немедленно без предварительного уведомления организаций и граждан.", + "answerD": "Применение обязательных требований осуществляется без опубликования соответствующих нормативных правовых актов.", + "correct_answer": "B", + "choices": [ + "Возмещение в полном объеме", + "Частичное возмещение в зависимости от степени вины", + "Проекты нормативных правовых актов подлежат публичному обсуждению, и такие акты должны быть опубликованы для сведения лиц, обязанных их соблюдать.", + "Применение обязательных требований осуществляется без опубликования соответствующих нормативных правовых актов.", + "В течение одного дня", + "В течение трех рабочих дне��", + "Все нормативные правовые акты должны быть утверждены только в электронной форме.", + "Федеральным законом \"О национальной безопасности\"", + "Обращается за консультацией к вышестоящему органу.", + "Выносит определение о принятии заявления о признании должника банкротом.", + "Право на проведение изменений в административные границы субъектов Российской Федерации.", + "Обязательные требования могут вступать в силу немедленно без предварительного уведомления организаций и граждан." + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nЧто требуется для обеспечения открытости и предсказуемости обязательных требований, согласно Федеральному закону от 31.07.2020 N 247-ФЗ 'Об обязательных требованиях в Российской Федерации'?\nA. Возмещение в полном объеме\nB. Частичное возмещение в зависимости от степени вины\nC. Проекты нормативных правовых актов подлежат публичному обсуждению, и такие акты должны быть опубликованы для сведения лиц, обязанных их соблюдать.\nD. Применение обязательных требований осуществляется без опубликования соответствующих нормативных правовых актов.\nE. В течение одного дня\nF. В течение трех рабочих дней\nG. Все нормативные правовые акты должны быть утверждены только в электронной форме.\nH. Федеральным законом \"О национальной безопасности\"\nI. Обращается за консультацией к вышестоящему органу.\nJ. Выносит определение о принятии заявления о признании должника банкротом.\nK. Право на проведение изменений в административные границы субъектов Российской Федерации.\nL. Обязательные требования могут вступать в силу немедленно без предварительного уведомления организаций и граждан.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 233, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.050472646951675415, + "B": 0.004410251043736935, + "C": 0.006028097588568926, + "D": 0.007740231696516275, + "E": 0.789525032043457, + "F": 0.0038920326624065638, + "G": 0.002674952382221818, + "H": 0.0019570370204746723, + "I": 0.0038920326624065638, + "J": 0.0011150860227644444, + "K": 0.001263558049686253, + "L": 2.9716034987359308e-05 + }, + "sample": { + "question": "Как в соответствии со статьёй 79 Федерального закона \"Об охране окружающей среды\" N 7-ФЗ осуществляется возмещение вреда, причиненного здоровью и имуществу граждан?", + "answerA": "Частичное возмещение в зависимости от степени вины", + "answerB": "Возмещение в полном объеме", + "answerC": "Возмещение только в случае сильного негативного воздействия", + "answerD": "Возмещение только через судебное разбирательство", + "correct_answer": "Возмещение в полном объеме", + "choices": [ + "Возмещение только в случае сильного негативного воздействия", + "В течение одного дня", + "Право на проведение изменений в административные границы субъектов Российской Федерации.", + "Федеральным законом \"О нацио��альной безопасности\"", + "Возмещение в полном объеме", + "Выносит определение о принятии заявления о признании должника банкротом.", + "Федеральным законом \"О государственной поддержке предпринимательской деятельности в Арктической зоне Российской Федерации\"", + "Обращается за консультацией к вышестоящему органу.", + "Частичное возмещение в зависимости от степени вины", + "Возмещение только через судебное разбирательство", + "Предоставлением эксклюзивных прав на коммерциализацию инновационных продуктов", + "В течение трех рабочих дней" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКак в соответствии со статьёй 79 Федерального закона \"Об охране окружающей среды\" N 7-ФЗ осуществляется возмещение вреда, причиненного здоровью и имуществу граждан?\nA. Возмещение только в случае сильного негативного воздействия\nB. В течение одного дня\nC. Право на проведение изменений в административные границы субъектов Российской Федерации.\nD. Федеральным законом \"О национальной безопасности\"\nE. Возмещение в полном объеме\nF. Выносит определение о принятии заявления о признании должника банкротом.\nG. Федеральным законом \"О государственной поддержке предпринимательской деятельности в Арктической зоне Российской Федерации\"\nH. Обращается за консультацией к вышестоящему органу.\nI. Частичное возмещение в зависимости от степени вины\nJ. Возмещение только через судебное разбирательство\nK. Предоставлением эксклюзивных прав на коммерциализацию инновационных продуктов\nL. В течение трех рабочих дней\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 202, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0041726394556462765, + "B": 0.008833477273583412, + "C": 0.901039183139801, + "D": 0.03083186410367489, + "E": 0.0026940584648400545, + "F": 0.003682341193780303, + "G": 0.010009641759097576, + "H": 0.003052768064662814, + "I": 0.00028395166737027466, + "J": 0.0003425111062824726, + "K": 0.0013546575792133808, + "L": 7.642454875167459e-05 + }, + "sample": { + "question": "Какой срок установлен Федеральным законом №44-ФЗ для размещения разъяснений положений конкурсной документации на официальном сайте после их направления по запросу участника размещения заказа?", + "answerA": "В течение трех рабочих дней", + "answerB": "В течение одного дня", + "answerC": "В течение пяти рабочих дней", + "answerD": "В течение семи рабочих дней", + "correct_answer": "B", + "choices": [ + "Обращается за консультацией к вышестоящему органу.", + "Федеральным законом \"О национальной безопасности\"", + "В течение семи рабочих дней", + "В течение пяти рабочих дней", + "Предоставлением эксклюзивных прав на коммерциализацию инновационных продуктов", + "В течение одного дня", + "Федеральным законом \"О государственной поддержке предпринимательской деятельности в Арктической зоне Российской Федерации\"", + "Право задерживать и доставлять в служебные помещения таможенного органа или в органы внутренних дел Российской Федерации лиц, подозреваемых в совершении преступлений.", + "Право на проведение изменений в административные границы субъектов Российской Федерации.", + "Организация и проведение выборов на территориальном уровне", + "В течение трех рабочих дней", + "Выносит определение о принятии заявления о признании должника банкротом." + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКакой срок установлен Федеральным законом №44-ФЗ для размещения разъяснений положений конкурсной документации на официальном сайте после их направления по запросу участника размещения заказа?\nA. Обращается за консультацией к вышестоящему органу.\nB. Федеральным законом \"О национальной безопасности\"\nC. В течение семи рабочих дней\nD. В течение пяти рабочих дней\nE. Предоставлением эксклюзивных прав на коммерциализацию инновационных продуктов\nF. В течение одного дня\nG. Федеральным законом \"О государственной поддержке предпринимательской деятельности в Арктической зоне Российской Федерации\"\nH. Право задерживать и доставлять в служебные помещения таможенного органа или в органы внутренних дел Российской Федерации лиц, подозреваемых в совершении преступлений.\nI. Право на проведение изменений в административные границы субъектов Российской Федерации.\nJ. Организация и проведение выборов на территориальном уровне\nK. В течение трех рабочих дней\nL. Выносит определение о принятии заявления о признании должника банкротом.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 211, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.002077498473227024, + "B": 0.008216665126383305, + "C": 0.003881277982145548, + "D": 0.6948280930519104, + "E": 0.005647226236760616, + "F": 0.15503710508346558, + "G": 0.014420696534216404, + "H": 0.016340790316462517, + "I": 0.00033914230880327523, + "J": 0.006011440884321928, + "K": 0.006399145349860191, + "L": 0.05703496187925339 + }, + "sample": { + "question": "Что арбитражный суд делает не позднее чем через пять дней с даты поступления заявления о признании должника банкротом?", + "answerA": "Обращается за консультацией к вышестоящему органу.", + "answerB": "Выносит определение о принятии заявления о признании должника банкротом.", + "answerC": "Подаёт заявку на получение дополнительных документов от должника.", + "answerD": "Прекращает производство по делу из-за недостатка доказательств.", + "correct_answer": "B", + "choices": [ + "Подаёт заявку на получение дополнительных документов от должника.", + "Организация и проведение выборов на территориальном уровне", + "Выдачей специальных пропусков для участия в государственных и муниципальных мероприятиях", + "Выносит определение о принятии заявления о признании должника банкротом.", + "Предоставлением эксклюзивных прав на коммерциализацию инновационных продуктов", + "Обращается за консультацией к вышестоящему органу.", + "Немедленно ликвидировать кредитную организацию без уведомления учредителей", + "Федеральным законом \"О национальной безопасности\"", + "Право задерживать и доставлять в служебные помещения таможенного органа или в органы внутренних дел Российской Федерации лиц, подозреваемых в совершении преступлений.", + "Право на проведение изменений в административные границы субъектов Российской Федерации.", + "Федеральным законом \"О государственной поддержке предпринимательской деятельности в Арктической зоне Российской Федерации\"", + "Прекращает производство по делу из-за недостатка доказательств." + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nЧто арбитражный суд делает не позднее чем через пять дней с даты поступления заявления о признании должника банкротом?\nA. Подаёт заявку на получение дополнительных документов от должника.\nB. Организация и проведение выборов на территориальном уровне\nC. Выдачей специальных пропусков для участия в государственных и муниципальных мероприятиях\nD. Выносит определение о принятии заявления о признании должника банкротом.\nE. Предоставлением эксклюзивных прав на коммерциализацию инновационных продуктов\nF. Обращается за консультацией к вышестоящему органу.\nG. Немедленно ликвидировать кредитную организацию без уведомления учредителей\nH. Федеральным законом \"О национальной безопасности\"\nI. Право задерживать и доставлять в служебные помещения таможенного органа или в органы внутренних дел Российской Федерации лиц, подозреваемых в совершении преступлений.\nJ. Право на проведение изменений в административные границы субъектов Российской Федерации.\nK. Федеральным законом \"О государственной поддержке предпринимательской деятельности в Арктической зоне Российской Федерации\"\nL. Прекращает производство по делу из-за недостатка доказательств.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 231, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.06778945028781891, + "B": 0.07681550830602646, + "C": 0.0986330658197403, + "D": 0.0411163792014122, + "E": 0.11176589876413345, + "F": 0.0986330658197403, + "G": 0.08704337477684021, + "H": 0.12664736807346344, + "I": 0.04659096524119377, + "J": 0.08704337477684021, + "K": 0.036285076290369034, + "L": 0.014209439046680927 + }, + "sample": { + "question": "Каким федеральным законом устанавливаются особенности осуществления отдельных полномочий органов местного самоуправления в муниципальных образованиях, территории которых относятся к Арктической зоне Российской Федерации согласно статье 82.6 Федерального закона \"Об общих принципах организации местного самоуправления в ��Ф\"?", + "answerA": "Федеральным законом \"О национальной безопасности\"", + "answerB": "Федеральным законом \"О государственной поддержке предпринимательской деятельности в Арктической зоне Российской Федерации\"", + "answerC": "Федеральным законом \"О природоохранной деятельности\"", + "answerD": "Федеральным законом \"Об особо охраняемых природных территориях\"", + "correct_answer": "answerB", + "choices": [ + "Государственная служба, осуществляемая исключительно в судебных органах", + "Выдачей специальных пропусков для участия в государственных и муниципальных мероприятиях", + "Федеральным законом \"О государственной поддержке предпринимательской деятельности в Арктической зоне Российской Федерации\"", + "Немедленно ликвидировать кредитную организацию без уведомления учредителей", + "Федеральным законом \"О национальной безопасности\"", + "Предоставлением эксклюзивных прав на коммерциализацию инновационных продуктов", + "Принятие законодательных инициатив на федеральном уровне", + "Федеральным законом \"О природоохранной деятельности\"", + "Право задерживать и доставлять в служебные помещения таможенного органа или в органы внутренних дел Российской Федерации лиц, подозреваемых в совершении преступлений.", + "Право на проведение изменений в административные границы субъектов Российской Федерации.", + "Федеральным законом \"Об особо охраняемых природных территориях\"", + "Организация и проведение выборов на территориальном уровне" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКаким федеральным законом устанавливаются особенности осуществления отдельных полномочий органов местного самоуправления в муниципальных образованиях, территории которых относятся к Арктической зоне Российской Федерации согласно статье 82.6 Федерального закона \"Об общих принципах организации местного самоуправления в РФ\"?\nA. Государственная служба, осуществляемая исключительно в судебных органах\nB. Выдачей специальных пропусков для участия в государственных и муниципальных мероприятиях\nC. Федеральным законом \"О государственной поддержке предпринимательской деятельности в Арктической зоне Российской Федерации\"\nD. Немедленно ликвидировать кредитную организацию без уведомления учредителей\nE. Федеральным законом \"О национальной безопасности\"\nF. Предоставлением эксклюзивных прав на коммерциализацию инновационных продуктов\nG. Принятие законодательных инициатив на федеральном уровне\nH. Федеральным законом \"О природоохранной деятельности\"\nI. Право задерживать и доставлять в служебные помещения таможенного органа или в органы внутренних дел Российской Федерации лиц, подозреваемых в совершении преступлений.\nJ. Право на проведение изменений в административные границы субъектов Российской Федерации.\nK. Федеральным законом \"Об особо охраняемых природных территориях\"\nL. Организация и проведение выборов на территориальном уровне\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 242, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.6898386478424072, + "B": 0.03434504196047783, + "C": 0.03891803324222565, + "D": 0.026747945696115494, + "E": 0.056625403463840485, + "F": 0.009840019047260284, + "G": 0.009243843145668507, + "H": 0.016223449259996414, + "I": 0.0036199409514665604, + "J": 0.0028192128520458937, + "K": 0.0024879465345293283, + "L": 0.000590939074754715 + }, + "sample": { + "question": "Какое из перечисленных прав обладает таможенный орган согласно статье 259 Федерального закона \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?", + "answerA": "Право на проведение изменений в административные границы субъектов Российской Федерации.", + "answerB": "Право задерживать и доставлять в служебные помещения таможенного органа или в органы внутренних дел Российской Федерации лиц, подозреваемых в совершении преступлений.", + "answerC": "Право на выдачу лицензий на торговлю оружием.", + "answerD": "Право устанавливать образовательные стандарты для высших учебных заведений.", + "correct_answer": "B", + "choices": [ + "Право задерживать и доставлять в служебные помещения таможенного органа или в органы внутренних дел Российской Федерации лиц, подозреваемых в совершении преступлений.", + "Государственная служба, осуществляемая исключительно в судебных органах", + "Принятие законодательных инициатив на федеральном уровне", + "Немедленно ликвидировать кредитную организацию без уведомления учредителей", + "Предоставлением эксклюзивных прав на коммерциализацию инновационных продуктов", + "Право на выдачу лицензий на торговлю оружием.", + "Передать дела кредитной организации в суд", + "Право на проведение изменений в административные границы субъектов Российской Федерации.", + "Право устанавливать образовательные стандарты для высших учебных заведений.", + "Организация и проведение выборов на территориальном уровне", + "Проведение маркетинговых исследований в интересах развития таможенного дела", + "Выдачей специальных пропусков для участия в государственных и муниципальных мероприятиях" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКакое из перечисленных прав обладает таможенный орган согласно статье 259 Федерального закона \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?\nA. Право задерживать и доставлять в служебные помещения таможенного органа или в органы внутренних дел Российской Федерации лиц, подозреваемых в совершении преступлений.\nB. Государственная служба, осуществляемая исключительно в судебных органах\nC. Принятие законодательных инициатив на федеральном уровне\nD. Немедленно ликвидировать кредитную организацию без уведомления учредителей\nE. Предоставлением эксклюзивных прав на коммерциализацию инновационных продуктов\nF. Право на выдачу лицензий на торговлю оружием.\nG. Передать дела кредитной организации в суд\nH. Право на проведение изменений в административные границы субъектов Российской Федерации.\nI. Право устанавливать образовательные стандарты для высших учебных заведений.\nJ. Организация и проведение выборов на территориальном уровне\nK. Проведение маркетинговых исследований в интересах развития таможенного дела\nL. Выдачей специальных пропусков для участия в государственных и муниципальных мероприятиях\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 242, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.001752745360136032, + "B": 0.003274559276178479, + "C": 0.0022505694068968296, + "D": 0.0065122381784021854, + "E": 0.04520389810204506, + "F": 0.011429334990680218, + "G": 0.039892297238111496, + "H": 0.051222722977399826, + "I": 0.022729946300387383, + "J": 0.13923782110214233, + "K": 0.17878487706184387, + "L": 0.37848758697509766 + }, + "sample": { + "question": "Каким образом государство обеспечивает поддержку деятельности общественных объединений согласно статье 17 Федерального закона 'Об общественных объединениях' N 82-ФЗ?", + "answerA": "Предоставлением эксклюзивных прав на коммерциализацию инновационных продуктов", + "answerB": "Выдачей специальных пропусков для участия в государственных и муниципальных мероприятиях", + "answerC": "Целевым финансированием отдельных общественно полезных программ по их заявкам (государственные гранты), заключением различных договоров и закупками для обеспечения государственных и муниципальных нужд", + "answerD": "Предоставлением субсидий на развитие частного предпринимательства среди членов общественных объединений", + "correct_answer": "Целевым финансированием отдельных общественно полезных программ по их заявкам (государственные гранты), заключением различных договоров и закупками для обеспечения государственных и муниципальных нужд", + "choices": [ + "Государственная служба, осуществляемая исключительно в судебных органах", + "Проведение маркетинговых исследований в интересах развития таможенного дела", + "Денежные средства в электронном виде, используемые для оплаты товаров и услуг.", + "Немедленно ликвидировать кредитную организацию без уведомления учредителей", + "Предоставлением субсидий на развитие частного предпринимательства среди членов общественных объединений", + "Вид военной службы, связанный с оборонной деятельностью страны", + "Организация и проведение выборов на территориальном уровне", + "Выд��чей специальных пропусков для участия в государственных и муниципальных мероприятиях", + "Принятие законодательных инициатив на федеральном уровне", + "Предоставлением эксклюзивных прав на коммерциализацию инновационных продуктов", + "Передать дела кредитной организации в суд", + "Целевым финансированием отдельных общественно полезных программ по их заявкам (государственные гранты), заключением различных договоров и закупками для обеспечения государственных и муниципальных нужд" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКаким образом государство обеспечивает поддержку деятельности общественных объединений согласно статье 17 Федерального закона 'Об общественных объединениях' N 82-ФЗ?\nA. Государственная служба, осуществляемая исключительно в судебных органах\nB. Проведение маркетинговых исследований в интересах развития таможенного дела\nC. Денежные средства в электронном виде, используемые для оплаты товаров и услуг.\nD. Немедленно ликвидировать кредитную организацию без уведомления учредителей\nE. Предоставлением субсидий на развитие частного предпринимательства среди членов общественных объединений\nF. Вид военной службы, связанный с оборонной деятельностью страны\nG. Организация и проведение выборов на территориальном уровне\nH. Выдачей специальных пропусков для участия в государственных и муниципальных мероприятиях\nI. Принятие законодательных инициатив на федеральном уровне\nJ. Предоставлением эксклюзивных прав на коммерциализацию инновационных продуктов\nK. Передать дела кредитной организации в суд\nL. Целевым финансированием отдельных общественно полезных программ по их заявкам (государственные гранты), заключением различных договоров и закупками для обеспечения государственных и муниципальных нужд\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 241, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.001569607062265277, + "B": 0.006608292460441589, + "C": 0.8655155897140503, + "D": 0.015852471813559532, + "E": 0.0031215366907417774, + "F": 0.0018933076644316316, + "G": 0.0025878448504954576, + "H": 0.0021453986410051584, + "I": 0.00021242324146442115, + "J": 0.0011483491398394108, + "K": 0.0031215366907417774, + "L": 4.7398028982570395e-05 + }, + "sample": { + "question": "Какое из ниже перечисленных полномочий прокурора верно согласно Федеральному закону 'О прокуратуре Российской Федерации' N 2202-1-ФЗ, статья 27?", + "answerA": "Организация и проведение выборов на территориальном уровне", + "answerB": "Принятие законодательных инициатив на федеральном уровне", + "answerC": "Принятие мер к тому, чтобы лица, нарушившие права и свободы человека и гражданина, были подвергнуты уголовному преследованию", + "answerD": "Разработка и внедрение образовательных программ для студентов юридических вузов", + "correct_answer": "Принятие мер к тому, чтобы лица, нарушившие права и свободы человека и гражданина, были подвергнуты уголовному преследованию", + "choices": [ + "Общество несет ответственность по обязательствам своих участников.", + "Государственная служба, осуществляемая исключительно в судебных органах", + "Принятие мер к тому, чтобы лица, нарушившие права и свободы человека и гражданина, были подвергнуты уголовному преследованию", + "Передать дела кредитной организации в суд", + "Немедленно ликвидировать кредитную организацию без уведомления учредителей", + "Денежные средства в электронном виде, используемые для оплаты товаров и услуг.", + "Принятие законодательных инициатив на федеральном уровне", + "Организация и проведение выборов на территориальном уровне", + "Вид военной службы, связанный с оборонной деятельностью страны", + "Проведение маркетинговых исследований в интересах развития таможенного дела", + "Осуществление контроля и надзора за соблюдением международных договоров и актов в сфере таможенного регулирования", + "Разработка и внедрение образовательных программ для студентов юридических вузов" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКакое из ниже перечисленных полномочий прокурора верно согласно Федеральному закону 'О прокуратуре Российской Федерации' N 2202-1-ФЗ, статья 27?\nA. Общество несет ответственность по обязательствам своих участников.\nB. Государственная служба, осуществляемая исключительно в судебных органах\nC. Принятие мер к тому, чтобы лица, нарушившие права и свободы человека и гражданина, были подвергнуты уголовному преследованию\nD. Передать дела кредитной организации в суд\nE. Немедленно ликвидировать кредитную организацию без уведомления учредителей\nF. Денежные средства в электронном виде, используемые для оплаты товаров и услуг.\nG. Принятие законодательных инициатив на федеральном уровне\nH. Организация и проведение выборов на территориальном уровне\nI. Вид военной службы, связанный с оборонной деятельностью страны\nJ. Проведение маркетинговых исследований в интересах развития таможенного дела\nK. Осуществление контроля и надзора за соблюдением международных договоров и актов в сфере таможенного регулирования\nL. Разработка и внедрение образовательных программ для студентов юридических вузов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 233, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0011978995753452182, + "B": 0.006475784350186586, + "C": 0.0009329251479357481, + "D": 0.006893436424434185, + "E": 0.009422210045158863, + "F": 0.005043345969170332, + "G": 0.004181080963462591, + "H": 0.003927761223167181, + "I": 0.005043345969170332, + "J": 0.5144352316856384, + "K": 0.1892501711845398, + "L": 0.16701267659664154 + }, + "sample": { + "question": "Что должен сделать единоличный исполнительный ор��ан кредитной организации в случае возникновения признаков несостоятельности (банкротства) в соответствии со Статьёй 189.12 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?", + "answerA": "Немедленно ликвидировать кредитную организацию без уведомления учредителей", + "answerB": "Передать дела кредитной организации в суд", + "answerC": "Направить в совет директоров кредитной организации мотивированное требование о созыве внеочередного общего собрания учредителей (участников) для рассмотрения вопроса о ликвидации кредитной организации и направлении в Банк России ходатайства об аннулировании или отзыве лицензии на осуществление банковских операций", + "answerD": "Провести аудит финансового состояния кредитной организации самостоятельно", + "correct_answer": "answerC", + "choices": [ + "Цифровые права, включающие денежные требования, возможность осуществления прав по эмиссионным ценным бумагам, права участия в капитале непубличного акционерного общества.", + "Общество несет ответственность по обязательствам своих участников.", + "Отношения, связанные с регулированием внешней торговли", + "Провести аудит финансового состояния кредитной организации самостоятельно", + "Немедленно ликвидировать кредитную организацию без уведомления учредителей", + "Денежные средства в электронном виде, используемые для оплаты товаров и услуг.", + "Вид военной службы, связанный с оборонной деятельностью страны", + "Проведение маркетинговых исследований в интересах развития таможенного дела", + "Государственная служба, осуществляемая исключительно в судебных органах", + "Передать дела кредитной организации в суд", + "Осуществление контроля и надзора за соблюдением международных договоров и актов в сфере таможенного регулирования", + "Направить в совет директоров кредитной организации мотивированное требование о созыве внеочередного общего собрания учредителей (участников) для рассмотрения вопроса о ликвидации кредитной организации и направлении в Банк России ходатайства об аннулировании или отзыве лицензии на осуществление банковских операций" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nЧто должен сделать единоличный исполнительный орган кредитной организации в случае возникновения признаков несостоятельности (банкротства) в соответствии со Статьёй 189.12 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?\nA. Цифровые права, включающие денежные требования, возможность осуществления прав по эмиссионным ценным бумагам, права участия в капитале непубличного акционерного общества.\nB. Общество несет ответственность по обязательствам своих участников.\nC. Отношения, связанные с регулированием внешней торговли\nD. Провести аудит финансового состояния кредитной организации самосто��тельно\nE. Немедленно ликвидировать кредитную организацию без уведомления учредителей\nF. Денежные средства в электронном виде, используемые для оплаты товаров и услуг.\nG. Вид военной службы, связанный с оборонной деятельностью страны\nH. Проведение маркетинговых исследований в интересах развития таможенного дела\nI. Государственная служба, осуществляемая исключительно в судебных органах\nJ. Передать дела кредитной организации в суд\nK. Осуществление контроля и надзора за соблюдением международных договоров и актов в сфере таможенного регулирования\nL. Направить в совет директоров кредитной организации мотивированное требование о созыве внеочередного общего собрания учредителей (участников) для рассмотрения вопроса о ликвидации кредитной организации и направлении в Банк России ходатайства об аннулировании или отзыве лицензии на осуществление банковских операций\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 312, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.00042854505591094494, + "B": 0.002974692266434431, + "C": 0.0007065513054840267, + "D": 0.0021763313561677933, + "E": 0.0021763313561677933, + "F": 0.0009072298416867852, + "G": 0.0013200115645304322, + "H": 0.009753640741109848, + "I": 0.0001576529029989615, + "J": 0.0040659224614501, + "K": 0.007135916035622358, + "L": 0.87799471616745 + }, + "sample": { + "question": "Что представляет собой государственная гражданская служба согласно Федеральному закону \"О системе государственной службы Российской Федерации\" N 58-ФЗ?", + "answerA": "Государственная служба, осуществляемая исключительно в судебных органах", + "answerB": "Вид военной службы, связанный с оборонной деятельностью страны", + "answerC": "Профессиональная служебная деятельность граждан на должностях государственной гражданской службы по обеспечению исполнения полномочий федеральных государственных органов и других органов публичной власти", + "answerD": "Общественная работа, выполняемая на добровольных началах", + "correct_answer": "Профессиональная служебная деятельность граждан на должностях государственной гражданской службы по обеспечению исполнения полномочий федеральных государственных органов и других органов публичной власти", + "choices": [ + "Общество несет ответственность по обязательствам своих участников.", + "Государственная служба, осуществляемая исключительно в судебных органах", + "Общественная работа, выполняемая на добровольных началах", + "Осуществление контроля и надзора за соблюдением международных договоров и актов в сфере таможенного регулирования", + "Общество несет ответственность по своим обязательствам всем принадлежащим ему имуществом.", + "Вид военной службы, связанный с оборонной деятельностью страны", + "Проведение маркетинговых исследований в интересах развития таможенного дела", + "Получение любых медицинских услуг исключительно на платной основе", + "Денежные средства в электронном виде, используемые для оплаты товаров и услуг.", + "Отношения, связанные с регулированием внешней торговли", + "Цифровые права, включающие денежные требования, возможность осуществления прав по эмиссионным ценным бумагам, права участия в капитале непубличного акционерного общества.", + "Профессиональная служебная деятельность граждан на должностях государственной гражданской службы по обеспечению исполнения полномочий федеральных государственных органов и других органов публичной власти" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nЧто представляет собой государственная гражданская служба согласно Федеральному закону \"О системе государственной службы Российской Федерации\" N 58-ФЗ?\nA. Общество несет ответственность по обязательствам своих участников.\nB. Государственная служба, осуществляемая исключительно в судебных органах\nC. Общественная работа, выполняемая на добровольных началах\nD. Осуществление контроля и надзора за соблюдением международных договоров и актов в сфере таможенного регулирования\nE. Общество несет ответственность по своим обязательствам всем принадлежащим ему имуществом.\nF. Вид военной службы, связанный с оборонной деятельностью страны\nG. Проведение маркетинговых исследований в интересах развития таможенного дела\nH. Получение любых медицинских услуг исключительно на платной основе\nI. Денежные средства в электронном виде, используемые для оплаты товаров и услуг.\nJ. Отношения, связанные с регулированием внешней торговли\nK. Цифровые права, включающие денежные требования, возможность осуществления прав по эмиссионным ценным бумагам, права участия в капитале непубличного акционерного общества.\nL. Профессиональная служебная деятельность граждан на должностях государственной гражданской службы по обеспечению исполнения полномочий федеральных государственных органов и других органов публичной власти\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 254, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0053889332339167595, + "B": 0.007365798112004995, + "C": 0.0016435317229479551, + "D": 0.004467582795768976, + "E": 0.0291322972625494, + "F": 0.016599083319306374, + "G": 0.009457871317863464, + "H": 0.04512098431587219, + "I": 0.033011216670274734, + "J": 0.5496861338615417, + "K": 0.05793648958206177, + "L": 0.17845694720745087 + }, + "sample": { + "question": "Какова одна из обязанностей таможенных органов Российской Федерации, согласно Федеральному закону 'О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации' N 289-ФЗ, Статья 258?", + "answerA": "Проведение маркетинговых исследований в интересах развития таможенного дела", + "answerB": "Осуществление контроля и надзора за соблюдением международных договоров и актов в сфере таможенного регулирования", + "answerC": "Организация обучающих курсов по таможенному делу для граждан", + "answerD": "Заключение международных контрактов от имени Российской Федерации", + "correct_answer": "B", + "choices": [ + "Денежные средства в электронном виде, используемые для оплаты товаров и услуг.", + "Общество несет ответственность по обязательствам своих участников.", + "Общество несет ответственность по своим обязательствам всем принадлежащим ему имуществом.", + "Получение любых медицинских услуг исключительно на платной основе", + "Проведение маркетинговых исследований в интересах развития таможенного дела", + "Цифровые права, включающие денежные требования, возможность осуществления прав по эмиссионным ценным бумагам, права участия в капитале непубличного акционерного общества.", + "Заключение международных контрактов от имени Российской Федерации", + "Организация обучающих курсов по таможенному делу для граждан", + "Отношения, связанные с регулированием внешней торговли", + "Осуществление контроля и надзора за соблюдением международных договоров и актов в сфере таможенного регулирования", + "Организация и проведение международных научных конференций", + "Отношения, возникающие в связи с реализацией гражданами права на объединение, созданием, деятельностью, реорганизацией и (или) ликвидацией общественных объединений" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКакова одна из обязанностей таможенных органов Российской Федерации, согласно Федеральному закону 'О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации' N 289-ФЗ, Статья 258?\nA. Денежные средства в электронном виде, используемые для оплаты товаров и услуг.\nB. Общество несет ответственность по обязательствам своих участников.\nC. Общество несет ответственность по своим обязательствам всем принадлежащим ему имуществом.\nD. Получение любых медицинских услуг исключительно на платной основе\nE. Проведение маркетинговых исследований в интересах развития таможенного дела\nF. Цифровые права, включающие денежные требования, возможность осуществления прав по эмиссионным ценным бумагам, права участия в капитале непубличного акционерного общества.\nG. Заключение международных контрактов от имени Российской Федерации\nH. Организация обучающих курсов по таможенному делу для граждан\nI. Отношения, связанные с регулированием внешней торговли\nJ. Осуществление контроля и надзора за соблюдением международных договоров и актов в сфере таможенного регулирования\nK. Организация и проведение международных научных конференций\nL. Отношения, возникающие в связи �� реализацией гражданами права на объединение, созданием, деятельностью, реорганизацией и (или) ликвидацией общественных объединений\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 277, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.005655879620462656, + "B": 0.005655879620462656, + "C": 0.1872970163822174, + "D": 0.14586706459522247, + "E": 0.013567750342190266, + "F": 0.019740961492061615, + "G": 0.07807701081037521, + "H": 0.017421334981918335, + "I": 0.013567750342190266, + "J": 0.011973497457802296, + "K": 0.34991690516471863, + "L": 0.00208068173378706 + }, + "sample": { + "question": "Какое из следующих определений соответствует цифровому финансовому активу согласно Федеральному закону от 31.07.2020 N 259-ФЗ?", + "answerA": "Денежные средства в электронном виде, используемые для оплаты товаров и услуг.", + "answerB": "Цифровые права, включающие денежные требования, возможность осуществления прав по эмиссионным ценным бумагам, права участия в капитале непубличного акционерного общества.", + "answerC": "Безналичные денежные средства, обращающиеся исключительно внутри определенной платежной системы.", + "answerD": "Электронные данные, использующиеся в качестве средства платежа на территории иностранного государства.", + "correct_answer": "B", + "choices": [ + "Проект плана реструктуризации долгов направляется только конкурсным кредиторам.", + "Отношения, возникающие в связи с реализацией гражданами права на объединение, созданием, деятельностью, реорганизацией и (или) ликвидацией общественных объединений", + "Электронные данные, использующиеся в качестве средства платежа на территории иностранного государства.", + "Денежные средства в электронном виде, используемые для оплаты товаров и услуг.", + "Общество несет ответственность по обязательствам своих участников.", + "Получение любых медицинских услуг исключительно на платной основе", + "Отказ от медицинского вмешательства", + "Организация и проведение международных научных конференций", + "Безналичные денежные средства, обращающиеся исключительно внутри определенной платежной системы.", + "Общество несет ответственность по своим обязательствам всем принадлежащим ему имуществом.", + "Цифровые права, включающие денежные требования, возможность осуществления прав по эмиссионным ценным бумагам, права участия в капитале непубличного акционерного общества.", + "Отношения, связанные с регулированием внешней торговли" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКакое из следующих определений соответствует цифровому финансовому активу согласно Федеральному закону от 31.07.2020 N 259-ФЗ?\nA. Проект плана реструктуризации долгов направляется только конкурсным кредиторам.\nB. Отношения, возникающие в связи с реализацией гражданами права на объединение, созданием, деятель��остью, реорганизацией и (или) ликвидацией общественных объединений\nC. Электронные данные, использующиеся в качестве средства платежа на территории иностранного государства.\nD. Денежные средства в электронном виде, используемые для оплаты товаров и услуг.\nE. Общество несет ответственность по обязательствам своих участников.\nF. Получение любых медицинских услуг исключительно на платной основе\nG. Отказ от медицинского вмешательства\nH. Организация и проведение международных научных конференций\nI. Безналичные денежные средства, обращающиеся исключительно внутри определенной платежной системы.\nJ. Общество несет ответственность по своим обязательствам всем принадлежащим ему имуществом.\nK. Цифровые права, включающие денежные требования, возможность осуществления прав по эмиссионным ценным бумагам, права участия в капитале непубличного акционерного общества.\nL. Отношения, связанные с регулированием внешней торговли\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 259, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0025025696959346533, + "B": 0.02374371886253357, + "C": 0.026905160397291183, + "D": 0.6123586297035217, + "E": 0.018491627648472786, + "F": 0.01440129429101944, + "G": 0.09390823543071747, + "H": 0.02374371886253357, + "I": 0.0025025696959346533, + "J": 0.011215738952159882, + "K": 0.06454212218523026, + "L": 0.0011105085723102093 + }, + "sample": { + "question": "Каковы положения ответственности общества с ограниченной ответственностью (ООО) согласно Федеральному закону \"Об обществах с ограниченной ответственностью\" N 14-ФЗ, Статье 3?", + "answerA": "Общество несет ответственность по обязательствам своих участников.", + "answerB": "Общество несет ответственность по своим обязательствам всем принадлежащим ему имуществом.", + "answerC": "В случае банкротства, Российская Федерация несет ответственность по обязательствам общества.", + "answerD": "Если неисполнение обязательств общества обусловлено действиями его участников, указанных в пунктах 1 - 3 статьи 53.1 Гражданского кодекса Российской Федерации, такие участники несут субсидиарную ответственность по обязательствам общества.", + "correct_answer": "B", + "choices": [ + "Использование солнечной энергии без специального разрешения", + "Отношения, связанные с регулированием внешней торговли", + "Отказ от медицинского вмешательства", + "Отношения, возникающие в связи с реализацией гражданами права на объединение, созданием, деятельностью, реорганизацией и (или) ликвидацией общественных объединений", + "Проект плана реструктуризации долгов направляется только конкурсным кредиторам.", + "Общество несет ответственность по обязательствам своих участников.", + "Если неисполнение обязательств общества обусловлено действиями его участников, указанных в пунктах 1 - 3 статьи 53.1 Гражданского ко��екса Российской Федерации, такие участники несут субсидиарную ответственность по обязательствам общества.", + "Создание условий для массового отдыха жителей поселения и организация обустройства мест массового отдыха населения", + "Общество несет ответственность по своим обязательствам всем принадлежащим ему имуществом.", + "Получение любых медицинских услуг исключительно на платной основе", + "В случае банкротства, Российская Федерация несет ответственность по обязательствам общества.", + "Организация и проведение международных научных конференций" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКаковы положения ответственности общества с ограниченной ответственностью (ООО) согласно Федеральному закону \"Об обществах с ограниченной ответственностью\" N 14-ФЗ, Статье 3?\nA. Использование солнечной энергии без специального разрешения\nB. Отношения, связанные с регулированием внешней торговли\nC. Отказ от медицинского вмешательства\nD. Отношения, возникающие в связи с реализацией гражданами права на объединение, созданием, деятельностью, реорганизацией и (или) ликвидацией общественных объединений\nE. Проект плана реструктуризации долгов направляется только конкурсным кредиторам.\nF. Общество несет ответственность по обязательствам своих участников.\nG. Если неисполнение обязательств общества обусловлено действиями его участников, указанных в пунктах 1 - 3 статьи 53.1 Гражданского кодекса Российской Федерации, такие участники несут субсидиарную ответственность по обязательствам общества.\nH. Создание условий для массового отдыха жителей поселения и организация обустройства мест массового отдыха населения\nI. Общество несет ответственность по своим обязательствам всем принадлежащим ему имуществом.\nJ. Получение любых медицинских услуг исключительно на платной основе\nK. В случае банкротства, Российская Федерация несет ответственность по обязательствам общества.\nL. Организация и проведение международных научных конференций\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 257, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0017222961178049445, + "B": 0.001833374728448689, + "C": 0.9497116208076477, + "D": 0.0026675446424633265, + "E": 0.00020569893240462989, + "F": 0.00020569893240462989, + "G": 0.00040908119990490377, + "H": 0.00028115714667364955, + "I": 5.893373236176558e-05, + "J": 2.3078780941432342e-05, + "K": 0.00013280921848490834, + "L": 2.4324856440216536e-06 + }, + "sample": { + "question": "Что является предметом регулирования Федерального закона \"Об общественных объединениях\" N 82-ФЗ?", + "answerA": "Отношения, связанные с регулированием внешней торговли", + "answerB": "Отношения, возникающие в связи с реализацией гражданами права на объединение, созданием, деятельностью, реорганизацией и (или) ликвидацией общественных объединений", + "answerC": "Отношения, связанные с выполнением государственных функций", + "answerD": "Отношения, касающиеся обязательного медицинского страхования граждан", + "correct_answer": "B", + "choices": [ + "Организация и проведение международных научных конференций", + "Проект плана реструктуризации долгов направляется гражданином, конкурсным кредитором или уполномоченным органом финансовому управляющему, конкурсным кредиторам и в уполномоченный орган путем публичных объявлений.", + "Отношения, возникающие в связи с реализацией гражданами права на объединение, созданием, деятельностью, реорганизацией и (или) ликвидацией общественных объединений", + "Отношения, касающиеся обязательного медицинского страхования граждан", + "Получение любых медицинских услуг исключительно на платной основе", + "Проект плана реструктуризации долгов направляется только конкурсным кредиторам.", + "Отношения, связанные с регулированием внешней торговли", + "Использование солнечной энергии без специального разрешения", + "С момента начала выпуска акций общества", + "Отказ от медицинского вмешательства", + "Создание условий для массового отдыха жителей поселения и организация обустройства мест массового отдыха населения", + "Отношения, связанные с выполнением государственных функций" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nЧто является предметом регулирования Федерального закона \"Об общественных объединениях\" N 82-ФЗ?\nA. Организация и проведение международных научных конференций\nB. Проект плана реструктуризации долгов направляется гражданином, конкурсным кредитором или уполномоченным органом финансовому управляющему, конкурсным кредиторам и в уполномоченный орган путем публичных объявлений.\nC. Отношения, возникающие в связи с реализацией гражданами права на объединение, созданием, деятельностью, реорганизацией и (или) ликвидацией общественных объединений\nD. Отношения, касающиеся обязательного медицинского страхования граждан\nE. Получение любых медицинских услуг исключительно на платной основе\nF. Проект плана реструктуризации долгов направляется только конкурсным кредиторам.\nG. Отношения, связанные с регулированием внешней торговли\nH. Использование солнечной энергии без специального разрешения\nI. С момента начала выпуска акций общества\nJ. Отказ от медицинского вмешательства\nK. Создание условий для массового отдыха жителей поселения и организация обустройства мест массового отдыха населения\nL. Отношения, связанные с выполнением государственных функций\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 229, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.005637762136757374, + "B": 0.02094682678580284, + "C": 0.05693937838077545, + "D": 0.05693937838077545, + "E": 0.02094682678580284, + "F": 0.03913382440805435, + "G": 0.08284629881381989, + "H": 0.030477454885840416, + "I": 0.009894580580294132, + "J": 0.0938771665096283, + "K": 0.42072826623916626, + "L": 0.01270489301532507 + }, + "sample": { + "question": "Согласно Федеральному закону 'Об основах охраны здоровья граждан в Российской Федерации' N 323-ФЗ, что является одним из прав пациента?", + "answerA": "Получение любых медицинских услуг исключительно на платной основе", + "answerB": "Отказ от медицинского вмешательства", + "answerC": "Ограничение доступа к информации о состоянии собственного здоровья", + "answerD": "Обязательное страхование жизни при получении медицинских услуг", + "correct_answer": "answerB", + "choices": [ + "Регистрация производится автоматически без уведомления сторон", + "Производство, разведение и использование искусственно созданных организмов без разработки мер по предотвращению их неконтролируемого размножения", + "С момента начала выпуска акций общества", + "Отказ от медицинского вмешательства", + "Организация и проведение международных научных конференций", + "Ограничение доступа к информации о состоянии собственного здоровья", + "Обязательное страхование жизни при получении медицинских услуг", + "Использование солнечной энергии без специального разрешения", + "Получение любых медицинских услуг исключительно на платной основе", + "Проект плана реструктуризации долгов направляется только конкурсным кредиторам.", + "Создание условий для массового отдыха жителей поселения и организация обустройства мест массового отдыха населения", + "Проект плана реструктуризации долгов направляется гражданином, конкурсным кредитором или уполномоченным органом финансовому управляющему, конкурсным кредиторам и в уполномоченный орган путем публичных объявлений." + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nСогласно Федеральному закону 'Об основах охраны здоровья граждан в Российской Федерации' N 323-ФЗ, что является одним из прав пациента?\nA. Регистрация производится автоматически без уведомления сторон\nB. Производство, разведение и использование искусственно созданных организмов без разработки мер по предотвращению их неконтролируемого размножения\nC. С момента начала выпуска акций общества\nD. Отказ от медицинского вмешательства\nE. Организация и проведение международных научных конференций\nF. Ограничение доступа к информации о состоянии собственного здоровья\nG. Обязательное страхование жизни при получении медицинских услуг\nH. Использование солнечной энергии без специального разрешения\nI. Получение любых медицинских услуг исключительно на платной основе\nJ. Проект плана реструктуризации долгов направляется только конкурсным кредиторам.\nK. Создание условий для массового отдыха жителей поселения и организация обустройства мест массового отдыха населения\nL. Проект плана реструктуризации долгов направляется гражданином, конкурсным кредитором или уполномоченным органом финансовому управляющему, конкурсным кредиторам и в уполномоченный орган путем публичных объявлений.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 239, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.2702084183692932, + "B": 0.0469551756978035, + "C": 0.032271791249513626, + "D": 0.034353140741586685, + "E": 0.06831938028335571, + "F": 0.16388967633247375, + "G": 0.0469551756978035, + "H": 0.21043851971626282, + "I": 0.002488533267751336, + "J": 0.0031953398138284683, + "K": 0.0023377607576549053, + "L": 0.0003816289536189288 + }, + "sample": { + "question": "Какие из перечисленных вопросов относятся к местному значению городского поселения согласно статье 14 Федерального закона 'Об общих принципах организации местного самоуправления в РФ' (закон о МСУ) N 131-ФЗ?", + "answerA": "Организация и проведение международных научных конференций", + "answerB": "Создание условий для массового отдыха жителей поселения и организация обустройства мест массового отдыха населения", + "answerC": "Организация системы общегосударственного голосования", + "answerD": "Разработка федеральных законов", + "correct_answer": "Создание условий для массового отдыха жителей поселения и организация обустройства мест массового отдыха населения", + "choices": [ + "Создание условий для массового отдыха жителей поселения и организация обустройства мест массового отдыха населения", + "Организация и проведение международных научных конференций", + "Проект плана реструктуризации долгов направляется только конкурсным кредиторам.", + "С момента государственной регистрации общества", + "С момента начала выпуска акций общества", + "Производство, разведение и использование искусственно созданных организмов без разработки мер по предотвращению их неконтролируемого размножения", + "Регистрация производится автоматически без уведомления сторон", + "Проект плана реструктуризации долгов направляется гражданином, конкурсным кредитором или уполномоченным органом финансовому управляющему, конкурсным кредиторам и в уполномоченный орган путем публичных объявлений.", + "Использование солнечной энергии без специального разрешения", + "Регистрация осуществляется исключительно в электронном виде.", + "Разработка федеральных законов", + "Организация системы общегосударственного голосования" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКакие из перечисленных вопросов относятся к местному значению городского поселения согласно статье 14 Федерального закона 'Об общих принципах организации местного самоуправления в РФ' (закон о МСУ) N 131-ФЗ?\nA. Создание условий для массового отдыха жителей поселения и организация обустройства мест массового отдыха населения\nB. Организация и проведение международных научных конференций\nC. Проект плана реструктуризации долгов направляется только конкурсным кредиторам.\nD. С момента государственной регистрации общества\nE. С момента начала выпуска акций общества\nF. Производство, разведение и использование искусственно созданных организмов без разработки мер по предотвращению их неконтролируемого размножения\nG. Регистрация производится автоматически без уведомления сторон\nH. Проект плана реструктуризации долгов направляется гражданином, конкурсным кредитором или уполномоченным органом финансовому управляющему, конкурсным кредиторам и в уполномоченный орган путем публичных объявлений.\nI. Использование солнечной энергии без специального разрешения\nJ. Регистрация осуществляется исключительно в электронном виде.\nK. Разработка федеральных законов\nL. Организация системы общегосударственного голосования\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 241, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0020557574462145567, + "B": 0.005948531441390514, + "C": 0.00132729671895504, + "D": 0.011830066330730915, + "E": 0.013405222445726395, + "F": 0.007175298407673836, + "G": 0.026659466326236725, + "H": 0.5354697108268738, + "I": 0.018322765827178955, + "J": 0.08211694657802582, + "K": 0.06395273655653, + "L": 0.17384156584739685 + }, + "sample": { + "question": "Какой порядок представления проекта плана реструктуризации долгов гражданина согласно Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ, статья 213.12?", + "answerA": "Проект плана реструктуризации долгов направляется только конкурсным кредиторам.", + "answerB": "Проект плана реструктуризации долгов направляется гражданином, конкурсным кредитором или уполномоченным органом финансовому управляющему, конкурсным кредиторам и в уполномоченный орган путем публичных объявлений.", + "answerC": "Проект плана реструктуризации долгов должен быть представлен только в арбитражный суд.", + "answerD": "Гражданин, кредитор или уполномоченный орган направляют проект плана реструктуризации долгов финансовому управляющему, конкурсным кредиторам и в уполномоченный орган не позднее десяти дней с даты, предусмотренной пунктом 2 статьи 213.8 ФЗ.", + "correct_answer": "answerD", + "choices": [ + "Свободная регистрация страхователей без обязательных условий", + "Регистрация осуществляется исключительно в электронном виде.", + "Регистрация производится автоматически без уведомления сторон", + "Проект плана реструктуризации долгов должен быть представлен только в арбитражный суд.", + "С момента начала выпуска акций общества", + "Производство, разведение и использование искусственно созданных организмов без разработки мер по предотвращению их неконтролируемого размножения", + "Регистрация осуществляется на основании заявления лица, приобретающего право ограниченного пользования, или лица, права которого ограничиваются", + "Проект плана реструктуризации долгов направляется гражданином, конкурсным кредитором или уполномоченным органом финансовому управляющему, конкурсным кредиторам и в уполномоченный орган путем публичных объявлений.", + "Использование солнечной энергии без специального разрешения", + "Гражданин, кредитор или уполномоченный орган направляют проект плана реструктуризации долгов финансовому управляющему, конкурсным кредиторам и в уполномоченный орган не позднее десяти дней с даты, предусмотренной пунктом 2 статьи 213.8 ФЗ.", + "С момента государственной регистрации общества", + "Проект плана реструктуризации долгов направляется только конкурсным кредиторам." + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКакой порядок представления проекта плана реструктуризации долгов гражданина согласно Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ, статья 213.12?\nA. Свободная регистрация страхователей без обязательных условий\nB. Регистрация осуществляется исключительно в электронном виде.\nC. Регистрация производится автоматически без уведомления сторон\nD. Проект плана реструктуризации долгов должен быть представлен только в арбитражный суд.\nE. С момента начала выпуска акций общества\nF. Производство, разведение и использование искусственно созданных организмов без разработки мер по предотвращению их неконтролируемого размножения\nG. Регистрация осуществляется на основании заявления лица, приобретающего право ограниченного пользования, или лица, права которого ограничиваются\nH. Проект плана реструктуризации долгов направляется гражданином, конкурсным кредитором или уполномоченным органом финансовому управляющему, конкурсным кредиторам и в уполномоченный орган путем публичных объявлений.\nI. Использование солнечной энергии без специального разрешения\nJ. Гражданин, кредитор или уполномоченный орган направляют проект плана реструктуризации долгов финансовому управляющему, конкурсным кредиторам и в уполномоченный орган не позднее десяти дней с даты, предусмотренной пунктом 2 статьи 213.8 ФЗ.\nK. С момента государственной регистрации общества\nL. Проект плана реструктуризации долгов направляется только конкурсным кредиторам.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 317, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.060349974781274796, + "B": 0.09950029850006104, + "C": 0.04700060933828354, + "D": 0.056693557649850845, + "E": 0.04415298253297806, + "F": 0.030345873907208443, + "G": 0.0774909108877182, + "H": 0.34729015827178955, + "I": 0.00869423896074295, + "J": 0.032303012907505035, + "K": 0.04700060933828354, + "L": 0.02363339066505432 + }, + "sample": { + "question": "Что запрещается согласно статье 50 Федерального закона 'Об охране окружающей среды' N 7-ФЗ?", + "answerA": "Использование солнечной энергии без специального разрешения", + "answerB": "Производство, разведение и использование искусственно созданных организмов без разработки мер по предотвращению их неконтролируемого размножения", + "answerC": "Ввоз и использование любых видов удобрений на территорию Российской Федерации", + "answerD": "Любая деятельность, связанная с использованием водных ресурсов", + "correct_answer": "Производство, разведение и использование искусственно созданных организмов без разработки мер по предотвращению их неконтролируемого размножения", + "choices": [ + "Государственная регистрация осуществляется регистрирующим органом по месту нахождения ликвидируемого юридического лица.", + "Использование солнечной энергии без специального разрешения", + "Ввоз и использование любых видов удобрений на территорию Российской Федерации", + "Регистрация осуществляется на основании заявления лица, приобретающего право ограниченного пользования, или лица, права которого ограничиваются", + "С момента начала выпуска акций общества", + "Любая деятельность, связанная с использованием водных ресурсов", + "Перечень лекарственных препаратов, отпускаемых населению бесплатно и со скидкой.", + "Производство, разведение и использование искусственно созданных организмов без разработки мер по предотвращению их неконтролируемого размножения", + "С момента государственной регистрации общества", + "Свободная регистрация страхователей без обязательных условий", + "Регистрация осуществляется исключительно в электронном виде.", + "Регистрация производится автоматически без уведомления сторон" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nЧто запрещается согласно статье 50 Федерального закона 'Об охране окружающей среды' N 7-ФЗ?\nA. Государственная регистрация осуществляется регистрирующим органом по месту нахождения ликвидируемого юридического лица.\nB. Использование солнечной энергии без специального разрешения\nC. Ввоз и использование любых видов удобрений на территорию Российской Федерации\nD. Регистрация осуществляется на основании заявления лица, приобретающего право ограниченного пользования, или лица, права которого ограничиваются\nE. С момента начала выпуска акций общества\nF. Любая деятельность, связанная с использованием водных ресурсов\nG. Перечень лекарственных препаратов, отпускаемых населению бесплатно и со скидкой.\nH. Производство, разведение и использование искусственно созданных организмов без разработки мер по предотвращению их неконтролируемого размножения\nI. С момента государственной регистрации общества\nJ. Свободная регистрация страхователей без обязательны�� условий\nK. Регистрация осуществляется исключительно в электронном виде.\nL. Регистрация производится автоматически без уведомления сторон\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 214, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.006549688056111336, + "B": 0.1315540075302124, + "C": 0.05483986809849739, + "D": 0.09041565656661987, + "E": 0.025904517620801926, + "F": 0.025904517620801926, + "G": 0.025904517620801926, + "H": 0.03769085183739662, + "I": 0.0018765171989798546, + "J": 0.04270933195948601, + "K": 0.05483986809849739, + "L": 0.4052148461341858 + }, + "sample": { + "question": "Согласно Федеральному закону \"Об акционерных обществах\" (АО) N 208-ФЗ, Статье 44, с какого момента общество обязано обеспечить ведение и хранение реестра акционеров?", + "answerA": "С момента начала выпуска акций общества", + "answerB": "С момента государственной регистрации общества", + "answerC": "С момента первичного публичного предложения (IPO)", + "answerD": "С момента заключения первого договора с акционером", + "correct_answer": "B", + "choices": [ + "Регистрация производится автоматически без уведомления сторон", + "Статья 196", + "С момента первичного публичного предложения (IPO)", + "Государственная регистрация осуществляется регистрирующим органом по месту нахождения ликвидируемого юридического лица.", + "Регистрация осуществляется на основании заявления лица, приобретающего право ограниченного пользования, или лица, права которого ограничиваются", + "С момента начала выпуска акций общества", + "Перечень лекарственных препаратов, отпускаемых населению бесплатно и со скидкой.", + "Свободная регистрация страхователей без обязательных условий", + "Дифференциация страховых тарифов в зависимости от класса профессионального риска", + "Регистрация осуществляется исключительно в электронном виде.", + "С момента заключения первого договора с акционером", + "С момента государственной регистрации общества" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nСогласно Федеральному закону \"Об акционерных обществах\" (АО) N 208-ФЗ, Статье 44, с какого момента общество обязано обеспечить ведение и хранение реестра акционеров?\nA. Регистрация производится автоматически без уведомления сторон\nB. Статья 196\nC. С момента первичного публичного предложения (IPO)\nD. Государственная регистрация осуществляется регистрирующим органом по месту нахождения ликвидируемого юридического лица.\nE. Регистрация осуществляется на основании заявления лица, приобретающего право ограниченного пользования, или лица, права которого ограничиваются\nF. С момента начала выпуска акций общества\nG. Перечень лекарственных препаратов, отпускаемых населению бесплатно и со скидкой.\nH. Свободная регистрация страхователей без обязательных условий\nI. Дифференциация страховых тарифов в зависимости от класса профессионального риска\nJ. Регистрация осуществляется исключительно в электронном виде.\nK. С момента заключения первого договора с акционером\nL. С момента государственной регистрации общества\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 227, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.022218693047761917, + "B": 0.012659830041229725, + "C": 0.030369354411959648, + "D": 0.02365167625248432, + "E": 0.06429191678762436, + "F": 0.03441298380494118, + "G": 0.17476357519626617, + "H": 0.3699744641780853, + "I": 0.03899502009153366, + "J": 0.03441298380494118, + "K": 0.0825524628162384, + "L": 0.03663243353366852 + }, + "sample": { + "question": "Какие особенности осуществления государственной регистрации сервитута указаны в Федеральном законе \"О государственной регистрации недвижимости\" N 218-ФЗ?", + "answerA": "Регистрация производится автоматически без уведомления сторон", + "answerB": "Регистрация осуществляется на основании заявления лица, приобретающего право ограниченного пользования, или лица, права которого ограничиваются", + "answerC": "Регистрация доступна только для объектов, находящихся в частной собственности", + "answerD": "Для регистрации требуется предоставление геологического заключения по объекту", + "correct_answer": "Регистрация осуществляется на основании заявления лица, приобретающего право ограниченного пользования, или лица, права которого ограничиваются", + "choices": [ + "Победителем становится участник, случайно выбранный организатором.", + "Дифференциация страховых тарифов в зависимости от класса профессионального риска", + "Регистрация осуществляется исключительно в электронном виде.", + "Порядок и условия предоставления медицинской помощи, в том числе сроки ожидания медицинской помощи.", + "Регистрация доступна только для объектов, находящихся в частной собственности", + "Свободная регистрация страхователей без обязательных условий", + "Статья 196", + "Государственная регистрация осуществляется регистрирующим органом по месту нахождения ликвидируемого юридического лица.", + "Регистрация осуществляется на основании заявления лица, приобретающего право ограниченного пользования, или лица, права которого ограничиваются", + "Регистрация производится автоматически без уведомления сторон", + "Перечень лекарственных препаратов, отпускаемых населению бесплатно и со скидкой.", + "Для регистрации требуется предоставление геологического заключения по объекту" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКакие особенности осуществления государственной регистрации сервитута указаны в Федеральном законе \"О государственной регистрации недвижимости\" N 218-ФЗ?\nA. Победителем становится участник, случайно выбранный организатором.\nB. Дифференциация с��раховых тарифов в зависимости от класса профессионального риска\nC. Регистрация осуществляется исключительно в электронном виде.\nD. Порядок и условия предоставления медицинской помощи, в том числе сроки ожидания медицинской помощи.\nE. Регистрация доступна только для объектов, находящихся в частной собственности\nF. Свободная регистрация страхователей без обязательных условий\nG. Статья 196\nH. Государственная регистрация осуществляется регистрирующим органом по месту нахождения ликвидируемого юридического лица.\nI. Регистрация осуществляется на основании заявления лица, приобретающего право ограниченного пользования, или лица, права которого ограничиваются\nJ. Регистрация производится автоматически без уведомления сторон\nK. Перечень лекарственных препаратов, отпускаемых населению бесплатно и со скидкой.\nL. Для регистрации требуется предоставление геологического заключения по объекту\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 230, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0020715147256851196, + "B": 0.11310087144374847, + "C": 0.015306537039577961, + "D": 0.02227088063955307, + "E": 0.006380714476108551, + "F": 0.7375102639198303, + "G": 0.019653983414173126, + "H": 0.036718472838401794, + "I": 0.0001597380469320342, + "J": 0.004119698889553547, + "K": 0.006380714476108551, + "L": 0.004119698889553547 + }, + "sample": { + "question": "В каком порядке осуществляется государственная регистрация при ликвидации юридического лица согласно Федеральному закону 'О государственной регистрации юридических лиц и индивидуальных предпринимателей' N 129-ФЗ?", + "answerA": "Регистрация осуществляется исключительно в электронном виде.", + "answerB": "Государственная регистрация осуществляется регистрирующим органом по месту нахождения ликвидируемого юридического лица.", + "answerC": "Регистрация проводится без подачи документов, подтверждающих ликвидацию.", + "answerD": "Ликвидация производится на основании устного заявления ликвидатора.", + "correct_answer": "B", + "choices": [ + "Ликвидация производится на основании устного заявления ликвидатора.", + "Статья 272", + "Регистрация проводится без подачи документов, подтверждающих ликвидацию.", + "Все военнослужащие без исключения", + "Победителем становится участник, случайно выбранный организатором.", + "Государственная регистрация осуществляется регистрирующим органом по месту нахождения ликвидируемого юридического лица.", + "Порядок и условия предоставления медицинской помощи, в том числе сроки ожидания медицинской помощи.", + "Дифференциация страховых тарифов в зависимости от класса профессионального риска", + "Регистрация осуществляется исключительно в электронном виде.", + "Перечень лекарственных препаратов, отпускаемых населению бесплатно и со скидкой.", + "Свободная регистрация страхователей без обязательных условий", + "Статья 196" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nВ каком порядке осуществляется государственная регистрация при ликвидации юридического лица согласно Федеральному закону 'О государственной регистрации юридических лиц и индивидуальных предпринимателей' N 129-ФЗ?\nA. Ликвидация производится на основании устного заявления ликвидатора.\nB. Статья 272\nC. Регистрация проводится без подачи документов, подтверждающих ликвидацию.\nD. Все военнослужащие без исключения\nE. Победителем становится участник, случайно выбранный организатором.\nF. Государственная регистрация осуществляется регистрирующим органом по месту нахождения ликвидируемого юридического лица.\nG. Порядок и условия предоставления медицинской помощи, в том числе сроки ожидания медицинской помощи.\nH. Дифференциация страховых тарифов в зависимости от класса профессионального риска\nI. Регистрация осуществляется исключительно в электронном виде.\nJ. Перечень лекарственных препаратов, отпускаемых населению бесплатно и со скидкой.\nK. Свободная регистрация страхователей без обязательных условий\nL. Статья 196\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 211, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0024954848922789097, + "B": 0.008710097521543503, + "C": 0.0023442909587174654, + "D": 0.009271849878132343, + "E": 0.538874626159668, + "F": 0.050123147666454315, + "G": 0.03040122799575329, + "H": 0.15439017117023468, + "I": 0.0020688294898718596, + "J": 0.03903594985604286, + "K": 0.013490462675690651, + "L": 0.05679696798324585 + }, + "sample": { + "question": "Какой из перечисленных ниже является одним из основных принципов обязательного социального страхования от несчастных случаев на производстве и профессиональных заболеваний согласно Федеральному закону N 125-ФЗ?", + "answerA": "Свободная регистрация страхователей без обязательных условий", + "answerB": "Дифференциация страховых тарифов в зависимости от класса профессионального риска", + "answerC": "Невозможность изменения условий труда для снижения производственного травматизма", + "answerD": "Обязательность участия всех работников в решении вопросов о повышении безопасности труда", + "correct_answer": "Дифференциация страховых тарифов в зависимости от класса профессионального риска", + "choices": [ + "Свободная регистрация страхователей без обязательных условий", + "Победителем признается участник конкурса, предложивший наилучшие условия, определяемые в порядке, установленном соответствующими статьями Федерального закона.", + "Все военнослужащие без исключения", + "Победителем становится участник, случайно выбранный организатором.", + "Дифференциация страховых тарифов в зависимости от класса профессионального риска", + "Статья 196", + "Перечень лекарственных препаратов, отпускаемых населению бесплатно и со скидкой.", + "Обязательность участия всех работников в решении вопросов о повышении безопасности труда", + "Федеральная экспертиза медицинских исследований", + "Невозможность изменения условий труда для снижения производственного травматизма", + "Порядок и условия предоставления медицинской помощи, в том числе сроки ожидания медицинской помощи.", + "Статья 272" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКакой из перечисленных ниже является одним из основных принципов обязательного социального страхования от несчастных случаев на производстве и профессиональных заболеваний согласно Федеральному закону N 125-ФЗ?\nA. Свободная регистрация страхователей без обязательных условий\nB. Победителем признается участник конкурса, предложивший наилучшие условия, определяемые в порядке, установленном соответствующими статьями Федерального закона.\nC. Все военнослужащие без исключения\nD. Победителем становится участник, случайно выбранный организатором.\nE. Дифференциация страховых тарифов в зависимости от класса профессионального риска\nF. Статья 196\nG. Перечень лекарственных препаратов, отпускаемых населению бесплатно и со скидкой.\nH. Обязательность участия всех работников в решении вопросов о повышении безопасности труда\nI. Федеральная экспертиза медицинских исследований\nJ. Невозможность изменения условий труда для снижения производственного травматизма\nK. Порядок и условия предоставления медицинской помощи, в том числе сроки ожидания медицинской помощи.\nL. Статья 272\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 222, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.01998760923743248, + "B": 0.17814761400222778, + "C": 0.045042771846055984, + "D": 0.045042771846055984, + "E": 0.05783606320619583, + "F": 0.2018676996231079, + "G": 0.08415096998214722, + "H": 0.03295399621129036, + "I": 0.002705028746277094, + "J": 0.10805199295282364, + "K": 0.045042771846055984, + "L": 0.0953555479645729 + }, + "sample": { + "question": "Какой из пунктов не входит в обязательное содержание территориальной программы государственных гарантий бесплатного оказания гражданам медицинской помощи согласно Федеральному закону 'Об основах охраны здоровья граждан в Российской Федерации' N 323-ФЗ, Статья 81?", + "answerA": "Перечень лекарственных препаратов, отпускаемых населению бесплатно и со скидкой.", + "answerB": "Порядок и условия предоставления медицинской помощи, в том числе сроки ожидания медицинской помощи.", + "answerC": "Список музыкальных произведений для ожидания на линии при записи к врачу по телефону.", + "answerD": "Перечень мероприятий по профилактике заболеваний и формированию здорового образа жизни.", + "correct_answer": "C", + "choices": [ + "Порядок и условия предоставления медицинской помощи, в том числе сроки ожидания медицинской помощи.", + "Статья 4, пункт 1", + "Федеральная экспертиза медицинских исследований", + "Статья 272", + "Перечень мероприятий по профилактике заболеваний и формированию здорового образа жизни.", + "Список музыкальных произведений для ожидания на линии при записи к врачу по телефону.", + "Все военнослужащие без исключения", + "Командиры", + "Статья 196", + "Победителем становится участник, случайно выбранный организатором.", + "Перечень лекарственных препаратов, отпускаемых населению бесплатно и со скидкой.", + "Победителем признается участник конкурса, предложивший наилучшие условия, определяемые в порядке, установленном соответствующими статьями Федерального закона." + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКакой из пунктов не входит в обязательное содержание территориальной программы государственных гарантий бесплатного оказания гражданам медицинской помощи согласно Федеральному закону 'Об основах охраны здоровья граждан в Российской Федерации' N 323-ФЗ, Статья 81?\nA. Порядок и условия предоставления медицинской помощи, в том числе сроки ожидания медицинской помощи.\nB. Статья 4, пункт 1\nC. Федеральная экспертиза медицинских исследований\nD. Статья 272\nE. Перечень мероприятий по профилактике заболеваний и формированию здорового образа жизни.\nF. Список музыкальных произведений для ожидания на линии при записи к врачу по телефону.\nG. Все военнослужащие без исключения\nH. Командиры\nI. Статья 196\nJ. Победителем становится участник, случайно выбранный организатором.\nK. Перечень лекарственных препаратов, отпускаемых населению бесплатно и со скидкой.\nL. Победителем признается участник конкурса, предложивший наилучшие условия, определяемые в порядке, установленном соответствующими статьями Федерального закона.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 222, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.013408397324383259, + "B": 0.4440251290798187, + "C": 0.05303123965859413, + "D": 0.08743372559547424, + "E": 0.05303123965859413, + "F": 0.07715999335050583, + "G": 0.0600922666490078, + "H": 0.08743372559547424, + "I": 0.0008571701473556459, + "J": 0.015193704515695572, + "K": 0.015193704515695572, + "L": 0.011832868680357933 + }, + "sample": { + "question": "В какой статье содержатся общие положения о порядке и условиях перемещения транспортных средств международной перевозки через таможенную границу Союза согласно Федеральному закону \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?", + "answerA": "Статья 196", + "answerB": "Статья 272", + "answerC": "Статья 100", + "answerD": "Статья 321", + "correct_answer": "Статья 272", + "choices": [ + "Министерство финансов Российской Федерации", + "Статья 272", + "Победителем становится участник, случайно выбранный организатором.", + "Статья 100", + "Независимая оценка качества условий оказания услуг медицинскими организациями", + "Победителем признается участник конкурса, предложивший наилучшие условия, определяемые в порядке, установленном соответствующими статьями Федерального закона.", + "Статья 321", + "Статья 196", + "Все военнослужащие без исключения", + "Федеральная экспертиза медицинских исследований", + "Командиры", + "Статья 4, пункт 1" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nВ какой статье содержатся общие положения о порядке и условиях перемещения транспортных средств международной перевозки через таможенную границу Союза согласно Федеральному закону \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?\nA. Министерство финансов Российской Федерации\nB. Статья 272\nC. Победителем становится участник, случайно выбранный организатором.\nD. Статья 100\nE. Независимая оценка качества условий оказания услуг медицинскими организациями\nF. Победителем признается участник конкурса, предложивший наилучшие условия, определяемые в порядке, установленном соответствующими статьями Федерального закона.\nG. Статья 321\nH. Статья 196\nI. Все военнослужащие без исключения\nJ. Федеральная экспертиза медицинских исследований\nK. Командиры\nL. Статья 4, пункт 1\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 198, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.01724664680659771, + "B": 0.003396066138520837, + "C": 0.009231464937329292, + "D": 0.941635012626648, + "E": 0.00281543773598969, + "F": 0.000914038741029799, + "G": 0.002059818245470524, + "H": 0.0003362560528330505, + "I": 0.0002618764992803335, + "J": 0.00015883611922618002, + "K": 0.001604188117198646, + "L": 6.621274951612577e-05 + }, + "sample": { + "question": "Как определяется победитель конкурса по Федеральному закону \"О концессионных соглашениях\" N 115-ФЗ, в соответствии со Статьей 33?", + "answerA": "Победителем становится участник, случайно выбранный организатором.", + "answerB": "Победителем признается участник конкурса, предложивший наилучшие условия, определяемые в порядке, установленном соответствующими статьями Федерального закона.", + "answerC": "Победителем конкурса становится компания с наибольшим объемом уставного капитала.", + "answerD": "Победитель определяется путем жеребьевки среди всех участников конкурса.", + "correct_answer": "B", + "choices": [ + "Победитель определяется путем жеребьевки среди всех участников конкурса.", + "Статья 4, пункт 6", + "Победителем конкурса становится компания с наибольшим объемом уставного капитала.", + "Победителем признается участник конкурса, предложивший наилучшие условия, определяемые в ��орядке, установленном соответствующими статьями Федерального закона.", + "Федеральная экспертиза медицинских исследований", + "Все военнослужащие без исключения", + "Независимая оценка качества условий оказания услуг медицинскими организациями", + "Командиры", + "Министерство финансов Российской Федерации", + "Победителем становится участник, случайно выбранный организатором.", + "Статья 4, пункт 1", + "Право устанавливать налоги для иностранных граждан." + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКак определяется победитель конкурса по Федеральному закону \"О концессионных соглашениях\" N 115-ФЗ, в соответствии со Статьей 33?\nA. Победитель определяется путем жеребьевки среди всех участников конкурса.\nB. Статья 4, пункт 6\nC. Победителем конкурса становится компания с наибольшим объемом уставного капитала.\nD. Победителем признается участник конкурса, предложивший наилучшие условия, определяемые в порядке, установленном соответствующими статьями Федерального закона.\nE. Федеральная экспертиза медицинских исследований\nF. Все военнослужащие без исключения\nG. Независимая оценка качества условий оказания услуг медицинскими организациями\nH. Командиры\nI. Министерство финансов Российской Федерации\nJ. Победителем становится участник, случайно выбранный организатором.\nK. Статья 4, пункт 1\nL. Право устанавливать налоги для иностранных граждан.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 195, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.29076752066612244, + "B": 0.005002932157367468, + "C": 0.0032301354221999645, + "D": 0.03472723066806793, + "E": 0.057255521416664124, + "F": 0.057255521416664124, + "G": 0.009346707724034786, + "H": 0.4793946146965027, + "I": 0.00774869229644537, + "J": 0.0014333639992401004, + "K": 0.0010486714309081435, + "L": 0.00018223178631160408 + }, + "sample": { + "question": "Согласно Статье 27 Федерального закона 'О статусе военнослужащих' N 76-ФЗ, кто отвечает за боевую и мобилизационную готовность, успешное выполнение боевых задач и воспитание личного состава?", + "answerA": "Все военнослужащие без исключения", + "answerB": "Командиры", + "answerC": "Министр обороны Российской Федерации", + "answerD": "Офицеры наряду", + "correct_answer": "answerB", + "choices": [ + "Министр обороны Российской Федерации", + "Министерство финансов Российской Федерации", + "Независимая оценка качества условий оказания услуг медицинскими организациями", + "Правительство Российской Федерации", + "Право устанавливать налоги для иностранных граждан.", + "Статья 4, пункт 1", + "Статья 4, пункт 6", + "Командиры", + "Все военнослужащие без исключения", + "Офицеры наряду", + "Общий объем помещения склада", + "Федеральная экспертиза медицинских исследований" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nСогласно Статье 27 Федерального закона 'О статусе военнослужащих' N 76-ФЗ, кто отвечает за боевую и мобилизационную готовность, успешное выполнение боевых задач и воспитание личного состава?\nA. Министр обороны Российской Федерации\nB. Министерство финансов Российской Федерации\nC. Независимая оценка качества условий оказания услуг медицинскими организациями\nD. Правительство Российской Федерации\nE. Право устанавливать налоги для иностранных граждан.\nF. Статья 4, пункт 1\nG. Статья 4, пункт 6\nH. Командиры\nI. Все военнослужащие без исключения\nJ. Офицеры наряду\nK. Общий объем помещения склада\nL. Федеральная экспертиза медицинских исследований\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 158, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0010445527732372284, + "B": 0.009309997782111168, + "C": 0.16502365469932556, + "D": 0.022333523258566856, + "E": 0.005646798759698868, + "F": 0.009910441003739834, + "G": 0.3493550717830658, + "H": 0.005646798759698868, + "I": 0.0004090527363587171, + "J": 0.001341232331469655, + "K": 0.16502365469932556, + "L": 0.0002481030242051929 + }, + "sample": { + "question": "Что является одной из форм общественного контроля и проводится в целях предоставления гражданам информации о качестве условий оказания услуг медицинскими организациями, а также в целях повышения качества их деятельности?", + "answerA": "Федеральная экспертиза медицинских исследований", + "answerB": "Независимая оценка качества условий оказания услуг медицинскими организациями", + "answerC": "Государственный контроль качества и безопасности лекарственных средств", + "answerD": "Проверки Росздравнадзора", + "correct_answer": "B", + "choices": [ + "Право на проведение депортации иностранных граждан.", + "Государственный контроль качества и безопасности лекарственных средств", + "Статья 4, пункт 1", + "Министерство финансов Российской Федерации", + "Общий объем помещения склада", + "Федеральная экспертиза медицинских исследований", + "Независимая оценка качества условий оказания услуг медицинскими организациями", + "Право устанавливать налоги для иностранных граждан.", + "Правительство Российской Федерации", + "Статья 4, пункт 6", + "Проверки Росздравнадзора", + "5 рабочих дней" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nЧто является одной из форм общественного контроля и проводится в целях предоставления гражданам информации о качестве условий оказания услуг медицинскими организациями, а также в целях повышения качества их деятельности?\nA. Право на проведение депортации иностранных граждан.\nB. Государственный контроль качества и безопасности лекарственных средств\nC. Статья 4, пункт 1\nD. Министерство финансов Российской Федерации\nE. Общий объем помещения склада\nF. Федеральная экспертиза медицинских исследований\nG. Независимая оценка качества условий оказания услуг медицинскими организациями\nH. Право устанавливать налоги для иностранных граждан.\nI. Правительство Российской Федерации\nJ. Статья 4, пункт 6\nK. Проверки Росздравнадзора\nL. 5 рабочих дней\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 162, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.011998796835541725, + "B": 0.019782671704888344, + "C": 0.017458144575357437, + "D": 0.655112087726593, + "E": 0.06093491241335869, + "F": 0.04745616018772125, + "G": 0.032616108655929565, + "H": 0.04745616018772125, + "I": 0.004698795732110739, + "J": 0.017458144575357437, + "K": 0.01447331067174673, + "L": 0.013596417382359505 + }, + "sample": { + "question": "Какой пункт Федерального закона 'О некоммерческих организациях' N 7-ФЗ указывает на то, что некоммерческие организации обязаны внести изменения в учредительные документы в случае прекращения права на использование в наименовании официального наименования Российской Федерации или слов, производных от этого наименования?", + "answerA": "Статья 4, пункт 1", + "answerB": "Статья 4, пункт 6", + "answerC": "Статья 4, пункт 7", + "answerD": "Статья 4, пункт 5", + "correct_answer": "Статья 4, пункт 7", + "choices": [ + "Министерство финансов Российской Федерации", + "Право на проведение депортации иностранных граждан.", + "Право устанавливать налоги для иностранных граждан.", + "Статья 4, пункт 7", + "Статья 4, пункт 5", + "Статья 4, пункт 1", + "Эмитент не может устанавливать разную очередность исполнения обязательств по разным выпускам облигаций.", + "Статья 4, пункт 6", + "Правительство Российской Федерации", + "Места, предназначенные для проведения таможенного досмотра и места, оборудованные для взвешивания товаров", + "5 рабочих дней", + "Общий объем помещения склада" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКакой пункт Федерального закона 'О некоммерческих организациях' N 7-ФЗ указывает на то, что некоммерческие организации обязаны внести изменения в учредительные документы в случае прекращения права на использование в наименовании официального наименования Российской Федерации или слов, производных от этого наименования?\nA. Министерство финансов Российской Федерации\nB. Право на проведение депортации иностранных граждан.\nC. Право устанавливать налоги для иностранных граждан.\nD. Статья 4, пункт 7\nE. Статья 4, пункт 5\nF. Статья 4, пункт 1\nG. Эмитент не может устанавливать разную очередность исполнения обязательств по разным выпускам облигаций.\nH. Статья 4, пункт 6\nI. Правительство Российской Федерации\nJ. Места, предназначенные для проведения таможенного досмотра и места, оборудованные для взвешивания товаров\nK. 5 рабочих дней\nL. Общий объем помещения склада\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 207, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0021338765509426594, + "B": 0.02024565450847149, + "C": 0.003986605908721685, + "D": 0.04286004975438118, + "E": 0.02024565450847149, + "F": 0.07066427916288376, + "G": 0.04286004975438118, + "H": 0.08007311075925827, + "I": 0.0021338765509426594, + "J": 0.02024565450847149, + "K": 0.16951480507850647, + "L": 0.4607889652252197 + }, + "sample": { + "question": "Какой орган власти осуществляет изменение типа казенного учреждения в целях создания бюджетного учреждения на федеральном уровне согласно Федеральному закону 'О некоммерческих организациях' N 7-ФЗ?", + "answerA": "Министерство финансов Российской Федерации", + "answerB": "Правительство Российской Федерации", + "answerC": "Федеральное собрание Российской Федерации", + "answerD": "Президент Российской Федерации", + "correct_answer": "answerB", + "choices": [ + "Право на проведение депортации иностранных граждан.", + "30.06.2007", + "Места, предназначенные для проведения таможенного досмотра и места, оборудованные для взвешивания товаров", + "Общий объем помещения склада", + "20 рабочих дней", + "Правительство Российской Федерации", + "Эмитент не может устанавливать разную очередность исполнения обязательств по разным выпускам облигаций.", + "Федеральное собрание Российской Федерации", + "5 рабочих дней", + "Право устанавливать налоги для иностранных граждан.", + "Президент Российской Федерации", + "Министерство финансов Российской Федерации" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКакой орган власти осуществляет изменение типа казенного учреждения в целях создания бюджетного учреждения на федеральном уровне согласно Федеральному закону 'О некоммерческих организациях' N 7-ФЗ?\nA. Право на проведение депортации иностранных граждан.\nB. 30.06.2007\nC. Места, предназначенные для проведения таможенного досмотра и места, оборудованные для взвешивания товаров\nD. Общий объем помещения склада\nE. 20 рабочих дней\nF. Правительство Российской Федерации\nG. Эмитент не может устанавливать разную очередность исполнения обязательств по разным выпускам облигаций.\nH. Федеральное собрание Российской Федерации\nI. 5 рабочих дней\nJ. Право устанавливать налоги для иностранных граждан.\nK. Президент Российской Федерации\nL. Министерство финансов Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 182, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.31426844000816345, + "B": 0.14844991266727448, + "C": 0.13100658357143402, + "D": 0.07945950329303741, + "E": 0.061883121728897095, + "F": 0.033123649656772614, + "G": 0.03753401339054108, + "H": 0.02579672448337078, + "I": 0.00949008483439684, + "J": 0.020090509206056595, + "K": 0.012185510247945786, + "L": 0.000606680812779814 + }, + "sample": { + "question": "Какие полномочия имеет Уполномоченный по правам человека в Российской Федерации согласно Федера��ьному закону \"О правовом положении иностранных граждан в Российской Федерации\" N 115-ФЗ?", + "answerA": "Право устанавливать налоги для иностранных граждан.", + "answerB": "Право на проведение депортации иностранных граждан.", + "answerC": "Право посещать центры временного размещения при проверке жалоб от иностранных граждан.", + "answerD": "Право изменять условия визы иностранных граждан по личному усмотрению.", + "correct_answer": "Право посещать центры временного размещения при проверке жалоб от иностранных граждан.", + "choices": [ + "Право посещать центры временного размещения при проверке жалоб от иностранных граждан.", + "Различие в очередности исполнения обязательств не применяется при обращении взыскания на предмет залога.", + "Не позднее двух лет после подписания договора", + "Право на проведение депортации иностранных граждан.", + "30.06.2007", + "5 рабочих дней", + "Общий объем помещения склада", + "Право изменять условия визы иностранных граждан по личному усмотрению.", + "20 рабочих дней", + "Эмитент не может устанавливать разную очередность исполнения обязательств по разным выпускам облигаций.", + "Места, предназначенные для проведения таможенного досмотра и места, оборудованные для взвешивания товаров", + "Право устанавливать налоги для иностранных граждан." + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКакие полномочия имеет Уполномоченный по правам человека в Российской Федерации согласно Федеральному закону \"О правовом положении иностранных граждан в Российской Федерации\" N 115-ФЗ?\nA. Право посещать центры временного размещения при проверке жалоб от иностранных граждан.\nB. Различие в очередности исполнения обязательств не применяется при обращении взыскания на предмет залога.\nC. Не позднее двух лет после подписания договора\nD. Право на проведение депортации иностранных граждан.\nE. 30.06.2007\nF. 5 рабочих дней\nG. Общий объем помещения склада\nH. Право изменять условия визы иностранных граждан по личному усмотрению.\nI. 20 рабочих дней\nJ. Эмитент не может устанавливать разную очередность исполнения обязательств по разным выпускам облигаций.\nK. Места, предназначенные для проведения таможенного досмотра и места, оборудованные для взвешивания товаров\nL. Право устанавливать налоги для иностранных граждан.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 215, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.05949711799621582, + "B": 0.08656779676675797, + "C": 0.05949711799621582, + "D": 0.14272616803646088, + "E": 0.11115525662899017, + "F": 0.07639581710100174, + "G": 0.08656779676675797, + "H": 0.08656779676675797, + "I": 0.010339049622416496, + "J": 0.09809417277574539, + "K": 0.033900439739227295, + "L": 0.029917031526565552 + }, + "sample": { + "question": "Что не включается в полезный объем и полезную площадь склада временного хранения согласно Федеральному закону 'О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации' N 289-ФЗ, статья 359?", + "answerA": "Общий объем помещения склада", + "answerB": "Места, предназначенные для проведения таможенного досмотра и места, оборудованные для взвешивания товаров", + "answerC": "Площадка для временного хранения отказов от приема", + "answerD": "Помещения, предназначенные для административного персонала", + "correct_answer": "B", + "choices": [ + "с 1 января 2012 года", + "Не позднее двух лет после подписания договора", + "30.06.2007", + "Общий объем помещения склада", + "Места, предназначенные для проведения таможенного досмотра и места, оборудованные для взвешивания товаров", + "Различие в очередности исполнения обязательств не применяется при обращении взыскания на предмет залога.", + "20 рабочих дней", + "5 рабочих дней", + "30.12.2008", + "Эмитент не может устанавливать разную очередность исполнения обязательств по разным выпускам облигаций.", + "Помещения, предназначенные для административного персонала", + "Площадка для временного хранения отказов от приема" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nЧто не включается в полезный объем и полезную площадь склада временного хранения согласно Федеральному закону 'О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации' N 289-ФЗ, статья 359?\nA. с 1 января 2012 года\nB. Не позднее двух лет после подписания договора\nC. 30.06.2007\nD. Общий объем помещения склада\nE. Места, предназначенные для проведения таможенного досмотра и места, оборудованные для взвешивания товаров\nF. Различие в очередности исполнения обязательств не применяется при обращении взыскания на предмет залога.\nG. 20 рабочих дней\nH. 5 рабочих дней\nI. 30.12.2008\nJ. Эмитент не может устанавливать разную очередность исполнения обязательств по разным выпускам облигаций.\nK. Помещения, предназначенные для административного персонала\nL. Площадка для временного хранения отказов от приема\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 237, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0342395156621933, + "B": 0.1970348358154297, + "C": 0.5355961918830872, + "D": 0.05645142123103142, + "E": 0.0342395156621933, + "F": 0.011115944012999535, + "G": 0.0342395156621933, + "H": 0.01832709275186062, + "I": 0.0012471743393689394, + "J": 0.005949936341494322, + "K": 0.007639868650585413, + "L": 0.0005198995932005346 + }, + "sample": { + "question": "Какой срок предусмотрен для проведения документарной проверки согласно Федеральному закону от 31.07.2020 N 248-ФЗ 'О государственном контроле (надзоре) и муниципальном контроле в Российской Федерации'?", + "answerA": "5 рабочих дней", + "answerB": "20 ра��очих дней", + "answerC": "10 рабочих дней", + "answerD": "15 рабочих дней", + "correct_answer": "C", + "choices": [ + "30.12.2008", + "10 рабочих дней", + "15 рабочих дней", + "с 1 января 2012 года", + "20 рабочих дней", + "Федеральная служба по надзору в сфере здравоохранения", + "Различие в очередности исполнения обязательств не применяется при обращении взыскания на предмет залога.", + "Эмитент не может устанавливать разную очередность исполнения обязательств по разным выпускам облигаций.", + "Не позднее двух лет после подписания договора", + "5 рабочих дней", + "Не позднее чем через год после подписания соответствующего договора", + "30.06.2007" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКакой срок предусмотрен для проведения документарной проверки согласно Федеральному закону от 31.07.2020 N 248-ФЗ 'О государственном контроле (надзоре) и муниципальном контроле в Российской Федерации'?\nA. 30.12.2008\nB. 10 рабочих дней\nC. 15 рабочих дней\nD. с 1 января 2012 года\nE. 20 рабочих дней\nF. Федеральная служба по надзору в сфере здравоохранения\nG. Различие в очередности исполнения обязательств не применяется при обращении взыскания на предмет залога.\nH. Эмитент не может устанавливать разную очередность исполнения обязательств по разным выпускам облигаций.\nI. Не позднее двух лет после подписания договора\nJ. 5 рабочих дней\nK. Не позднее чем через год после подписания соответствующего договора\nL. 30.06.2007\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 214, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.013404574245214462, + "B": 0.012592431157827377, + "C": 0.053016118705272675, + "D": 0.7318649291992188, + "E": 0.046786557883024216, + "F": 0.01721181347966194, + "G": 0.04128899797797203, + "H": 0.011829494498670101, + "I": 0.00921281985938549, + "J": 0.010439491830766201, + "K": 0.009806996211409569, + "L": 0.0004308893112465739 + }, + "sample": { + "question": "Какое утверждение верно в отношении особенностей облигаций с обеспечением с разной очередностью исполнения обязательств согласно Федеральному закону \"О рынке ценных бумаг\" N 39-ФЗ?", + "answerA": "Эмитент не может устанавливать разную очередность исполнения обязательств по разным выпускам облигаций.", + "answerB": "Различие в очередности исполнения обязательств не применяется при обращении взыскания на предмет залога.", + "answerC": "Эмитент вправе установить разную очередность исполнения обязательств по облигациям разных выпусков, при этом исполнение обязательств последующей очереди допускается после исполнения обязательств предыдущей очереди.", + "answerD": "Эмиссия облигаций с обеспечением предыдущей очереди всегда допускается без согласия владельцев облигаций последующих очередей.", + "correct_answer": "C", + "choices": [ + "Федеральная служба по надзору в сфере здравоохранения", + "с 1 января 2013 года", + "Эмиссия облигаций с обеспечением предыдущей очереди всегда допускается без согласия владельцев облигаций последующих очередей.", + "Эмитент вправе установить разную очередность исполнения обязательств по облигациям разных выпусков, при этом исполнение обязательств последующей очереди допускается после исполнения обязательств предыдущей очереди.", + "Не позднее чем через год после подписания соответствующего договора", + "с 1 января 2012 года", + "Различие в очередности исполнения обязательств не применяется при обращении взыскания на предмет залога.", + "30.06.2007", + "Эмитент не может устанавливать разную очередность исполнения обязательств по разным выпускам облигаций.", + "Не позднее двух лет после подписания договора", + "Любое физическое лицо", + "30.12.2008" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКакое утверждение верно в отношении особенностей облигаций с обеспечением с разной очередностью исполнения обязательств согласно Федеральному закону \"О рынке ценных бумаг\" N 39-ФЗ?\nA. Федеральная служба по надзору в сфере здравоохранения\nB. с 1 января 2013 года\nC. Эмиссия облигаций с обеспечением предыдущей очереди всегда допускается без согласия владельцев облигаций последующих очередей.\nD. Эмитент вправе установить разную очередность исполнения обязательств по облигациям разных выпусков, при этом исполнение обязательств последующей очереди допускается после исполнения обязательств предыдущей очереди.\nE. Не позднее чем через год после подписания соответствующего договора\nF. с 1 января 2012 года\nG. Различие в очередности исполнения обязательств не применяется при обращении взыскания на предмет залога.\nH. 30.06.2007\nI. Эмитент не может устанавливать разную очередность исполнения обязательств по разным выпускам облигаций.\nJ. Не позднее двух лет после подписания договора\nK. Любое физическое лицо\nL. 30.12.2008\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 245, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.26207658648490906, + "B": 0.058477189391851425, + "C": 0.06626333296298981, + "D": 0.1092497706413269, + "E": 0.14027948677539825, + "F": 0.06626333296298981, + "G": 0.04554207623004913, + "H": 0.06626333296298981, + "I": 0.031300585716962814, + "J": 0.04554207623004913, + "K": 0.013048023916780949, + "L": 0.024376917630434036 + }, + "sample": { + "question": "Когда статья 54 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ утратила силу?", + "answerA": "30.06.2007", + "answerB": "30.12.2008", + "answerC": "01.01.2010", + "answerD": "25.02.2009", + "correct_answer": "answerB", + "choices": [ + "с 1 января 2012 года", + "Статья 45", + "Не позднее двух лет после подписания договора", + "Не позднее чем через год после подписания соответствующего договора", + "30.06.2007", + "Министерство финансов Российской Федерации", + "Федеральная служба п�� надзору в сфере здравоохранения", + "01.01.2010", + "25.02.2009", + "с 1 января 2013 года", + "Любое физическое лицо", + "30.12.2008" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКогда статья 54 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ утратила силу?\nA. с 1 января 2012 года\nB. Статья 45\nC. Не позднее двух лет после подписания договора\nD. Не позднее чем через год после подписания соответствующего договора\nE. 30.06.2007\nF. Министерство финансов Российской Федерации\nG. Федеральная служба по надзору в сфере здравоохранения\nH. 01.01.2010\nI. 25.02.2009\nJ. с 1 января 2013 года\nK. Любое физическое лицо\nL. 30.12.2008\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 183, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.02195325680077076, + "B": 0.03194179758429527, + "C": 0.38913077116012573, + "D": 0.05266312137246132, + "E": 0.07662438601255417, + "F": 0.024876296520233154, + "G": 0.14315322041511536, + "H": 0.05266312137246132, + "I": 0.009151479229331017, + "J": 0.009741698391735554, + "K": 0.03619479760527611, + "L": 0.003366640768945217 + }, + "sample": { + "question": "Каков срок, в течение которого может быть осуществлена обратная передача имущества согласно Статье 189.55 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?", + "answerA": "Не позднее двух лет после подписания договора", + "answerB": "Не позднее чем через год после подписания соответствующего договора", + "answerC": "В течение шести месяцев с момента подписания договора", + "answerD": "В любое время до начала конкурсного производства", + "correct_answer": "answerB", + "choices": [ + "По результатам открытого голосования среди акционеров банка", + "Статья 45", + "В течение шести месяцев с момента подписания договора", + "Министерство финансов Российской Федерации", + "Не позднее двух лет после подписания договора", + "Федеральная служба по надзору в сфере здравоохранения", + "В любое время до начала конкурсного производства", + "с 1 января 2012 года", + "Не позднее чем через год после подписания соответствующего договора", + "Любое физическое лицо", + "с 1 января 2013 года", + "Контрольный орган, Управляющая компания от имени негосударственного пенсионного фонда" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКаков срок, в течение которого может быть осуществлена обратная передача имущества согласно Статье 189.55 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?\nA. По результатам открытого голосования среди акционеров банка\nB. Статья 45\nC. В течение шести месяцев с момента подписания договора\nD. Министерство финансов Российской Федерации\nE. Не позднее двух лет после подписания договора\nF. Федеральная служба по надзору в сфере здравоохранения\nG. В любое время до начала конкурсного производства\nH. с 1 января 2012 года\nI. Не позднее чем через год после подписания соот��етствующего договора\nJ. Любое физическое лицо\nK. с 1 января 2013 года\nL. Контрольный орган, Управляющая компания от имени негосударственного пенсионного фонда\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 192, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.00423502316698432, + "B": 0.02020416222512722, + "C": 0.011511985212564468, + "D": 0.09054876863956451, + "E": 0.03774634748697281, + "F": 0.008422347716987133, + "G": 0.022894317284226418, + "H": 0.5210722088813782, + "I": 0.003737394232302904, + "J": 0.022894317284226418, + "K": 0.014781681820750237, + "L": 0.21721522510051727 + }, + "sample": { + "question": "Когда вступил в силу Федеральный закон 'О бухгалтерском учете' N 402-ФЗ?", + "answerA": "с 1 января 2012 года", + "answerB": "с 1 января 2013 года", + "answerC": "с 1 июля 2013 года", + "answerD": "с 1 января 2010 года", + "correct_answer": "answerB", + "choices": [ + "Федеральная служба по надзору в сфере здравоохранения", + "Статья 63", + "Статья 45", + "с 1 января 2010 года", + "Министерство финансов Российской Федерации", + "Только те, которые не включены в реестр требований кредиторов.", + "По результатам открытого голосования среди акционеров банка", + "с 1 января 2012 года", + "с 1 июля 2013 года", + "Любое физическое лицо", + "Контрольный орган, Управляющая компания от имени негосударственного пенсионного фонда", + "с 1 января 2013 года" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКогда вступил в силу Федеральный закон 'О бухгалтерском учете' N 402-ФЗ?\nA. Федеральная служба по надзору в сфере здравоохранения\nB. Статья 63\nC. Статья 45\nD. с 1 января 2010 года\nE. Министерство финансов Российской Федерации\nF. Только те, которые не включены в реестр требований кредиторов.\nG. По результатам открытого голосования среди акционеров банка\nH. с 1 января 2012 года\nI. с 1 июля 2013 года\nJ. Любое физическое лицо\nK. Контрольный орган, Управляющая компания от имени негосударственного пенсионного фонда\nL. с 1 января 2013 года\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 173, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.010064059868454933, + "B": 0.014643121510744095, + "C": 0.0057343291118741035, + "D": 0.0954851433634758, + "E": 0.025699477642774582, + "F": 0.0954851433634758, + "G": 0.02735695242881775, + "H": 0.08426535129547119, + "I": 0.02735695242881775, + "J": 0.1226053535938263, + "K": 0.1389300674200058, + "L": 0.29411494731903076 + }, + "sample": { + "question": "Какой орган осуществляет региональный государственный контроль (надзор) в области розничной продажи алкогольной и спиртосодержащей продукции по Федеральному закону N 171-ФЗ?", + "answerA": "Федеральная служба по надзору в сфере здравоохранения", + "answerB": "Министерство финансов Российской Федерации", + "answerC": "Орган исполнительной власти субъекта Российской Федерации", + "answerD": "Федеральная антимонопольная служба", + "correct_answer": "C", + "choices": [ + "На основании закрытого конкурса, проводимого Банком России или Агентством", + "По результатам открытого голосования среди акционеров банка", + "Любое физическое лицо", + "Статья 45", + "В фиксированной сумме за каждый день просрочки", + "Орган исполнительной власти субъекта Российской Федерации", + "Только те, которые не включены в реестр требований кредиторов.", + "Статья 63", + "Министерство финансов Российской Федерации", + "Федеральная служба по надзору в сфере здравоохранения", + "Контрольный орган, Управляющая компания от имени негосударственного пенсионного фонда", + "Федеральная антимонопольная служба" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКакой орган осуществляет региональный государственный контроль (надзор) в области розничной продажи алкогольной и спиртосодержащей продукции по Федеральному закону N 171-ФЗ?\nA. На основании закрытого конкурса, проводимого Банком России или Агентством\nB. По результатам открытого голосования среди акционеров банка\nC. Любое физическое лицо\nD. Статья 45\nE. В фиксированной сумме за каждый день просрочки\nF. Орган исполнительной власти субъекта Российской Федерации\nG. Только те, которые не включены в реестр требований кредиторов.\nH. Статья 63\nI. Министерство финансов Российской Федерации\nJ. Федеральная служба по надзору в сфере здравоохранения\nK. Контрольный орган, Управляющая компания от имени негосударственного пенсионного фонда\nL. Федеральная антимонопольная служба\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 184, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.005171474069356918, + "B": 0.04906558245420456, + "C": 0.015929263085126877, + "D": 0.027956726029515266, + "E": 0.013205822557210922, + "F": 0.024671725928783417, + "G": 0.02177271991968155, + "H": 0.06706470251083374, + "I": 0.004027548246085644, + "J": 0.1105709969997406, + "K": 0.12529335916042328, + "L": 0.43731677532196045 + }, + "sample": { + "question": "Кто может подать заявление о признании сделки негосударственного пенсионного фонда недействительной?", + "answerA": "Любое физическое лицо", + "answerB": "Контрольный орган, Управляющая компания от имени негосударственного пенсионного фонда", + "answerC": "Совет директоров Банка России", + "answerD": "Министерство финансов Российской Федерации", + "correct_answer": "B", + "choices": [ + "В фиксированной сумме за каждый день просрочки", + "Совет директоров Банка России", + "На основании закрытого конкурса, проводимого Банком России или Агентством", + "Только арбитражный управляющий", + "Министерство финансов Российской Федерации", + "Любое физическое лицо", + "Статья 63", + "По результатам открытого голосования среди акционеров банка", + "Статья 45", + "Только те, которые не включены в реестр требований кредиторов.", + "Все включенные в реестр требований кредиторов.", + "Контрольный орган, Управляющая компания от имени негосударственного пенсионного фонда" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКто может подать заявление о признании сделки негосударственного пенсионного фонда недействительной?\nA. В фиксированной сумме за каждый день просрочки\nB. Совет директоров Банка России\nC. На основании закрытого конкурса, проводимого Банком России или Агентством\nD. Только арбитражный управляющий\nE. Министерство финансов Российской Федерации\nF. Любое физическое лицо\nG. Статья 63\nH. По результатам открытого голосования среди акционеров банка\nI. Статья 45\nJ. Только те, которые не включены в реестр требований кредиторов.\nK. Все включенные в реестр требований кредиторов.\nL. Контрольный орган, Управляющая компания от имени негосударственного пенсионного фонда\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 160, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.23070184886455536, + "B": 0.058330561965703964, + "C": 0.018937161192297935, + "D": 0.04542788490653038, + "E": 0.13992774486541748, + "F": 0.1089758425951004, + "G": 0.040089964866638184, + "H": 0.12348580360412598, + "I": 0.058330561965703964, + "J": 0.08487047255039215, + "K": 0.01474827527999878, + "L": 0.021458614617586136 + }, + "sample": { + "question": "Какая статья Федерального закона 'О воинской обязанности и военной службе' NR 53-ФЗ касается приведения нормативных правовых актов в соответствие с данным законом?", + "answerA": "Статья 45", + "answerB": "Статья 63", + "answerC": "Статья 12", + "answerD": "Статья 79", + "correct_answer": "answerB", + "choices": [ + "Статья 79", + "Все включенные в реестр требований кредиторов.", + "По результатам открытого голосования среди акционеров банка", + "С 1 января 2021 года", + "Только те, которые не включены в реестр требований кредиторов.", + "Статья 12", + "В размере двойной ставки рефинансирования Банка России за каждый день просрочки", + "На основании закрытого конкурса, проводимого Банком России или Агентством", + "Только арбитражный управляющий", + "Статья 63", + "В фиксированной сумме за каждый день просрочки", + "Статья 45" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКакая статья Федерального закона 'О воинской обязанности и военной службе' NR 53-ФЗ касается приведения нормативных правовых актов в соответствие с данным законом?\nA. Статья 79\nB. Все включенные в реестр требований кредиторов.\nC. По результатам открытого голосования среди акционеров банка\nD. С 1 января 2021 года\nE. Только те, которые не включены в реестр требований кредиторов.\nF. Статья 12\nG. В размере двойной ставки рефинансирования Банка России за каждый день просрочки\nH. На основании закрытого конкурса, проводимого Банком России или Агентством\nI. Только арбитражный управляющий\nJ. Статья 63\nK. В фиксированной сумме за каждый день просрочки\nL. Статья 45\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 182, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.005901081021875143, + "B": 0.0038100245874375105, + "C": 0.7728891372680664, + "D": 0.03847988322377205, + "E": 0.023339230567216873, + "F": 0.00858602300286293, + "G": 0.07188988476991653, + "H": 0.009729238227009773, + "I": 0.0124925896525383, + "J": 0.0015882544685155153, + "K": 0.002787473611533642, + "L": 0.0003543874772731215 + }, + "sample": { + "question": "Каким образом определяются приобретатели имущества и обязательств банка согласно Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ?", + "answerA": "По результатам открытого голосования среди акционеров банка", + "answerB": "На основании закрытого конкурса, проводимого Банком России или Агентством", + "answerC": "По решению совета директоров банка без проведения конкурса", + "answerD": "Через аукцион на публичных торгах", + "correct_answer": "На основании закрытого конкурса, проводимого Банком России или Агентством", + "choices": [ + "Иметь высшее образование по любой специальности и стаж работы в аудиторской организации не менее пяти лет", + "По результатам открытого голосования среди акционеров банка", + "На основании закрытого конкурса, проводимого Банком России или Агентством", + "Через аукцион на публичных торгах", + "Только арбитражный управляющий", + "В фиксированной сумме за каждый день просрочки", + "Только те, которые не включены в реестр требований кредиторов.", + "В размере двойной ставки рефинансирования Банка России за каждый день просрочки", + "Все включенные в реестр требований кредиторов.", + "С 1 января 2021 года", + "По решению совета директоров банка без проведения конкурса", + "Любой должник, независимо от суммы его долгов" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКаким образом определяются приобретатели имущества и обязательств банка согласно Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ?\nA. Иметь высшее образование по любой специальности и стаж работы в аудиторской организации не менее пяти лет\nB. По результатам открытого голосования среди акционеров банка\nC. На основании закрытого конкурса, проводимого Банком России или Агентством\nD. Через аукцион на публичных торгах\nE. Только арбитражный управляющий\nF. В фиксированной сумме за каждый день просрочки\nG. Только те, которые не включены в реестр требований кредиторов.\nH. В размере двойной ставки рефинансирования Банка России за каждый день просрочки\nI. Все включенные в реестр требований кредиторов.\nJ. С 1 января 2021 года\nK. По решению совета директоров банка без проведения конкурса\nL. Любой должник, независимо от суммы его долгов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 204, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.002398342126980424, + "B": 0.009485626593232155, + "C": 0.11555858701467514, + "D": 0.029217787086963654, + "E": 0.00507729034870863, + "F": 0.007863861508667469, + "G": 0.00507729034870863, + "H": 0.007387413643300533, + "I": 0.0011328966356813908, + "J": 0.00307953217998147, + "K": 0.5868549346923828, + "L": 0.00307953217998147 + }, + "sample": { + "question": "Какие требования к должнику об уплате обязательных платежей могут быть погашены учредителями (участниками) должника, собственником имущества должника - унитарного предприятия и (или) третьим лицом в ходе внешнего управления в соответствии со Статьей 112.1 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?", + "answerA": "Только те, которые не включены в реестр требований кредиторов.", + "answerB": "Все включенные в реестр требований кредиторов.", + "answerC": "Только требования об уплате неустоек (штрафов, пеней).", + "answerD": "Только те, которые были утверждены внешним управляющим.", + "correct_answer": "B", + "choices": [ + "Только требования об уплате неустоек (штрафов, пеней).", + "Только те, которые не включены в реестр требований кредиторов.", + "Все включенные в реестр требований кредиторов.", + "С 1 января 2021 года", + "Любой должник, независимо от суммы его долгов", + "С 1 января 2020 года", + "Иметь высшее образование по любой специальности и стаж работы в аудиторской организации не менее пяти лет", + "В размере двойной ставки рефинансирования Банка России за каждый день просрочки", + "За счет федерального бюджета Российской Федерации вне зависимости от обстоятельств", + "Только арбитражный управляющий", + "Только те, которые были утверждены внешним управляющим.", + "В фиксированной сумме за каждый день просрочки" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКакие требования к должнику об уплате обязательных платежей могут быть погашены учредителями (участниками) должника, собственником имущества должника - унитарного предприятия и (или) третьим лицом в ходе внешнего управления в соответствии со Статьей 112.1 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?\nA. Только требования об уплате неустоек (штрафов, пеней).\nB. Только те, которые не включены в реестр требований кредиторов.\nC. Все включенные в реестр требований кредиторов.\nD. С 1 января 2021 года\nE. Любой должник, независимо от суммы его долгов\nF. С 1 января 2020 года\nG. Иметь высшее образование по любой специальности и стаж работы в аудиторской организации не менее пяти лет\nH. В размере двойной ставки рефинансирования Банка России за каждый день просрочки\nI. За счет федерального бюджета Российской Федерации вне зависимости от обстоятельств\nJ. Только арбитражный управляющий\nK. Только те, которые были утверждены внешним управляющим.\nL. В фиксированной сумме за каждый день просрочки\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 257, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.005256217904388905, + "B": 0.030247444286942482, + "C": 0.030247444286942482, + "D": 0.030247444286942482, + "E": 0.013422222808003426, + "F": 0.01952921785414219, + "G": 0.17406202852725983, + "H": 0.044009774923324585, + "I": 0.007647751830518246, + "J": 0.0498696006834507, + "K": 0.2869797646999359, + "L": 0.19723811745643616 + }, + "sample": { + "question": "В соответствии со Статьей 37 Федерального закона \"О страховании вкладов физических лиц в банках Российской Федерации\" N 177-ФЗ, как начисляются пени за несвоевременную уплату страховых взносов?", + "answerA": "В фиксированной сумме за каждый день просрочки", + "answerB": "В размере двойной ставки рефинансирования Банка России за каждый день просрочки", + "answerC": "В процентах от неуплаченной суммы страховых взносов, исходя из ставки рефинансирования Банка России, деленной на 360", + "answerD": "Пени не начисляются, вместо этого банк получает предупреждение", + "correct_answer": "C", + "choices": [ + "Только арбитражный управляющий", + "Пени не начисляются, вместо этого банк получает предупреждение", + "С 1 января 2020 года", + "При наличии технической возможности присоединения к сети связи другого оператора без дополнительного согласования", + "Сдать квалификационный экзамен и иметь стаж работы связанный с осуществлением аудиторской деятельности не менее трех лет", + "Любой должник, независимо от суммы его долгов", + "В размере двойной ставки рефинансирования Банка России за каждый день просрочки", + "За счет федерального бюджета Российской Федерации вне зависимости от обстоятельств", + "В фиксированной сумме за каждый день просрочки", + "С 1 января 2021 года", + "Иметь высшее образование по любой специальности и стаж работы в аудиторской организации не менее пяти лет", + "В процентах от неуплаченной суммы страховых взносов, исходя из ставки рефинансирования Банка России, деленной на 360" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nВ соответствии со Статьей 37 Федерального закона \"О страховании вкладов физических лиц в банках Российской Федерации\" N 177-ФЗ, как начисляются пени за несвоевременную уплату страховых взносов?\nA. Только арбитражный управляющий\nB. Пени не начисляются, вместо этого банк получает предупреждение\nC. С 1 января 2020 года\nD. При наличии технической возможности присоединения к сети связи другого оператора без дополнительного согласования\nE. Сдать квалификационный экзамен и иметь стаж работы связанный с осуществлением аудиторской деятельности не менее трех лет\nF. Любой должник, независимо от суммы его долгов\nG. В размере двойной ставки рефинансирования Банка России за каждый день просрочки\nH. За счет федерального бюджета Российской Федерации вне зависимости от обстоятельств\nI. В фиксированной сумме за каждый день просрочки\nJ. С 1 января 2021 года\nK. Иметь высшее образование по любой специальности и стаж работы в аудиторской организации не менее пяти лет\nL. В процентах от неуплаченной суммы страховых взносов, исходя из ставки рефинансирования Банка России, деленной на 360\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 270, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.001097380998544395, + "B": 0.0005183660541661084, + "C": 0.0028022604528814554, + "D": 0.0029829908162355423, + "E": 0.7769891619682312, + "F": 0.0008028610609471798, + "G": 0.0007085223915055394, + "H": 0.0006655951729044318, + "I": 0.0006252688472159207, + "J": 0.0007085223915055394, + "K": 0.001097380998544395, + "L": 3.52752540493384e-05 + }, + "sample": { + "question": "Кто имеет право инициировать собрание кредиторов в рамках Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?", + "answerA": "Только арбитражный управляющий", + "answerB": "Любой должник, независимо от суммы его долгов", + "answerC": "Комитет кредиторов, конкурсные кредиторы и/или уполномоченные органы, если их права требования составляют не менее чем десять процентов от общей суммы требований кредиторов", + "answerD": "Только представители государственных органов", + "correct_answer": "answerC", + "choices": [ + "За счет федерального бюджета Российской Федерации вне зависимости от обстоятельств", + "С 1 января 2021 года", + "Статья 150", + "Любой должник, независимо от суммы его долгов", + "Комитет кредиторов, конкурсные кредиторы и/или уполномоченные органы, если их права требования составляют не менее чем десять процентов от общей суммы требований кредиторов", + "С 1 января 2020 года", + "При наличии технической возможности присоединения к сети связи другого оператора без дополнительного согласования", + "Только арбитражный управляющий", + "Сдать квалификационный экзамен и иметь стаж работы связанный с осуществлением аудиторской деятельности не менее трех лет", + "Только представители государственных органов", + "Иметь высшее образование по любой специальности и стаж работы в аудиторской организации не менее пяти лет", + "За счет средств выдворяемого иностранного гражданина или пригласившей стороны в случае нарушений" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКто имеет право инициировать собрание кредиторов в рамках Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?\nA. За счет федерального бюджета Российской Федерации вне зависимости от обстоятельств\nB. С 1 января 2021 года\nC. Статья 150\nD. Любой должник, независимо от суммы его долгов\nE. Комитет кредиторов, конкурсные кредиторы и/или уполномоченные органы, если их права требования составляют не менее чем десять процентов от общей суммы требований кредиторов\nF. С 1 января 2020 года\nG. При наличии технической возможности присоединения к сети связи другого оператора без дополнительного согласования\nH. Только арбитражный управляющий\nI. Сдать квалификационный экзамен и иметь стаж работы связанный с осуществлением аудиторской деятельности не менее трех лет\nJ. Только представители государственных органов\nK. Иметь высшее образование по любой специальности и стаж работы в аудиторской организации не менее пяти лет\nL. За счет средств выдворяемого иностранного гражданина или пригласившей стороны в случае нарушений\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 233, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.10455358773469925, + "B": 0.32204774022102356, + "C": 0.1521245837211609, + "D": 0.09226822108030319, + "E": 0.05596350133419037, + "F": 0.049387622624635696, + "G": 0.06341495364904404, + "H": 0.03846311941742897, + "I": 0.002617448102682829, + "J": 0.03394358232617378, + "K": 0.023329060524702072, + "L": 0.008582280948758125 + }, + "sample": { + "question": "Когда утратила силу статья 187.6 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?", + "answerA": "С 1 января 2021 года", + "answerB": "С 1 января 2020 года", + "answerC": "С 1 января 2023 года", + "answerD": "С 1 января 2022 года", + "correct_answer": "С 1 января 2023 года", + "choices": [ + "Сдать квалификационный экзамен и иметь стаж работы связанный с осуществлением аудиторской деятельности не менее трех лет", + "С 1 января 2020 года", + "Статья 150", + "До начала трансляции обязательных общедоступных телеканалов и (или) радиоканалов", + "С 1 января 2023 года", + "За счет средств выдворяемого иностранного гражданина или пригласившей стороны в случае нарушений", + "С 1 января 2021 года", + "При наличии технической возможности присоединения к сети связи другого оператора без дополнительного согласования", + "Иметь высшее образование по любой специальности и стаж работы в аудиторской организации не менее пяти лет", + "За счет федерального бюджета Российской Федерации вне зависимости от обстоятельств", + "Оказание психологической помощи инвалидам и пенсионерам", + "С 1 января 2022 года" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКогда утратила силу статья 187.6 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?\nA. Сдать квалификационный экзамен и иметь стаж работы связанный с осуществлением аудиторской деятельности не менее трех лет\nB. С 1 января 2020 года\nC. Статья 150\nD. До начала трансляции обязательных общедоступных телеканалов и (или) радиоканалов\nE. С 1 января 2023 года\nF. За счет средств выдворяемого иностранного гражданина или пригласившей стороны в случае нарушений\nG. С 1 января 2021 года\nH. При наличии технической возможности присоединения к сети связи другого оператора без дополнительного согласования\nI. Иметь высшее образование по любой специальности и стаж работы в аудиторской организации не менее пяти лет\nJ. За счет федерального бюджета Российской Федерации вне зависимости от обстоятельств\nK. Оказание психологической помощи инвалидам и пенсионерам\nL. С 1 января 2022 года\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 234, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.06576978415250778, + "B": 0.010086122900247574, + "C": 0.027416924014687538, + "D": 0.20258519053459167, + "E": 0.22955909371376038, + "F": 0.008361689746379852, + "G": 0.013786095194518566, + "H": 0.010086122900247574, + "I": 0.010736621916294098, + "J": 0.05804162845015526, + "K": 0.17878079414367676, + "L": 0.004764346871525049 + }, + "sample": { + "question": "Какие условия необходимо выполнить для получения квалификационного аттестата аудитора, согласно Федеральному закону \"Об аудиторской деятельности\" N 307-ФЗ?", + "answerA": "Иметь высшее образование по любой специальности и стаж работы в аудиторской организации не менее пяти лет", + "answerB": "Сдать квалификационный экзамен и иметь стаж работы связанный с осуществлением аудиторской деятельности не менее трех лет", + "answerC": "Пройти обучение по программам повышения квалификации и иметь рекомендательное письмо от двух аудиторских организаций", + "answerD": "Быть членом саморегулируемой организации аудиторов и иметь опыт ведения бухгалтерского учета не менее двух лет", + "correct_answer": "B", + "choices": [ + "Статья 306", + "За счет федерального бюджета Российской Федерации вне зависимости от обстоятельств", + "До начала трансляции обязательных общедоступных телеканалов и (или) радиоканалов", + "Иметь высшее образование по любой специальности и стаж работы в аудиторской организации не менее пяти лет", + "Сдать квалификационный экзамен и иметь стаж работы связанный с осуществлением аудиторской деятельности не менее трех лет", + "Пройти обучение по программам повышения квалификации и иметь рекомендательное письмо от двух аудиторских организаций", + "Оказание психологической помощи инвалидам и пенсионерам", + "При наличии технической возможности присоединения к сети связи другого оператора без дополнительного согласования", + "Обратиться с жалобой в вышестоящий суд", + "За счет средств выдворяемого иностранного гражданина или пригласившей стороны в случае нарушений", + "Быть членом саморегулируемой организации аудиторов и иметь опыт ведения бухгалтерского учета не менее двух лет", + "Статья 150" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКакие условия необходимо выполнить для получения квалификационного аттестата аудитора, согласно Федеральному закону \"Об аудиторской деятельности\" N 307-ФЗ?\nA. Статья 306\nB. За счет федерального бюджета Российской Федерации вне зависимости от обстоятельств\nC. До начала трансляции обязательных общедоступных телеканалов и (или) радиоканалов\nD. Иметь высшее образование по любой специальности и стаж работы в аудиторской организации не менее пяти лет\nE. Сдать квалификационный экзамен и иметь стаж работы связанный с осуществлением аудиторской деятельности не менее трех лет\nF. Пройти обучение по программам повышения квалификации и иметь рекомендательное письмо от двух аудиторских организаций\nG. Оказание психологической помощи инвалидам и пенсионерам\nH. При наличии технической возможности присоединения к сети связи другого оператора без дополнительного согласования\nI. Обратиться с жалобой в вышестоящий суд\nJ. За счет средств выдворяемого иностранного гражданина или пригласившей стороны в случае нарушений\nK. Быть членом саморегулируемой организации аудиторов и иметь опыт ведения бухгалтерского учета не менее двух лет\nL. Статья 150\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 255, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.01798262633383274, + "B": 0.01798262633383274, + "C": 0.007042097393423319, + "D": 0.007042097393423319, + "E": 0.07570968568325043, + "F": 0.05203445255756378, + "G": 0.05896276235580444, + "H": 0.08579030632972717, + "I": 0.0459202416241169, + "J": 0.4936891496181488, + "K": 0.05896276235580444, + "L": 0.002590642776340246 + }, + "sample": { + "question": "Как осуществляется административное выдворение иностранного гражданина за пределы Российской Федерации в соответствии со статьей 34 Федерального закона \"О правовом положении иностранных граждан в Российской Федерации\" N 115-ФЗ?", + "answerA": "За счет федерального бюджета Российской Федерации вне зависимости от обстоятельств", + "answerB": "За счет средств выдворяемого иностранного гражданина или пригласившей стороны в случае нарушений", + "answerC": "Исключительно за счет средств дипломатического представительства или консульского учреждения", + "answerD": "Иностранный гражданин не несет расходов, связанных с административным выдворением", + "correct_answer": "За счет средств выдворяемого иностранного гражданина или пригласившей стороны в случае нарушений", + "choices": [ + "Иностранный гражданин не несет расходов, связанных с административным выдворением", + "Статья 306", + "За счет федерального бюджета Российской Федерации вне зависимости от обстоятельств", + "До начала трансляции обязательных общедоступных телеканалов и (или) радиоканалов", + "Оказание психологической помощи инвалидам и пенсионерам", + "Производство и реализация медицинской техники, предназначенной для инвалидов", + "Исключительно за счет средств дипломатического представительства или консульского учреждения", + "При наличии технической возможности присоединения к сети связи другого оператора без дополнительного согласования", + "Обратиться с жалобой в вышестоящий суд", + "За счет средств выдворяемого иностранного гражданина или пригласившей стороны в случае нарушений", + "Статья 150", + "Один миллион рублей" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКак осуществляется административное выдворение иностранного гражданина за пределы Российской Федерации в соответствии со статьей 34 Федерального закона \"О правовом положении иностранных граждан в Российской Федерации\" N 115-ФЗ?\nA. Иностранный гражданин не несет расходов, связанных с административным выдворением\nB. Статья 306\nC. За счет федерального бюджета Российской Федерации вне зависимости от обстоятельств\nD. До начала трансляции обязательных общедоступных телеканалов и (или) радиоканалов\nE. Оказание психологической помощи инвалидам и пенсионерам\nF. Производство и реализация медицинской техники, предназначенной для инвалидов\nG. Исключительно за счет средств дипломатического представительства или консульского учреждения\nH. При наличии технической возможности присоединения к сети связи другого оператора без дополнительного согласования\nI. Обратиться с жалобой в вышестоящий суд\nJ. За счет средств выдворяемого иностранного гражданина или пригласившей стороны в случае нарушений\nK. Статья 150\nL. Один миллион рублей\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 226, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.03353901579976082, + "B": 0.04306495189666748, + "C": 0.07100211083889008, + "D": 0.04879898205399513, + "E": 0.027804823592305183, + "F": 0.10330745577812195, + "G": 0.13264939188957214, + "H": 0.13264939188957214, + "I": 0.020342441275715828, + "J": 0.19300372898578644, + "K": 0.07100211083889008, + "L": 0.015842709690332413 + }, + "sample": { + "question": "В каком случае оператор обязательных общедоступных телеканалов и (или) радиоканалов обязан согласовать местонахождение источника сигнала или точки присоединения сетей связи для трансляции телеканалов и (или) радиоканалов с вещателем обязательного общедоступного телеканала и (или) радиоканала?", + "answerA": "При наличии технической возможности присоединения к сети связи другого оператора без дополнительного согласования", + "answerB": "До начала трансляции обязательных общедоступных телеканалов и (или) радиоканалов", + "answerC": "После получения письменного заключения о технической невозможности присоединения к сети связи указанного в пункте 2 статьи 19.2 оператора связи", + "answerD": "Только при осуществлении трансляции муниципального обязательного общедоступного телеканала", + "correct_answer": "B", + "choices": [ + "Статья 150", + "Производство и реализация медицинской техники, предназначенной для инвалидов", + "Статья 306", + "При наличии технической возможности присоединения к сети связи другого оператора без дополнительного согласования", + "Оказание психологической помощи инвалидам и пенсионерам", + "До начала трансляции обязательных общедоступных телеканалов и (или) радиоканалов", + "Только при осуществлении трансляции муниципального обязательного общедоступного телеканала", + "Обратиться с жалобой в вышестоящий суд", + "Обратиться с заявлением о восстановлении пропущенного срока в суд, принявший соответствующий судебный акт", + "После получения письменного заключения о технической невозможности присоединения к сети связи указанного в пункте 2 статьи 19.2 оператора связи", + "с 1 января 2018 года", + "Один миллион рублей" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nВ каком случае оператор обязательных общедоступных телеканалов и (или) радиоканалов обязан согласовать местонахождение источника сигнала или точки присоединения сетей связи для трансляции телеканалов и (или) радиоканалов с вещателем обязательного общедоступного телеканала и (или) радиоканала?\nA. Статья 150\nB. Производство и реализация медицинской техники, предназначенной для инвалидов\nC. Статья 306\nD. При наличии технической возможности присоединения к сети связи другого оператора без дополнительного согласования\nE. Оказание психологической помощи инвалидам и пенсионерам\nF. До начала трансляции обязательных общедоступных телеканалов и (или) радиоканалов\nG. Только при осуществлении трансляции муниципального обязательного общедоступного телеканала\nH. Обратиться с жалобой в вышестоящий суд\nI. Обратиться с заявлением о восстановлении пропущенного срока в суд, принявший соответствующий судебный акт\nJ. После получения письменного заключения о технической невозможности присоединения к сети связи указанного в пункте 2 статьи 19.2 оператора связи\nK. с 1 января 2018 года\nL. Один миллион рублей\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 256, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0013067479012534022, + "B": 0.0031347249168902636, + "C": 0.004855157341808081, + "D": 0.013197686523199081, + "E": 0.026246732100844383, + "F": 0.17115019261837006, + "G": 0.5271797180175781, + "H": 0.06296263635158539, + "I": 0.0024413266219198704, + "J": 0.010941265150904655, + "K": 0.09161008894443512, + "L": 0.0035521090030670166 + }, + "sample": { + "question": "Какая статья Федерального закона \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ регулирует вопрос защиты информации таможенными органами?", + "answerA": "Статья 150", + "answerB": "Статья 306", + "answerC": "Статья 25", + "answerD": "Статья 101", + "correct_answer": "Статья 306", + "choices": [ + "Производство и реализация медицинской техники, предназначенной для инвалидов", + "Обратиться с заявлением о восстановлении пропущенного срока в суд, принявший соответствующий судеб��ый акт", + "Один миллион рублей", + "с 1 января 2018 года", + "Обратиться с жалобой в вышестоящий суд", + "Статья 306", + "Статья 150", + "Три миллиона рублей", + "Проведение оперативно-разыскных мероприятий по преступлениям, связанным с наркотиками.", + "Оказание психологической помощи инвалидам и пенсионерам", + "Статья 25", + "Статья 101" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКакая статья Федерального закона \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ регулирует вопрос защиты информации таможенными органами?\nA. Производство и реализация медицинской техники, предназначенной для инвалидов\nB. Обратиться с заявлением о восстановлении пропущенного срока в суд, принявший соответствующий судебный акт\nC. Один миллион рублей\nD. с 1 января 2018 года\nE. Обратиться с жалобой в вышестоящий суд\nF. Статья 306\nG. Статья 150\nH. Три миллиона рублей\nI. Проведение оперативно-разыскных мероприятий по преступлениям, связанным с наркотиками.\nJ. Оказание психологической помощи инвалидам и пенсионерам\nK. Статья 25\nL. Статья 101\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 200, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.04069901257753372, + "B": 0.06303586065769196, + "C": 0.02178461104631424, + "D": 0.05921671539545059, + "E": 0.09171663969755173, + "F": 0.09171663969755173, + "G": 0.09171663969755173, + "H": 0.4110454320907593, + "I": 0.019224852323532104, + "J": 0.027971994131803513, + "K": 0.008530975319445133, + "L": 0.016965871676802635 + }, + "sample": { + "question": "Какой вид деятельности НЕ является примером поддержки социального предпринимательства согласно Федеральному закону 'О развитии малого и среднего предпринимательства в Российской Федерации' N 209-ФЗ, Статья 24.1?", + "answerA": "Оказание психологической помощи инвалидам и пенсионерам", + "answerB": "Производство и реализация медицинской техники, предназначенной для инвалидов", + "answerC": "Производство и (или) реализация алкогольной продукции", + "answerD": "Обеспечение занятости лиц с ограниченными возможностями здоровья", + "correct_answer": "answerC", + "choices": [ + "Производство и реализация медицинской техники, предназначенной для инвалидов", + "с 1 января 2020 года", + "Оказание психологической помощи инвалидам и пенсионерам", + "Три миллиона рублей", + "Один миллион рублей", + "Обеспечение занятости лиц с ограниченными возможностями здоровья", + "Исключительно через прямые переговоры с потенциальными покупателями без проведения аукциона или конкурса", + "Производство и (или) реализация алкогольной продукции", + "Проведение оперативно-разыскных мероприятий по преступлениям, связанным с наркотиками.", + "с 1 января 2018 года", + "Обратиться с зая��лением о восстановлении пропущенного срока в суд, принявший соответствующий судебный акт", + "Обратиться с жалобой в вышестоящий суд" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакой вид деятельности НЕ является примером поддержки социального предпринимательства согласно Федеральному закону 'О развитии малого и среднего предпринимательства в Российской Федерации' N 209-ФЗ, Статья 24.1?\nA. Производство и реализация медицинской техники, предназначенной для инвалидов\nB. с 1 января 2020 года\nC. Оказание психологической помощи инвалидам и пенсионерам\nD. Три миллиона рублей\nE. Один миллион рублей\nF. Обеспечение занятости лиц с ограниченными возможностями здоровья\nG. Исключительно через прямые переговоры с потенциальными покупателями без проведения аукциона или конкурса\nH. Производство и (или) реализация алкогольной продукции\nI. Проведение оперативно-разыскных мероприятий по преступлениям, связанным с наркотиками.\nJ. с 1 января 2018 года\nK. Обратиться с заявлением о восстановлении пропущенного срока в суд, принявший соответствующий судебный акт\nL. Обратиться с жалобой в вышестоящий суд\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 225, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.002218521200120449, + "B": 0.050493303686380386, + "C": 0.044560182839632034, + "D": 0.09433393180370331, + "E": 0.015399589203298092, + "F": 0.030625740066170692, + "G": 0.09433393180370331, + "H": 0.08324939012527466, + "I": 0.002848637755960226, + "J": 0.044560182839632034, + "K": 0.15553033351898193, + "L": 0.2564261853694916 + }, + "sample": { + "question": "Что должен сделать взыскатель для восстановления пропущенного срока предъявления исполнительного листа или судебного приказа к исполнению?", + "answerA": "Обратиться с жалобой в вышестоящий суд", + "answerB": "Обратиться с заявлением о восстановлении пропущенного срока в суд, принявший соответствующий судебный акт", + "answerC": "Незамедлительно оплатить штраф за просрочку", + "answerD": "Обратиться за помощью к медиатору для разрешения конфликтной ситуации", + "correct_answer": "B", + "choices": [ + "Утверждение регулярных отчётов о деятельности банковского сектора.", + "с 1 января 2020 года", + "Обратиться с жалобой в вышестоящий суд", + "Обратиться за помощью к медиатору для разрешения конфликтной ситуации", + "Проведение оперативно-разыскных мероприятий по преступлениям, связанным с наркотиками.", + "Проведение ежегодной инвентаризации работодателем.", + "Незамедлительно оплатить штраф за просрочку", + "Один миллион рублей", + "Исключительно через прямые переговоры с потенциальными покупателями без проведения аукциона или конкурса", + "с 1 января 2018 года", + "Три миллиона рублей", + "Обратиться с заявлением о восстановлении пропущенного срока в суд, принявший соответствующий судебный акт" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nЧто должен сделать взыскатель для восстановления пропущенного срока предъявления исполнительного листа или судебного приказа к исполнению?\nA. Утверждение регулярных отчётов о деятельности банковского сектора.\nB. с 1 января 2020 года\nC. Обратиться с жалобой в вышестоящий суд\nD. Обратиться за помощью к медиатору для разрешения конфликтной ситуации\nE. Проведение оперативно-разыскных мероприятий по преступлениям, связанным с наркотиками.\nF. Проведение ежегодной инвентаризации работодателем.\nG. Незамедлительно оплатить штраф за просрочку\nH. Один миллион рублей\nI. Исключительно через прямые переговоры с потенциальными покупателями без проведения аукциона или конкурса\nJ. с 1 января 2018 года\nK. Три миллиона рублей\nL. Обратиться с заявлением о восстановлении пропущенного срока в суд, принявший соответствующий судебный акт\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 212, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.11478093266487122, + "B": 0.1670052707195282, + "C": 0.10129381716251373, + "D": 0.04222554713487625, + "E": 0.1670052707195282, + "F": 0.05421867221593857, + "G": 0.04784781113266945, + "H": 0.06143781170248985, + "I": 0.019945936277508736, + "J": 0.06961815059185028, + "K": 0.010676289908587933, + "L": 0.006083166692405939 + }, + "sample": { + "question": "Каков минимальный размер взносов в компенсационный фонд саморегулируемой организации операторов электронных площадок, согласно Статье 111.8 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?", + "answerA": "Один миллион рублей", + "answerB": "Три миллиона рублей", + "answerC": "Пять миллионов рублей", + "answerD": "Десять миллионов рублей", + "correct_answer": "B", + "choices": [ + "Проведение ежегодной инвентаризации работодателем.", + "Три миллиона рублей", + "с 1 января 2020 года", + "Утверждение регулярных отчётов о деятельности банковского сектора.", + "Пять миллионов рублей", + "Десять миллионов рублей", + "Проведение оперативно-разыскных мероприятий по преступлениям, связанным с наркотиками.", + "с 1 января 2018 года", + "Путем опубликования объявления в средствах массовой информации без дальнейшего проведения аукциона", + "Один миллион рублей", + "На 5 рабочих дней", + "Исключительно через прямые переговоры с потенциальными покупателями без проведения аукциона или конкурса" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКаков минимальный размер взносов в компенсационный фонд саморегулируемой организации операторов электронных площадок, согласно Статье 111.8 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?\nA. Проведение ежегодной инвентаризации работодателем.\nB. Три миллиона рублей\nC. с 1 января 2020 года\nD. Утверждение регулярных отчётов о деятельности банковского сектора.\nE. Пять миллионов рублей\nF. Десять миллионов рублей\nG. Проведение оперативно-разыскных мероприятий по преступлениям, связанным с наркотиками.\nH. с 1 января 2018 года\nI. Путем опубликования объявления в средствах массовой информации без дальнейшего проведения аукциона\nJ. Один миллион рублей\nK. На 5 рабочих дней\nL. Исключительно через прямые переговоры с потенциальными покупателями без проведения аукциона или конкурса\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 213, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.010056478902697563, + "B": 0.03510056063532829, + "C": 0.5490651726722717, + "D": 0.05107101425528526, + "E": 0.016580330207943916, + "F": 0.03977414593100548, + "G": 0.12251299619674683, + "H": 0.03977414593100548, + "I": 0.0028812293894588947, + "J": 0.014632089994847775, + "K": 0.03510056063532829, + "L": 0.0009957262082025409 + }, + "sample": { + "question": "Когда утратила силу Статья 16 Федерального закона 'О рынке ценных бумаг' № 39-ФЗ?", + "answerA": "с 1 января 2018 года", + "answerB": "с 1 января 2020 года", + "answerC": "с 1 января 2019 года", + "answerD": "с 1 января 2021 года", + "correct_answer": "answerB", + "choices": [ + "Проведение ежегодной инвентаризации работодателем.", + "Исключительно через прямые переговоры с потенциальными покупателями без проведения аукциона или конкурса", + "с 1 января 2018 года", + "Цифровая валюта запрещена к использованию в Российской Федерации.", + "Проведение оперативно-разыскных мероприятий по преступлениям, связанным с наркотиками.", + "с 1 января 2019 года", + "с 1 января 2020 года", + "Путем опубликования объявления в средствах массовой информации без дальнейшего проведения аукциона", + "Утверждение регулярных отчётов о деятельности банковского сектора.", + "с 1 января 2021 года", + "Истечение срока исполнения работодателем выданного органом контроля предписания об устранении нарушения.", + "На 5 рабочих дней" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКогда утратила силу Статья 16 Федерального закона 'О рынке ценных бумаг' № 39-ФЗ?\nA. Проведение ежегодной инвентаризации работодателем.\nB. Исключительно через прямые переговоры с потенциальными покупателями без проведения аукциона или конкурса\nC. с 1 января 2018 года\nD. Цифровая валюта запрещена к использованию в Российской Федерации.\nE. Проведение оперативно-разыскных мероприятий по преступлениям, связанным с наркотиками.\nF. с 1 января 2019 года\nG. с 1 января 2020 года\nH. Путем опубликования объявления в средствах массовой информации без дальнейшего проведения аукциона\nI. Утверждение регулярных отчётов о деятельности банковского сектора.\nJ. с 1 января 2021 года\nK. Истечение срока исполнения работодателем выданного органом контроля предписания об устранении нарушения.\nL. На 5 рабочих дней\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 226, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.00537533825263381, + "B": 0.7494364380836487, + "C": 0.07899001985788345, + "D": 0.017625056207180023, + "E": 0.017625056207180023, + "F": 0.0060910568572580814, + "G": 0.00782107189297676, + "H": 0.0064838957041502, + "I": 0.00023617591068614274, + "J": 0.00445631192997098, + "K": 0.002385292202234268, + "L": 0.00010480242053745314 + }, + "sample": { + "question": "Какова роль уполномоченного органа в соответствии с Федеральным законом 'О противодействии легализации (отмыванию) доходов, полученных преступным путем, и финансированию терроризма' N 115-ФЗ?", + "answerA": "Проведение оперативно-разыскных мероприятий по преступлениям, связанным с наркотиками.", + "answerB": "Утверждение регулярных отчётов о деятельности банковского сектора.", + "answerC": "Координация деятельности в сфере образования для профилактики преступлений.", + "answerD": "Приостановление операций с денежными средствами или иным имуществом на основании результатов предварительной проверки.", + "correct_answer": "D", + "choices": [ + "Проведение ежегодной инвентаризации работодателем.", + "Приостановление операций с денежными средствами или иным имуществом на основании результатов предварительной проверки.", + "Через письменные запросы и ответы", + "На 7 рабочих дней", + "Истечение срока исполнения работодателем выданного органом контроля предписания об устранении нарушения.", + "Утверждение регулярных отчётов о деятельности банковского сектора.", + "Путем опубликования объявления в средствах массовой информации без дальнейшего проведения аукциона", + "Исключительно через прямые переговоры с потенциальными покупателями без проведения аукциона или конкурса", + "Координация деятельности в сфере образования для профилактики преступлений.", + "На 5 рабочих дней", + "Проведение оперативно-разыскных мероприятий по преступлениям, связанным с наркотиками.", + "Цифровая валюта запрещена к использованию в Российской Федерации." + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКакова роль уполномоченного органа в соответствии с Федеральным законом 'О противодействии легализации (отмыванию) доходов, полученных преступным путем, и финансированию терроризма' N 115-ФЗ?\nA. Проведение ежегодной инвентаризации работодателем.\nB. Приостановление операций с денежными средствами или иным имуществом на основании результатов предварительной проверки.\nC. Через письменные запросы и ответы\nD. На 7 рабочих дней\nE. Истечение срока исполнения работодателем выданного органом контроля предписания об устранении нарушения.\nF. Утверждение регулярных отчётов о деятельности банковского сектора.\nG. Путем опубликования объявления в средствах массовой информации без дальнейшего проведения аукциона\nH. Исключительно через прямые переговоры с потенциал��ными покупателями без проведения аукциона или конкурса\nI. Координация деятельности в сфере образования для профилактики преступлений.\nJ. На 5 рабочих дней\nK. Проведение оперативно-разыскных мероприятий по преступлениям, связанным с наркотиками.\nL. Цифровая валюта запрещена к использованию в Российской Федерации.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 245, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0013104778481647372, + "B": 0.009096518158912659, + "C": 0.0013104778481647372, + "D": 0.004036555532366037, + "E": 0.08107638359069824, + "F": 0.006655155215412378, + "G": 0.005517316982150078, + "H": 0.769231379032135, + "I": 0.000701448239851743, + "J": 0.0012310800375416875, + "K": 0.0012310800375416875, + "L": 0.09187158942222595 + }, + "sample": { + "question": "Как осуществляется продажа предприятия должника в соответствии с Федеральным законом \"О несостоятельности (банкротстве)\" N 127-ФЗ?", + "answerA": "Исключительно через прямые переговоры с потенциальными покупателями без проведения аукциона или конкурса", + "answerB": "Путем опубликования объявления в средствах массовой информации без дальнейшего проведения аукциона", + "answerC": "Посредством проведения торгов в форме аукциона или конкурса в зависимости от условий продажи", + "answerD": "Через закрытое голосование среди кредиторов без последующего аукциона или конкурса", + "correct_answer": "Посредством проведения торгов в форме аукциона или конкурса в зависимости от условий продажи", + "choices": [ + "Цифровым валютам присвоен статус официальной валюты России.", + "Путем опубликования объявления в средствах массовой информации без дальнейшего проведения аукциона", + "Главный бухгалтер общества", + "Проведение ежегодной инвентаризации работодателем.", + "Через закрытое голосование среди кредиторов без последующего аукциона или конкурса", + "Истечение срока исполнения работодателем выданного органом контроля предписания об устранении нарушения.", + "Исключительно через прямые переговоры с потенциальными покупателями без проведения аукциона или конкурса", + "Посредством проведения торгов в форме аукциона или конкурса в зависимости от условий продажи", + "На 5 рабочих дней", + "На 7 рабочих дней", + "Цифровая валюта запрещена к использованию в Российской Федерации.", + "Через письменные запросы и ответы" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКак осуществляется продажа предприятия должника в соответствии с Федеральным законом \"О несостоятельности (банкротстве)\" N 127-ФЗ?\nA. Цифровым валютам присвоен статус официальной валюты России.\nB. Путем опубликования объявления в средствах массовой информации без дальнейшего проведения аукциона\nC. Главный бухгалтер общества\nD. Проведение ежегодной инвентаризации работодателем.\nE. Через закрытое голосование среди кредиторов без последующего аукциона или конкурса\nF. Истечение срока исполнения работодателем выданного органом контроля предписания об устранении нарушения.\nG. Исключительно через прямые переговоры с потенциальными покупателями без проведения аукциона или конкурса\nH. Посредством проведения торгов в форме аукциона или конкурса в зависимости от условий продажи\nI. На 5 рабочих дней\nJ. На 7 рабочих дней\nK. Цифровая валюта запрещена к использованию в Российской Федерации.\nL. Через письменные запросы и ответы\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 216, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0950017124414444, + "B": 0.050850749015808105, + "C": 0.15663133561611176, + "D": 0.050850749015808105, + "E": 0.07398740202188492, + "F": 0.0950017124414444, + "G": 0.17748655378818512, + "H": 0.1382266730070114, + "I": 0.01065889559686184, + "J": 0.019913438707590103, + "K": 0.02402019314467907, + "L": 0.015508601441979408 + }, + "sample": { + "question": "Какой из перечисленных случаев является основанием для проведения внеплановой проверки согласно Статье 32 Федерального закона \"О правовом положении иностранных граждан в Российской Федерации\" N 115-ФЗ?", + "answerA": "Проведение ежегодной инвентаризации работодателем.", + "answerB": "Истечение срока исполнения работодателем выданного органом контроля предписания об устранении нарушения.", + "answerC": "Заявление от иностранного работника о неполучении зарплаты.", + "answerD": "Регулярное проведение собраний сотрудников на предприятии.", + "correct_answer": "B", + "choices": [ + "Цифровая валюта запрещена к использованию в Российской Федерации.", + "На 5 рабочих дней", + "Истечение срока исполнения работодателем выданного органом контроля предписания об устранении нарушения.", + "Проведение ежегодной инвентаризации работодателем.", + "Министерство образования и науки Российской Федерации", + "Главный бухгалтер общества", + "С использованием телефонной связи", + "Цифровым валютам присвоен статус официальной валюты России.", + "Через письменные запросы и ответы", + "Регулярное проведение собраний сотрудников на предприятии.", + "На 7 рабочих дней", + "Заявление от иностранного работника о неполучении зарплаты." + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКакой из перечисленных случаев является основанием для проведения внеплановой проверки согласно Статье 32 Федерального закона \"О правовом положении иностранных граждан в Российской Федерации\" N 115-ФЗ?\nA. Цифровая валюта запрещена к использованию в Российской Федерации.\nB. На 5 рабочих дней\nC. Истечение срока исполнения работодателем выданного органом контроля предписания об устранении нарушения.\nD. Проведение ежегодной инвентаризации работодателем.\nE. Министерство образования и науки Российской Федерации\nF. Главный бухгалтер общества\nG. С использованием телефонной связи\nH. Цифровым валютам присвоен статус официальной валюты России.\nI. Через письменные запросы и ответы\nJ. Регулярное проведение собраний сотрудников на предприятии.\nK. На 7 рабочих дней\nL. Заявление от иностранного работника о неполучении зарплаты.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 197, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.2997036576271057, + "B": 0.14156998693943024, + "C": 0.09729953110218048, + "D": 0.059015143662691116, + "E": 0.18177945911884308, + "F": 0.03158853203058243, + "G": 0.019159412011504173, + "H": 0.024601172655820847, + "I": 0.013168059289455414, + "J": 0.014921365305781364, + "K": 0.0035441347863525152, + "L": 0.0025929445400834084 + }, + "sample": { + "question": "На какой срок могут приостановить выпуск товаров, содержащих объекты интеллектуальной собственности не включенные в единый таможенный реестр, при обнаружении признаков нарушения прав правообладателя?", + "answerA": "На 5 рабочих дней", + "answerB": "На 7 рабочих дней", + "answerC": "На 10 рабочих дней", + "answerD": "На 14 рабочих дней", + "correct_answer": "На 7 рабочих дней", + "choices": [ + "На 14 рабочих дней", + "На 5 рабочих дней", + "Цифровым валютам присвоен статус официальной валюты России.", + "Министерство образования и науки Российской Федерации", + "На 7 рабочих дней", + "На 10 рабочих дней", + "Главный бухгалтер общества", + "Компетенция федеральных органов государственной власти", + "Через письменные запросы и ответы", + "Совет директоров (наблюдательный совет) или аналогичный орган", + "Цифровая валюта запрещена к использованию в Российской Федерации.", + "С использованием телефонной связи" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nНа какой срок могут приостановить выпуск товаров, содержащих объекты интеллектуальной собственности не включенные в единый таможенный реестр, при обнаружении признаков нарушения прав правообладателя?\nA. На 14 рабочих дней\nB. На 5 рабочих дней\nC. Цифровым валютам присвоен статус официальной валюты России.\nD. Министерство образования и науки Российской Федерации\nE. На 7 рабочих дней\nF. На 10 рабочих дней\nG. Главный бухгалтер общества\nH. Компетенция федеральных органов государственной власти\nI. Через письменные запросы и ответы\nJ. Совет директоров (наблюдательный совет) или аналогичный орган\nK. Цифровая валюта запрещена к использованию в Российской Федерации.\nL. С использованием телефонной связи\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 172, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.14886511862277985, + "B": 0.0483294278383255, + "C": 0.029313277453184128, + "D": 0.04265056923031807, + "E": 0.13137300312519073, + "F": 0.1159362718462944, + "G": 0.07968176156282425, + "H": 0.16868627071380615, + "I": 0.07031890004873276, + "J": 0.0483294278383255, + "K": 0.016702203080058098, + "L": 0.021446052938699722 + }, + "sample": { + "question": "Какое изменение было внесено в Федеральный закон \"Об исполнительном производстве\" согласно Федеральному закону от 31.07.2020 N 259-ФЗ?", + "answerA": "Цифровая валюта запрещена к использованию в Российской Федерации.", + "answerB": "Цифровым валютам присвоен статус официальной валюты России.", + "answerC": "Цифровая валюта признается имуществом.", + "answerD": "Цифровая валюта приравнена к иностранной валюте.", + "correct_answer": "Цифровая валюта признается имуществом.", + "choices": [ + "Через письменные запросы и ответы", + "Совет директоров (наблюдательный совет) или аналогичный орган", + "Компетенция федеральных органов государственной власти", + "Министерство социального развития Российской Федерации", + "Главный бухгалтер общества", + "Принцип наименьшей цены", + "Цифровая валюта запрещена к использованию в Российской Федерации.", + "Цифровая валюта признается имуществом.", + "Цифровая валюта приравнена к иностранной валюте.", + "Цифровым валютам присвоен статус официальной валюты России.", + "С использованием телефонной связи", + "Министерство образования и науки Российской Федерации" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакое изменение было внесено в Федеральный закон \"Об исполнительном производстве\" согласно Федеральному закону от 31.07.2020 N 259-ФЗ?\nA. Через письменные запросы и ответы\nB. Совет директоров (наблюдательный совет) или аналогичный орган\nC. Компетенция федеральных органов государственной власти\nD. Министерство социального развития Российской Федерации\nE. Главный бухгалтер общества\nF. Принцип наименьшей цены\nG. Цифровая валюта запрещена к использованию в Российской Федерации.\nH. Цифровая валюта признается имуществом.\nI. Цифровая валюта приравнена к иностранной валюте.\nJ. Цифровым валютам присвоен статус официальной валюты России.\nK. С использованием телефонной связи\nL. Министерство образования и науки Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 190, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0031636853236705065, + "B": 0.0005164574249647558, + "C": 0.8772022724151611, + "D": 0.005216035060584545, + "E": 0.043673329055309296, + "F": 0.001238917000591755, + "G": 0.0010933404555544257, + "H": 0.0004851668491028249, + "I": 0.034012820571660995, + "J": 6.98949079378508e-05, + "K": 0.00040221743984147906, + "L": 1.559566408104729e-05 + }, + "sample": { + "question": "Каким образом осуществляется взаимодействие между органами, уполномоченными принимать решение о государственной регистрации юридических лиц, и регистрирующим органом согласно Федеральному закону \"О государственной регистрации юридических лиц и индивидуальных предпринимателей\" N 129-ФЗ?", + "answerA": "Через письменные запросы и ответы", + "answerB": "С использованием телефонной связи", + "answerC": "С использованием единой системы межведомственного электронного взаимодействия", + "answerD": "Посредством личных встреч представителей органов", + "correct_answer": "С использованием единой системы межведомственного электронного взаимодействия", + "choices": [ + "Главный бухгалтер общества", + "Особенности ведения таможенного контроля в свободных экономических зонах", + "Через письменные запросы и ответы", + "Статья 30", + "Министерство образования и науки Российской Федерации", + "Совет директоров (наблюдательный совет) или аналогичный орган", + "Посредством личных встреч представителей органов", + "Компетенция федеральных органов государственной власти", + "С использованием единой системы межведомственного электронного взаимодействия", + "С использованием телефонной связи", + "Принцип наименьшей цены", + "Министерство социального развития Российской Федерации" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКаким образом осуществляется взаимодействие между органами, уполномоченными принимать решение о государственной регистрации юридических лиц, и регистрирующим органом согласно Федеральному закону \"О государственной регистрации юридических лиц и индивидуальных предпринимателей\" N 129-ФЗ?\nA. Главный бухгалтер общества\nB. Особенности ведения таможенного контроля в свободных экономических зонах\nC. Через письменные запросы и ответы\nD. Статья 30\nE. Министерство образования и науки Российской Федерации\nF. Совет директоров (наблюдательный совет) или аналогичный орган\nG. Посредством личных встреч представителей органов\nH. Компетенция федеральных органов государственной власти\nI. С использованием единой системы межведомственного электронного взаимодействия\nJ. С использованием телефонной связи\nK. Принцип наименьшей цены\nL. Министерство социального развития Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 178, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0018861291464418173, + "B": 0.006583237089216709, + "C": 0.020277798175811768, + "D": 0.1029791608452797, + "E": 0.042928099632263184, + "F": 0.01229910645633936, + "G": 0.022977754473686218, + "H": 0.01789509505033493, + "I": 0.029504021629691124, + "J": 0.1029791608452797, + "K": 0.46152058243751526, + "L": 0.04864390939474106 + }, + "sample": { + "question": "Кто утверждает проспект ценных бумаг хозяйственного общества согласно Федеральному закону 'О рынке ценных бумаг' N 39-ФЗ?", + "answerA": "Главный бухгалтер общества", + "answerB": "Совет директоров (наблюдательный совет) или аналогичный орган", + "answerC": "Федеральная служба по рынку ценных бумаг", + "answerD": "Министерство финансов Российской Федерации", + "correct_answer": "B", + "choices": [ + "Любой водитель с водительским удостоверением", + "Принцип наименьшей цены", + "Принцип национального режима", + "Компетенция федеральных органов государственной власти", + "Совет директоров (наблюдательный совет) или аналогичный орган", + "Министерство социального развития Российской Федерации", + "Главный бухгалтер общества", + "Министерство образования и науки Российской Федерации", + "Статья 30", + "Особенности ведения таможенного контроля в свободных экономических зонах", + "Федеральная служба по рынку ценных бумаг", + "Министерство финансов Российской Федерации" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКто утверждает проспект ценных бумаг хозяйственного общества согласно Федеральному закону 'О рынке ценных бумаг' N 39-ФЗ?\nA. Любой водитель с водительским удостоверением\nB. Принцип наименьшей цены\nC. Принцип национального режима\nD. Компетенция федеральных органов государственной власти\nE. Совет директоров (наблюдательный совет) или аналогичный орган\nF. Министерство социального развития Российской Федерации\nG. Главный бухгалтер общества\nH. Министерство образования и науки Российской Федерации\nI. Статья 30\nJ. Особенности ведения таможенного контроля в свободных экономических зонах\nK. Федеральная служба по рынку ценных бумаг\nL. Министерство финансов Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 149, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0022964878007769585, + "B": 0.014974981546401978, + "C": 0.007073680870234966, + "D": 0.6778194308280945, + "E": 0.010955930687487125, + "F": 0.013215376064181328, + "G": 0.02978130802512169, + "H": 0.1512419581413269, + "I": 0.000745560450013727, + "J": 0.002157350769266486, + "K": 0.004030461423099041, + "L": 0.05563880875706673 + }, + "sample": { + "question": "Какой орган исполнительной власти установливает порядок осуществления статистического наблюдения в сфере здравоохранения согласно Федеральному закону 'Об основах охраны здоровья граждан в Российской Федерации' N 323-ФЗ?", + "answerA": "Министерство образования и науки Российской Федерации", + "answerB": "Министерство социального развития Российской Федерации", + "answerC": "Уполномоченный федеральный орган исполнительной власти", + "answerD": "Министерство здравоохранения Российской Федерации", + "correct_answer": "Уполномоченный федеральный орган исполнительной власти", + "choices": [ + "Любой водитель с водительским удостоверением", + "Статья 29", + "Статья 30", + "Министерство здравоохранения Российской Федерации", + "Министерство образования и науки Российской Федерации", + "Особенности ведения таможенного контроля в свободных экономических зонах", + "Принцип наименьшей цены", + "Уполномоченный федеральный орган исполнительной власти", + "Компетенция федеральных органов государственной власти", + "Процесс выдачи микрокредитов без лицензии", + "Принцип национального режима", + "Министерство социального развития Российской Федерации" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакой орган исполнительной власти установливает порядок осуществления статистического наблюдения в сфере здравоохранения согласно Федеральному закону 'Об основах охраны здоровья граждан в Российской Федерации' N 323-ФЗ?\nA. Любой водитель с водительским удостоверением\nB. Статья 29\nC. Статья 30\nD. Министерство здравоохранения Российской Федерации\nE. Министерство образования и науки Российской Федерации\nF. Особенности ведения таможенного контроля в свободных экономических зонах\nG. Принцип наименьшей цены\nH. Уполномоченный федеральный орган исполнительной власти\nI. Компетенция федеральных органов государственной власти\nJ. Процесс выдачи микрокредитов без лицензии\nK. Принцип национального режима\nL. Министерство социального развития Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 162, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.004348549991846085, + "B": 0.02074577286839485, + "C": 0.005583648569881916, + "D": 0.8286869525909424, + "E": 0.012582945637404919, + "F": 0.02835610695183277, + "G": 0.006327102426439524, + "H": 0.0071695465594530106, + "I": 0.00048789376160129905, + "J": 0.004348549991846085, + "K": 0.01425834558904171, + "L": 0.005245352163910866 + }, + "sample": { + "question": "Какие аспекты регулируются Статьей 116 Федерального закона \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?", + "answerA": "Компетенция федеральных органов государственной власти", + "answerB": "Особенности ведения таможенного контроля в свободных экономических зонах", + "answerC": "Содержание и применение таможенной процедуры таможенного транзита, условия помещения товаров под таможенную процедуру и их использования в соответствии с такой процедурой, срок действия таможенной процедуры, возникновение и прекращение обязанности по уплате ввозных таможенных пошлин, налогов, специальных, антидемпинговых, компенсационных пошлин, срок их уплаты и исчисление", + "answerD": "Порядок и условия возврата излишне уплаченных таможенных сборов и пошлин", + "correct_answer": "answerC", + "choices": [ + "Статья 29", + "Компетенция федеральных органов государственной власти", + "На основании личного заявления должника", + "Порядок и условия возврата излишне уплаченных таможенных сборов и пошлин", + "Технические эксперты, уполномоченные оператором технического осмотра", + "Содержание и применение таможенной процедуры таможенного транзита, условия помещения товаров под таможенную процедуру и их и��пользования в соответствии с такой процедурой, срок действия таможенной процедуры, возникновение и прекращение обязанности по уплате ввозных таможенных пошлин, налогов, специальных, антидемпинговых, компенсационных пошлин, срок их уплаты и исчисление", + "Принцип наименьшей цены", + "Особенности ведения таможенного контроля в свободных экономических зонах", + "Статья 30", + "Процесс выдачи микрокредитов без лицензии", + "Принцип национального режима", + "Любой водитель с водительским удостоверением" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКакие аспекты регулируются Статьей 116 Федерального закона \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?\nA. Статья 29\nB. Компетенция федеральных органов государственной власти\nC. На основании личного заявления должника\nD. Порядок и условия возврата излишне уплаченных таможенных сборов и пошлин\nE. Технические эксперты, уполномоченные оператором технического осмотра\nF. Содержание и применение таможенной процедуры таможенного транзита, условия помещения товаров под таможенную процедуру и их использования в соответствии с такой процедурой, срок действия таможенной процедуры, возникновение и прекращение обязанности по уплате ввозных таможенных пошлин, налогов, специальных, антидемпинговых, компенсационных пошлин, срок их уплаты и исчисление\nG. Принцип наименьшей цены\nH. Особенности ведения таможенного контроля в свободных экономических зонах\nI. Статья 30\nJ. Процесс выдачи микрокредитов без лицензии\nK. Принцип национального режима\nL. Любой водитель с водительским удостоверением\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 245, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0025734230875968933, + "B": 0.01306892093271017, + "C": 0.26249629259109497, + "D": 0.02154700830578804, + "E": 0.00398579565808177, + "F": 0.002004183828830719, + "G": 0.006173321045935154, + "H": 0.0014662923058494925, + "I": 0.00019844107737299055, + "J": 0.0007848496898077428, + "K": 0.26249629259109497, + "L": 9.97824317892082e-05 + }, + "sample": { + "question": "Какой основной принцип применяется к товарам, происходящим из иностранного государства, в соответствии со статьей 13 Федерального закона 'О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд' N 44-ФЗ?", + "answerA": "Принцип наименьшей цены", + "answerB": "Принцип национального режима", + "answerC": "Принцип предпочтения отечественного производителя", + "answerD": "Принцип полного запрета на иностранную продукцию", + "correct_answer": "Принцип национального режима", + "choices": [ + "Технические эксперты, уполномоченные оператором технического осмотра", + "По заявлению одной из сторон соглашения об установлении сервитута", + "Статья 30", + "Принцип полного запрета на иностранную продукцию", + "Статья 29", + "Процесс выдачи микрокредитов без лицензии", + "Принцип национального режима", + "На основании личного заявления должника", + "Любой водитель с водительским удостоверением", + "Принцип наименьшей цены", + "Принцип предпочтения отечественного производителя", + "Придание правомерного вида владению, пользованию или распоряжению денежными средствами или иным имуществом, полученными в результате совершения преступления" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКакой основной принцип применяется к товарам, происходящим из иностранного государства, в соответствии со статьей 13 Федерального закона 'О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд' N 44-ФЗ?\nA. Технические эксперты, уполномоченные оператором технического осмотра\nB. По заявлению одной из сторон соглашения об установлении сервитута\nC. Статья 30\nD. Принцип полного запрета на иностранную продукцию\nE. Статья 29\nF. Процесс выдачи микрокредитов без лицензии\nG. Принцип национального режима\nH. На основании личного заявления должника\nI. Любой водитель с водительским удостоверением\nJ. Принцип наименьшей цены\nK. Принцип предпочтения отечественного производителя\nL. Придание правомерного вида владению, пользованию или распоряжению денежными средствами или иным имуществом, полученными в результате совершения преступления\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 205, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " К" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.03624198958277702, + "B": 0.024908732622861862, + "C": 0.03624198958277702, + "D": 0.10486969351768494, + "E": 0.09254717081785202, + "F": 0.0437161885201931, + "G": 0.08167259395122528, + "H": 0.28506535291671753, + "I": 0.07207580655813217, + "J": 0.08167259395122528, + "K": 0.04106755927205086, + "L": 0.023399589583277702 + }, + "sample": { + "question": "Какой статьей было установлено, что она утратила свою силу в контексте Федерального закона \"О пожарной безопасности\" N 69-ФЗ?", + "answerA": "Статья 30", + "answerB": "Статья 29", + "answerC": "Статья 25", + "answerD": "Статья 28", + "correct_answer": "answerB", + "choices": [ + "По заявлению одной из сторон соглашения об установлении сервитута", + "Любой водитель с водительским удостоверением", + "На основании судебного акта о замене стороны исполнительного производства правопреемником", + "Придание правомерного вида владению, пользованию или распоряжению денежными средствами или иным имуществом, полученными в результате совершения преступления", + "Процесс выдачи микрокредитов без лицензии", + "Должны быть выпущены исключительно наличными средствами.", + "На основании личного заявления должника", + "Статья 30", + "С��атья 28", + "Статья 25", + "Статья 29", + "Технические эксперты, уполномоченные оператором технического осмотра" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКакой статьей было установлено, что она утратила свою силу в контексте Федерального закона \"О пожарной безопасности\" N 69-ФЗ?\nA. По заявлению одной из сторон соглашения об установлении сервитута\nB. Любой водитель с водительским удостоверением\nC. На основании судебного акта о замене стороны исполнительного производства правопреемником\nD. Придание правомерного вида владению, пользованию или распоряжению денежными средствами или иным имуществом, полученными в результате совершения преступления\nE. Процесс выдачи микрокредитов без лицензии\nF. Должны быть выпущены исключительно наличными средствами.\nG. На основании личного заявления должника\nH. Статья 30\nI. Статья 28\nJ. Статья 25\nK. Статья 29\nL. Технические эксперты, уполномоченные оператором технического осмотра\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 194, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0007862146594561636, + "B": 0.00399272795766592, + "C": 0.021584482863545418, + "D": 0.024458421394228935, + "E": 0.0025778987910598516, + "F": 0.0013798497384414077, + "G": 0.0012177132302895188, + "H": 0.0008369211573153734, + "I": 0.00025524653028696775, + "J": 0.00027170852990821004, + "K": 0.7147798538208008, + "L": 0.0004479716008063406 + }, + "sample": { + "question": "По Федеральному закону \"О техническом осмотре транспортных средств и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 170-ФЗ, кто вправе проводить технический осмотр транспортного средства?", + "answerA": "Любой водитель с водительским удостоверением", + "answerB": "Технические эксперты, уполномоченные оператором технического осмотра", + "answerC": "Проверяющие из ГИБДД", + "answerD": "Сотрудники страховой компании", + "correct_answer": "Технические эксперты, уполномоченные оператором технического осмотра", + "choices": [ + "На основании судебного акта о замене стороны исполнительного производства правопреемником", + "На основании личного заявления должника", + "Заключение новых договоров страхования", + "Сотрудники страховой компании", + "Без соответствующего заявления одновременно с внесением сведений о таких зонах в порядке межведомственного информационного взаимодействия", + "Проверяющие из ГИБДД", + "Любой водитель с водительским удостоверением", + "Должны быть выпущены исключительно наличными средствами.", + "Процесс выдачи микрокредитов без лицензии", + "По заявлению одной из сторон соглашения об установлении сервитута", + "Технические эксперты, уполномоченные оператором технического осмотра", + "Придание правомерного вида владению, пользованию или распоряжению денежными средствами или иным имуществом, полученными в результате совершения преступления" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nПо Федеральному закону \"О техническом осмотре транспортных средств и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 170-ФЗ, кто вправе проводить технический осмотр транспортного средства?\nA. На основании судебного акта о замене стороны исполнительного производства правопреемником\nB. На основании личного заявления должника\nC. Заключение новых договоров страхования\nD. Сотрудники страховой компании\nE. Без соответствующего заявления одновременно с внесением сведений о таких зонах в порядке межведомственного информационного взаимодействия\nF. Проверяющие из ГИБДД\nG. Любой водитель с водительским удостоверением\nH. Должны быть выпущены исключительно наличными средствами.\nI. Процесс выдачи микрокредитов без лицензии\nJ. По заявлению одной из сторон соглашения об установлении сервитута\nK. Технические эксперты, уполномоченные оператором технического осмотра\nL. Придание правомерного вида владению, пользованию или распоряжению денежными средствами или иным имуществом, полученными в результате совершения преступления\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 221, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0004416489682625979, + "B": 0.0028799129649996758, + "C": 0.01556866243481636, + "D": 0.010700174607336521, + "E": 0.0012005262542515993, + "F": 0.001541506266221404, + "G": 0.001979333348572254, + "H": 0.0010594608029350638, + "I": 0.0001841066696215421, + "J": 0.001448111142963171, + "K": 0.6619963645935059, + "L": 0.00015262978558894247 + }, + "sample": { + "question": "Что такое легализация (отмывание) доходов, полученных преступным путем, согласно Федеральному закону \"О противодействии легализации (отмыванию) доходов, полученных преступным путем, и финансированию терроризма\" N 115-ФЗ?", + "answerA": "Процесс выдачи микрокредитов без лицензии", + "answerB": "Придание правомерного вида владению, пользованию или распоряжению денежными средствами или иным имуществом, полученными в результате совершения преступления", + "answerC": "Выплата налогов с доходов, полученных преступным путем", + "answerD": "Уничтожение улик совершения преступления", + "correct_answer": "answerB", + "choices": [ + "Процесс выдачи микрокредитов без лицензии", + "Выплата налогов с доходов, полученных преступным путем", + "На основании личного заявления должника", + "На основании судебного акта о замене стороны исполнительного производства правопреемником", + "Если заявление подано от имени юридического лица без приложения уставных документов", + "Без соответствующего заявления одновременно с внесением сведений о таких зонах в порядке межведомственного информационного взаимодействия", + "По заявлению одной из сторон соглашения об установлении сервитута", + "Заключение новых договоров страхования", + "Эмитент российских депозитарных расписок обязан иметь лицензию на производство алкогольной продукции.", + "Должны быть выпущены исключительно наличными средствами.", + "Придание правомерного вида владению, пользованию или распоряжению денежными средствами или иным имуществом, полученными в результате совершения преступления", + "Уничтожение улик совершения преступления" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nЧто такое легализация (отмывание) доходов, полученных преступным путем, согласно Федеральному закону \"О противодействии легализации (отмыванию) доходов, полученных преступным путем, и финансированию терроризма\" N 115-ФЗ?\nA. Процесс выдачи микрокредитов без лицензии\nB. Выплата налогов с доходов, полученных преступным путем\nC. На основании личного заявления должника\nD. На основании судебного акта о замене стороны исполнительного производства правопреемником\nE. Если заявление подано от имени юридического лица без приложения уставных документов\nF. Без соответствующего заявления одновременно с внесением сведений о таких зонах в порядке межведомственного информационного взаимодействия\nG. По заявлению одной из сторон соглашения об установлении сервитута\nH. Заключение новых договоров страхования\nI. Эмитент российских депозитарных расписок обязан иметь лицензию на производство алкогольной продукции.\nJ. Должны быть выпущены исключительно наличными средствами.\nK. Придание правомерного вида владению, пользованию или распоряжению денежными средствами или иным имуществом, полученными в результате совершения преступления\nL. Уничтожение улик совершения преступления\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 248, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0009249814320355654, + "B": 0.00774477468803525, + "C": 0.0008162932354025543, + "D": 0.0034367230255156755, + "E": 0.002514360472559929, + "F": 0.002362022874876857, + "G": 0.002514360472559929, + "H": 0.006031636614352465, + "I": 0.00019388663349673152, + "J": 0.0034367230255156755, + "K": 0.015402323566377163, + "L": 0.8951742649078369 + }, + "sample": { + "question": "На основании какого документа судебный пристав-исполнитель производит замену стороны исполнительного производства правопреемником?", + "answerA": "На основании личного заявления должника", + "answerB": "На основании судебного акта о замене стороны исполнительного производства правопреемником", + "answerC": "На основании устного согласия взыскателя", + "answerD": "На основании публичного обьявления в СМИ", + "correct_answer": "На основании судебного акта о замене стороны исполнительного производства правопреемником", + "choices": [ + "Повторное нарушение требований финансовой устойчивости и платежеспособности", + "Заключение новых договоров страхования", + "Любой родственник военнослужащего, не зависимо от степени родства", + "На основании устного согласия взыскателя", + "На основании личного заявления должника", + "По заявлению одной из сторон соглашения об установлении сервитута", + "Если заявление подано от имени юридического лица без приложения уставных документов", + "Эмитент российских депозитарных расписок обязан иметь лицензию на производство алкогольной продукции.", + "Должны быть выпущены исключительно наличными средствами.", + "Без соответствующего заявления одновременно с внесением сведений о таких зонах в порядке межведомственного информационного взаимодействия", + "На основании публичного обьявления в СМИ", + "На основании судебного акта о замене стороны исполнительного производства правопреемником" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nНа основании какого документа судебный пристав-исполнитель производит замену стороны исполнительного производства правопреемником?\nA. Повторное нарушение требований финансовой устойчивости и платежеспособности\nB. Заключение новых договоров страхования\nC. Любой родственник военнослужащего, не зависимо от степени родства\nD. На основании устного согласия взыскателя\nE. На основании личного заявления должника\nF. По заявлению одной из сторон соглашения об установлении сервитута\nG. Если заявление подано от имени юридического лица без приложения уставных документов\nH. Эмитент российских депозитарных расписок обязан иметь лицензию на производство алкогольной продукции.\nI. Должны быть выпущены исключительно наличными средствами.\nJ. Без соответствующего заявления одновременно с внесением сведений о таких зонах в порядке межведомственного информационного взаимодействия\nK. На основании публичного обьявления в СМИ\nL. На основании судебного акта о замене стороны исполнительного производства правопреемником\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 206, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.007270641624927521, + "B": 0.05718802288174629, + "C": 0.06480251252651215, + "D": 0.09428710490465164, + "E": 0.027013709768652916, + "F": 0.03468628600239754, + "G": 0.372912734746933, + "H": 0.09428710490465164, + "I": 0.004694278817623854, + "J": 0.0393047109246254, + "K": 0.12106703966856003, + "L": 0.011260989122092724 + }, + "sample": { + "question": "Как осуществляется внесение в Единый государственный реестр недвижимости сведений о части земельного участка, образованной в связи с установлением особых зон?", + "answerA": "По заявлению одной из сторон соглашения об установлении сервитута", + "answerB": "Без соответствующего заявления одновременно с внесением сведений о таких зонах в порядке межведомственного информационного взаимодействия", + "answerC": "Только после предоставления межевого плана", + "answerD": "После государственной регистрации права собственности", + "correct_answer": "B", + "choices": [ + "Заключение новых договоров страхования", + "За убытки, причиненные в результате государственной регистрации прав на основании документов, созданных многофункциональным центром в случае нарушения требований закона", + "Эмитент российских депозитарных расписок обязан иметь лицензию на производство алкогольной продукции.", + "После государственной регистрации права собственности", + "Если информация об уплате государственной пошлины отсутствует в Государственной информационной системе о государственных и муниципальных платежах в течение пяти рабочих дней с даты подачи заявления", + "Должны быть выпущены исключительно наличными средствами.", + "Без соответствующего заявления одновременно с внесением сведений о таких зонах в порядке межведомственного информационного взаимодействия", + "Только после предоставления межевого плана", + "Если заявление подано от имени юридического лица без приложения уставных документов", + "Любой родственник военнослужащего, не зависимо от степени родства", + "По заявлению одной из сторон соглашения об установлении сервитута", + "Повторное нарушение требований финансовой устойчивости и платежеспособности" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКак осуществляется внесение в Единый государственный реестр недвижимости сведений о части земельного участка, образованной в связи с установлением особых зон?\nA. Заключение новых договоров страхования\nB. За убытки, причиненные в результате государственной регистрации прав на основании документов, созданных многофункциональным центром в случае нарушения требований закона\nC. Эмитент российских депозитарных расписок обязан иметь лицензию на производство алкогольной продукции.\nD. После государственной регистрации права собственности\nE. Если информация об уплате государственной пошлины отсутствует в Государственной информационной системе о государственных и муниципальных платежах в течение пяти рабочих дней с даты подачи заявления\nF. Должны быть выпущены исключительно наличными средствами.\nG. Без соответствующего заявления одновременно с внесением сведений о таких зонах в порядке межведомственного информационного взаимодействия\nH. Только после предоставления межевого плана\nI. Если заявление подано от имени юридического лица без приложения уставных документов\nJ. Любой родственник военнослужащего, не зависимо от степени родства\nK. По заявлению одной из сторон соглашения об установлении сервитута\nL. Повторное нарушение требований финансовой устойчивости и платежеспособности\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 240, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.007911196909844875, + "B": 0.01478006225079298, + "C": 0.0051078530959784985, + "D": 0.008421425707638264, + "E": 0.6284642219543457, + "F": 0.006558612920343876, + "G": 0.008421425707638264, + "H": 0.02761279232800007, + "I": 0.04017637297511101, + "J": 0.035455528646707535, + "K": 0.0130433589220047, + "L": 0.006161246914416552 + }, + "sample": { + "question": "Какое условие необходимо для эмиссии российских депозитарных расписок в соответствии со Статьей 27.5-3 Федерального закона 'О рынке ценных бумаг' N 39-ФЗ?", + "answerA": "Должны быть выпущены исключительно наличными средствами.", + "answerB": "Эмитент российских депозитарных расписок обязан иметь лицензию на производство алкогольной продукции.", + "answerC": "Права депозитария на представляемые ценные бумаги должны учитываться организацией, соответствующей критериям, установленным нормативными актами Банка России.", + "answerD": "Обязательно проведение аудита финансовой отчетности эмитента за последние 5 лет.", + "correct_answer": "Права депозитария на представляемые ценные бумаги должны учитываться организацией, соответствующей критериям, установленным нормативными актами Банка России.", + "choices": [ + "Любой родственник военнослужащего, не зависимо от степени родства", + "Обязательно проведение аудита финансовой отчетности эмитента за последние 5 лет.", + "Новые автомобили для личного пользования, ввезенные для продажи.", + "Эмитент российских депозитарных расписок обязан иметь лицензию на производство алкогольной продукции.", + "Права депозитария на представляемые ценные бумаги должны учитываться организацией, соответствующей критериям, установленным нормативными актами Банка России.", + "Должны быть выпущены исключительно наличными средствами.", + "Заключение новых договоров страхования", + "Мать ребенка или его опекун в случае смерти, недееспособности или лишения родительских прав матери или отказа матери от ребенка", + "Повторное нарушение требований финансовой устойчивости и платежеспособности", + "Если информация об уплате государственной пошлины отсутствует в Государственной информационной системе о государственных и муниципальных платежах в течение пяти рабочих дней с даты подачи заявления", + "За убытки, причиненные в результате государственной регистрации прав на основании документов, созданных многофункциональным центром в случае нарушения требований закона", + "Если заявление подано от имени юридического лица без приложения уставных документов" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКакое условие необходимо для эмиссии российских депозитарных расписок в соответствии со Статьей 27.5-3 Федерального закона 'О рынке ценных бумаг' N 39-ФЗ?\nA. Любой родственник военнослужащего, не зависимо от степени родства\nB. Обязательно проведение аудита финансовой отчетности эмитента за последние 5 лет.\nC. Новые автомобили для личного пользования, ввезенные для продажи.\nD. Эмитент российских депозитарных расписок обязан иметь лицензию на производство алкогольной продукции.\nE. Права депозитария на представляемые ценные бумаги должны учитываться организацией, соответствующей критериям, установленным нормативными актами Банка России.\nF. Должны быть выпущены исключительно наличными средствами.\nG. Заключение новых договоров страхования\nH. Мать ребенка или его опекун в случае смерти, недееспособности или лишения родительских прав матери или отказа матери от ребенка\nI. Повторное нарушение требований финансовой устойчивости и платежеспособности\nJ. Если информация об уплате государственной пошлины отсутствует в Государственной информационной системе о государственных и муниципальных платежах в течение пяти рабочих дней с даты подачи заявления\nK. За убытки, причиненные в результате государственной регистрации прав на основании документов, созданных многофункциональным центром в случае нарушения требований закона\nL. Если заявление подано от имени юридического лица без приложения уставных документов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 292, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.12834085524082184, + "B": 0.030483625829219818, + "C": 0.16479291021823883, + "D": 0.041666172444820404, + "E": 0.06869590282440186, + "F": 0.04721396043896675, + "G": 0.09995196014642715, + "H": 0.07784266769886017, + "I": 0.015328127890825272, + "J": 0.015328127890825272, + "K": 0.14542923867702484, + "L": 0.007707467768341303 + }, + "sample": { + "question": "Какое из перечисленных дополнительных оснований позволяет применять меры по предупреждению банкротства страховой организации согласно ст. 184.1 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?", + "answerA": "Заключение новых договоров страхования", + "answerB": "Повторное нарушение требований финансовой устойчивости и платежеспособности", + "answerC": "Предоставление ложных сведений в годовом отчете", + "answerD": "Увеличение объема страховых резервов", + "correct_answer": "B", + "choices": [ + "Если информация об уплате государственной пошлины отсутствует в Государственной информационной системе о государственных и муниципальных платежах в течение пяти рабочих дней с даты подачи заявления", + "Федеральный закон о гражданстве Российской Федерации", + "Предоставление ложных сведений в годовом отчете", + "Любой родственник военнослужащего, не зависимо от степени родства", + "Заключение новых договоров страхования", + "Увеличение объема страховых резервов", + "Повторное нарушение требований финансовой устойчивости и платежеспособности", + "Мать ребенка или его опекун в слу��ае смерти, недееспособности или лишения родительских прав матери или отказа матери от ребенка", + "За убытки, причиненные в результате осуществления государственного кадастрового учета на основе данных от нерегулируемых источников информации", + "За убытки, причиненные в результате государственной регистрации прав на основании документов, созданных многофункциональным центром в случае нарушения требований закона", + "Если заявление подано от имени юридического лица без приложения уставных документов", + "Новые автомобили для личного пользования, ввезенные для продажи." + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКакое из перечисленных дополнительных оснований позволяет применять меры по предупреждению банкротства страховой организации согласно ст. 184.1 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?\nA. Если информация об уплате государственной пошлины отсутствует в Государственной информационной системе о государственных и муниципальных платежах в течение пяти рабочих дней с даты подачи заявления\nB. Федеральный закон о гражданстве Российской Федерации\nC. Предоставление ложных сведений в годовом отчете\nD. Любой родственник военнослужащего, не зависимо от степени родства\nE. Заключение новых договоров страхования\nF. Увеличение объема страховых резервов\nG. Повторное нарушение требований финансовой устойчивости и платежеспособности\nH. Мать ребенка или его опекун в случае смерти, недееспособности или лишения родительских прав матери или отказа матери от ребенка\nI. За убытки, причиненные в результате осуществления государственного кадастрового учета на основе данных от нерегулируемых источников информации\nJ. За убытки, причиненные в результате государственной регистрации прав на основании документов, созданных многофункциональным центром в случае нарушения требований закона\nK. Если заявление подано от имени юридического лица без приложения уставных документов\nL. Новые автомобили для личного пользования, ввезенные для продажи.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 273, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.07051079720258713, + "B": 0.14927135407924652, + "C": 0.1691465973854065, + "D": 0.06222556531429291, + "E": 0.07051079720258713, + "F": 0.1025926023721695, + "G": 0.05491386353969574, + "H": 0.0905376598238945, + "I": 0.01015804335474968, + "J": 0.029393270611763, + "K": 0.01897772215306759, + "L": 0.03330693766474724 + }, + "sample": { + "question": "По какой из причин заявление о государственном кадастровом учете и государственной регистрации прав возвращается без рассмотрения согласно Федеральному закону \"О государственной регистрации недвижимости\" N 218-ФЗ?", + "answerA": "Если заявление подано от имени юридического лица без приложения уставных документов", + "answerB": "Если и��формация об уплате государственной пошлины отсутствует в Государственной информационной системе о государственных и муниципальных платежах в течение пяти рабочих дней с даты подачи заявления", + "answerC": "Если заявление подано в электронном виде, но не соответствует требованиям установленного формата", + "answerD": "Если заявление касается объекта недвижимости, на который уже наложены аресты", + "correct_answer": "B", + "choices": [ + "Бывшие в употреблении товары для личного пользования, ввозимые иностранными специалистами.", + "Если заявление подано от имени юридического лица без приложения уставных документов", + "За убытки, причиненные в результате осуществления государственного кадастрового учета на основе данных от нерегулируемых источников информации", + "Мать ребенка или его опекун в случае смерти, недееспособности или лишения родительских прав матери или отказа матери от ребенка", + "Любой родственник военнослужащего, не зависимо от степени родства", + "Если информация об уплате государственной пошлины отсутствует в Государственной информационной системе о государственных и муниципальных платежах в течение пяти рабочих дней с даты подачи заявления", + "За убытки, причиненные в результате государственной регистрации прав на основании документов, созданных многофункциональным центром в случае нарушения требований закона", + "Федеральный закон о гражданстве Российской Федерации", + "Если заявление подано в электронном виде, но не соответствует требованиям установленного формата", + "Если заявление касается объекта недвижимости, на который уже наложены аресты", + "8 000 рублей", + "Новые автомобили для личного пользования, ввезенные для продажи." + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nПо какой из причин заявление о государственном кадастровом учете и государственной регистрации прав возвращается без рассмотрения согласно Федеральному закону \"О государственной регистрации недвижимости\" N 218-ФЗ?\nA. Бывшие в употреблении товары для личного пользования, ввозимые иностранными специалистами.\nB. Если заявление подано от имени юридического лица без приложения уставных документов\nC. За убытки, причиненные в результате осуществления государственного кадастрового учета на основе данных от нерегулируемых источников информации\nD. Мать ребенка или его опекун в случае смерти, недееспособности или лишения родительских прав матери или отказа матери от ребенка\nE. Любой родственник военнослужащего, не зависимо от степени родства\nF. Если информация об уплате государственной пошлины отсутствует в Государственной информационной системе о государственных и муниципальных платежах в течение пяти рабочих дней с даты подачи заявления\nG. За убытки, причиненные в результате государстве��ной регистрации прав на основании документов, созданных многофункциональным центром в случае нарушения требований закона\nH. Федеральный закон о гражданстве Российской Федерации\nI. Если заявление подано в электронном виде, но не соответствует требованиям установленного формата\nJ. Если заявление касается объекта недвижимости, на который уже наложены аресты\nK. 8 000 рублей\nL. Новые автомобили для личного пользования, ввезенные для продажи.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 285, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.07985443621873856, + "B": 0.054883092641830444, + "C": 0.016738398000597954, + "D": 0.07985443621873856, + "E": 0.1316576898097992, + "F": 0.16905182600021362, + "G": 0.04274299368262291, + "H": 0.03772055730223656, + "I": 0.014771583490073681, + "J": 0.21706683933734894, + "K": 0.04843416064977646, + "L": 0.004232130013406277 + }, + "sample": { + "question": "Кто имеет право на получение ежемесячного пособия на ребенка военнослужащего, проходящего военную службу по призыву, согласно Федеральному закону 'О государственных пособиях гражданам, имеющим детей' N 81-ФЗ, статье 12.5?", + "answerA": "Любой родственник военнослужащего, не зависимо от степени родства", + "answerB": "Мать ребенка или его опекун в случае смерти, недееспособности или лишения родительских прав матери или отказа матери от ребенка", + "answerC": "Отец ребенка военнослужащего, если он также проходит военную службу по призыву", + "answerD": "Мать ребенка военнослужащего, все его братья и сестры", + "correct_answer": "B", + "choices": [ + "Отец ребенка военнослужащего, если он также проходит военную службу по призыву", + "Федеральный закон о миграционном учете иностранных граждан и лиц без гражданства", + "Через три месяца", + "За убытки, причиненные в результате государственной регистрации прав на основании документов, созданных многофункциональным центром в случае нарушения требований закона", + "8 000 рублей", + "Мать ребенка или его опекун в случае смерти, недееспособности или лишения родительских прав матери или отказа матери от ребенка", + "Новые автомобили для личного пользования, ввезенные для продажи.", + "Бывшие в употреблении товары для личного пользования, ввозимые иностранными специалистами.", + "Любой родственник военнослужащего, не зависимо от степени родства", + "Мать ребенка военнослужащего, все его братья и сестры", + "Федеральный закон о гражданстве Российской Федерации", + "За убытки, причиненные в результате осуществления государственного кадастрового учета на основе данных от нерегулируемых источников информации" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКто имеет право на получение ежемесячного пособия на ребенка военнослужащего, проходящего военную службу по призыву, согласно Федеральному закону 'О государственных пособиях гражданам, имеющим детей' N 81-ФЗ, статье 12.5?\nA. Отец ребенка военнослужащего, если он также проходит военную службу по призыву\nB. Федеральный закон о миграционном учете иностранных граждан и лиц без гражданства\nC. Через три месяца\nD. За убытки, причиненные в результате государственной регистрации прав на основании документов, созданных многофункциональным центром в случае нарушения требований закона\nE. 8 000 рублей\nF. Мать ребенка или его опекун в случае смерти, недееспособности или лишения родительских прав матери или отказа матери от ребенка\nG. Новые автомобили для личного пользования, ввезенные для продажи.\nH. Бывшие в употреблении товары для личного пользования, ввозимые иностранными специалистами.\nI. Любой родственник военнослужащего, не зависимо от степени родства\nJ. Мать ребенка военнослужащего, все его братья и сестры\nK. Федеральный закон о гражданстве Российской Федерации\nL. За убытки, причиненные в результате осуществления государственного кадастрового учета на основе данных от нерегулируемых источников информации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 270, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.44664016366004944, + "B": 0.18618731200695038, + "C": 0.08794865757226944, + "D": 0.04707552492618561, + "E": 0.041544005274772644, + "F": 0.028552750125527382, + "G": 0.028552750125527382, + "H": 0.022236904129385948, + "I": 0.006781872361898422, + "J": 0.004378706216812134, + "K": 0.004661108832806349, + "L": 0.0006308124284259975 + }, + "sample": { + "question": "Какие товары могут быть ввезены с освобождением от уплаты таможенных пошлин и налогов при временном ввозе для личного пользования в соответствии со Статьей 193 Федерального закона \"О таможенном регулировании в Российской Федерации\" N 289-ФЗ?", + "answerA": "Новые автомобили для личного пользования, ввезенные для продажи.", + "answerB": "Бывшие в употреблении товары для личного пользования, ввозимые иностранными специалистами.", + "answerC": "Товары для личного пользования, превышающие стоимостные и весовые нормы ввоза.", + "answerD": "Любые товары для личного пользования, при условии предъявления счета-фактуры.", + "correct_answer": "answerB", + "choices": [ + "Любые товары для личного пользования, при условии предъявления счета-фактуры.", + "Бывшие в употреблении товары для личного пользования, ввозимые иностранными специалистами.", + "Перерасчет размера пособия на питание детей", + "Через один месяц", + "Новые автомобили для личного пользования, ввезенные для продажи.", + "8 000 рублей", + "Товары для личного пользования, превышающие стоимостные и весовые нормы ввоза.", + "Федеральный закон о миграционном учете иностранных граждан и лиц без гражданства", + "Через три месяца", + "Процент налогообложения для муниципальных образований", + "Федеральный закон о гражданстве Российской Федерации", + "50 000 рублей" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКакие товары могут быть ввезены с освобождением от уплаты таможенных пошлин и налогов при временном ввозе для личного пользования в соответствии со Статьей 193 Федерального закона \"О таможенном регулировании в Российской Федерации\" N 289-ФЗ?\nA. Любые товары для личного пользования, при условии предъявления счета-фактуры.\nB. Бывшие в употреблении товары для личного пользования, ввозимые иностранными специалистами.\nC. Перерасчет размера пособия на питание детей\nD. Через один месяц\nE. Новые автомобили для личного пользования, ввезенные для продажи.\nF. 8 000 рублей\nG. Товары для личного пользования, превышающие стоимостные и весовые нормы ввоза.\nH. Федеральный закон о миграционном учете иностранных граждан и лиц без гражданства\nI. Через три месяца\nJ. Процент налогообложения для муниципальных образований\nK. Федеральный закон о гражданстве Российской Федерации\nL. 50 000 рублей\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 228, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.002294349018484354, + "B": 0.9256064295768738, + "C": 0.00550385657697916, + "D": 0.002599838189780712, + "E": 0.00012159604375483468, + "F": 2.888159178837668e-05, + "G": 4.4732685637427494e-05, + "H": 1.364269610348856e-05, + "I": 9.981210496334825e-06, + "J": 3.9476450183428824e-05, + "K": 2.2493004507850856e-05, + "L": 3.908698090526741e-06 + }, + "sample": { + "question": "Согласно Федеральному закону \"О правовом положении иностранных граждан в Российской Федерации\" N 115-ФЗ, в соответствии с каким федеральным законом осуществляется миграционный учет иностранных граждан и лиц без гражданства?", + "answerA": "Федеральный закон о гражданстве Российской Федерации", + "answerB": "Федеральный закон о миграционном учете иностранных граждан и лиц без гражданства", + "answerC": "Федеральный закон об образовании в Российской Федерации", + "answerD": "Федеральный закон о полиции", + "correct_answer": "Федеральный закон о миграционном учете иностранных граждан и лиц без гражданства", + "choices": [ + "Три дня", + "Федеральный закон о миграционном учете иностранных граждан и лиц без гражданства", + "Федеральный закон о гражданстве Российской Федерации", + "50 000 рублей", + "Требования к должностям муниципальной службы, определение статуса муниципального служащего, условия и порядок прохождения муниципальной службы", + "Перерасчет размера пособия на питание детей", + "Федеральный закон о полиции", + "Через три месяца", + "Через один месяц", + "Процент налогообложения для муниципальных образований", + "8 000 рублей", + "Федеральный закон об образовании в Российской Федерации" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nСогласно Федеральному закону \"О правовом положении иностранных граждан в Российской Федерации\" N 115-ФЗ, в соответствии с каким федеральным законом осуществляется миграционный учет иностранных граждан и лиц без гражданства?\nA. Три дня\nB. Федеральный закон о миграционном учете иностранных граждан и лиц без гражданства\nC. Федеральный закон о гражданстве Российской Федерации\nD. 50 000 рублей\nE. Требования к должностям муниципальной службы, определение статуса муниципального служащего, условия и порядок прохождения муниципальной службы\nF. Перерасчет размера пособия на питание детей\nG. Федеральный закон о полиции\nH. Через три месяца\nI. Через один месяц\nJ. Процент налогообложения для муниципальных образований\nK. 8 000 рублей\nL. Федеральный закон об образовании в Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 185, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.3128553032875061, + "B": 0.10156924277544022, + "C": 0.061604857444763184, + "D": 0.21502210199832916, + "E": 0.04234036058187485, + "F": 0.08963454514741898, + "G": 0.03736523911356926, + "H": 0.04234036058187485, + "I": 0.012130715884268284, + "J": 0.025680726394057274, + "K": 0.00538297276943922, + "L": 0.0009354204521514475 + }, + "sample": { + "question": "Какой срок установлен для закрытия реестра требований кредиторов после опубликования сведений о признании должника банкротом и об открытии конкурсного производства согласно Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ?", + "answerA": "Через три месяца", + "answerB": "Через один месяц", + "answerC": "Через два месяца", + "answerD": "Через шесть месяцев", + "correct_answer": "Через два месяца", + "choices": [ + "Пятнадцать дней", + "Через два месяца", + "Сертификация всех средств связи проводится на добровольной основе.", + "Через три месяца", + "В долларах США по курсу, установленному Всемирным банком, на дату начала процедуры банкротства.", + "Три дня", + "Процент налогообложения для муниципальных образований", + "Через один месяц", + "Требования к должностям муниципальной службы, определение статуса муниципального служащего, условия и порядок прохождения муниципальной службы", + "Через шесть месяцев", + "Индексация государственных пособий", + "Перерасчет размера пособия на питание детей" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКакой срок установлен для закрытия реестра требований кредиторов после опубликования сведений о признании должника банкротом и об открытии конкурсного производства согласно Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ?\nA. Пятнадцать дней\nB. Через два месяца\nC. Сертификация всех средств связи проводится на добровольной основе.\nD. Через три месяца\nE. В долларах США по курсу, установленному Всемирным банком, на дату начала процедуры банкротства.\nF. Три дня\nG. Процент на��огообложения для муниципальных образований\nH. Через один месяц\nI. Требования к должностям муниципальной службы, определение статуса муниципального служащего, условия и порядок прохождения муниципальной службы\nJ. Через шесть месяцев\nK. Индексация государственных пособий\nL. Перерасчет размера пособия на питание детей\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 188, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0023485729470849037, + "B": 0.12045880407094955, + "C": 0.003015627386048436, + "D": 0.020932601764798164, + "E": 0.009887860156595707, + "F": 0.006384082604199648, + "G": 0.018472954630851746, + "H": 0.022282637655735016, + "I": 0.002832919592037797, + "J": 0.28896564245224, + "K": 0.17526651918888092, + "L": 0.22504667937755585 + }, + "sample": { + "question": "Что регулирует правовое регулирование муниципальной службы согласно Федеральному закону 'Об общих принципах организации местного самоуправления в РФ' и Статье 42?", + "answerA": "Процент налогообложения для муниципальных образований", + "answerB": "Требования к должностям муниципальной службы, определение статуса муниципального служащего, условия и порядок прохождения муниципальной службы", + "answerC": "Систему штрафов за нарушение муниципального законодательства", + "answerD": "Регламентацию местных праздников и массовых мероприятий", + "correct_answer": "answerB", + "choices": [ + "Три дня", + "Подтверждение соответствия осуществляется путем обязательной сертификации или принятия декларации о соответствии.", + "Перерасчет размера пособия на питание детей", + "Сертификация всех средств связи проводится на добровольной основе.", + "Индексация государственных пособий", + "Процент налогообложения для муниципальных образований", + "Регламентацию местных праздников и массовых мероприятий", + "Пятнадцать дней", + "В долларах США по курсу, установленному Всемирным банком, на дату начала процедуры банкротства.", + "Систему штрафов за нарушение муниципального законодательства", + "Нахождение в длительной командировке за границей", + "Требования к должностям муниципальной службы, определение статуса муниципального служащего, условия и порядок прохождения муниципальной службы" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nЧто регулирует правовое регулирование муниципальной службы согласно Федеральному закону 'Об общих принципах организации местного самоуправления в РФ' и Статье 42?\nA. Три дня\nB. Подтверждение соответствия осуществляется путем обязательной сертификации или принятия декларации о соответствии.\nC. Перерасчет размера пособия на питание детей\nD. Сертификация всех средств связи проводится на добровольной основе.\nE. Индексация государственных пособий\nF. Процент налогообложения для муниципальных образований\nG. Регламентацию местных праздников и массовых мероприятий\nH. Пятнадцать дней\nI. В долларах США по курсу, установленному Всемирным банком, на дату начала процедуры банкротства.\nJ. Систему штрафов за нарушение муниципального законодательства\nK. Нахождение в длительной командировке за границей\nL. Требования к должностям муниципальной службы, определение статуса муниципального служащего, условия и порядок прохождения муниципальной службы\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 199, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.010599319823086262, + "B": 0.02881193906068802, + "C": 0.2128930240869522, + "D": 0.6557566523551941, + "E": 0.009353866800665855, + "F": 0.013609794899821281, + "G": 0.019802136346697807, + "H": 0.009353866800665855, + "I": 0.0009858902776613832, + "J": 0.001960677094757557, + "K": 0.003232609713450074, + "L": 0.00028246230795048177 + }, + "sample": { + "question": "Какой процесс в соответствии со Статьей 4.2 Федерального закона 'О государственных пособиях гражданам, имеющим детей' N 81-ФЗ происходит один раз в год с 1 февраля текущего года?", + "answerA": "Перерасчет размера пособия на питание детей", + "answerB": "Индексация государственных пособий", + "answerC": "Введение новых видов пособий для детей", + "answerD": "Отмена старых пособий и введение новых регламентов", + "correct_answer": "Индексация государственных пособий", + "choices": [ + "Нахождение в длительной командировке за границей", + "Пятнадцать дней", + "Отмена старых пособий и введение новых регламентов", + "Перерасчет размера пособия на питание детей", + "Сертификация всех средств связи проводится на добровольной основе.", + "В долларах США по курсу, установленному Всемирным банком, на дату начала процедуры банкротства.", + "Введение новых видов пособий для детей", + "Индексация государственных пособий", + "В рублях по курсу, установленному Центральным банком Российской Федерации, на дату подачи заявления о банкротстве.", + "Наименование данного нарушения будет официально зарегистрировано в общероссийском реестре муниципальных нарушений.", + "Подтверждение соответствия осуществляется путем обязательной сертификации или принятия декларации о соответствии.", + "Три дня" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакой процесс в соответствии со Статьей 4.2 Федерального закона 'О государственных пособиях гражданам, имеющим детей' N 81-ФЗ происходит один раз в год с 1 февраля текущего года?\nA. Нахождение в длительной командировке за границей\nB. Пятнадцать дней\nC. Отмена старых пособий и введение новых регламентов\nD. Перерасчет размера пособия на питание детей\nE. Сертификация всех средств связи проводится на добровольной основе.\nF. В долларах США по курсу, установленному Всемирным банком, на дату начала процедуры банкротства.\nG. Введение новых видов пособий для детей\nH. Индексация государственных пособий\nI. В рублях по курсу, установленному Центральным банком Российской Федерации, на дату подачи заявления о банкротстве.\nJ. Наименование данного нарушения будет официально зарегистрировано в общероссийском реестре муниципальных нарушений.\nK. Подтверждение соответствия осуществляется путем обязательной сертификации или принятия декларации о соответствии.\nL. Три дня\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 227, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.19553732872009277, + "B": 0.07193417102098465, + "C": 0.06348168104887009, + "D": 0.08151208609342575, + "E": 0.11859939247369766, + "F": 0.11859939247369766, + "G": 0.049439579248428345, + "H": 0.056022386997938156, + "I": 0.049439579248428345, + "J": 0.07193417102098465, + "K": 0.008070790208876133, + "L": 0.02646310068666935 + }, + "sample": { + "question": "Сколько дней отводится иностранному гражданину на выезд из Российской Федерации в случае аннулирования его разрешения на временное проживание?", + "answerA": "Три дня", + "answerB": "Пятнадцать дней", + "answerC": "Семь дней", + "answerD": "Тридцать дней", + "correct_answer": "B", + "choices": [ + "Семь дней", + "Иметь двух и более детей", + "Все солдаты, служащие по призыву", + "Сертификация всех средств связи проводится на добровольной основе.", + "Наименование данного нарушения будет официально зарегистрировано в общероссийском реестре муниципальных нарушений.", + "Пятнадцать дней", + "В долларах США по курсу, установленному Всемирным банком, на дату начала процедуры банкротства.", + "Нахождение в длительной командировке за границей", + "Три дня", + "Тридцать дней", + "В рублях по курсу, установленному Центральным банком Российской Федерации, на дату подачи заявления о банкротстве.", + "Подтверждение соответствия осуществляется путем обязательной сертификации или принятия декларации о соответствии." + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nСколько дней отводится иностранному гражданину на выезд из Российской Федерации в случае аннулирования его разрешения на временное проживание?\nA. Семь дней\nB. Иметь двух и более детей\nC. Все солдаты, служащие по призыву\nD. Сертификация всех средств связи проводится на добровольной основе.\nE. Наименование данного нарушения будет официально зарегистрировано в общероссийском реестре муниципальных нарушений.\nF. Пятнадцать дней\nG. В долларах США по курсу, установленному Всемирным банком, на дату начала процедуры банкротства.\nH. Нахождение в длительной командировке за границей\nI. Три дня\nJ. Тридцать дней\nK. В рублях по курсу, установленному Центральным банком Российской Федерации, на дату подачи заявления о банкротстве.\nL. Подтверждение соответствия осуществляется путем обязательной сертификации или принятия декларации о соответствии.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 201, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0004165684513282031, + "B": 0.0006451938534155488, + "C": 0.00028630305314436555, + "D": 0.0013658753596246243, + "E": 0.7531734704971313, + "F": 0.0009387515601702034, + "G": 0.002251947997137904, + "H": 0.007383853197097778, + "I": 0.00018485114560462534, + "J": 0.0007311003864742815, + "K": 0.0034878854639828205, + "L": 0.0009387515601702034 + }, + "sample": { + "question": "Какой порядок определен Федеральным законом \"О связи\" N 126-ФЗ относительно подтверждения соответствия средств связи установленным требованиям?", + "answerA": "Сертификация всех средств связи проводится на добровольной основе.", + "answerB": "Подтверждение соответствия осуществляется путем обязательной сертификации или принятия декларации о соответствии.", + "answerC": "Только средства связи, используемые в технологических сетях связи и сетях связи специального назначения, подлежат обязательной сертификации.", + "answerD": "Подтверждение соответствия требует прохождения лишь внутреннего аудита компании.", + "correct_answer": "answerB", + "choices": [ + "Все солдаты, служащие по призыву", + "Частные предприятия, получающие субсидии из федерального бюджета", + "В долларах США по курсу, установленному Всемирным банком, на дату начала процедуры банкротства.", + "Сертификация всех средств связи проводится на добровольной основе.", + "Подтверждение соответствия осуществляется путем обязательной сертификации или принятия декларации о соответствии.", + "Ответственные должностные лица подлежат административной ответственности в виде штрафа.", + "В рублях по курсу, установленному Центральным банком Российской Федерации, на дату подачи заявления о банкротстве.", + "Иметь двух и более детей", + "Нахождение в длительной командировке за границей", + "Наименование данного нарушения будет официально зарегистрировано в общероссийском реестре муниципальных нарушений.", + "Подтверждение соответствия требует прохождения лишь внутреннего аудита компании.", + "Только средства связи, используемые в технологических сетях связи и сетях связи специального назначения, подлежат обязательной сертификации." + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКакой порядок определен Федеральным законом \"О связи\" N 126-ФЗ относительно подтверждения соответствия средств связи установленным требованиям?\nA. Все солдаты, служащие по призыву\nB. Частные предприятия, получающие субсидии из федерального бюджета\nC. В долларах США по курсу, установленному Всемирным банком, на дату начала процедуры банкротства.\nD. Сертификация всех средств связи проводится на добровольной основе.\nE. Подтверждение соответствия осуществляется путем обязательной сертификации или принятия декларации о соответствии.\nF. Ответственные должностные лица подлежат административной ответственности в виде штрафа.\nG. В рублях по курсу, установленному Центральным банком Российской Федерации, на дату подачи заявления о банкротстве.\nH. Иметь двух и более детей\nI. Нахождение в длительной командировке за границей\nJ. Наименование данного нарушения будет официально зарегистрировано в общероссийском реестре муниципальных нарушений.\nK. Подтверждение соответствия требует прохождения лишь внутреннего аудита компании.\nL. Только средства связи, используемые в технологических сетях связи и сетях связи специального назначения, подлежат обязательной сертификации.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 244, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.5437493920326233, + "B": 0.014490430243313313, + "C": 0.13748137652873993, + "D": 0.0347607359290123, + "E": 0.023890681564807892, + "F": 0.044633667916059494, + "G": 0.08338667452335358, + "H": 0.014490430243313313, + "I": 0.009959117509424686, + "J": 0.0032332520931959152, + "K": 0.01860608160495758, + "L": 0.00020669489458668977 + }, + "sample": { + "question": "Как определяется размер денежных обязательств, требований о выплате выходных пособий и (или) об оплате труда лиц, работающих или работавших по трудовому договору, и обязательных платежей, выраженных в иностранной валюте, в рамках процедуры банкротства согласно Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ?", + "answerA": "В долларах США по курсу, установленному Всемирным банком, на дату начала процедуры банкротства.", + "answerB": "В рублях по курсу, установленному Центральным банком Российской Федерации, на дату подачи заявления о банкротстве.", + "answerC": "В рублях по курсу, установленному Центральным банком Российской Федерации, на дату введения каждой процедуры, применяемой в деле о банкротстве и следующей после наступления срока исполнения соответствующего обязательства.", + "answerD": "В евро по курсу Европейского центрального банка на дату окончательного решения суда о банкротстве.", + "correct_answer": "answerC", + "choices": [ + "В рублях по курсу, установленному Центральным банком Российской Федерации, на дату введения каждой процедуры, применяемой в деле о банкротстве и следующей после наступления срока исполнения соответствующего обязательства.", + "Только офицеры, имеющие воинское звание и прослужившие на офицерских должностях менее 10 лет", + "В долларах США по курсу, установленному Всемирным банком, на дату начала процедуры банкротства.", + "Наименование данного нарушения будет официально зарегистрировано в общероссийском реестре муниципальных нарушений.", + "Ответственные должностные лица подлежат административной ответственности в виде штрафа.", + "Частные предприятия, получающие субсидии из федерального б��джета", + "В рублях по курсу, установленному Центральным банком Российской Федерации, на дату подачи заявления о банкротстве.", + "Все солдаты, служащие по призыву", + "Иметь двух и более детей", + "В евро по курсу Европейского центрального банка на дату окончательного решения суда о банкротстве.", + "Вносит информацию о нарушении в статистическую отчетность", + "Нахождение в длительной командировке за границей" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКак определяется размер денежных обязательств, требований о выплате выходных пособий и (или) об оплате труда лиц, работающих или работавших по трудовому договору, и обязательных платежей, выраженных в иностранной валюте, в рамках процедуры банкротства согласно Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ?\nA. В рублях по курсу, установленному Центральным банком Российской Федерации, на дату введения каждой процедуры, применяемой в деле о банкротстве и следующей после наступления срока исполнения соответствующего обязательства.\nB. Только офицеры, имеющие воинское звание и прослужившие на офицерских должностях менее 10 лет\nC. В долларах США по курсу, установленному Всемирным банком, на дату начала процедуры банкротства.\nD. Наименование данного нарушения будет официально зарегистрировано в общероссийском реестре муниципальных нарушений.\nE. Ответственные должностные лица подлежат административной ответственности в виде штрафа.\nF. Частные предприятия, получающие субсидии из федерального бюджета\nG. В рублях по курсу, установленному Центральным банком Российской Федерации, на дату подачи заявления о банкротстве.\nH. Все солдаты, служащие по призыву\nI. Иметь двух и более детей\nJ. В евро по курсу Европейского центрального банка на дату окончательного решения суда о банкротстве.\nK. Вносит информацию о нарушении в статистическую отчетность\nL. Нахождение в длительной командировке за границей\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 315, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.033186253160238266, + "B": 0.1158313974738121, + "C": 0.27786508202552795, + "D": 0.09020958095788956, + "E": 0.029286762699484825, + "F": 0.042611993849277496, + "G": 0.10222086310386658, + "H": 0.0547148771584034, + "I": 0.005089276470243931, + "J": 0.033186253160238266, + "K": 0.09020958095788956, + "L": 0.009508020244538784 + }, + "sample": { + "question": "Какое из следующих обстоятельств является основанием для предоставления отсрочки от призыва на военную службу согласно Федеральному закону 'О воинской обязанности и военной службе' N 53-ФЗ?", + "answerA": "Нахождение в длительной командировке за границей", + "answerB": "Иметь двух и более детей", + "answerC": "Получение первичного профессионального образования на заочной основе", + "answerD": "Занятие профессиональным спортом на уровне национальной сборной", + "correct_answer": "Иметь двух и более детей", + "choices": [ + "с 1 марта 2022 года", + "Вносит информацию о нарушении в статистическую отчетность", + "Иметь двух и более детей", + "Все солдаты, служащие по призыву", + "Неправительственные организации, оказывающие социальные услуги", + "Наименование данного нарушения будет официально зарегистрировано в общероссийском реестре муниципальных нарушений.", + "Только офицеры, имеющие воинское звание и прослужившие на офицерских должностях менее 10 лет", + "Занятие профессиональным спортом на уровне национальной сборной", + "Получение первичного профессионального образования на заочной основе", + "Частные предприятия, получающие субсидии из федерального бюджета", + "Нахождение в длительной командировке за границей", + "Ответственные должностные лица подлежат административной ответственности в виде штрафа." + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКакое из следующих обстоятельств является основанием для предоставления отсрочки от призыва на военную службу согласно Федеральному закону 'О воинской обязанности и военной службе' N 53-ФЗ?\nA. с 1 марта 2022 года\nB. Вносит информацию о нарушении в статистическую отчетность\nC. Иметь двух и более детей\nD. Все солдаты, служащие по призыву\nE. Неправительственные организации, оказывающие социальные услуги\nF. Наименование данного нарушения будет официально зарегистрировано в общероссийском реестре муниципальных нарушений.\nG. Только офицеры, имеющие воинское звание и прослужившие на офицерских должностях менее 10 лет\nH. Занятие профессиональным спортом на уровне национальной сборной\nI. Получение первичного профессионального образования на заочной основе\nJ. Частные предприятия, получающие субсидии из федерального бюджета\nK. Нахождение в длительной командировке за границей\nL. Ответственные должностные лица подлежат административной ответственности в виде штрафа.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 227, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0012251919833943248, + "B": 0.03363601863384247, + "C": 0.001897614449262619, + "D": 0.010258406400680542, + "E": 0.004552140366286039, + "F": 0.0033304172102361917, + "G": 0.00549092935398221, + "H": 0.8674843907356262, + "I": 0.0006557980086654425, + "J": 0.0022889599204063416, + "K": 0.005845063831657171, + "L": 0.03363601863384247 + }, + "sample": { + "question": "В соответствии со Статьей 45 Федерального закона 'Об общих принципах организации местного самоуправления в РФ' (закон о МСУ) N 131-ФЗ, каковы последствия нарушения срока издания муниципального правового акта, необходимого для реализации решения, принятого путем прямого волеизъявления населения?", + "answerA": "Наименование данного нарушения будет официально зарегистрировано в общероссийском реестре муниципальных нарушений.", + "answerB": "Ответственные должностные лица подлежат административной ответственности в виде штрафа.", + "answerC": "Нарушение является основанием для отзыва выборного должностного лица местного самоуправления, досрочного прекращения полномочий главы местной администрации, осуществляемых на основе контракта, или досрочного прекращения полномочий выборного органа местного самоуправления.", + "answerD": "Должностное лицо, ответственное за издание акта, обязано компенсировать моральный ущерб гражданам муниципального образования.", + "correct_answer": "C", + "choices": [ + "Только на коммерческие цели", + "Наименование данного нарушения будет официально зарегистрировано в общероссийском реестре муниципальных нарушений.", + "Только офицеры, имеющие воинское звание и прослужившие на офицерских должностях менее 10 лет", + "Оценивает исполнение решения путем проведения контрольного (надзорного) мероприятия", + "Частные предприятия, получающие субсидии из федерального бюджета", + "Ответственные должностные лица подлежат административной ответственности в виде штрафа.", + "с 1 марта 2022 года", + "Нарушение является основанием для отзыва выборного должностного лица местного самоуправления, досрочного прекращения полномочий главы местной администрации, осуществляемых на основе контракта, или досрочного прекращения полномочий выборного органа местного самоуправления.", + "Должностное лицо, ответственное за издание акта, обязано компенсировать моральный ущерб гражданам муниципального образования.", + "Неправительственные организации, оказывающие социальные услуги", + "Вносит информацию о нарушении в статистическую отчетность", + "Все солдаты, служащие по призыву" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nВ соответствии со Статьей 45 Федерального закона 'Об общих принципах организации местного самоуправления в РФ' (закон о МСУ) N 131-ФЗ, каковы последствия нарушения срока издания муниципального правового акта, необходимого для реализации решения, принятого путем прямого волеизъявления населения?\nA. Только на коммерческие цели\nB. Наименование данного нарушения будет официально зарегистрировано в общероссийском реестре муниципальных нарушений.\nC. Только офицеры, имеющие воинское звание и прослужившие на офицерских должностях менее 10 лет\nD. Оценивает исполнение решения путем проведения контрольного (надзорного) мероприятия\nE. Частные предприятия, получающие субсидии из федерального бюджета\nF. Ответственные должностные лица подлежат административной ответственности в виде штрафа.\nG. с 1 марта 2022 года\nH. Нарушение является основанием для отзыва выборного должностного лица местного самоуправления, досрочного прекращения полномочий главы местной администрации, осуществляемых на основе контракта, или досрочного прекращения полномочий выборного органа местного самоуправления.\nI. Должностное лицо, ответственное за издание акта, обязано компенсировать моральный ущерб гражданам муниципального образования.\nJ. Неправительственные организации, оказывающие социальные услуги\nK. Вносит информацию о нарушении в статистическую отчетность\nL. Все солдаты, служащие по призыву\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 294, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.010010158643126488, + "B": 0.022558240219950676, + "C": 0.014564694836735725, + "D": 0.021191507577896118, + "E": 0.03719225525856018, + "F": 0.007795919198542833, + "G": 0.01065575797110796, + "H": 0.013682263903319836, + "I": 0.04775579646229744, + "J": 0.659248411655426, + "K": 0.06948427110910416, + "L": 0.0018516932614147663 + }, + "sample": { + "question": "Какие военнослужащие имеют право на приостановление военной службы в соответствии со статьей 45 Федерального закона 'О воинской обязанности и военной службе' N 53-ФЗ?", + "answerA": "Все солдаты, служащие по призыву", + "answerB": "Только офицеры, имеющие воинское звание и прослужившие на офицерских должностях менее 10 лет", + "answerC": "Военнослужащие, проходящие военную службу по контракту и избранные в депутаты или назначенные на постоянные полномочия государственной власти", + "answerD": "Лишь солдаты, награжденные государственными наградами за боевые заслуги", + "correct_answer": "C", + "choices": [ + "Оценивает исполнение решения путем проведения контрольного (надзорного) мероприятия", + "Частные предприятия, получающие субсидии из федерального бюджета", + "Неправительственные организации, оказывающие социальные услуги", + "Лишь солдаты, награжденные государственными наградами за боевые заслуги", + "Была дополнена новыми положениями о защите редких видов", + "Вносит информацию о нарушении в статистическую отчетность", + "Все солдаты, служащие по призыву", + "Только на коммерческие цели", + "Только офицеры, имеющие воинское звание и прослужившие на офицерских должностях менее 10 лет", + "Военнослужащие, проходящие военную службу по контракту и избранные в депутаты или назначенные на постоянные полномочия государственной власти", + "с 1 июля 2021 года", + "с 1 марта 2022 года" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКакие военнослужащие имеют право на приостановление военной службы в соответствии со статьей 45 Федерального закона 'О воинской обязанности и военной службе' N 53-ФЗ?\nA. Оценивает исполнение решения путем проведения контрольного (надзорного) мероприятия\nB. Частные предприятия, получающие субсидии из федерального бюджета\nC. Неправительственные организации, оказывающие социальные услуги\nD. Лишь солдаты, награжденные государственны��и наградами за боевые заслуги\nE. Была дополнена новыми положениями о защите редких видов\nF. Вносит информацию о нарушении в статистическую отчетность\nG. Все солдаты, служащие по призыву\nH. Только на коммерческие цели\nI. Только офицеры, имеющие воинское звание и прослужившие на офицерских должностях менее 10 лет\nJ. Военнослужащие, проходящие военную службу по контракту и избранные в депутаты или назначенные на постоянные полномочия государственной власти\nK. с 1 июля 2021 года\nL. с 1 марта 2022 года\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 235, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.06577794998884201, + "B": 0.08446056395769119, + "C": 0.229587584733963, + "D": 0.09570634365081787, + "E": 0.03520840033888817, + "F": 0.05122791603207588, + "G": 0.1577930897474289, + "H": 0.05122791603207588, + "I": 0.003076475579291582, + "J": 0.013787806034088135, + "K": 0.05122791603207588, + "L": 0.007856055162847042 + }, + "sample": { + "question": "Кто из перечисленных является государственным заказчиком согласно Федеральному закону 'О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд' N 44-ФЗ, Статья 4?", + "answerA": "Частные предприятия, получающие субсидии из федерального бюджета", + "answerB": "Неправительственные организации, оказывающие социальные услуги", + "answerC": "Орган управления государственными внебюджетными фондами", + "answerD": "Иностранные дипломатические представительства", + "correct_answer": "answerC", + "choices": [ + "Иностранные дипломатические представительства", + "Вносит информацию о нарушении в статистическую отчетность", + "Оценивает исполнение решения путем проведения контрольного (надзорного) мероприятия", + "с 1 июля 2021 года", + "Только на коммерческие цели", + "Регулирование радиочастотного спектра не относится к исключительным правам государства.", + "Орган управления государственными внебюджетными фондами", + "Частные предприятия, получающие субсидии из федерального бюджета", + "с 1 марта 2022 года", + "Была дополнена новыми положениями о защите редких видов", + "Только на получение прибыли от финансовых операций", + "Неправительственные организации, оказывающие социальные услуги" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКто из перечисленных является государственным заказчиком согласно Федеральному закону 'О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд' N 44-ФЗ, Статья 4?\nA. Иностранные дипломатические представительства\nB. Вносит информацию о нарушении в статистическую отчетность\nC. Оценивает исполнение решения путем проведения контрольного (надзорного) мероприятия\nD. с 1 июля 2021 года\nE. Только на коммерческие цели\nF. Регулирование радиочастотного спектра не ��тносится к исключительным правам государства.\nG. Орган управления государственными внебюджетными фондами\nH. Частные предприятия, получающие субсидии из федерального бюджета\nI. с 1 марта 2022 года\nJ. Была дополнена новыми положениями о защите редких видов\nK. Только на получение прибыли от финансовых операций\nL. Неправительственные организации, оказывающие социальные услуги\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 215, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.6042097806930542, + "B": 0.016101645305752754, + "C": 0.023427754640579224, + "D": 0.026547124609351158, + "E": 0.009766140952706337, + "F": 0.002047094516456127, + "G": 0.005564579274505377, + "H": 0.002047094516456127, + "I": 0.25187209248542786, + "J": 0.002978504868224263, + "K": 0.0007074569002725184, + "L": 4.2486091842874885e-05 + }, + "sample": { + "question": "Что делает контрольный (надзорный) орган, если контролируемое лицо не представило документы, необходимые для подтверждения исполнения решения?", + "answerA": "Вносит информацию о нарушении в статистическую отчетность", + "answerB": "Оценивает исполнение решения путем проведения контрольного (надзорного) мероприятия", + "answerC": "Направляет запрос на получение документов в другие государственные органы", + "answerD": "Проводит аналитическую работу по сбору дополнительных сведений", + "correct_answer": "B", + "choices": [ + "Оценивает исполнение решения путем проведения контрольного (надзорного) мероприятия", + "Направляет запрос на получение документов в другие государственные органы", + "с 1 июля 2021 года", + "Была полностью переписана для уточнения экологических стандартов", + "Только на получение прибыли от финансовых операций", + "Только на федеральном уровне", + "с 1 марта 2022 года", + "Регулирование радиочастотного спектра не относится к исключительным правам государства.", + "Проводит аналитическую работу по сбору дополнительных сведений", + "Была дополнена новыми положениями о защите редких видов", + "Только на коммерческие цели", + "Вносит информацию о нарушении в статистическую отчетность" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nЧто делает контрольный (надзорный) орган, если контролируемое лицо не представило документы, необходимые для подтверждения исполнения решения?\nA. Оценивает исполнение решения путем проведения контрольного (надзорного) мероприятия\nB. Направляет запрос на получение документов в другие государственные органы\nC. с 1 июля 2021 года\nD. Была полностью переписана для уточнения экологических стандартов\nE. Только на получение прибыли от финансовых операций\nF. Только на федеральном уровне\nG. с 1 марта 2022 года\nH. Регулирование радиочастотного спектра не относится к исключительным правам государства.\nI. Проводит аналитическую работу по сбору дополнительных свед��ний\nJ. Была дополнена новыми положениями о защите редких видов\nK. Только на коммерческие цели\nL. Вносит информацию о нарушении в статистическую отчетность\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 198, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.06611835956573486, + "B": 0.051493026316165924, + "C": 0.17972831428050995, + "D": 0.12352535128593445, + "E": 0.021465487778186798, + "F": 0.05834924057126045, + "G": 0.17972831428050995, + "H": 0.051493026316165924, + "I": 0.008406005799770355, + "J": 0.021465487778186798, + "K": 0.15860968828201294, + "L": 0.002905037719756365 + }, + "sample": { + "question": "Когда утратила силу статья 39.2 Федерального закона 'О прокуратуре Российской Федерации' N 2202-1-ФЗ?", + "answerA": "с 1 марта 2022 года", + "answerB": "с 1 июля 2021 года", + "answerC": "с 1 января 2023 года", + "answerD": "с 1 июля 2020 года", + "correct_answer": "с 1 января 2023 года", + "choices": [ + "с 1 июля 2021 года", + "Была полностью переписана для уточнения экологических стандартов", + "Только на получение прибыли от финансовых операций", + "Регулирование радиочастотного спектра не относится к исключительным правам государства.", + "Только на коммерческие цели", + "с 1 марта 2022 года", + "с 1 июля 2020 года", + "Издавать общеобязательные нормативные акты для всех граждан Российской Федерации", + "Регулирование использования радиочастотного спектра осуществляется исключительно местными органами власти.", + "Была дополнена новыми положениями о защите редких видов", + "Только на федеральном уровне", + "с 1 января 2023 года" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКогда утратила силу статья 39.2 Федерального закона 'О прокуратуре Российской Федерации' N 2202-1-ФЗ?\nA. с 1 июля 2021 года\nB. Была полностью переписана для уточнения экологических стандартов\nC. Только на получение прибыли от финансовых операций\nD. Регулирование радиочастотного спектра не относится к исключительным правам государства.\nE. Только на коммерческие цели\nF. с 1 марта 2022 года\nG. с 1 июля 2020 года\nH. Издавать общеобязательные нормативные акты для всех граждан Российской Федерации\nI. Регулирование использования радиочастотного спектра осуществляется исключительно местными органами власти.\nJ. Была дополнена новыми положениями о защите редких видов\nK. Только на федеральном уровне\nL. с 1 января 2023 года\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 202, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0012345564318820834, + "B": 0.018141673877835274, + "C": 0.0007034290465526283, + "D": 0.003802701598033309, + "E": 0.003572307527065277, + "F": 0.002035439247265458, + "G": 0.0012345564318820834, + "H": 0.002035439247265458, + "I": 0.00021453374938573688, + "J": 0.0062695941887795925, + "K": 0.007104382384568453, + "L": 0.8741148114204407 + }, + "sample": { + "question": "На какие цели могут быть направлены д��ятельности ассоциаций (союзов) согласно Федеральному закону \"О некоммерческих организациях\" N 7-ФЗ?", + "answerA": "Только на коммерческие цели", + "answerB": "Только на получение прибыли от финансовых операций", + "answerC": "На представление и защиту общих, в том числе профессиональных, интересов, для достижения общественно полезных, а также иных не противоречащих федеральным законам целей некоммерческого характера", + "answerD": "Только на политическую деятельность", + "correct_answer": "answerC", + "choices": [ + "Регулирование использования радиочастотного спектра осуществляется исключительно местными органами власти.", + "Только на уровне субъектов Российской Федерации", + "Только на политическую деятельность", + "Издавать общеобязательные нормативные акты для всех граждан Российской Федерации", + "Была полностью переписана для уточнения экологических стандартов", + "Расходы на строительство полицейских участков", + "Только на коммерческие цели", + "Была дополнена новыми положениями о защите редких видов", + "Только на федеральном уровне", + "Регулирование радиочастотного спектра не относится к исключительным правам государства.", + "Только на получение прибыли от финансовых операций", + "На представление и защиту общих, в том числе профессиональных, интересов, для достижения общественно полезных, а также иных не противоречащих федеральным законам целей некоммерческого характера" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nНа какие цели могут быть направлены деятельности ассоциаций (союзов) согласно Федеральному закону \"О некоммерческих организациях\" N 7-ФЗ?\nA. Регулирование использования радиочастотного спектра осуществляется исключительно местными органами власти.\nB. Только на уровне субъектов Российской Федерации\nC. Только на политическую деятельность\nD. Издавать общеобязательные нормативные акты для всех граждан Российской Федерации\nE. Была полностью переписана для уточнения экологических стандартов\nF. Расходы на строительство полицейских участков\nG. Только на коммерческие цели\nH. Была дополнена новыми положениями о защите редких видов\nI. Только на федеральном уровне\nJ. Регулирование радиочастотного спектра не относится к исключительным правам государства.\nK. Только на получение прибыли от финансовых операций\nL. На представление и защиту общих, в том числе профессиональных, интересов, для достижения общественно полезных, а также иных не противоречащих федеральным законам целей некоммерческого характера\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 212, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.42546430230140686, + "B": 0.03957434371113777, + "C": 0.030820531770586967, + "D": 0.050814464688301086, + "E": 0.08377888053655624, + "F": 0.044843606650829315, + "G": 0.08377888053655624, + "H": 0.12189756333827972, + "I": 0.03957434371113777, + "J": 0.014558587223291397, + "K": 0.007320517208427191, + "L": 0.006460333708673716 + }, + "sample": { + "question": "Каким образом была изменена Статья 15 Федерального закона \"Об охране окружающей среды\" N 7-ФЗ?", + "answerA": "Была дополнена новыми положениями о защите редких видов", + "answerB": "Была полностью переписана для уточнения экологических стандартов", + "answerC": "Утратила силу в связи с принятием Федерального закона от 22.08.2004 N 122-ФЗ", + "answerD": "Была объявлена неконституционной и исключена из закона", + "correct_answer": "C", + "choices": [ + "Была дополнена новыми положениями о защите редких видов", + "Издавать общеобязательные нормативные акты для всех граждан Российской Федерации", + "Только на уровне субъектов Российской Федерации", + "Квалифицировать ценные бумаги и производные финансовые инструменты и определять их виды", + "Была объявлена неконституционной и исключена из закона", + "Регулирование использования радиочастотного спектра осуществляется исключительно местными органами власти.", + "Регулирование радиочастотного спектра не относится к исключительным правам государства.", + "Только на федеральном уровне", + "Была полностью переписана для уточнения экологических стандартов", + "Расходы на строительство полицейских участков", + "Утратила силу в связи с принятием Федерального закона от 22.08.2004 N 122-ФЗ", + "Статья 15. Права граждан в области пожарной безопасности" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКаким образом была изменена Статья 15 Федерального закона \"Об охране окружающей среды\" N 7-ФЗ?\nA. Была дополнена новыми положениями о защите редких видов\nB. Издавать общеобязательные нормативные акты для всех граждан Российской Федерации\nC. Только на уровне субъектов Российской Федерации\nD. Квалифицировать ценные бумаги и производные финансовые инструменты и определять их виды\nE. Была объявлена неконституционной и исключена из закона\nF. Регулирование использования радиочастотного спектра осуществляется исключительно местными органами власти.\nG. Регулирование радиочастотного спектра не относится к исключительным правам государства.\nH. Только на федеральном уровне\nI. Была полностью переписана для уточнения экологических стандартов\nJ. Расходы на строительство полицейских участков\nK. Утратила силу в связи с принятием Федерального закона от 22.08.2004 N 122-ФЗ\nL. Статья 15. Права граждан в области пожарной безопасности\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 226, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.9048693180084229, + "B": 0.01139062363654375, + "C": 0.0047483183443546295, + "D": 0.007828653790056705, + "E": 0.012907266616821289, + "F": 0.0047483183443546295, + "G": 0.0012779925018548965, + "H": 0.0021070532966405153, + "I": 0.0003439670254010707, + "J": 0.00036615098360925913, + "K": 0.00014338678738567978, + "L": 2.3407250409945846e-05 + }, + "sample": { + "question": "Какое утверждение относительно регулирования использования радиочастотного спектра в Российской Федерации верно?", + "answerA": "Регулирование радиочастотного спектра не относится к исключительным правам государства.", + "answerB": "Регулирование использования радиочастотного спектра осуществляется исключительно местными органами власти.", + "answerC": "Регулирование использования радиочастотного спектра является исключительным правом государства и осуществляется согласно международным договорам и законодательству РФ.", + "answerD": "Все пользователи имеют равные права на использование радиочастотного спектра без каких-либо ограничений и разрешений.", + "correct_answer": "C", + "choices": [ + "Регулирование использования радиочастотного спектра является исключительным правом государства и осуществляется согласно международным договорам и законодательству РФ.", + "Издавать общеобязательные нормативные акты для всех граждан Российской Федерации", + "Финансовое обеспечение деятельности полиции, включая гарантии социальной защиты сотрудников полиции", + "Расходы на строительство полицейских участков", + "Только на уровне субъектов Российской Федерации", + "Регулирование радиочастотного спектра не относится к исключительным правам государства.", + "Все пользователи имеют равные права на использование радиочастотного спектра без каких-либо ограничений и разрешений.", + "Регулирование использования радиочастотного спектра осуществляется исключительно местными органами власти.", + "Местные органы самоуправления", + "Квалифицировать ценные бумаги и производные финансовые инструменты и определять их виды", + "Статья 15. Права граждан в области пожарной безопасности", + "Только на федеральном уровне" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКакое утверждение относительно регулирования использования радиочастотного спектра в Российской Федерации верно?\nA. Регулирование использования радиочастотного спектра является исключительным правом государства и осуществляется согласно международным договорам и законодательству РФ.\nB. Издавать общеобязательные нормативные акты для всех граждан Российской Федерации\nC. Финансовое обеспечение деятельности полиции, включая гарантии социальной защиты сотрудников полиции\nD. Расходы на строительство полицейских участков\nE. Только на уровне субъектов Российской Федерации\nF. Регулирование радиочастотного спектра не относится к исключительным правам государства.\nG. Все пользователи имеют равные права на использование радиочастотного спектра без каких-либо ограничений и разрешений.\nH. Регулирова��ие использования радиочастотного спектра осуществляется исключительно местными органами власти.\nI. Местные органы самоуправления\nJ. Квалифицировать ценные бумаги и производные финансовые инструменты и определять их виды\nK. Статья 15. Права граждан в области пожарной безопасности\nL. Только на федеральном уровне\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 216, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.004865350667387247, + "B": 0.9271716475486755, + "C": 0.00802160706371069, + "D": 0.0037891387473791838, + "E": 0.000700920179951936, + "F": 6.940049934200943e-05, + "G": 0.00012965720088686794, + "H": 0.0001009771294775419, + "I": 9.392335414304398e-06, + "J": 0.00010748959903139621, + "K": 4.480833013076335e-05, + "L": 5.696739663108019e-06 + }, + "sample": { + "question": "На каких уровнях создается система управления государственной службой согласно Федеральному закону 'О системе государственной службы Российской Федерации' N 58-ФЗ, Статья 16?", + "answerA": "Только на федеральном уровне", + "answerB": "Только на уровне субъектов Российской Федерации", + "answerC": "На федеральном уровне и на уровне муниципалитетов", + "answerD": "На федеральном уровне и на уровне субъектов Российской Федерации", + "correct_answer": "answerD", + "choices": [ + "Местные органы самоуправления", + "На федеральном уровне и на уровне субъектов Российской Федерации", + "Финансовое обеспечение деятельности полиции, включая гарантии социальной защиты сотрудников полиции", + "Только на уровне субъектов Российской Федерации", + "Только на федеральном уровне", + "Статья 15. Права граждан в области пожарной безопасности", + "На федеральном уровне и на уровне муниципалитетов", + "Статья 28. Утратила силу", + "Расходы на строительство полицейских участков", + "Квалифицировать ценные бумаги и производные финансовые инструменты и определять их виды", + "Издавать общеобязательные нормативные акты для всех граждан Российской Федерации", + "300 миллионов рублей" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nНа каких уровнях создается система управления государственной службой согласно Федеральному закону 'О системе государственной службы Российской Федерации' N 58-ФЗ, Статья 16?\nA. Местные органы самоуправления\nB. На федеральном уровне и на уровне субъектов Российской Федерации\nC. Финансовое обеспечение деятельности полиции, включая гарантии социальной защиты сотрудников полиции\nD. Только на уровне субъектов Российской Федерации\nE. Только на федеральном уровне\nF. Статья 15. Права граждан в области пожарной безопасности\nG. На федеральном уровне и на уровне муниципалитетов\nH. Статья 28. Утратила силу\nI. Расходы на строительство полицейских участков\nJ. Квалифицировать ценные бумаги и производные финансовые инструменты и определять их виды\nK. Издавать общеобязательные нормативные акты для всех граждан Российской Федерации\nL. 300 миллионов рублей\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 191, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0033303597010672092, + "B": 0.00705037172883749, + "C": 0.0022889208048582077, + "D": 0.04057208448648453, + "E": 0.004017180763185024, + "F": 0.007505081128329039, + "G": 0.02460821531713009, + "H": 0.8149121403694153, + "I": 0.0058449627831578255, + "J": 0.011624096892774105, + "K": 0.012373787350952625, + "L": 0.03580474108457565 + }, + "sample": { + "question": "Какое из следующих действий Банк России вправе осуществлять в соответствии с Федеральным законом \"О рынке ценных бумаг\" N 39-ФЗ, Статьей 44?", + "answerA": "Издавать общеобязательные нормативные акты для всех граждан Российской Федерации", + "answerB": "Квалифицировать ценные бумаги и производные финансовые инструменты и определять их виды", + "answerC": "Устанавливать налоговые ставки для сделок с ценными бумагами", + "answerD": "Прямо участвовать в торговых сессиях на фондовом рынке", + "correct_answer": "B", + "choices": [ + "300 миллионов рублей", + "Прямо участвовать в торговых сессиях на фондовом рынке", + "Издавать общеобязательные нормативные акты для всех граждан Российской Федерации", + "Статья 28. Утратила силу", + "Статья 15. Права граждан в области пожарной безопасности", + "Финансовое обеспечение деятельности полиции, включая гарантии социальной защиты сотрудников полиции", + "Министерство финансов Российской Федерации", + "Квалифицировать ценные бумаги и производные финансовые инструменты и определять их виды", + "Местные органы самоуправления", + "Расходы на строительство полицейских участков", + "Устанавливать налоговые ставки для сделок с ценными бумагами", + "Министерство обороны Российской Федерации и другие федеральные органы исполнительной власти" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакое из следующих действий Банк России вправе осуществлять в соответствии с Федеральным законом \"О рынке ценных бумаг\" N 39-ФЗ, Статьей 44?\nA. 300 миллионов рублей\nB. Прямо участвовать в торговых сессиях на фондовом рынке\nC. Издавать общеобязательные нормативные акты для всех граждан Российской Федерации\nD. Статья 28. Утратила силу\nE. Статья 15. Права граждан в области пожарной безопасности\nF. Финансовое обеспечение деятельности полиции, включая гарантии социальной защиты сотрудников полиции\nG. Министерство финансов Российской Федерации\nH. Квалифицировать ценные бумаги и производные финансовые инструменты и определять их виды\nI. Местные органы самоуправления\nJ. Расходы на строительство полицейских участков\nK. Устанавливать налоговые ставки для сделок с ценными бумагами\nL. Министерство обороны Российской Федерации и другие федеральные органы исполнительной власти\n\nОтв��ть одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 202, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.002200598130002618, + "B": 0.0032018516212701797, + "C": 0.0004612704215105623, + "D": 0.00465866643935442, + "E": 0.0034083533100783825, + "F": 0.0017138274852186441, + "G": 0.0038621702697128057, + "H": 0.8339965343475342, + "I": 0.004111258778721094, + "J": 0.0030078610870987177, + "K": 0.014349701814353466, + "L": 0.09960667788982391 + }, + "sample": { + "question": "Что является расходным обязательством Российской Федерации в соответствии с Федеральным законом \"О полиции\" N 3-ФЗ, Статья 47?", + "answerA": "Расходы на строительство полицейских участков", + "answerB": "Финансовое обеспечение деятельности полиции, включая гарантии социальной защиты сотрудников полиции", + "answerC": "Инвестиции в разработку новых технологий для полиции", + "answerD": "Затраты на организацию массовых мероприятий", + "correct_answer": "B", + "choices": [ + "Министерство финансов Российской Федерации", + "300 миллионов рублей", + "Статья 28. Утратила силу", + "Затраты на организацию массовых мероприятий", + "Инвестиции в разработку новых технологий для полиции", + "Статья 15. Права граждан в области пожарной безопасности", + "Расходы на строительство полицейских участков", + "Финансовое обеспечение деятельности полиции, включая гарантии социальной защиты сотрудников полиции", + "Если ребенок родился на территории РФ, но его родители не имеют российского гражданства.", + "Министерство обороны Российской Федерации и другие федеральные органы исполнительной власти", + "Местные органы самоуправления", + "1 миллиард рублей" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nЧто является расходным обязательством Российской Федерации в соответствии с Федеральным законом \"О полиции\" N 3-ФЗ, Статья 47?\nA. Министерство финансов Российской Федерации\nB. 300 миллионов рублей\nC. Статья 28. Утратила силу\nD. Затраты на организацию массовых мероприятий\nE. Инвестиции в разработку новых технологий для полиции\nF. Статья 15. Права граждан в области пожарной безопасности\nG. Расходы на строительство полицейских участков\nH. Финансовое обеспечение деятельности полиции, включая гарантии социальной защиты сотрудников полиции\nI. Если ребенок родился на территории РФ, но его родители не имеют российского гражданства.\nJ. Министерство обороны Российской Федерации и другие федеральные органы исполнительной власти\nK. Местные органы самоуправления\nL. 1 миллиард рублей\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 180, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0008554233354516327, + "B": 0.010421189479529858, + "C": 0.0020520540419965982, + "D": 0.004080996382981539, + "E": 0.03209952265024185, + "F": 0.009789801202714443, + "G": 0.007624304853379726, + "H": 0.04121660068631172, + "I": 0.010421189479529858, + "J": 0.6447361707687378, + "K": 0.0872555524110794, + "L": 0.036373525857925415 + }, + "sample": { + "question": "Какой пункт из Федерального закона 'О пожарной безопасности' N 69-ФЗ был объявлен утратившим силу согласно Федеральному закону от 22.08.2004 N 122-ФЗ?", + "answerA": "Статья 15. Права граждан в области пожарной безопасности", + "answerB": "Статья 28. Утратила силу", + "answerC": "Статья 21. Обязанности субъектов Российской Федерации в области пожарной безопасности", + "answerD": "Статья 12. Меры государственного контроля за соблюдением требований пожарной безопасности", + "correct_answer": "Статья 28. Утратила силу", + "choices": [ + "1 миллиард рублей", + "На основании решения арбитражного суда", + "Министерство обороны Российской Федерации и другие федеральные органы исполнительной власти", + "300 миллионов рублей", + "Статья 15. Права граждан в области пожарной безопасности", + "Федеральная налоговая служба", + "Местные органы самоуправления", + "Если ребенок родился на территории РФ, но его родители не имеют российского гражданства.", + "Министерство финансов Российской Федерации", + "Статья 28. Утратила силу", + "Статья 12. Меры государственного контроля за соблюдением требований пожарной безопасности", + "Статья 21. Обязанности субъектов Российской Федерации в области пожарной безопасности" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКакой пункт из Федерального закона 'О пожарной безопасности' N 69-ФЗ был объявлен утратившим силу согласно Федеральному закону от 22.08.2004 N 122-ФЗ?\nA. 1 миллиард рублей\nB. На основании решения арбитражного суда\nC. Министерство обороны Российской Федерации и другие федеральные органы исполнительной власти\nD. 300 миллионов рублей\nE. Статья 15. Права граждан в области пожарной безопасности\nF. Федеральная налоговая служба\nG. Местные органы самоуправления\nH. Если ребенок родился на территории РФ, но его родители не имеют российского гражданства.\nI. Министерство финансов Российской Федерации\nJ. Статья 28. Утратила силу\nK. Статья 12. Меры государственного контроля за соблюдением требований пожарной безопасности\nL. Статья 21. Обязанности субъектов Российской Федерации в области пожарной безопасности\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 208, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0003964333445765078, + "B": 0.00201325467787683, + "C": 0.21860197186470032, + "D": 0.017943942919373512, + "E": 0.020333150401711464, + "F": 0.0018912777304649353, + "G": 0.5243988633155823, + "H": 0.00201325467787683, + "I": 9.416116517968476e-05, + "J": 0.00012090532982256263, + "K": 0.004829546436667442, + "L": 3.463995744823478e-05 + }, + "sample": { + "question": "Кто осуществляет материально-техническое обеспечение органов военной прокуратуры?", + "answerA": "Местные органы самоуправления", + "answerB": "Министерство обороны Российской Федерации и другие федеральные органы исполнительной власти", + "answerC": "Неправительственные организации", + "answerD": "Частные военные компании", + "correct_answer": "B", + "choices": [ + "Неправительственные организации", + "300 миллионов рублей", + "Местные органы самоуправления", + "1 миллиард рублей", + "Если оба его родителя или единственный его родитель приобретают гражданство Российской Федерации.", + "Федеральная налоговая служба", + "Министерство обороны Российской Федерации и другие федеральные органы исполнительной власти", + "Частные военные компании", + "Если ребенок родился на территории РФ, но его родители не имеют российского гражданства.", + "Министерство финансов Российской Федерации", + "Строгость нормативов", + "На основании решения арбитражного суда" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКто осуществляет материально-техническое обеспечение органов военной прокуратуры?\nA. Неправительственные организации\nB. 300 миллионов рублей\nC. Местные органы самоуправления\nD. 1 миллиард рублей\nE. Если оба его родителя или единственный его родитель приобретают гражданство Российской Федерации.\nF. Федеральная налоговая служба\nG. Министерство обороны Российской Федерации и другие федеральные органы исполнительной власти\nH. Частные военные компании\nI. Если ребенок родился на территории РФ, но его родители не имеют российского гражданства.\nJ. Министерство финансов Российской Федерации\nK. Строгость нормативов\nL. На основании решения арбитражного суда\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 142, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.020791197195649147, + "B": 0.05651633068919182, + "C": 0.13557563722133636, + "D": 0.08223078399896622, + "E": 0.038843072950839996, + "F": 0.049875494092702866, + "G": 0.13557563722133636, + "H": 0.05651633068919182, + "I": 0.038843072950839996, + "J": 0.11964508146047592, + "K": 0.13557563722133636, + "L": 0.016192201524972916 + }, + "sample": { + "question": "Каков минимальный размер уставного капитала для вновь регистрируемого банка с универсальной лицензией согласно Федеральному закону \"О банках и банковской деятельности\" N 395-1?", + "answerA": "300 миллионов рублей", + "answerB": "1 миллиард рублей", + "answerC": "90 миллионов рублей", + "answerD": "500 миллионов рублей", + "correct_answer": "answerB", + "choices": [ + "Федеральная налоговая служба", + "На основании решения собрания кредиторов", + "500 миллионов рублей", + "Если ребенок родился на территории РФ, но его родители не имеют российского гражданства.", + "300 миллионов рублей", + "5000 рублей", + "Министерство финансов Российской Федерации", + "Строгость нормативов", + "На основании решения арбитражного суда", + "1 миллиард рублей", + "90 миллионов рублей", + "Если оба его родителя или единственный его родитель приобретают гражданство Российской Федерации." + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКаков минимальный размер уставного капитала для вновь регистрируемого банка с универсальной лицензией согласно Федеральному закону \"О банках и банковской деятельности\" N 395-1?\nA. Федеральная налоговая служба\nB. На основании решения собрания кредиторов\nC. 500 миллионов рублей\nD. Если ребенок родился на территории РФ, но его родители не имеют российского гражданства.\nE. 300 миллионов рублей\nF. 5000 рублей\nG. Министерство финансов Российской Федерации\nH. Строгость нормативов\nI. На основании решения арбитражного суда\nJ. 1 миллиард рублей\nK. 90 миллионов рублей\nL. Если оба его родителя или единственный его родитель приобретают гражданство Российской Федерации.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 172, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.010336330160498619, + "B": 0.006673636380583048, + "C": 0.00245509366504848, + "D": 0.018140824511647224, + "E": 0.17211534082889557, + "F": 0.014128088019788265, + "G": 0.020556246861815453, + "H": 0.6807293891906738, + "I": 0.007562221027910709, + "J": 0.0009614284499548376, + "K": 0.001023435266688466, + "L": 0.0012344985734671354 + }, + "sample": { + "question": "Какой орган устанавливает порядок реализации прав и обязанностей сторон по договору обязательного страхования согласно статье 5 Федерального закона \"Об обязательном страховании гражданской ответственности владельцев транспортных средств\" (ОСАГО) N 40-ФЗ?", + "answerA": "Министерство финансов Российской Федерации", + "answerB": "Федеральная налоговая служба", + "answerC": "Банк России", + "answerD": "Государственная Дума", + "correct_answer": "answerC", + "choices": [ + "На основании решения арбитражного суда", + "Государственная Дума", + "На основании решения собрания кредиторов", + "Банк России", + "Уведомить заемщика о заключении ипотечного договора", + "Федеральная налоговая служба", + "Если оба его родителя или единственный его родитель приобретают гражданство Российской Федерации.", + "Министерство финансов Российской Федерации", + "Исполнимость требований", + "5000 рублей", + "Строгость нормативов", + "Если ребенок родился на территории РФ, но его родители не имеют российского гражданства." + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКакой орган устанавливает порядок реализации прав и обязанностей сторон по договору обязательного страхования согласно статье 5 Федерального закона \"Об обязательном страховании гражданской ответственности владельцев транспортных средств\" (ОСАГО) N 40-ФЗ?\nA. На основании решения арбитражного суда\nB. Государственная Дума\nC. На основании решения собрания кредиторов\nD. Банк России\nE. Уведомить заемщика о заключении ипотечного договора\nF. Федеральная налоговая служба\nG. Если оба его родителя или единственный его родитель приобретают гражданство Российской Федерации.\nH. Министерство финансов Российской Федерации\nI. Исполнимость требований\nJ. 5000 рублей\nK. Строгость нормативов\nL. Если ребенок родился на территории РФ, но его родители не имеют российского гражданства.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 175, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.001189083675853908, + "B": 0.0041503095999360085, + "C": 0.0004956837510690093, + "D": 0.0034407274797558784, + "E": 0.008253876119852066, + "F": 0.0009857849217951298, + "G": 0.0038988550659269094, + "H": 0.9540183544158936, + "I": 0.002364775165915489, + "J": 0.002221500501036644, + "K": 0.0020869066938757896, + "L": 0.000636470562312752 + }, + "sample": { + "question": "В соответствии со статьей 24 Федерального закона \"О гражданстве Российской Федерации\" N 62-ФЗ, в каком случае ребенок приобретает гражданство Российской Федерации?", + "answerA": "Если ребенок родился на территории РФ, но его родители не имеют российского гражданства.", + "answerB": "Если оба его родителя или единственный его родитель приобретают гражданство Российской Федерации.", + "answerC": "Если ребенок посещал школу в России не менее 5 лет.", + "answerD": "Если хотя бы один из родителей постоянно проживает на территории РФ, независимо от гражданства.", + "correct_answer": "Если оба его родителя или единственный его родитель приобретают гражданство Российской Федерации.", + "choices": [ + "Уведомить заемщика о заключении ипотечного договора", + "Если ребенок посещал школу в России не менее 5 лет.", + "5000 рублей", + "Строгость нормативов", + "На основании решения собрания кредиторов", + "10000 рублей", + "Конкурсный управляющий не обязан использовать специальные счета для зачисления средств пенсионных резервов.", + "Если оба его родителя или единственный его родитель приобретают гражданство Российской Федерации.", + "Если хотя бы один из родителей постоянно проживает на территории РФ, независимо от гражданства.", + "Если ребенок родился на территории РФ, но его родители не имеют российского гражданства.", + "На основании решения арбитражного суда", + "Исполнимость требований" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nВ соответствии со статьей 24 Федерального закона \"О гражданстве Российской Федерации\" N 62-ФЗ, в каком случае ребенок приобретает гражданство Российской Федерации?\nA. Уведомить заемщика о заключении ипотечного договора\nB. Если ребенок посещал школу в России не менее 5 лет.\nC. 5000 рублей\nD. Строгость нормативов\nE. На основании решения собрания кредиторов\nF. 10000 рублей\nG. Конкурсный управляющий не обязан использовать специальные счета для зачисления средств пенсионных резервов.\nH. Если оба его родителя или единственный его родитель приобретают гражданство Российской Федерации.\nI. Если хотя бы один из родителей постоянно проживает на территории РФ, независимо от гражданства.\nJ. Если ребенок родился на территории РФ, но его родители не имеют российского гражданства.\nK. На основании решения арбитражного суда\nL. Исполнимость требований\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 199, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.015174727886915207, + "B": 0.13525089621543884, + "C": 0.09295649081468582, + "D": 0.2526819109916687, + "E": 0.03419677913188934, + "F": 0.09295649081468582, + "G": 0.05638095736503601, + "H": 0.030178552493453026, + "I": 0.01042942889034748, + "J": 0.13525089621543884, + "K": 0.049756016582250595, + "L": 0.0031807960476726294 + }, + "sample": { + "question": "На каком основании может быть проведено замещение активов должника в ходе конкурсного производства согласно Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ, статья 141?", + "answerA": "На основании решения арбитражного суда", + "answerB": "На основании решения собрания кредиторов", + "answerC": "По инициативе самого должника", + "answerD": "В случайном порядке", + "correct_answer": "answerB", + "choices": [ + "10000 рублей", + "Строгость нормативов", + "В случайном порядке", + "Исполнимость требований", + "5000 рублей", + "По инициативе самого должника", + "На основании решения арбитражного суда", + "Конкурсный управляющий не обязан использовать специальные счета для зачисления средств пенсионных резервов.", + "Получить согласие банка на заключение последующего договора", + "На основании решения собрания кредиторов", + "Уведомить заемщика о заключении ипотечного договора", + "В течение одного часа с момента наступления времени начала работы таможенного органа" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nНа каком основании может быть проведено замещение активов должника в ходе конкурсного производства согласно Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ, статья 141?\nA. 10000 рублей\nB. Строгость нормативов\nC. В случайном порядке\nD. Исполнимость требований\nE. 5000 рублей\nF. По инициативе самого должника\nG. На основании решения арбитражного суда\nH. Конкурсный управляющий не обязан использовать специальные счета для зачисления средств пенсионных резервов.\nI. Получить согласие банка на заключение последующего договора\nJ. На основании решения собрания кредиторов\nK. Уведомить заемщика о заключении ипотечного договора\nL. В течение одного часа с момента наступления времени начала работы таможенного органа\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 187, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.25059977173805237, + "B": 0.5305196642875671, + "C": 0.06336154043674469, + "D": 0.026413019746541977, + "E": 0.007108967751264572, + "F": 0.0058935414999723434, + "G": 0.012476627714931965, + "H": 0.007108967751264572, + "I": 0.00040106053347699344, + "J": 0.0008490451727993786, + "K": 0.0007038831245154142, + "L": 8.948869799496606e-05 + }, + "sample": { + "question": "Что является ключевым критерием при установлении обязательных требований согласно Федеральному закону от 31.07.2020 N 247-ФЗ?", + "answerA": "Строгость нормативов", + "answerB": "Исполнимость требований", + "answerC": "Универсальность применения", + "answerD": "Периодическая проверка", + "correct_answer": "Исполнимость требований", + "choices": [ + "Строгость нормативов", + "Исполнимость требований", + "В течение одного часа с момента наступления времени начала работы таможенного органа", + "Периодическая проверка", + "Уведомить заемщика о заключении ипотечного договора", + "Получить согласие банка на заключение последующего договора", + "Конкурсный управляющий не обязан использовать специальные счета для зачисления средств пенсионных резервов.", + "5000 рублей", + "Использование счетов негосударственного пенсионного фонда для выплаты кредиторам запрещено.", + "10000 рублей", + "Международные экономические отношения", + "Универсальность применения" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nЧто является ключевым критерием при установлении обязательных требований согласно Федеральному закону от 31.07.2020 N 247-ФЗ?\nA. Строгость нормативов\nB. Исполнимость требований\nC. В течение одного часа с момента наступления времени начала работы таможенного органа\nD. Периодическая проверка\nE. Уведомить заемщика о заключении ипотечного договора\nF. Получить согласие банка на заключение последующего договора\nG. Конкурсный управляющий не обязан использовать специальные счета для зачисления средств пенсионных резервов.\nH. 5000 рублей\nI. Использование счетов негосударственного пенсионного фонда для выплаты кредиторам запрещено.\nJ. 10000 рублей\nK. Международные экономические отношения\nL. Универсальность применения\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 179, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.028285343199968338, + "B": 0.20900198817253113, + "C": 0.09872555732727051, + "D": 0.05284397676587105, + "E": 0.04115493223071098, + "F": 0.04663464426994324, + "G": 0.2683638632297516, + "H": 0.06785301119089127, + "I": 0.003173527540639043, + "J": 0.024961726740002632, + "K": 0.04115493223071098, + "L": 0.011791085824370384 + }, + "sample": { + "question": "Какова максимальная сумма ежемесячного гуманитарного пособия, которая может быть назначена физическому лицу в соответствии со Статьей 7.4 Федерального закона \"О противодействии легализации (отмыванию) доходов, полученных преступным путем, и финансированию терроризма\" N 115-ФЗ?", + "answerA": "5000 рублей", + "answerB": "10000 рублей", + "answerC": "15000 рублей", + "answerD": "20000 рублей", + "correct_answer": "B", + "choices": [ + "Международные экономические отношения", + "20000 рублей", + "В течение двенадцати часов с момента постановки водного судна к причалу", + "Получить согласие банка на заключение последующего договора", + "В течение одного часа с момента наступления времени начала работы таможенного органа", + "Использование счетов негосударственного пенсионного фонда для выплаты кредиторам запрещено.", + "15000 рублей", + "10000 рублей", + "По достижении 30 лет общего трудового стажа", + "Уведомить заемщика о заключении ипотечного договора", + "5000 рублей", + "Конкурсный управляющий не обязан использовать специальные счета для зачисления средств пенсионных резервов." + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакова максимальная сумма ежемесячного гуманитарного пособия, которая может быть назначена физическому лицу в соответствии со Статьей 7.4 Федерального закона \"О противодействии легализации (отмыванию) доходов, полученных преступным путем, и финансированию терроризма\" N 115-ФЗ?\nA. Международные экономические отношения\nB. 20000 рублей\nC. В течение двенадцати часов с момента постановки водного судна к причалу\nD. Получить согласие банка на заключение последующего договора\nE. В течение одного часа с момента наступления времени начала работы таможенного органа\nF. Использование счетов негосударственного пенсионного фонда для выплаты кредиторам запрещено.\nG. 15000 рублей\nH. 10000 рублей\nI. По достижении 30 лет общего трудового стажа\nJ. Уведомить заемщика о заключении ипотечного договора\nK. 5000 рублей\nL. Конкурсный управляющий не обязан использовать специальные счета для зачисления средств пенсионных резервов.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 230, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.00395215256139636, + "B": 0.005750348325818777, + "C": 0.02007068507373333, + "D": 0.017712319269776344, + "E": 0.012173485942184925, + "F": 0.010092174634337425, + "G": 0.061822064220905304, + "H": 0.022743066772818565, + "I": 0.013794368132948875, + "J": 0.0700535774230957, + "K": 0.5865514278411865, + "L": 0.022743066772818565 + }, + "sample": { + "question": "Что должен сделать залогодатель при заключении последующего договора об ипотеке согласно статье 44 Федерального закона 'Об ипотеке (залоге недвижимости)' N 102-ФЗ?", + "answerA": "Уведомить заемщика о заключении ипотечного договора", + "answerB": "Получить согласие банка на заключение последующего договора", + "answerC": "Незамедлительно уведомить залогодержателей по предшествующим ипотекам", + "answerD": "Опубликовать объявление о заключении последующего ипотеки в средствах массовой информации", + "correct_answer": "Незамедлительно уведомить залогодержателей по предшествующим ипотекам", + "choices": [ + "Международные экономические отношения", + "Конкурсный управляющий не обязан использовать специальные счета для зачисления средств пенсионных резервов.", + "Использование счетов негосударственного пенсионного фонда для выплаты кредиторам запрещено.", + "Требования к информационной безопасности", + "По достижении 30 лет общего трудового стажа", + "Путем обязательного призыва", + "Опубликовать объявление о заключении последующего ипотеки в средствах массовой информации", + "В течение двенадцати часов с момента постановки водного судна к причалу", + "Получить согласие банка на заключение последующего договора", + "В течение одного часа с момента наступления времени начала работы таможенного органа", + "Уведомить заемщика о заключении ипотечного договора", + "Незамедлительно уведомить залогодержателей по предшествующим ипотекам" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nЧто должен сделать залогодатель при заключении последующего договора об ипотеке согласно статье 44 Федерального закона 'Об ипотеке (залоге недвижимости)' N 102-ФЗ?\nA. Международные экономические отношения\nB. Конкурсный управляющий не обязан использовать специальные счета для зачисления средств пенсионных резервов.\nC. Использование счетов негосударственного пенсионного фонда для выплаты кредиторам запрещено.\nD. Требования к информационной безопасности\nE. По достижении 30 лет общего трудового стажа\nF. Путем обязательного призыва\nG. Опубликовать объявление о заключении последующего ипотеки в средствах массовой информации\nH. В течение двенадцати часов с момента постановки водного судна к причалу\nI. Получить согласие банка на заключение последующего договора\nJ. В течение одного часа с момента наступления времени начала работы таможенного органа\nK. Уведомить заемщика о заключении ипотечного договора\nL. Незамедлительно уведомить залогодержателей по предшествующим ипотекам\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 215, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0030745568219572306, + "B": 0.001545984297990799, + "C": 0.002888278802856803, + "D": 0.965997040271759, + "E": 0.002888278802856803, + "F": 0.0006444621249102056, + "G": 0.0005019076052121818, + "H": 9.28435692912899e-05, + "I": 7.697002001805231e-05, + "J": 2.66001297859475e-05, + "K": 0.00023708437220193446, + "L": 1.3375384696701076e-05 + }, + "sample": { + "question": "Какие особенности применения счетов негосударственного пенсионного фонда в ходе конкурсного производства определены Федеральным законом 'О несостоятельности (банкротстве)' N 127-ФЗ, Статьей 186.6?", + "answerA": "Конкурсный управляющий не обязан использовать специальные счета для зачисления средств пенсионных резервов.", + "answerB": "Использование счетов негосударственного пенсионного фонда для выплаты кредиторам запрещено.", + "answerC": "Конкурсный управляющий обязан использовать отдельные специальные банковские счета для зачисления средств пенсионных резервов и средств, составляющих конкурсную массу.", + "answerD": "Часть средств конкурсной массы негосударственного пенсионного фонда должна быть перечислена в государственный бюджет.", + "correct_answer": "answerC", + "choices": [ + "В течение одного часа с момента наступления времени начала работы таможенного органа", + "После 20 лет работы в сельской местности", + "В течение двенадцати часов с момента постановки водного судна к причалу", + "Конкурсный управляющий обязан использовать отдельные специальные банковские счета для зачисления средств пенсионных резервов и средств, составляющих конкурсную массу.", + "Использование счетов негосударственного пенсионного фонда для выплаты кредиторам запрещено.", + "Часть средств конкурсной массы негосударственного пенсионного фонда должна быть перечислена в государственный бюджет.", + "Конкурсный управляющий не обязан использовать специальные счета для зачисления средств пенсионных резервов.", + "Требования к информационной безопасности", + "По достижении 30 лет общего трудового стажа", + "Международные экономические отношения", + "Путем обязательного призыва", + "Федеральный закон 'О защите прав потребителей'" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКакие особенности применения счетов негосударственного пенсионного фонда в ходе конкурсного производства определены Федеральным законом 'О несостоятельности (банкротстве)' N 127-ФЗ, Статьей 186.6?\nA. В течение одного часа с момента наступления времени начала работы таможенного органа\nB. После 20 лет работы в сельской местности\nC. В течение двенадцати часов с момента постановки водного судна к причалу\nD. Конкурсный управляющий обязан использовать отдельные специальные банковские счета для зачисления средств пенсионных резервов и средств, составляющих конкурсную массу.\nE. Использование счетов негосударственного пенсионного фонда для выплаты кредиторам запрещено.\nF. Часть средств конкурсной массы негосударственного пенсионного фонда должна быть перечислена в государственный бюджет.\nG. Конкурсный управляющий не обязан использовать специальные счета для зачисления средств пенсионных резервов.\nH. Требования к информационной безопасности\nI. По достижении 30 лет общего трудового стажа\nJ. Международные экономические отношения\nK. Путем обязательного призыва\nL. Федеральный закон 'О защите прав потребителей'\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 237, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0005100661073811352, + "B": 0.002935228170827031, + "C": 0.000952929025515914, + "D": 0.0037689076270908117, + "E": 0.005151485558599234, + "F": 0.01798045076429844, + "G": 0.014906318858265877, + "H": 0.003326049307361245, + "I": 0.02457636408507824, + "J": 0.81385737657547, + "K": 0.058955635875463486, + "L": 0.0007900058990344405 + }, + "sample": { + "question": "Что регулирует Федеральный закон 'О техническом регулировании' N 184-ФЗ согласно статье 1?", + "answerA": "Международные экономические отношения", + "answerB": "Требования к информационной безопасности", + "answerC": "Отношения, возникающие при разработке и применении обязательных требований к продукции, включая здания и сооружения", + "answerD": "Правила дорожного движения", + "correct_answer": "Отношения, возникающие при разработке и применении обязательных требований к продукции, включая здания и сооружения", + "choices": [ + "Федеральный закон 'О банках и банковской деятельности'", + "Международные экономические отношения", + "Федеральный закон 'О защите прав потребителей'", + "Генеральный директор общества", + "Путем обязательного призыва", + "После 20 лет работы в сельской местности", + "Любая юридическое лицо, выбранное общим собранием", + "Правила дорожного движения", + "Требования к информационной безопасности", + "Отношения, возникающие при разработке и применении обязательных требований к продукции, включая здания и сооружения", + "По назначению военно-учетного специалиста", + "По достижении 30 лет общего трудового стажа" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nЧто регулирует Федеральный закон 'О техническом регулировании' N 184-ФЗ согласно статье 1?\nA. Федеральный закон 'О банках и банковской деятельности'\nB. Международные экономические отношения\nC. Федеральный закон 'О защите прав потребителей'\nD. Генеральный директор общества\nE. Путем обязательного призыва\nF. После 20 лет работы в сельской местности\nG. Любая юридическое лицо, выбранное общим собранием\nH. Правила дорожного движения\nI. Требования к информационной безопасности\nJ. Отношения, возникающие при разработке и применении обязательных требований к продукции, включая здания и сооружения\nK. По назначению военно-учетного специалиста\nL. По достижении 30 лет общего трудового стажа\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 166, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.023704254999756813, + "B": 0.007229389622807503, + "C": 0.015304616652429104, + "D": 0.03448948636651039, + "E": 0.03448948636651039, + "F": 0.01191924698650837, + "G": 0.018460892140865326, + "H": 0.014377356506884098, + "I": 0.6927398443222046, + "J": 0.026860438287258148, + "K": 0.030436865985393524, + "L": 0.004384845960885286 + }, + "sample": { + "question": "При каких условиях педагогам назначается досрочная трудовая пенсия по старости согласно Федеральному закону \"О трудовых пенсиях в Российской Федерации\" N 173-ФЗ?", + "answerA": "По достижении 30 лет общего трудового стажа", + "answerB": "После 20 лет работы в сельской местности", + "answerC": "Лицам, не менее 25 лет осуществлявшим педагогическую деятельность в учреждениях для детей", + "answerD": "При наличии не менее 15 лет опыта работы в качестве врача", + "correct_answer": "C", + "choices": [ + "Генеральный директор общества", + "Любая юридическое лицо, выбранное общим собранием", + "Совет директоров (наблюдательный совет) общества", + "По достижении 30 лет общего трудового стажа", + "Федеральный закон 'О защите прав потребителей'", + "После 20 лет работы в сельской местности", + "По назначению военно-учетного специалиста", + "При наличии не менее 15 лет опыта работы в качестве врача", + "Лицам, не менее 25 лет осуществлявшим педагогическую деятельность в учреждениях для детей", + "Федеральный закон от 02.07.2013 N 185-ФЗ", + "Путем обязательного призыва", + "Федеральный закон 'О банках и банковской деятельности'" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nПри каких условиях педагогам назначается досрочная трудовая пенсия по старости согласно Федеральному закону \"О трудовых пенсиях в Российской Федерации\" N 173-ФЗ?\nA. Генеральный директор общества\nB. Любая юридическое лицо, выбранное общим собранием\nC. Совет директоров (наблюдательный совет) общества\nD. По достижении 30 лет общего трудового стажа\nE. Федеральный закон 'О защите прав потребителей'\nF. После 20 лет работы в сельской местности\nG. По назначению военно-учетного специалиста\nH. При наличии не менее 15 лет опыта работы в качестве врача\nI. Лицам, не менее 25 лет осуществлявшим педагогическую деятельность в учреждениях для детей\nJ. Федеральный закон от 02.07.2013 N 185-ФЗ\nK. Путем обязательного призыва\nL. Федеральный закон 'О банках и банковской деятельности'\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 211, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.005506280809640884, + "B": 0.026268992573022842, + "C": 0.003784407628700137, + "D": 0.015932951122522354, + "E": 0.007526193279772997, + "F": 0.012408594600856304, + "G": 0.010950545780360699, + "H": 0.04907694458961487, + "I": 0.004859274718910456, + "J": 0.06301603466272354, + "K": 0.03373005613684654, + "L": 0.6774863004684448 + }, + "sample": { + "question": "Каким образом граждане, пребывающие в запасе, могут поступить в мобилизационные людские резервы Вооруженных Сил Российской Федерации согласно Федеральному закону \"О воинской обязанности и военной службе\" N 53-ФЗ?", + "answerA": "Путем обязательного призыва", + "answerB": "По назначению военно-учетного специалиста", + "answerC": "Через участие в государственных военно-спортивных мероприятиях", + "answerD": "На добровольной основе путем заключения контракта о пребывании в резерве", + "correct_answer": "answerD", + "choices": [ + "Федеральный закон от 02.07.2013 N 185-ФЗ", + "Путем обязательного призыва", + "Совет директоров (наблюдательный совет) общества", + "Федеральный закон 'О ��анках и банковской деятельности'", + "По назначению военно-учетного специалиста", + "Любое физическое лицо, за исключением случаев, предусмотренных законом", + "Через участие в государственных военно-спортивных мероприятиях", + "Генеральный директор общества", + "Любая юридическое лицо, выбранное общим собранием", + "Федеральный закон 'О защите прав потребителей'", + "Меры, связанные с изменением ставок налога на добавленную стоимость", + "На добровольной основе путем заключения контракта о пребывании в резерве" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКаким образом граждане, пребывающие в запасе, могут поступить в мобилизационные людские резервы Вооруженных Сил Российской Федерации согласно Федеральному закону \"О воинской обязанности и военной службе\" N 53-ФЗ?\nA. Федеральный закон от 02.07.2013 N 185-ФЗ\nB. Путем обязательного призыва\nC. Совет директоров (наблюдательный совет) общества\nD. Федеральный закон 'О банках и банковской деятельности'\nE. По назначению военно-учетного специалиста\nF. Любое физическое лицо, за исключением случаев, предусмотренных законом\nG. Через участие в государственных военно-спортивных мероприятиях\nH. Генеральный директор общества\nI. Любая юридическое лицо, выбранное общим собранием\nJ. Федеральный закон 'О защите прав потребителей'\nK. Меры, связанные с изменением ставок налога на добавленную стоимость\nL. На добровольной основе путем заключения контракта о пребывании в резерве\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 215, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0009551128605380654, + "B": 0.0010822847252711654, + "C": 0.2819061577320099, + "D": 0.00751254428178072, + "E": 0.2819061577320099, + "F": 0.0027637106832116842, + "G": 0.006629797164350748, + "H": 0.0022911967243999243, + "I": 0.0013896810123696923, + "J": 0.0024389661848545074, + "K": 0.020421214401721954, + "L": 0.00024149034288711846 + }, + "sample": { + "question": "В соответствии с каким федеральным законом земельный участок, приобретенный с использованием кредитных средств, считается находящимся в залоге с момента государственной регистрации права собственности?", + "answerA": "Федеральный закон 'О защите прав потребителей'", + "answerB": "Федеральный закон 'О банках и банковской деятельности'", + "answerC": "Федеральный закон 'Об ипотеке (залоге недвижимости)' N 102-ФЗ", + "answerD": "Федеральный закон 'О государственной регистрации недвижимости'", + "correct_answer": "Федеральный закон 'Об ипотеке (залоге недвижимости)' N 102-ФЗ", + "choices": [ + "Меры, связанные с изменением ставок налога на добавленную стоимость", + "Генеральный директор общества", + "Федеральный закон от 29.12.2012 N 273-ФЗ", + "Юридическое лицо, активно участвующее в благотворительной деятельности", + "Федеральный закон 'Об ипотеке (залоге недвижимости)' N 102-ФЗ", + "Любое физическое лицо, за исключением случаев, предусмотренных законом", + "Любая юридическое лицо, выбранное общим собранием", + "Федеральный закон 'О защите прав потребителей'", + "Федеральный закон от 02.07.2013 N 185-ФЗ", + "Федеральный закон 'О банках и банковской деятельности'", + "Федеральный закон 'О государственной регистрации недвижимости'", + "Совет директоров (наблюдательный совет) общества" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nВ соответствии с каким федеральным законом земельный участок, приобретенный с использованием кредитных средств, считается находящимся в залоге с момента государственной регистрации права собственности?\nA. Меры, связанные с изменением ставок налога на добавленную стоимость\nB. Генеральный директор общества\nC. Федеральный закон от 29.12.2012 N 273-ФЗ\nD. Юридическое лицо, активно участвующее в благотворительной деятельности\nE. Федеральный закон 'Об ипотеке (залоге недвижимости)' N 102-ФЗ\nF. Любое физическое лицо, за исключением случаев, предусмотренных законом\nG. Любая юридическое лицо, выбранное общим собранием\nH. Федеральный закон 'О защите прав потребителей'\nI. Федеральный закон от 02.07.2013 N 185-ФЗ\nJ. Федеральный закон 'О банках и банковской деятельности'\nK. Федеральный закон 'О государственной регистрации недвижимости'\nL. Совет директоров (наблюдательный совет) общества\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 226, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.040431778877973557, + "B": 0.18120265007019043, + "C": 0.05882788822054863, + "D": 0.26364830136299133, + "E": 0.019098618999123573, + "F": 0.014874019660055637, + "G": 0.06666072458028793, + "H": 0.040431778877973557, + "I": 0.021641569212079048, + "J": 0.1411207765340805, + "K": 0.07553650438785553, + "L": 0.019098618999123573 + }, + "sample": { + "question": "Согласно Федеральному закону 'Об акционерных обществах' (АО) № 208-ФЗ и его статье 86, кто назначает аудиторскую организацию (индивидуального аудитора) в случае наличия обязанности по проведению аудита годовой бухгалтерской (финансовой) отчетности общества?", + "answerA": "Генеральный директор общества", + "answerB": "Совет директоров (наблюдательный совет) общества", + "answerC": "Общее собрание акционеров", + "answerD": "Министерство финансов Российской Федерации", + "correct_answer": "C", + "choices": [ + "Федеральный закон от 02.07.2013 N 185-ФЗ", + "Общее собрание акционеров", + "Юридическое лицо, активно участвующее в благотворительной деятельности", + "Совет директоров (наблюдательный совет) общества", + "Федеральный закон от 29.12.2012 N 273-ФЗ", + "Регулирование цен на образовательные услуги частных учебных заведений", + "Меры, связанные с изменением ставок налога на добавленную стоимость", + "Меры, предусматривающие проведение сверки сведений, заявленных в таможенн��й декларации", + "Любая юридическое лицо, выбранное общим собранием", + "Любое физическое лицо, за исключением случаев, предусмотренных законом", + "Генеральный директор общества", + "Министерство финансов Российской Федерации" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nСогласно Федеральному закону 'Об акционерных обществах' (АО) № 208-ФЗ и его статье 86, кто назначает аудиторскую организацию (индивидуального аудитора) в случае наличия обязанности по проведению аудита годовой бухгалтерской (финансовой) отчетности общества?\nA. Федеральный закон от 02.07.2013 N 185-ФЗ\nB. Общее собрание акционеров\nC. Юридическое лицо, активно участвующее в благотворительной деятельности\nD. Совет директоров (наблюдательный совет) общества\nE. Федеральный закон от 29.12.2012 N 273-ФЗ\nF. Регулирование цен на образовательные услуги частных учебных заведений\nG. Меры, связанные с изменением ставок налога на добавленную стоимость\nH. Меры, предусматривающие проведение сверки сведений, заявленных в таможенной декларации\nI. Любая юридическое лицо, выбранное общим собранием\nJ. Любое физическое лицо, за исключением случаев, предусмотренных законом\nK. Генеральный директор общества\nL. Министерство финансов Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 248, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.010330377146601677, + "B": 0.0033537824638187885, + "C": 0.00245367968454957, + "D": 0.01411995105445385, + "E": 0.02637954242527485, + "F": 0.018130376935005188, + "G": 0.029891937971115112, + "H": 0.6803373694419861, + "I": 0.02637954242527485, + "J": 0.0492834746837616, + "K": 0.02637954242527485, + "L": 0.07170702517032623 + }, + "sample": { + "question": "Кто может быть единоличным исполнительным органом общества с ограниченной ответственностью (ООО) согласно Федеральному закону \"Об обществах с ограниченной ответственностью\" N 14-ФЗ?", + "answerA": "Любая юридическое лицо, выбранное общим собранием", + "answerB": "Любое физическое лицо, за исключением случаев, предусмотренных законом", + "answerC": "Только учредитель ООО", + "answerD": "Только член правления общества", + "correct_answer": "Любое физическое лицо, за исключением случаев, предусмотренных законом", + "choices": [ + "Только учредитель ООО", + "Юридическое лицо, зарегистрированное в офшорной зоне", + "Договор об ипотеке требует госрегистрации только если заключен после 01.07.2014.", + "Федеральный закон от 02.07.2013 N 185-ФЗ", + "Меры, связанные с изменением ставок налога на добавленную стоимость", + "Регулирование цен на образовательные услуги частных учебных заведений", + "Меры, предусматривающие проведение сверки сведений, заявленных в таможенной декларации", + "Любая юридическое лицо, выбранное общим собранием", + "Федеральный закон от 29.12.2012 N 273-ФЗ", + "Любое физическое лицо, за исключением случаев, предусмотренных законом", + "Только член правления общества", + "Юридическое лицо, активно участвующее в благотворительной деятельности" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКто может быть единоличным исполнительным органом общества с ограниченной ответственностью (ООО) согласно Федеральному закону \"Об обществах с ограниченной ответственностью\" N 14-ФЗ?\nA. Только учредитель ООО\nB. Юридическое лицо, зарегистрированное в офшорной зоне\nC. Договор об ипотеке требует госрегистрации только если заключен после 01.07.2014.\nD. Федеральный закон от 02.07.2013 N 185-ФЗ\nE. Меры, связанные с изменением ставок налога на добавленную стоимость\nF. Регулирование цен на образовательные услуги частных учебных заведений\nG. Меры, предусматривающие проведение сверки сведений, заявленных в таможенной декларации\nH. Любая юридическое лицо, выбранное общим собранием\nI. Федеральный закон от 29.12.2012 N 273-ФЗ\nJ. Любое физическое лицо, за исключением случаев, предусмотренных законом\nK. Только член правления общества\nL. Юридическое лицо, активно участвующее в благотворительной деятельности\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 252, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0007265222957357764, + "B": 0.012097682803869247, + "C": 0.00238217506557703, + "D": 0.9610379338264465, + "E": 0.0003431848017498851, + "F": 0.0005315350717864931, + "G": 0.0007265222957357764, + "H": 0.00011141580762341619, + "I": 3.1921157642500475e-05, + "J": 0.00013439312169793993, + "K": 0.00030285955290310085, + "L": 1.5078489923325833e-05 + }, + "sample": { + "question": "Какой федеральный закон регулирует основы охраны здоровья граждан в Российской Федерации?", + "answerA": "Федеральный закон от 02.07.2013 N 185-ФЗ", + "answerB": "Федеральный закон от 29.12.2012 N 273-ФЗ", + "answerC": "Федеральный закон \"Об основах охраны здоровья граждан в Российской Федерации\" N 323-ФЗ", + "answerD": "Федеральный закон \"О высшем образовании в Российской Федерации\"", + "correct_answer": "answerC", + "choices": [ + "Договор об ипотеке требует госрегистрации только если заключен после 01.07.2014.", + "Федеральный закон от 02.07.2013 N 185-ФЗ", + "Меры, связанные с изменением ставок налога на добавленную стоимость", + "Федеральный закон \"Об основах охраны здоровья граждан в Российской Федерации\" N 323-ФЗ", + "Юридическое лицо, зарегистрированное в офшорной зоне", + "Юридическое лицо, активно участвующее в благотворительной деятельности", + "Меры, предусматривающие проведение сверки сведений, заявленных в таможенной декларации", + "Федеральный закон \"О высшем образовании в Российской Федерации\"", + "Регулирование цен на образовательные услуги частных учебных заведений", + "Федеральный закон от 29.12.2012 N 273-ФЗ", + "Прямое управление всех образовательных учреждений на всей территории страны", + "��инистерство финансов Российской Федерации" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКакой федеральный закон регулирует основы охраны здоровья граждан в Российской Федерации?\nA. Договор об ипотеке требует госрегистрации только если заключен после 01.07.2014.\nB. Федеральный закон от 02.07.2013 N 185-ФЗ\nC. Меры, связанные с изменением ставок налога на добавленную стоимость\nD. Федеральный закон \"Об основах охраны здоровья граждан в Российской Федерации\" N 323-ФЗ\nE. Юридическое лицо, зарегистрированное в офшорной зоне\nF. Юридическое лицо, активно участвующее в благотворительной деятельности\nG. Меры, предусматривающие проведение сверки сведений, заявленных в таможенной декларации\nH. Федеральный закон \"О высшем образовании в Российской Федерации\"\nI. Регулирование цен на образовательные услуги частных учебных заведений\nJ. Федеральный закон от 29.12.2012 N 273-ФЗ\nK. Прямое управление всех образовательных учреждений на всей территории страны\nL. Министерство финансов Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 242, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.006448748055845499, + "B": 0.039503369480371475, + "C": 0.005346199497580528, + "D": 0.06513004004955292, + "E": 0.09476365894079208, + "F": 0.047650158405303955, + "G": 0.039503369480371475, + "H": 0.2918925881385803, + "I": 0.0036743858363479376, + "J": 0.01646745391190052, + "K": 0.007778674364089966, + "L": 0.33075764775276184 + }, + "sample": { + "question": "Каковы меры, применяемые таможенными органами на основании оценки рисков согласно Федеральному закону 'О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации' N 289-ФЗ, Статья 313?", + "answerA": "Меры, связанные с изменением ставок налога на добавленную стоимость", + "answerB": "Меры, предусматривающие проведение сверки сведений, заявленных в таможенной декларации", + "answerC": "Введение временного запрета на импорт определенных категорий товаров", + "answerD": "Обязательное страхование всех ввозимых товаров без исключения", + "correct_answer": "Меры, предусматривающие проведение сверки сведений, заявленных в таможенной декларации", + "choices": [ + "01.01.2005", + "Юридическое лицо, активно участвующее в благотворительной деятельности", + "Прямое управление всех образовательных учреждений на всей территории страны", + "Регулирование цен на образовательные услуги частных учебных заведений", + "Договор об ипотеке подлежит государственной регистрации, но составления одного документа не требуется при изменении условий обязательства.", + "Введение временного запрета на импорт определенных категорий товаров", + "Меры, связанные с изменением ставок налога на добавленную стоимость", + "Меры, предусматривающие проведение сверки сведений, заявленных �� таможенной декларации", + "Министерство финансов Российской Федерации", + "Обязательное страхование всех ввозимых товаров без исключения", + "Договор об ипотеке требует госрегистрации только если заключен после 01.07.2014.", + "Юридическое лицо, зарегистрированное в офшорной зоне" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКаковы меры, применяемые таможенными органами на основании оценки рисков согласно Федеральному закону 'О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации' N 289-ФЗ, Статья 313?\nA. 01.01.2005\nB. Юридическое лицо, активно участвующее в благотворительной деятельности\nC. Прямое управление всех образовательных учреждений на всей территории страны\nD. Регулирование цен на образовательные услуги частных учебных заведений\nE. Договор об ипотеке подлежит государственной регистрации, но составления одного документа не требуется при изменении условий обязательства.\nF. Введение временного запрета на импорт определенных категорий товаров\nG. Меры, связанные с изменением ставок налога на добавленную стоимость\nH. Меры, предусматривающие проведение сверки сведений, заявленных в таможенной декларации\nI. Министерство финансов Российской Федерации\nJ. Обязательное страхование всех ввозимых товаров без исключения\nK. Договор об ипотеке требует госрегистрации только если заключен после 01.07.2014.\nL. Юридическое лицо, зарегистрированное в офшорной зоне\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 262, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.04049283638596535, + "B": 0.08572333306074142, + "C": 0.2992038428783417, + "D": 0.18147629499435425, + "E": 0.02783029153943062, + "F": 0.02614413946866989, + "G": 0.08572333306074142, + "H": 0.02614413946866989, + "I": 0.0021460414864122868, + "J": 0.010898498818278313, + "K": 0.01687992550432682, + "L": 0.001148693379946053 + }, + "sample": { + "question": "Кто не может быть учредителем (акционером) оператора финансовой платформы согласно Федеральному закону от 20.07.2020 N 211-ФЗ \"О совершении финансовых сделок с использованием финансовой платформы\"?", + "answerA": "Юридическое лицо, активно участвующее в благотворительной деятельности", + "answerB": "Юридическое лицо, зарегистрированное в офшорной зоне", + "answerC": "Юридическое лицо с положительной деловой репутацией", + "answerD": "Юридическое лицо, специализирующееся на инновационной деятельности", + "correct_answer": "answerB", + "choices": [ + "Юридическое лицо с положительной деловой репутацией", + "Юридическое лицо, зарегистрированное в офшорной зоне", + "Прямое управление всех образовательных учреждений на всей территории страны", + "Министерство финансов Российской Федерации", + "Юридическое лицо, активно участвующее в благотворительной деятельности", + "Министерство промышленности и торговли Российской Федерации", + "Договор об ипотеке подлежит государственной регистрации, но составления одного документа не требуется при изменении условий обязательства.", + "Юридическое лицо, специализирующееся на инновационной деятельности", + "Разрешение на строительство объекта.", + "01.01.2005", + "Регулирование цен на образовательные услуги частных учебных заведений", + "Договор об ипотеке требует госрегистрации только если заключен после 01.07.2014." + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКто не может быть учредителем (акционером) оператора финансовой платформы согласно Федеральному закону от 20.07.2020 N 211-ФЗ \"О совершении финансовых сделок с использованием финансовой платформы\"?\nA. Юридическое лицо с положительной деловой репутацией\nB. Юридическое лицо, зарегистрированное в офшорной зоне\nC. Прямое управление всех образовательных учреждений на всей территории страны\nD. Министерство финансов Российской Федерации\nE. Юридическое лицо, активно участвующее в благотворительной деятельности\nF. Министерство промышленности и торговли Российской Федерации\nG. Договор об ипотеке подлежит государственной регистрации, но составления одного документа не требуется при изменении условий обязательства.\nH. Юридическое лицо, специализирующееся на инновационной деятельности\nI. Разрешение на строительство объекта.\nJ. 01.01.2005\nK. Регулирование цен на образовательные услуги частных учебных заведений\nL. Договор об ипотеке требует госрегистрации только если заключен после 01.07.2014.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 239, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.7282373309135437, + "B": 0.01511408295482397, + "C": 0.008089986629784107, + "D": 0.03199651464819908, + "E": 0.03199651464819908, + "F": 0.021990861743688583, + "G": 0.01177086029201746, + "H": 0.01511408295482397, + "I": 0.005560160148888826, + "J": 0.0026264339685440063, + "K": 0.002045468892902136, + "L": 0.0005505304434336722 + }, + "sample": { + "question": "Какое из нижеперечисленных полномочий принадлежит органам государственной власти субъектов Российской Федерации в сфере образования согласно Федеральному закону 'Об образовании в Российской Федерации' N 273-ФЗ?", + "answerA": "Регулирование цен на образовательные услуги частных учебных заведений", + "answerB": "Прямое управление всех образовательных учреждений на всей территории страны", + "answerC": "Разработка и реализация региональных программ развития образования", + "answerD": "Назначение министра образования Российской Федерации", + "correct_answer": "Разработка и реализация региональных программ развития образования", + "choices": [ + "Разработка и реализация региональных программ развития образования", + "01.01.2005", + "Договор об ипотеке подлежит государственной регистрации, но составления одного документа не требуется при изменении условий обязательства.", + "Договор об ипотеке требует госрегистрации только если заключен после 01.07.2014.", + "Регулирование цен на образовательные услуги частных учебных заведений", + "Разрешение на строительство объекта.", + "Прямое управление всех образовательных учреждений на всей территории страны", + "Министерство промышленности и торговли Российской Федерации", + "до 55 лет", + "04.05.2011", + "Министерство финансов Российской Федерации", + "Назначение министра образования Российской Федерации" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКакое из нижеперечисленных полномочий принадлежит органам государственной власти субъектов Российской Федерации в сфере образования согласно Федеральному закону 'Об образовании в Российской Федерации' N 273-ФЗ?\nA. Разработка и реализация региональных программ развития образования\nB. 01.01.2005\nC. Договор об ипотеке подлежит государственной регистрации, но составления одного документа не требуется при изменении условий обязательства.\nD. Договор об ипотеке требует госрегистрации только если заключен после 01.07.2014.\nE. Регулирование цен на образовательные услуги частных учебных заведений\nF. Разрешение на строительство объекта.\nG. Прямое управление всех образовательных учреждений на всей территории страны\nH. Министерство промышленности и торговли Российской Федерации\nI. до 55 лет\nJ. 04.05.2011\nK. Министерство финансов Российской Федерации\nL. Назначение министра образования Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 214, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.008546711876988411, + "B": 0.043403781950473785, + "C": 0.07156074047088623, + "D": 0.03830370306968689, + "E": 0.06315213441848755, + "F": 0.08108895272016525, + "G": 0.22042259573936462, + "H": 0.151494100689888, + "I": 0.004297556821256876, + "J": 0.03380290046334267, + "K": 0.11798372119665146, + "L": 0.03830370306968689 + }, + "sample": { + "question": "Какое утверждение о государственной регистрации договора об ипотеке верно в соответствии с Федеральным законом 'Об ипотеке (залоге недвижимости)' N 102-ФЗ?", + "answerA": "Договор об ипотеке требует госрегистрации только если заключен после 01.07.2014.", + "answerB": "Договор об ипотеке подлежит государственной регистрации, но составления одного документа не требуется при изменении условий обязательства.", + "answerC": "Договор об ипотеке не требует государственной регистрации ни при каких условиях.", + "answerD": "Государственная регистрация договора об ипотеке прекращает все обязательства сторон немедленно после регистрации.", + "correct_answer": "answerB", + "choices": [ + "Договор об ипотеке не требует государственной регистрации ни при каких условиях.", + "Министерство финансов Российской Федерации", + "04.05.2011", + "до 55 лет", + "Согласие всех собственников на объединение объектов.", + "01.01.2005", + "Договор об ипотеке требует госрегистрации только если заключен после 01.07.2014.", + "Государственная регистрация договора об ипотеке прекращает все обязательства сторон немедленно после регистрации.", + "Каждые шесть лет на пять лет вперед", + "Министерство промышленности и торговли Российской Федерации", + "Разрешение на строительство объекта.", + "Договор об ипотеке подлежит государственной регистрации, но составления одного документа не требуется при изменении условий обязательства." + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКакое утверждение о государственной регистрации договора об ипотеке верно в соответствии с Федеральным законом 'Об ипотеке (залоге недвижимости)' N 102-ФЗ?\nA. Договор об ипотеке не требует государственной регистрации ни при каких условиях.\nB. Министерство финансов Российской Федерации\nC. 04.05.2011\nD. до 55 лет\nE. Согласие всех собственников на объединение объектов.\nF. 01.01.2005\nG. Договор об ипотеке требует госрегистрации только если заключен после 01.07.2014.\nH. Государственная регистрация договора об ипотеке прекращает все обязательства сторон немедленно после регистрации.\nI. Каждые шесть лет на пять лет вперед\nJ. Министерство промышленности и торговли Российской Федерации\nK. Разрешение на строительство объекта.\nL. Договор об ипотеке подлежит государственной регистрации, но составления одного документа не требуется при изменении условий обязательства.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 215, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.003191632218658924, + "B": 0.03888203948736191, + "C": 0.002485645469278097, + "D": 0.022154318168759346, + "E": 0.022154318168759346, + "F": 0.019551116973161697, + "G": 0.03888203948736191, + "H": 0.015226424671709538, + "I": 0.004098136443644762, + "J": 0.6892006397247314, + "K": 0.04992552846670151, + "L": 0.04992552846670151 + }, + "sample": { + "question": "Какое ведомство координирует деятельность органов исполнительной власти субъектов Российской Федерации по осуществлению ими государственной политики в области развития малого и среднего предпринимательства согласно Федеральному закону 'О развитии малого и среднего предпринимательства в Российской Федерации' N 209-ФЗ?", + "answerA": "Министерство финансов Российской Федерации", + "answerB": "Министерство промышленности и торговли Российской Федерации", + "answerC": "Правительство Российской Федерации", + "answerD": "Министерство экономического развития Российской Федерации", + "correct_answer": "C", + "choices": [ + "04.05.2011", + "Разрешение на строительство объекта.", + "Согласие всех собственников на объединение объектов.", + "Реструктуризация долгов и реализация имущества", + "Каждые шесть лет на пять лет вперед", + "Министерство промышленности и торговли Российской Федерации", + "Министерство финансов Российской Федерации", + "01.01.2005", + "до 60 лет", + "Министерство экономического развития Российской Федерации", + "до 55 лет", + "Правительство Российской Федерации" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКакое ведомство координирует деятельность органов исполнительной власти субъектов Российской Федерации по осуществлению ими государственной политики в области развития малого и среднего предпринимательства согласно Федеральному закону 'О развитии малого и среднего предпринимательства в Российской Федерации' N 209-ФЗ?\nA. 04.05.2011\nB. Разрешение на строительство объекта.\nC. Согласие всех собственников на объединение объектов.\nD. Реструктуризация долгов и реализация имущества\nE. Каждые шесть лет на пять лет вперед\nF. Министерство промышленности и торговли Российской Федерации\nG. Министерство финансов Российской Федерации\nH. 01.01.2005\nI. до 60 лет\nJ. Министерство экономического развития Российской Федерации\nK. до 55 лет\nL. Правительство Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 185, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.2706710994243622, + "B": 0.21079885959625244, + "C": 0.060394883155822754, + "D": 0.06843636929988861, + "E": 0.1641703099012375, + "F": 0.036631349474191666, + "G": 0.03232705220580101, + "H": 0.01960734836757183, + "I": 0.005617599003016949, + "J": 0.028528520837426186, + "K": 0.008173558861017227, + "L": 0.0041099232621490955 + }, + "sample": { + "question": "Когда была утрачена сила статьи 24 Федерального закона 'Об аудиторской деятельности' N 307-ФЗ?", + "answerA": "01.01.2005", + "answerB": "04.05.2011", + "answerC": "20.07.2002", + "answerD": "15.08.2013", + "correct_answer": "answerB", + "choices": [ + "20.07.2002", + "15.08.2013", + "до 60 лет", + "Не чаще одного раза в год", + "Каждые шесть лет на пять лет вперед", + "Согласие всех собственников на объединение объектов.", + "Реструктуризация долгов и реализация имущества", + "до 55 лет", + "Каждые три года на десять лет вперед", + "04.05.2011", + "Разрешение на строительство объекта.", + "01.01.2005" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКогда была утрачена сила статьи 24 Федерального закона 'Об аудиторской деятельности' N 307-ФЗ?\nA. 20.07.2002\nB. 15.08.2013\nC. до 60 лет\nD. Не чаще одного раза в год\nE. Каждые шесть лет на пять лет вперед\nF. Согласие всех собственников на объединение объектов.\nG. Реструктуризация долгов и реализация имущества\nH. до 55 лет\nI. Каждые три года на десять лет вперед\nJ. 04.05.2011\nK. Разрешение на строительство объекта.\nL. 01.01.2005\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 180, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.00442529795691371, + "B": 0.0014366840478032827, + "C": 0.0009874174138531089, + "D": 0.012805024161934853, + "E": 0.013630877248942852, + "F": 0.00442529795691371, + "G": 0.009972563944756985, + "H": 0.8977015614509583, + "I": 0.012029208242893219, + "J": 0.002521459013223648, + "K": 0.010615738108754158, + "L": 0.00442529795691371 + }, + "sample": { + "question": "Какие документы необходимы для осуществления государственного кадастрового учета и государственной регистрации прав при объединении объектов недвижимости, находящихся в собственности разных лиц, согласно статье 41 Федерального закона 'О государственной регистрации недвижимости' N 218-ФЗ?", + "answerA": "Разрешение на строительство объекта.", + "answerB": "Согласие всех собственников на объединение объектов.", + "answerC": "Соглашение об образовании общей долевой или общей совместной собственности.", + "answerD": "Паспорт гражданина РФ.", + "correct_answer": "Соглашение об образовании общей долевой или общей совместной собственности.", + "choices": [ + "Не чаще одного раза в год", + "до 55 лет", + "Каждые три года на десять лет вперед", + "Каждые шесть лет на пять лет вперед", + "до 60 лет", + "Реструктуризация долгов и реализация имущества", + "Экспресс-проверка и длительная проверка", + "Соглашение об образовании общей долевой или общей совместной собственности.", + "Согласие всех собственников на объединение объектов.", + "Наблюдение, финансовое оздоровление, внешнее управление, конкурсное производство, мировое соглашение", + "Паспорт гражданина РФ.", + "Разрешение на строительство объекта." + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакие документы необходимы для осуществления государственного кадастрового учета и государственной регистрации прав при объединении объектов недвижимости, находящихся в собственности разных лиц, согласно статье 41 Федерального закона 'О государственной регистрации недвижимости' N 218-ФЗ?\nA. Не чаще одного раза в год\nB. до 55 лет\nC. Каждые три года на десять лет вперед\nD. Каждые шесть лет на пять лет вперед\nE. до 60 лет\nF. Реструктуризация долгов и реализация имущества\nG. Экспресс-проверка и длительная проверка\nH. Соглашение об образовании общей долевой или общей совместной собственности.\nI. Согласие всех собственников на объединение объектов.\nJ. Наблюдение, финансовое оздоровление, внешнее управление, конкурсное производство, мировое соглашение\nK. Паспорт гражданина РФ.\nL. Разрешение на строительство объекта.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 204, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.014546634629368782, + "B": 0.2921769917011261, + "C": 0.057533055543899536, + "D": 0.22754766047000885, + "E": 0.018678249791264534, + "F": 0.07387390732765198, + "G": 0.12179748713970184, + "H": 0.039541855454444885, + "I": 0.001968672964721918, + "J": 0.057533055543899536, + "K": 0.027176691219210625, + "L": 0.0018493970856070518 + }, + "sample": { + "question": "До какого возраста граждане женского пола, имеющие воинские звания офицеров и пребывающие в запасе, могут находиться в запасе согласно Федеральному закону 'О воинской обязанности и военной службе' N 53-ФЗ, статья 53 в редакции Федерального закона от 24.07.2023 N 326-ФЗ?", + "answerA": "до 55 лет", + "answerB": "до 60 лет", + "answerC": "до 50 лет", + "answerD": "до 45 лет", + "correct_answer": "C", + "choices": [ + "Наблюдение, финансовое оздоровление, внешнее управление, конкурсное производство, мировое соглашение", + "до 55 лет", + "Не чаще одного раза в три года", + "до 60 лет", + "Экспресс-проверка и длительная проверка", + "Фонд обязан проводить ежемесячные собрания учредителей", + "до 50 лет", + "Реструктуризация долгов и реализация имущества", + "Не чаще одного раза в год", + "до 45 лет", + "Каждые шесть лет на пять лет вперед", + "Каждые три года на десять лет вперед" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nДо какого возраста граждане женского пола, имеющие воинские звания офицеров и пребывающие в запасе, могут находиться в запасе согласно Федеральному закону 'О воинской обязанности и военной службе' N 53-ФЗ, статья 53 в редакции Федерального закона от 24.07.2023 N 326-ФЗ?\nA. Наблюдение, финансовое оздоровление, внешнее управление, конкурсное производство, мировое соглашение\nB. до 55 лет\nC. Не чаще одного раза в три года\nD. до 60 лет\nE. Экспресс-проверка и длительная проверка\nF. Фонд обязан проводить ежемесячные собрания учредителей\nG. до 50 лет\nH. Реструктуризация долгов и реализация имущества\nI. Не чаще одного раза в год\nJ. до 45 лет\nK. Каждые шесть лет на пять лет вперед\nL. Каждые три года на десять лет вперед\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 224, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.011526867747306824, + "B": 0.14042599499225616, + "C": 0.031333278864622116, + "D": 0.035505253821611404, + "E": 0.031333278864622116, + "F": 0.02765151858329773, + "G": 0.1591235250234604, + "H": 0.4325425326824188, + "I": 0.0022697749081999063, + "J": 0.013904057443141937, + "K": 0.02765151858329773, + "L": 0.0027378711383789778 + }, + "sample": { + "question": "Какой срок разработки прогноза социально-экономического развития Российской Федерации на долгосрочный период установлен Федеральным законом 'О стратегическом планировании в Российской Федерации' N 172-ФЗ?", + "answerA": "Каждые шесть лет на пять лет вперед", + "answerB": "Каждые три года на десять лет вперед", + "answerC": "Каждые шесть лет на двенадцать и более лет", + "answerD": "Каждые десять лет на двадцать лет вперед", + "correct_answer": "Каждые шесть лет на двенадцать и более лет", + "choices": [ + "Не чаще одного раза в год", + "Каждые десять лет на двадцать лет вперед", + "Фонд обязан проводить ежемесячные собрания учредителей", + "Реструктуризация долгов и реализация им��щества", + "Плановая, внеплановая и встречная внеплановая выездные таможенные проверки", + "Наблюдение, финансовое оздоровление, внешнее управление, конкурсное производство, мировое соглашение", + "Не чаще одного раза в три года", + "Каждые три года на десять лет вперед", + "Экспресс-проверка и длительная проверка", + "Каждые шесть лет на пять лет вперед", + "Каждые шесть лет на двенадцать и более лет", + "Дважды" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКакой срок разработки прогноза социально-экономического развития Российской Федерации на долгосрочный период установлен Федеральным законом 'О стратегическом планировании в Российской Федерации' N 172-ФЗ?\nA. Не чаще одного раза в год\nB. Каждые десять лет на двадцать лет вперед\nC. Фонд обязан проводить ежемесячные собрания учредителей\nD. Реструктуризация долгов и реализация имущества\nE. Плановая, внеплановая и встречная внеплановая выездные таможенные проверки\nF. Наблюдение, финансовое оздоровление, внешнее управление, конкурсное производство, мировое соглашение\nG. Не чаще одного раза в три года\nH. Каждые три года на десять лет вперед\nI. Экспресс-проверка и длительная проверка\nJ. Каждые шесть лет на пять лет вперед\nK. Каждые шесть лет на двенадцать и более лет\nL. Дважды\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 208, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0074000051245093346, + "B": 0.10874228179454803, + "C": 0.018896574154496193, + "D": 0.02426368184387684, + "E": 0.04000404477119446, + "F": 0.031155185773968697, + "G": 0.1396278589963913, + "H": 0.05820554867386818, + "I": 0.011461352929472923, + "J": 0.10874228179454803, + "K": 0.20315732061862946, + "L": 0.12322114408016205 + }, + "sample": { + "question": "Какие процедуры применяются при рассмотрении дела о банкротстве должника - юридического лица согласно статье 27 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?", + "answerA": "Реструктуризация долгов и реализация имущества", + "answerB": "Наблюдение, финансовое оздоровление, внешнее управление, конкурсное производство, мировое соглашение", + "answerC": "Только конкурсное производство", + "answerD": "Только внешнее управление", + "correct_answer": "B", + "choices": [ + "Только конкурсное производство", + "Экспресс-проверка и длительная проверка", + "Реструктуризация долгов и реализация имущества", + "Дважды", + "Фонд должен ежегодно публиковать отчеты об использовании своего имущества", + "Стратегия национальной безопасности", + "Фонд обязан проводить ежемесячные собрания учредителей", + "Только внешнее управление", + "Плановая, внеплановая и встречная внеплановая выездные таможенные проверки", + "Не чаще одного раза в три года", + "Не чаще одного раза в год", + "Наблюдение, финансовое оздоровление, внешнее управление, конкурсное производство, мировое соглашение" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКакие процедуры применяются при рассмотрении дела о банкротстве должника - юридического лица согласно статье 27 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?\nA. Только конкурсное производство\nB. Экспресс-проверка и длительная проверка\nC. Реструктуризация долгов и реализация имущества\nD. Дважды\nE. Фонд должен ежегодно публиковать отчеты об использовании своего имущества\nF. Стратегия национальной безопасности\nG. Фонд обязан проводить ежемесячные собрания учредителей\nH. Только внешнее управление\nI. Плановая, внеплановая и встречная внеплановая выездные таможенные проверки\nJ. Не чаще одного раза в три года\nK. Не чаще одного раза в год\nL. Наблюдение, финансовое оздоровление, внешнее управление, конкурсное производство, мировое соглашение\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 198, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.08022670447826385, + "B": 0.5231438279151917, + "C": 0.0707998126745224, + "D": 0.11672917008399963, + "E": 0.048659954220056534, + "F": 0.05513894930481911, + "G": 0.029513755813241005, + "H": 0.010857502929866314, + "I": 0.0007388624362647533, + "J": 0.017900995910167694, + "K": 0.004526081029325724, + "L": 0.0004770454252138734 + }, + "sample": { + "question": "Как часто проводятся плановые проверки одного и того же органа местного самоуправления или должностного лица местного самоуправления согласно Федеральному закону \"Об общих принципах организации местного самоуправления в РФ\" (закон о МСУ) N 131-ФЗ?", + "answerA": "Не чаще одного раза в год", + "answerB": "Не чаще одного раза в три года", + "answerC": "Не чаще одного раза в два года", + "answerD": "Не чаще одного раза в пять лет", + "correct_answer": "Не чаще одного раза в два года", + "choices": [ + "Не чаще одного раза в год", + "Не чаще одного раза в два года", + "Фонд обязан проводить ежемесячные собрания учредителей", + "Экспресс-проверка и длительная проверка", + "Один раз", + "Плановая, внеплановая и встречная внеплановая выездные таможенные проверки", + "Стратегия национальной безопасности", + "Сберегательные сертификаты могут быть выданы только юридическим лицам.", + "Фонд должен ежегодно публиковать отчеты об использовании своего имущества", + "Не чаще одного раза в три года", + "Дважды", + "Не чаще одного раза в пять лет" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКак часто проводятся плановые проверки одного и того же органа местного самоуправления или должностного лица местного самоуправления согласно Федеральному закону \"Об общих принципах организации местного самоуправления в РФ\" (закон о МСУ) N 131-ФЗ?\nA. Не чаще одного раза в год\nB. Не чаще одного раза в два года\nC. Фонд обязан проводить ежемесячные собрания учредителей\nD. Экспресс-проверка и длительная проверка\nE. Один раз\nF. Плановая, внеплановая и встречная внеплановая выездные таможенные проверки\nG. Стратегия национальной безопасности\nH. Сберегательные сертификаты могут быть выданы только юридическим лицам.\nI. Фонд должен ежегодно публиковать отчеты об использовании своего имущества\nJ. Не чаще одного раза в три года\nK. Дважды\nL. Не чаще одного раза в пять лет\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 199, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.001751971896737814, + "B": 0.03987469524145126, + "C": 0.9075438976287842, + "D": 0.007851793430745602, + "E": 0.0012817700626328588, + "F": 0.0005019483505748212, + "G": 0.001452435739338398, + "H": 0.0006054652621969581, + "I": 6.381557614076883e-05, + "J": 7.69762700656429e-05, + "K": 0.00011199981236131862, + "L": 7.621682925673667e-06 + }, + "sample": { + "question": "Какие виды выездных таможенных проверок предусмотрены Федеральным законом \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?", + "answerA": "Экспресс-проверка и длительная проверка", + "answerB": "Плановая, внеплановая и встречная внеплановая выездные таможенные проверки", + "answerC": "Первичная и повторная выездная таможенная проверка", + "answerD": "Проверка по заявлению и проверка по инициативе таможни", + "correct_answer": "B", + "choices": [ + "Стратегия социально-экономического развития муниципального образования", + "Проверка по заявлению и проверка по инициативе таможни", + "Плановая, внеплановая и встречная внеплановая выездные таможенные проверки", + "Экспресс-проверка и длительная проверка", + "Один раз", + "Если акционеры не выплачивали дивиденды в течение двух лет.", + "Стратегия национальной безопасности", + "Сберегательные сертификаты могут быть выданы только юридическим лицам.", + "Первичная и повторная выездная таможенная проверка", + "Фонд должен ежегодно публиковать отчеты об использовании своего имущества", + "Дважды", + "Фонд обязан проводить ежемесячные собрания учредителей" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКакие виды выездных таможенных проверок предусмотрены Федеральным законом \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?\nA. Стратегия социально-экономического развития муниципального образования\nB. Проверка по заявлению и проверка по инициативе таможни\nC. Плановая, внеплановая и встречная внеплановая выездные таможенные проверки\nD. Экспресс-проверка и длительная проверка\nE. Один раз\nF. Если акционеры не выплачивали дивиденды в течение двух лет.\nG. Стратегия национальной безопасности\nH. Сберегательные сертификаты могут быт�� выданы только юридическим лицам.\nI. Первичная и повторная выездная таможенная проверка\nJ. Фонд должен ежегодно публиковать отчеты об использовании своего имущества\nK. Дважды\nL. Фонд обязан проводить ежемесячные собрания учредителей\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 209, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.007674527354538441, + "B": 0.7828230261802673, + "C": 0.03035334311425686, + "D": 0.02086152695119381, + "E": 0.016246972605586052, + "F": 0.02363920770585537, + "G": 0.014337904751300812, + "H": 0.00561480363830924, + "I": 0.00010283872688887641, + "J": 0.005274620372802019, + "K": 0.0012528321240097284, + "L": 0.00010947125701932237 + }, + "sample": { + "question": "Что является обязанностью фонда в соответствии со Статьей 7 Федерального закона \"О некоммерческих организациях\" N 7-ФЗ?", + "answerA": "Фонд обязан проводить ежемесячные собрания учредителей", + "answerB": "Фонд должен ежегодно публиковать отчеты об использовании своего имущества", + "answerC": "Фонд обязан вести бухгалтерию только в электронном формате", + "answerD": "Фонд должен иметь минимум 100 учредителей", + "correct_answer": "Фонд должен ежегодно публиковать отчеты об использовании своего имущества", + "choices": [ + "Фонд обязан проводить ежемесячные собрания учредителей", + "Фонд должен ежегодно публиковать отчеты об использовании своего имущества", + "Один раз", + "Фонд должен иметь минимум 100 учредителей", + "Дважды", + "Депозитные сертификаты могут обращаться между физическими и юридическими лицами.", + "Если акционеры не выплачивали дивиденды в течение двух лет.", + "Фонд обязан вести бухгалтерию только в электронном формате", + "Стратегия национальной безопасности", + "Индустриальная разработка и добыча полезных ископаемых", + "Стратегия социально-экономического развития муниципального образования", + "Сберегательные сертификаты могут быть выданы только юридическим лицам." + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nЧто является обязанностью фонда в соответствии со Статьей 7 Федерального закона \"О некоммерческих организациях\" N 7-ФЗ?\nA. Фонд обязан проводить ежемесячные собрания учредителей\nB. Фонд должен ежегодно публиковать отчеты об использовании своего имущества\nC. Один раз\nD. Фонд должен иметь минимум 100 учредителей\nE. Дважды\nF. Депозитные сертификаты могут обращаться между физическими и юридическими лицами.\nG. Если акционеры не выплачивали дивиденды в течение двух лет.\nH. Фонд обязан вести бухгалтерию только в электронном формате\nI. Стратегия национальной безопасности\nJ. Индустриальная разработка и добыча полезных ископаемых\nK. Стратегия социально-экономического развития муниципального образования\nL. Сберегательные сертификаты могут быть выданы только юридическим лицам.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 191, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.006682646926492453, + "B": 0.040936179459095, + "C": 0.002965406747534871, + "D": 0.024829046800732613, + "E": 0.06749234348535538, + "F": 0.021911557763814926, + "G": 0.03612604737281799, + "H": 0.7256110906600952, + "I": 0.0014911001781001687, + "J": 0.0040532308630645275, + "K": 0.00357696320861578, + "L": 0.03612604737281799 + }, + "sample": { + "question": "Сколько раз проводится проверка ведения учета товаров за один и тот же период согласно статье 244 Федерального закона 'О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации' N 289-ФЗ?", + "answerA": "Дважды", + "answerB": "Один раз", + "answerC": "Трижды", + "answerD": "Четыре раза", + "correct_answer": "answerB", + "choices": [ + "Стратегия социально-экономического развития муниципального образования", + "Трижды", + "Депозитные сертификаты могут обращаться между физическими и юридическими лицами.", + "Сберегательные сертификаты могут быть выданы только юридическим лицам.", + "Дважды", + "Если акционеры не выплачивали дивиденды в течение двух лет.", + "Индустриальная разработка и добыча полезных ископаемых", + "Один раз", + "Если акционеры неправомерно использовали свое право голоса на собрании акционеров.", + "Стратегия национальной безопасности", + "Четыре раза", + "Реклама должна обращаться к несовершеннолетним." + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nСколько раз проводится проверка ведения учета товаров за один и тот же период согласно статье 244 Федерального закона 'О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации' N 289-ФЗ?\nA. Стратегия социально-экономического развития муниципального образования\nB. Трижды\nC. Депозитные сертификаты могут обращаться между физическими и юридическими лицами.\nD. Сберегательные сертификаты могут быть выданы только юридическим лицам.\nE. Дважды\nF. Если акционеры не выплачивали дивиденды в течение двух лет.\nG. Индустриальная разработка и добыча полезных ископаемых\nH. Один раз\nI. Если акционеры неправомерно использовали свое право голоса на собрании акционеров.\nJ. Стратегия национальной безопасности\nK. Четыре раза\nL. Реклама должна обращаться к несовершеннолетним.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 199, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.039594318717718124, + "B": 0.012854393571615219, + "C": 0.010656666941940784, + "D": 0.04486624151468277, + "E": 0.0652799978852272, + "F": 0.010656666941940784, + "G": 0.012854393571615219, + "H": 0.016505368053913116, + "I": 0.5465826988220215, + "J": 0.05760939046740532, + "K": 0.021193310618400574, + "L": 0.0006399825215339661 + }, + "sample": { + "question": "Какие документы ��тратегического планирования могут разрабатываться на уровне муниципального образования согласно Федеральному закону \"О стратегическом планировании в Российской Федерации\" N 172-ФЗ?", + "answerA": "Стратегия национальной безопасности", + "answerB": "Стратегия социально-экономического развития муниципального образования", + "answerC": "Федеральная программа развития образования", + "answerD": "Стратегия инновационного развития Российской Федерации", + "correct_answer": "B", + "choices": [ + "Стратегия национальной безопасности", + "Торговля и коммерческая деятельность", + "Если акционеры неправомерно использовали свое право голоса на собрании акционеров.", + "Депозитные сертификаты могут обращаться между физическими и юридическими лицами.", + "Реклама должна обращаться к несовершеннолетним.", + "Индустриальная разработка и добыча полезных ископаемых", + "Сберегательные сертификаты могут быть выданы только юридическим лицам.", + "Если ребенок не достиг возраста 14 лет", + "Стратегия социально-экономического развития муниципального образования", + "Если акционеры не выплачивали дивиденды в течение двух лет.", + "Федеральная программа развития образования", + "Стратегия инновационного развития Российской Федерации" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКакие документы стратегического планирования могут разрабатываться на уровне муниципального образования согласно Федеральному закону \"О стратегическом планировании в Российской Федерации\" N 172-ФЗ?\nA. Стратегия национальной безопасности\nB. Торговля и коммерческая деятельность\nC. Если акционеры неправомерно использовали свое право голоса на собрании акционеров.\nD. Депозитные сертификаты могут обращаться между физическими и юридическими лицами.\nE. Реклама должна обращаться к несовершеннолетним.\nF. Индустриальная разработка и добыча полезных ископаемых\nG. Сберегательные сертификаты могут быть выданы только юридическим лицам.\nH. Если ребенок не достиг возраста 14 лет\nI. Стратегия социально-экономического развития муниципального образования\nJ. Если акционеры не выплачивали дивиденды в течение двух лет.\nK. Федеральная программа развития образования\nL. Стратегия инновационного развития Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 201, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.001997157698497176, + "B": 0.007898912765085697, + "C": 0.2615760564804077, + "D": 0.04545510187745094, + "E": 0.005099921021610498, + "F": 0.004790932405740023, + "G": 0.02147146873176098, + "H": 0.008950640447437763, + "I": 0.0006090987008064985, + "J": 0.0022630763705819845, + "K": 0.33587029576301575, + "L": 0.00044562615221366286 + }, + "sample": { + "question": "Что из перечисленного является верным утверждением относительно сберегательных и депозитных сертификатов согласно Федеральному закону \"О банках и банковской деятельности\" N 395-1, Статье 36.1?", + "answerA": "Сберегательные сертификаты могут быть выданы только юридическим лицам.", + "answerB": "Депозитные сертификаты могут обращаться между физическими и юридическими лицами.", + "answerC": "Сберегательные и депозитные сертификаты являются именными документарными ценными бумагами.", + "answerD": "Кредитная организация может выдавать депозитные сертификаты до регистрации условий выдачи в Банке России.", + "correct_answer": "C", + "choices": [ + "Депозитные сертификаты могут обращаться между физическими и юридическими лицами.", + "Индустриальная разработка и добыча полезных ископаемых", + "Сберегательные сертификаты могут быть выданы только юридическим лицам.", + "Если акционеры неправомерно использовали свое право голоса на собрании акционеров.", + "Реклама не должна осуждать неучастие в основанных на риске играх, пари.", + "Если акционеры не выплачивали дивиденды в течение двух лет.", + "Только на основе федеральных законов", + "Кредитная организация может выдавать депозитные сертификаты до регистрации условий выдачи в Банке России.", + "Если ребенок не достиг возраста 14 лет", + "Торговля и коммерческая деятельность", + "Сберегательные и депозитные сертификаты являются именными документарными ценными бумагами.", + "Реклама должна обращаться к несовершеннолетним." + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nЧто из перечисленного является верным утверждением относительно сберегательных и депозитных сертификатов согласно Федеральному закону \"О банках и банковской деятельности\" N 395-1, Статье 36.1?\nA. Депозитные сертификаты могут обращаться между физическими и юридическими лицами.\nB. Индустриальная разработка и добыча полезных ископаемых\nC. Сберегательные сертификаты могут быть выданы только юридическим лицам.\nD. Если акционеры неправомерно использовали свое право голоса на собрании акционеров.\nE. Реклама не должна осуждать неучастие в основанных на риске играх, пари.\nF. Если акционеры не выплачивали дивиденды в течение двух лет.\nG. Только на основе федеральных законов\nH. Кредитная организация может выдавать депозитные сертификаты до регистрации условий выдачи в Банке России.\nI. Если ребенок не достиг возраста 14 лет\nJ. Торговля и коммерческая деятельность\nK. Сберегательные и депозитные сертификаты являются именными документарными ценными бумагами.\nL. Реклама должна обращаться к несовершеннолетним.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 248, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0031877923756837845, + "B": 0.004638210870325565, + "C": 0.01834447868168354, + "D": 0.015208108350634575, + "E": 0.014286695048213005, + "F": 0.020787019282579422, + "G": 0.4731103479862213, + "H": 0.034272000193595886, + "I": 0.002994653768837452, + "J": 0.008665318600833416, + "K": 0.28695592284202576, + "L": 0.00674855662509799 + }, + "sample": { + "question": "Каковы условия возложения субсидиарной ответственности на акционеров по обязательствам общества, согласно Федеральному закону 'Об акционерных обществах' (АО) N 208-ФЗ?", + "answerA": "Если акционеры не выплачивали дивиденды в течение двух лет.", + "answerB": "Если акционеры неправомерно использовали свое право голоса на собрании акционеров.", + "answerC": "Если несостоятельность (банкротство) общества вызвана действиями (бездействием) его акционеров или других лиц, имеющих влияние на управление обществом, с недостаточностью имущества общества.", + "answerD": "Если акционеры не поддерживали связь с обществом в течение трех лет.", + "correct_answer": "answerC", + "choices": [ + "ФИО залогодателя и залогодержателя", + "Реклама должна обращаться к несовершеннолетним.", + "Только на основе федеральных законов", + "Если ребенок не достиг возраста 14 лет", + "Торговля и коммерческая деятельность", + "Если ребенок проживает вне территории Российской Федерации", + "Если несостоятельность (банкротство) общества вызвана действиями (бездействием) его акционеров или других лиц, имеющих влияние на управление обществом, с недостаточностью имущества общества.", + "Реклама не должна осуждать неучастие в основанных на риске играх, пари.", + "Индустриальная разработка и добыча полезных ископаемых", + "Если акционеры не поддерживали связь с обществом в течение трех лет.", + "Если акционеры не выплачивали дивиденды в течение двух лет.", + "Если акционеры неправомерно использовали свое право голоса на собрании акционеров." + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКаковы условия возложения субсидиарной ответственности на акционеров по обязательствам общества, согласно Федеральному закону 'Об акционерных обществах' (АО) N 208-ФЗ?\nA. ФИО залогодателя и залогодержателя\nB. Реклама должна обращаться к несовершеннолетним.\nC. Только на основе федеральных законов\nD. Если ребенок не достиг возраста 14 лет\nE. Торговля и коммерческая деятельность\nF. Если ребенок проживает вне территории Российской Федерации\nG. Если несостоятельность (банкротство) общества вызвана действиями (бездействием) его акционеров или других лиц, имеющих влияние на управление обществом, с недостаточностью имущества общества.\nH. Реклама не должна осуждать неучастие в основанных на риске играх, пари.\nI. Индустриальная разработка и добыча полезных ископаемых\nJ. Если акционеры не поддерживали связь с обществом в течение трех лет.\nK. Если акционеры не выплачивали дивиденды в течение двух лет.\nL. Если акционеры неправомерно использовали свое право голоса на собрании акционеров.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 236, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.000404499500291422, + "B": 0.001245946274138987, + "C": 0.0680263563990593, + "D": 0.022084925323724747, + "E": 0.004348780028522015, + "F": 0.002637668279930949, + "G": 0.6454161405563354, + "H": 0.005583943799138069, + "I": 0.000203395145945251, + "J": 0.00013979128561913967, + "K": 0.003181635169312358, + "L": 2.9301849281182513e-05 + }, + "sample": { + "question": "Какие направления деятельности являются приоритетными в лесопарковом зеленом поясе согласно статье 62.1 Федерального закона 'Об охране окружающей среды' N 7-ФЗ?", + "answerA": "Индустриальная разработка и добыча полезных ископаемых", + "answerB": "Торговля и коммерческая деятельность", + "answerC": "Охрана окружающей среды, природных комплексов и объектов; проведение научных исследований; ведение эколого-просветительской работы и развитие туризма", + "answerD": "Строительство жилых комплексов и объектов инфраструктуры", + "correct_answer": "C", + "choices": [ + "Если ребенок не достиг возраста 14 лет", + "ФИО залогодателя и залогодержателя", + "Торговля и коммерческая деятельность", + "На основе решений межгосударственных органов без оговорок", + "Если ребенок проживает вне территории Российской Федерации", + "Индустриальная разработка и добыча полезных ископаемых", + "Охрана окружающей среды, природных комплексов и объектов; проведение научных исследований; ведение эколого-просветительской работы и развитие туризма", + "Реклама не должна осуждать неучастие в основанных на риске играх, пари.", + "Строительство жилых комплексов и объектов инфраструктуры", + "Только на основе федеральных законов", + "Реклама должна обращаться к несовершеннолетним.", + "Президент Российской Федерации" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКакие направления деятельности являются приоритетными в лесопарковом зеленом поясе согласно статье 62.1 Федерального закона 'Об охране окружающей среды' N 7-ФЗ?\nA. Если ребенок не достиг возраста 14 лет\nB. ФИО залогодателя и залогодержателя\nC. Торговля и коммерческая деятельность\nD. На основе решений межгосударственных органов без оговорок\nE. Если ребенок проживает вне территории Российской Федерации\nF. Индустриальная разработка и добыча полезных ископаемых\nG. Охрана окружающей среды, природных комплексов и объектов; проведение научных исследований; ведение эколого-просветительской работы и развитие туризма\nH. Реклама не должна осуждать неучастие в основанных на риске играх, пари.\nI. Строительство жилых комплексов и объектов инфраструктуры\nJ. Только на основе федеральных законов\nK. Реклама должна обращаться к несовершеннолетним.\nL. Президент Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 210, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.018227456137537956, + "B": 0.0437253899872303, + "C": 0.009756453335285187, + "D": 0.0437253899872303, + "E": 0.03624962642788887, + "F": 0.024913977831602097, + "G": 0.03624962642788887, + "H": 0.11885794252157211, + "I": 0.017123108729720116, + "J": 0.15261662006378174, + "K": 0.1729372888803482, + "L": 0.2516222596168518 + }, + "sample": { + "question": "В каком случае гражданство ребенка не может быть прекращено согласно Федеральному закону 'О гражданстве Российской Федерации' N 62-ФЗ?", + "answerA": "Если ребенок не достиг возраста 14 лет", + "answerB": "Если ребенок проживает вне территории Российской Федерации", + "answerC": "Если ребенок проживает в Российской Федерации без родителей", + "answerD": "Если в результате прекращения гражданства Российской Федерации он станет лицом без гражданства", + "correct_answer": "answerD", + "choices": [ + "ФИО залогодателя и залогодержателя", + "Только сумма обеспеченного ипотечного требования", + "Руководитель федерального органа исполнительной власти в сфере внутренних дел", + "Президент Российской Федерации", + "Если ребенок проживает в Российской Федерации без родителей", + "Если ребенок проживает вне территории Российской Федерации", + "Статья 15", + "На основе решений межгосударственных органов без оговорок", + "Если ребенок не достиг возраста 14 лет", + "Только на основе федеральных законов", + "Средства, принадлежащие лично учредителям или акционерам должника", + "Если в результате прекращения гражданства Российской Федерации он станет лицом без гражданства" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nВ каком случае гражданство ребенка не может быть прекращено согласно Федеральному закону 'О гражданстве Российской Федерации' N 62-ФЗ?\nA. ФИО залогодателя и залогодержателя\nB. Только сумма обеспеченного ипотечного требования\nC. Руководитель федерального органа исполнительной власти в сфере внутренних дел\nD. Президент Российской Федерации\nE. Если ребенок проживает в Российской Федерации без родителей\nF. Если ребенок проживает вне территории Российской Федерации\nG. Статья 15\nH. На основе решений межгосударственных органов без оговорок\nI. Если ребенок не достиг возраста 14 лет\nJ. Только на основе федеральных законов\nK. Средства, принадлежащие лично учредителям или акционерам должника\nL. Если в результате прекращения гражданства Российской Федерации он станет лицом без гражданства\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 175, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.16515995562076569, + "B": 0.0015210704877972603, + "C": 0.008222830481827259, + "D": 0.7401955723762512, + "E": 0.02235196903347969, + "F": 0.000384586863219738, + "G": 0.0011128389742225409, + "H": 0.0002643224142957479, + "I": 0.006403946317732334, + "J": 0.00018166599329560995, + "K": 0.00036128595820628107, + "L": 2.309623778273817e-05 + }, + "sample": { + "question": "На основе каких источников определяется деятельность прокуратуры Российской Федерации согласно Статье 3 Федерального закона 'О прокуратуре Российской Федерации' N 2202-1-ФЗ?", + "answerA": "Только на основе федеральных законов", + "answerB": "На основе решений межгосударственных органов без оговорок", + "answerC": "На основе Конституции РФ, федеральных законов и международных договоров РФ", + "answerD": "Исключительно на базе внутренних директив прокуратуры", + "correct_answer": "На основе Конституции РФ, федеральных законов и международных договоров РФ", + "choices": [ + "Руководитель федерального органа исполнительной власти в сфере внутренних дел", + "Статья 15", + "Исключительно на базе внутренних директив прокуратуры", + "На основе Конституции РФ, федеральных законов и международных договоров РФ", + "ФИО залогодателя и залогодержателя", + "Только сумма обеспеченного ипотечного требования", + "Имущественные права, связанные с личностью должника, в том числе права, основанные на имеющейся лицензии на осуществление отдельных видов деятельности", + "Средства, принадлежащие лично учредителям или акционерам должника", + "Только на основе федеральных законов", + "Любые недвижимые объекты, независимо от назначения и собственника", + "Президент Российской Федерации", + "На основе решений межгосударственных органов без оговорок" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nНа основе каких источников определяется деятельность прокуратуры Российской Федерации согласно Статье 3 Федерального закона 'О прокуратуре Российской Федерации' N 2202-1-ФЗ?\nA. Руководитель федерального органа исполнительной власти в сфере внутренних дел\nB. Статья 15\nC. Исключительно на базе внутренних директив прокуратуры\nD. На основе Конституции РФ, федеральных законов и международных договоров РФ\nE. ФИО залогодателя и залогодержателя\nF. Только сумма обеспеченного ипотечного требования\nG. Имущественные права, связанные с личностью должника, в том числе права, основанные на имеющейся лицензии на осуществление отдельных видов деятельности\nH. Средства, принадлежащие лично учредителям или акционерам должника\nI. Только на основе федеральных законов\nJ. Любые недвижимые объекты, независимо от назначения и собственника\nK. Президент Российской Федерации\nL. На основе решений межгосударственных органов без оговорок\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 201, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.039781492203474045, + "B": 0.039781492203474045, + "C": 0.2594079077243805, + "D": 0.2289266586303711, + "E": 0.0450783297419548, + "F": 0.03098185546696186, + "G": 0.10813729465007782, + "H": 0.0450783297419548, + "I": 0.011397588066756725, + "J": 0.02129349671304226, + "K": 0.05108043923974037, + "L": 0.004463359247893095 + }, + "sample": { + "question": "Что указывается в Едином государственном реестре недвижимости при государственной регистрации залога недвижимого имущества, обеспечивающего требования, составляющие ипотечное покрытие?", + "answerA": "ФИО залогодателя и залогодержателя", + "answerB": "Только сумма обеспеченного ипотечного требования", + "answerC": "Что залогодержателями указанного недвижимого имущества являются владельцы ипотечных сертификатов участия", + "answerD": "Название и адрес недвижимости", + "correct_answer": "Что залогодержателями указанного недвижимого имущества являются владельцы ипотечных сертификатов участия", + "choices": [ + "Президент Российской Федерации", + "Руководитель федерального органа исполнительной власти в сфере внутренних дел", + "Средства, принадлежащие лично учредителям или акционерам должника", + "ФИО залогодателя и залогодержателя", + "Статья 17", + "Только поступление на работу по специальности", + "Имущественные права, связанные с личностью должника, в том числе права, основанные на имеющейся лицензии на осуществление отдельных видов деятельности", + "Только сумма обеспеченного ипотечного требования", + "Что залогодержателями указанного недвижимого имущества являются владельцы ипотечных сертификатов участия", + "Статья 15", + "Любые недвижимые объекты, независимо от назначения и собственника", + "Название и адрес недвижимости" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nЧто указывается в Едином государственном реестре недвижимости при государственной регистрации залога недвижимого имущества, обеспечивающего требования, составляющие ипотечное покрытие?\nA. Президент Российской Федерации\nB. Руководитель федерального органа исполнительной власти в сфере внутренних дел\nC. Средства, принадлежащие лично учредителям или акционерам должника\nD. ФИО залогодателя и залогодержателя\nE. Статья 17\nF. Только поступление на работу по специальности\nG. Имущественные права, связанные с личностью должника, в том числе права, основанные на имеющейся лицензии на осуществление отдельных видов деятельности\nH. Только сумма обеспеченного ипотечного требования\nI. Что залогодержателями указанного недвижимого имущества являются владельцы ипотечных сертификатов участия\nJ. Статья 15\nK. Любые недвижимые объекты, независимо от назначения и собственника\nL. Название и адрес недвижимости\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 195, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.021769573912024498, + "B": 0.03589195758104324, + "C": 0.06705500930547714, + "D": 0.07598327845335007, + "E": 0.04067091643810272, + "F": 0.029755478724837303, + "G": 0.04608618840575218, + "H": 0.04608618840575218, + "I": 0.01320391334593296, + "J": 0.18227440118789673, + "K": 0.3005196750164032, + "L": 0.009660189971327782 + }, + "sample": { + "question": "Кто имеет право отменить решение о признании гражданином Российской Федерации или о приеме в гражданство Российской Федерации согласно статье 41.8 Федерального закона \"О гражданстве Российской Федерации\" N 62-ФЗ?", + "answerA": "Президент Российской Федерации", + "answerB": "Руководитель федерального органа исполнительной власти в сфере внутренних дел", + "answerC": "Председатель Правительства Российской Федерации", + "answerD": "Федеральный судья", + "correct_answer": "B", + "choices": [ + "Средства, принадлежащие лично учредителям или акционерам должника", + "Руководитель федерального органа исполнительной власти в сфере внутренних дел", + "Только поступление на работу по специальности", + "Статья 15", + "Имущественные права, связанные с личностью должника, в том числе права, основанные на имеющейся лицензии на осуществление отдельных видов деятельности", + "Любые недвижимые объекты, независимо от назначения и собственника", + "Статья 17", + "Только здания и сооружения", + "Федеральный судья", + "Министерством торговли", + "Президент Российской Федерации", + "Председатель Правительства Российской Федерации" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКто имеет право отменить решение о признании гражданином Российской Федерации или о приеме в гражданство Российской Федерации согласно статье 41.8 Федерального закона \"О гражданстве Российской Федерации\" N 62-ФЗ?\nA. Средства, принадлежащие лично учредителям или акционерам должника\nB. Руководитель федерального органа исполнительной власти в сфере внутренних дел\nC. Только поступление на работу по специальности\nD. Статья 15\nE. Имущественные права, связанные с личностью должника, в том числе права, основанные на имеющейся лицензии на осуществление отдельных видов деятельности\nF. Любые недвижимые объекты, независимо от назначения и собственника\nG. Статья 17\nH. Только здания и сооружения\nI. Федеральный судья\nJ. Министерством торговли\nK. Президент Российской Федерации\nL. Председатель Правительства Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 186, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.060470275580883026, + "B": 0.5737259984016418, + "C": 0.14506064355373383, + "D": 0.0533648282289505, + "E": 0.00818376149982214, + "F": 0.00818376149982214, + "G": 0.011185877025127411, + "H": 0.006784576456993818, + "I": 0.00019246363081037998, + "J": 0.0030106378253549337, + "K": 0.0034114993177354336, + "L": 0.00013227818999439478 + }, + "sample": { + "question": "Что исключается из конкурсной массы должника согласно Статье 131 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?", + "answerA": "Средства, принадлежащие лично учредителям или акционерам должника", + "answerB": "Имущественные права, связанные с личностью должника, в том числе права, основанные на имеющейся лицензии на осуществление отдельных видов деятельности", + "answerC": "Денежные средства, удерживаемые на специальном банковском счете, предназначенном для уплаты налогов", + "answerD": "Основные средства, используемые должником для осуществления производственной деятельности", + "correct_answer": "B", + "choices": [ + "Статья 15", + "Имущественные права, связанные с личностью должника, в том числе права, основанные на имеющейся лицензии на осуществление отдельных видов деятельности", + "Денежные средства, удерживаемые на специальном банковском счете, предназначенном для уплаты налогов", + "Любые недвижимые объекты, независимо от назначения и собственника", + "Только поступление на работу по специальности", + "Операции между комиссионерами (агентами, поверенными) и комитентами (принципалами, доверителями) при оказании услуг, связанных с заключением и исполнением договоров с нерезидентами.", + "Только здания и сооружения", + "Министерством торговли", + "Непрерывное совершенствование профессиональных знаний и навыков в течение всей жизни", + "Средства, принадлежащие лично учредителям или акционерам должника", + "Основные средства, используемые должником для осуществления производственной деятельности", + "Статья 17" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nЧто исключается из конкурсной массы должника согласно Статье 131 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?\nA. Статья 15\nB. Имущественные права, связанные с личностью должника, в том числе права, основанные на имеющейся лицензии на осуществление отдельных видов деятельности\nC. Денежные средства, удерживаемые на специальном банковском счете, предназначенном для уплаты налогов\nD. Любые недвижимые объекты, независимо от назначения и собственника\nE. Только поступление на работу по специальности\nF. Операции между комиссионерами (агентами, поверенными) и комитентами (принципалами, доверителями) при оказании услуг, связанных с заключением и исполнением договоров с нерезидентами.\nG. Только здания и сооружения\nH. Министерством торговли\nI. Непрерывное совершенствование профессиональных знаний и навыков в течение всей жизни\nJ. Средства, принадлежащие лично учредителям или акционерам должника\nK. Основные средства, используемые должником для осуществления производственной деятельности\nL. Статья 17\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 249, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.022333800792694092, + "B": 0.0417250357568264, + "C": 0.01970951072871685, + "D": 0.06070956960320473, + "E": 0.12852215766906738, + "F": 0.2720814049243927, + "G": 0.10009316354990005, + "H": 0.10009316354990005, + "I": 0.032495491206645966, + "J": 0.05357600003480911, + "K": 0.03682221099734306, + "L": 0.05357600003480911 + }, + "sample": { + "question": "Какая статья Федерального закона 'О статусе военнослужащих' N 76-ФЗ утратила силу согласно Федеральному закону от 22.08.2004 N 122-ФЗ?", + "answerA": "Статья 15", + "answerB": "Статья 17", + "answerC": "Статья 23", + "answerD": "Статья 29", + "correct_answer": "B", + "choices": [ + "Министерством экономического развития", + "Непрерывное совершенствование профессиональных знаний и навыков в течение всей жизни", + "Проведение ребрендинга кредитной организации.", + "Любые недвижимые объекты, независимо от назначения и собственника", + "Только здания и сооружения", + "Статья 15", + "Только поступление на работу по специальности", + "Статья 17", + "Статья 29", + "Операции между комиссионерами (агентами, поверенными) и комитентами (принципалами, доверителями) при оказании услуг, связанных с заключением и исполнением договоров с нерезидентами.", + "Статья 23", + "Министерством торговли" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакая статья Федерального закона 'О статусе военнослужащих' N 76-ФЗ утратила силу согласно Федеральному закону от 22.08.2004 N 122-ФЗ?\nA. Министерством экономического развития\nB. Непрерывное совершенствование профессиональных знаний и навыков в течение всей жизни\nC. Проведение ребрендинга кредитной организации.\nD. Любые недвижимые объекты, независимо от назначения и собственника\nE. Только здания и сооружения\nF. Статья 15\nG. Только поступление на работу по специальности\nH. Статья 17\nI. Статья 29\nJ. Операции между комиссионерами (агентами, поверенными) и комитентами (принципалами, доверителями) при оказании услуг, связанных с заключением и исполнением договоров с нерезидентами.\nK. Статья 23\nL. Министерством торговли\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 215, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.015222687274217606, + "B": 0.003190848743543029, + "C": 0.017249565571546555, + "D": 0.017249565571546555, + "E": 0.09926438331604004, + "F": 0.011855440214276314, + "G": 0.028439722955226898, + "H": 0.07730718702077866, + "I": 0.5712271332740784, + "J": 0.03651732578873634, + "K": 0.01954631693661213, + "L": 0.0013301435392349958 + }, + "sample": { + "question": "Что может быть предметом залога по договору об ипотеке согласно статье 62.1 Федерального закона \"Об ипотеке (залоге недвижимости)\" N 102-ФЗ?", + "answerA": "Любые недвижимые объекты, независимо от назначения и собственника", + "answerB": "Только здания и сооружения", + "answerC": "Земельные участки, находящиеся в муниципальной собственности, и земельные участки, государственная собственность на которые не разграничена, предназначенные для жилищного строительства", + "answerD": "Только объекты недвижимости, находящиеся в частной собственности", + "correct_answer": "C", + "choices": [ + "Непрерывное совершенствование профессиональных знаний и навыков в течение всей жизни", + "Министерством экономического развития", + "Операции, связанные с расчетами в магазинах беспошлинной торговли.", + "Только поступление на работу по специальности", + "Только объекты недвижимости, находящиеся в частной собственности", + "Министерством торговли", + "По географическому принципу", + "Любые недвижимые объекты, независимо от назначения и собственника", + "Земельные участки, находящиеся в муниципальной собственности, и земельные участки, государственная собственность на которые не разграничена, предназначенные для жилищного строительства", + "Только здания и сооружения", + "Операции между комиссионерами (агентами, поверенными) и комитентами (принципалами, доверителями) при оказании услуг, связанных с заключением и исполнением договоров с нерезидентами.", + "Проведение ребрендинга кредитной организации." + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nЧто может быть предметом залога по договору об ипотеке согласно статье 62.1 Федерального закона \"Об ипотеке (залоге недвижимости)\" N 102-ФЗ?\nA. Непрерывное совершенствование профессиональных знаний и навыков в течение всей жизни\nB. Министерством экономического развития\nC. Операции, связанные с расчетами в магазинах беспошлинной торговли.\nD. Только поступление на работу по специальности\nE. Только объекты недвижимости, находящиеся в частной собственности\nF. Министерством торговли\nG. По географическому принципу\nH. Любые недвижимые объекты, независимо от назначения и собственника\nI. Земельные участки, находящиеся в муниципальной собственности, и земельные участки, государственная собственность на которые не разграничена, предназначенные для жилищного строительства\nJ. Только здания и сооружения\nK. Операции между комиссионерами (агентами, поверенными) и комитентами (принципалами, доверителями) при оказании услуг, связанных с заключением и исполнением договоров с нерезидентами.\nL. Проведение ребрендинга кредитной организации.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 249, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.00021220653434284031, + "B": 0.0005418884102255106, + "C": 0.00025596993509680033, + "D": 0.0031183527316898108, + "E": 0.0017767836106941104, + "F": 0.00044924128451384604, + "G": 0.0015680062351748347, + "H": 0.9797572493553162, + "I": 0.00047821487532928586, + "J": 0.00021220653434284031, + "K": 0.0008934229845181108, + "L": 0.0012211644789204001 + }, + "sample": { + "question": "Что обеспечивает реализация профессиональных образовательных программ медицинского образования и фармацевтического образования согласно статье 82 Федерального закона 'Об образовании в Российской Федерации' N 273-ФЗ?", + "answerA": "Только поступление на работу по специальности", + "answerB": "Непрерывное совершен��твование профессиональных знаний и навыков в течение всей жизни", + "answerC": "Ограниченное участие в медицинской и фармацевтической практике", + "answerD": "Предоставление только начального уровня профессиональных навыков", + "correct_answer": "B", + "choices": [ + "Проведение обследования кредитной организации.", + "6 месяцев", + "Операции между комиссионерами (агентами, поверенными) и комитентами (принципалами, доверителями) при оказании услуг, связанных с заключением и исполнением договоров с нерезидентами.", + "По географическому принципу", + "Министерством торговли", + "Предоставление только начального уровня профессиональных навыков", + "Проведение ребрендинга кредитной организации.", + "Непрерывное совершенствование профессиональных знаний и навыков в течение всей жизни", + "Только поступление на работу по специальности", + "Операции, связанные с расчетами в магазинах беспошлинной торговли.", + "Ограниченное участие в медицинской и фармацевтической практике", + "Министерством экономического развития" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nЧто обеспечивает реализация профессиональных образовательных программ медицинского образования и фармацевтического образования согласно статье 82 Федерального закона 'Об образовании в Российской Федерации' N 273-ФЗ?\nA. Проведение обследования кредитной организации.\nB. 6 месяцев\nC. Операции между комиссионерами (агентами, поверенными) и комитентами (принципалами, доверителями) при оказании услуг, связанных с заключением и исполнением договоров с нерезидентами.\nD. По географическому принципу\nE. Министерством торговли\nF. Предоставление только начального уровня профессиональных навыков\nG. Проведение ребрендинга кредитной организации.\nH. Непрерывное совершенствование профессиональных знаний и навыков в течение всей жизни\nI. Только поступление на работу по специальности\nJ. Операции, связанные с расчетами в магазинах беспошлинной торговли.\nK. Ограниченное участие в медицинской и фармацевтической практике\nL. Министерством экономического развития\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 222, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0004143430560361594, + "B": 0.007344406563788652, + "C": 0.0023843797389417887, + "D": 0.0064814151264727116, + "E": 0.010686047375202179, + "F": 0.9036471247673035, + "G": 0.012108879163861275, + "H": 0.007344406563788652, + "I": 0.00017272387049160898, + "J": 0.004741905257105827, + "K": 0.004741905257105827, + "L": 0.004741905257105827 + }, + "sample": { + "question": "Каким федеральным органом исполнительной власти определяется порядок совершения таможенных операций, связанных с товаром, перевозимым через территории государств, не являющихся членами Союза, по Федеральному закону \"О таможенном регулировании в РФ\" N 289-ФЗ?", + "answerA": "Министерством торговли", + "answerB": "Министерством экономического развития", + "answerC": "Федеральным органом исполнительной власти, осуществляющим функции по выработке государственной политики и нормативно-правовому регулированию в области таможенного дела", + "answerD": "Министерством иностранных дел", + "correct_answer": "answerC", + "choices": [ + "Операции, связанные с расчетами в магазинах беспошлинной торговли.", + "Министерством иностранных дел", + "Проведение ребрендинга кредитной организации.", + "6 месяцев", + "Все граждане Российской Федерации", + "Федеральным органом исполнительной власти, осуществляющим функции по выработке государственной политики и нормативно-правовому регулированию в области таможенного дела", + "Министерством экономического развития", + "Министерством торговли", + "Операции между комиссионерами (агентами, поверенными) и комитентами (принципалами, доверителями) при оказании услуг, связанных с заключением и исполнением договоров с нерезидентами.", + "По видам экономической деятельности", + "Проведение обследования кредитной организации.", + "По географическому принципу" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКаким федеральным органом исполнительной власти определяется порядок совершения таможенных операций, связанных с товаром, перевозимым через территории государств, не являющихся членами Союза, по Федеральному закону \"О таможенном регулировании в РФ\" N 289-ФЗ?\nA. Операции, связанные с расчетами в магазинах беспошлинной торговли.\nB. Министерством иностранных дел\nC. Проведение ребрендинга кредитной организации.\nD. 6 месяцев\nE. Все граждане Российской Федерации\nF. Федеральным органом исполнительной власти, осуществляющим функции по выработке государственной политики и нормативно-правовому регулированию в области таможенного дела\nG. Министерством экономического развития\nH. Министерством торговли\nI. Операции между комиссионерами (агентами, поверенными) и комитентами (принципалами, доверителями) при оказании услуг, связанных с заключением и исполнением договоров с нерезидентами.\nJ. По видам экономической деятельности\nK. Проведение обследования кредитной организации.\nL. По географическому принципу\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 232, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.06187918037176132, + "B": 0.03995220363140106, + "C": 0.13099822402000427, + "D": 0.11560553312301636, + "E": 0.031114807352423668, + "F": 0.029229653999209404, + "G": 0.09003367274999619, + "H": 0.042528893798589706, + "I": 0.010101499035954475, + "J": 0.042528893798589706, + "K": 0.21597956120967865, + "L": 0.029229653999209404 + }, + "sample": { + "question": "Что является НЕ разрешенной операцией между резидентами по Федеральному закону 'О валютном регулировании и валютном контроле' N 173-ФЗ, Статья 9?", + "answerA": "Операции между комиссионерами (агентами, поверенными) и комитентами (принципалами, доверителями) при оказании услуг, связанных с заключением и исполнением договоров с нерезидентами.", + "answerB": "Операции, связанные с расчетами в магазинах беспошлинной торговли.", + "answerC": "Операции по выплате заработной платы и иных выплат в иностранной валюте за пределами территории Российской Федерации.", + "answerD": "Переводы иностранной валюты между резидентами для личного пользования в суммах, превышающих эквивалент 10 000 долларов США в день.", + "correct_answer": "answerD", + "choices": [ + "Операции, связанные с расчетами в магазинах беспошлинной торговли.", + "6 месяцев", + "Операции по выплате заработной платы и иных выплат в иностранной валюте за пределами территории Российской Федерации.", + "Операции между комиссионерами (агентами, поверенными) и комитентами (принципалами, доверителями) при оказании услуг, связанных с заключением и исполнением договоров с нерезидентами.", + "3 месяца", + "Все граждане Российской Федерации", + "Переводы иностранной валюты между резидентами для личного пользования в суммах, превышающих эквивалент 10 000 долларов США в день.", + "Проведение ребрендинга кредитной организации.", + "По видам экономической деятельности", + "Проведение обследования кредитной организации.", + "По географическому принципу", + "Приостановка всех операций банка на срок до 2 лет." + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nЧто является НЕ разрешенной операцией между резидентами по Федеральному закону 'О валютном регулировании и валютном контроле' N 173-ФЗ, Статья 9?\nA. Операции, связанные с расчетами в магазинах беспошлинной торговли.\nB. 6 месяцев\nC. Операции по выплате заработной платы и иных выплат в иностранной валюте за пределами территории Российской Федерации.\nD. Операции между комиссионерами (агентами, поверенными) и комитентами (принципалами, доверителями) при оказании услуг, связанных с заключением и исполнением договоров с нерезидентами.\nE. 3 месяца\nF. Все граждане Российской Федерации\nG. Переводы иностранной валюты между резидентами для личного пользования в суммах, превышающих эквивалент 10 000 долларов США в день.\nH. Проведение ребрендинга кредитной организации.\nI. По видам экономической деятельности\nJ. Проведение обследования кредитной организации.\nK. По географическому принципу\nL. Приостановка всех операций банка на срок до 2 лет.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 245, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.1446899026632309, + "B": 0.09944382309913635, + "C": 0.4456762671470642, + "D": 0.11268460750579834, + "E": 0.03658333793282509, + "F": 0.022188914939761162, + "G": 0.028491130098700523, + "H": 0.01525020319968462, + "I": 0.003622241085395217, + "J": 0.005610236432403326, + "K": 0.006357230246067047, + "L": 0.001037789392285049 + }, + "sample": { + "question": "Какая из перечисленных функций является обязанностью временной администрации по управлению кредитной организацией в случае ограничения полномочий исполнительных органов кредитной организации согласно Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ?", + "answerA": "Проведение ребрендинга кредитной организации.", + "answerB": "Проведение обследования кредитной организации.", + "answerC": "Организация корпоративных мероприятий.", + "answerD": "Закрытие филиалов кредитной организации в других регионах.", + "correct_answer": "answerB", + "choices": [ + "Приостановка всех операций банка на срок до 2 лет.", + "Закрытие филиалов кредитной организации в других регионах.", + "Проведение обследования кредитной организации.", + "Лица, поместившие товары на склад временного хранения таможенного органа", + "3 месяца", + "Наличие у страховой организации высшего аккредитованного образования в области финансов.", + "Все граждане Российской Федерации", + "По географическому принципу", + "По видам экономической деятельности", + "Организация корпоративных мероприятий.", + "6 месяцев", + "Проведение ребрендинга кредитной организации." + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКакая из перечисленных функций является обязанностью временной администрации по управлению кредитной организацией в случае ограничения полномочий исполнительных органов кредитной организации согласно Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ?\nA. Приостановка всех операций банка на срок до 2 лет.\nB. Закрытие филиалов кредитной организации в других регионах.\nC. Проведение обследования кредитной организации.\nD. Лица, поместившие товары на склад временного хранения таможенного органа\nE. 3 месяца\nF. Наличие у страховой организации высшего аккредитованного образования в области финансов.\nG. Все граждане Российской Федерации\nH. По географическому принципу\nI. По видам экономической деятельности\nJ. Организация корпоративных мероприятий.\nK. 6 месяцев\nL. Проведение ребрендинга кредитной организации.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 188, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0006051723612472415, + "B": 0.01072693895548582, + "C": 0.9656081795692444, + "D": 0.0027121948078274727, + "E": 0.00047130879829637706, + "F": 0.00015301154053304344, + "G": 0.0005685068899765611, + "H": 6.789846520405263e-05, + "I": 1.7167421901831403e-05, + "J": 1.5150196304603014e-05, + "K": 6.789846520405263e-05, + "L": 4.620548679667991e-06 + }, + "sample": { + "question": "Как подразделяются должности государственной службы согласно Федеральному закону 'О системе государственной службы Российской Федерации' N 58-ФЗ?", + "answerA": "По географическому принципу", + "answerB": "По видам экономической деятельности", + "answerC": "По уровню ответственности", + "answerD": "Должности федеральной государственной гражданской службы; должности государственной гражданской службы субъекта Российской Федерации; воинские должности; должности федеральной государственной службы иных видов.", + "correct_answer": "Должности федеральной государственной гражданской службы; должности государственной гражданской службы субъекта Российской Федерации; воинские должности; должности федеральной государственной службы иных видов.", + "choices": [ + "Лица, поместившие товары на склад временного хранения таможенного органа", + "По уровню ответственности", + "Должности федеральной государственной гражданской службы; должности государственной гражданской службы субъекта Российской Федерации; воинские должности; должности федеральной государственной службы иных видов.", + "Все граждане Российской Федерации", + "По географическому принципу", + "Полная ликвидация банка без передачи его обязательств другому банку.", + "3 месяца", + "6 месяцев", + "По видам экономической деятельности", + "Приостановка всех операций банка на срок до 2 лет.", + "Если должник не выполнил свои обязательства перед одним кредитором", + "Наличие у страховой организации высшего аккредитованного образования в области финансов." + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКак подразделяются должности государственной службы согласно Федеральному закону 'О системе государственной службы Российской Федерации' N 58-ФЗ?\nA. Лица, поместившие товары на склад временного хранения таможенного органа\nB. По уровню ответственности\nC. Должности федеральной государственной гражданской службы; должности государственной гражданской службы субъекта Российской Федерации; воинские должности; должности федеральной государственной службы иных видов.\nD. Все граждане Российской Федерации\nE. По географическому принципу\nF. Полная ликвидация банка без передачи его обязательств другому банку.\nG. 3 месяца\nH. 6 месяцев\nI. По видам экономической деятельности\nJ. Приостановка всех операций банка на срок до 2 лет.\nK. Если должник не выполнил свои обязательства перед одним кредитором\nL. Наличие у страховой организации высшего аккредитованного образования в области финансов.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 183, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0026638703420758247, + "B": 0.010535811074078083, + "C": 0.005639413371682167, + "D": 0.03914528712630272, + "E": 0.007241150364279747, + "F": 0.00873449444770813, + "G": 0.05350526422262192, + "H": 0.036773595958948135, + "I": 0.002502474468201399, + "J": 0.6518275737762451, + "K": 0.08821526169776917, + "L": 0.005639413371682167 + }, + "sample": { + "question": "Кто является плательщиками таможенных сборов за хранение товаров в соответствии со статьей 38 Федерального закона 'О таможенном регулировании в Российской Федерации' N 289-ФЗ?", + "answerA": "Все граждане Российской Федерации", + "answerB": "Лица, поместившие товары на склад временного хранения таможенного органа", + "answerC": "Импортеры товаров", + "answerD": "Владельцы транспортных средств", + "correct_answer": "Лица, поместившие товары на склад временного хранения таможенного органа", + "choices": [ + "20 рабочих дней", + "Приостановка всех операций банка на срок до 2 лет.", + "Если должник не выполнил свои обязательства перед одним кредитором", + "Все граждане Российской Федерации", + "Провести реструктуризацию своих долговых обязательств.", + "Полная ликвидация банка без передачи его обязательств другому банку.", + "Импортеры товаров", + "Наличие у страховой организации высшего аккредитованного образования в области финансов.", + "Владельцы транспортных средств", + "Лица, поместившие товары на склад временного хранения таможенного органа", + "Если должник прекратил свою коммерческую деятельность", + "Наличие у страховой организации не менее трёхлетнего опыта осуществления операций по страхованию." + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКто является плательщиками таможенных сборов за хранение товаров в соответствии со статьей 38 Федерального закона 'О таможенном регулировании в Российской Федерации' N 289-ФЗ?\nA. 20 рабочих дней\nB. Приостановка всех операций банка на срок до 2 лет.\nC. Если должник не выполнил свои обязательства перед одним кредитором\nD. Все граждане Российской Федерации\nE. Провести реструктуризацию своих долговых обязательств.\nF. Полная ликвидация банка без передачи его обязательств другому банку.\nG. Импортеры товаров\nH. Наличие у страховой организации высшего аккредитованного образования в области финансов.\nI. Владельцы транспортных средств\nJ. Лица, поместившие товары на склад временного хранения таможенного органа\nK. Если должник прекратил свою коммерческую деятельность\nL. Наличие у страховой организации не менее трёхлетнего опыта осуществления операций по страхованию.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 207, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0067244842648506165, + "B": 0.02204873599112034, + "C": 0.011801837012171745, + "D": 0.056303415447473526, + "E": 0.011086800135672092, + "F": 0.02204873599112034, + "G": 0.038696736097335815, + "H": 0.03013704903423786, + "I": 0.013373234309256077, + "J": 0.5341919660568237, + "K": 0.17342673242092133, + "L": 0.010415085591375828 + }, + "sample": { + "question": "Что предусматривается при урегулировании обязательств банка согласно Статье 189.51 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?", + "answerA": "Приостановка всех операций банка на срок до 2 лет.", + "answerB": "Полная ликвидация банка без передачи его обязательств другому банку.", + "answerC": "Передача имущества и обязательств банка другому банку, который будет являться приобретателем.", + "answerD": "Автоматический перевод всех счетов клиентов в государственный банк.", + "correct_answer": "C", + "choices": [ + "20 рабочих дней", + "Разместить информацию об этом на своем официальном сайте в интернете.", + "Приостановка всех операций банка на срок до 2 лет.", + "Если должник прекратил свою коммерческую деятельность", + "Автоматический перевод всех счетов клиентов в государственный банк.", + "Если должник не выполнил свои обязательства перед одним кредитором", + "Полная ликвидация банка без передачи его обязательств другому банку.", + "Наличие у страховой организации высшего аккредитованного образования в области финансов.", + "Наличие у страховой организации не менее трёхлетнего опыта осуществления операций по страхованию.", + "Передача имущества и обязательств банка другому банку, который будет являться приобретателем.", + "Для организации дистанционного обучения", + "Провести реструктуризацию своих долговых обязательств." + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nЧто предусматривается при урегулировании обязательств банка согласно Статье 189.51 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?\nA. 20 рабочих дней\nB. Разместить информацию об этом на своем официальном сайте в интернете.\nC. Приостановка всех операций банка на срок до 2 лет.\nD. Если должник прекратил свою коммерческую деятельность\nE. Автоматический перевод всех счетов клиентов в государственный банк.\nF. Если должник не выполнил свои обязательства перед одним кредитором\nG. Полная ликвидация банка без передачи его обязательств другому банку.\nH. Наличие у страховой организации высшего аккредитованного образования в области финансов.\nI. Наличие у страховой организации не менее трёхлетнего опыта осуществления операций по страхованию.\nJ. Передача имущества и обязательств банка другому банку, который будет являться приобретателем.\nK. Для организации дистанционного обучения\nL. Провести реструктуризацию своих долговых обязательств.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 216, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0015937521820887923, + "B": 0.07679127156734467, + "C": 0.005225711967796087, + "D": 0.010392569936811924, + "E": 0.004332267679274082, + "F": 0.004332267679274082, + "G": 0.441903293132782, + "H": 0.024930479004979134, + "I": 0.00490910280495882, + "J": 0.14346499741077423, + "K": 0.14346499741077423, + "L": 0.0010953688761219382 + }, + "sample": { + "question": "Каково обязательное требование к страховой организации для получения разрешения (лиц��нзии) на осуществление обязательного страхования ОСАГО согласно Федеральному закону 'Об обязательном страховании гражданской ответственности владельцев транспортных средств' N 40-ФЗ?", + "answerA": "Наличие у страховой организации высшего аккредитованного образования в области финансов.", + "answerB": "Наличие у страховой организации не менее трёхлетнего опыта осуществления операций по страхованию.", + "answerC": "Наличие у страховой организации не менее чем двухлетнего опыта осуществления операций по страхованию транспортных средств или гражданской ответственности их владельцев.", + "answerD": "Наличие у страховой организации международной лицензии на осуществление страховой деятельности.", + "correct_answer": "Наличие у страховой организации не менее чем двухлетнего опыта осуществления операций по страхованию транспортных средств или гражданской ответственности их владельцев.", + "choices": [ + "30 рабочих дней", + "Наличие у страховой организации не менее трёхлетнего опыта осуществления операций по страхованию.", + "Если должник не выполнил свои обязательства перед одним кредитором", + "Для организации дистанционного обучения", + "Провести реструктуризацию своих долговых обязательств.", + "20 рабочих дней", + "Разместить информацию об этом на своем официальном сайте в интернете.", + "Через личное обращение в Министерство образования и науки Российской Федерации", + "Если должник прекратил свою коммерческую деятельность", + "Наличие у страховой организации не менее чем двухлетнего опыта осуществления операций по страхованию транспортных средств или гражданской ответственности их владельцев.", + "Наличие у страховой организации международной лицензии на осуществление страховой деятельности.", + "Наличие у страховой организации высшего аккредитованного образования в области финансов." + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКаково обязательное требование к страховой организации для получения разрешения (лицензии) на осуществление обязательного страхования ОСАГО согласно Федеральному закону 'Об обязательном страховании гражданской ответственности владельцев транспортных средств' N 40-ФЗ?\nA. 30 рабочих дней\nB. Наличие у страховой организации не менее трёхлетнего опыта осуществления операций по страхованию.\nC. Если должник не выполнил свои обязательства перед одним кредитором\nD. Для организации дистанционного обучения\nE. Провести реструктуризацию своих долговых обязательств.\nF. 20 рабочих дней\nG. Разместить информацию об этом на своем официальном сайте в интернете.\nH. Через личное обращение в Министерство образования и науки Российской Федерации\nI. Если должник прекратил свою коммерческую деятельность\nJ. Наличие у страховой организации не менее чем двухлетнего опыта осуществ��ения операций по страхованию транспортных средств или гражданской ответственности их владельцев.\nK. Наличие у страховой организации международной лицензии на осуществление страховой деятельности.\nL. Наличие у страховой организации высшего аккредитованного образования в области финансов.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 234, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.049001771956682205, + "B": 0.019189370796084404, + "C": 0.006631669122725725, + "D": 0.029721079394221306, + "E": 0.049001771956682205, + "F": 0.04324391111731529, + "G": 0.055526282638311386, + "H": 0.5268186926841736, + "I": 0.019189370796084404, + "J": 0.03367839381098747, + "K": 0.02174440585076809, + "L": 0.07129716128110886 + }, + "sample": { + "question": "В каком случае арбитражный суд вправе принять решение о признании должника банкротом и об открытии в отношении должника конкурсного производства, согласно статье 122.1 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?", + "answerA": "Если должник не выполнил свои обязательства перед одним кредитором", + "answerB": "Если должник прекратил свою коммерческую деятельность", + "answerC": "При истечении установленных статьей 93 настоящего Федерального закона предельных сроков внешнего управления", + "answerD": "При нарушении должником условий реструктуризации долга", + "correct_answer": "При истечении установленных статьей 93 настоящего Федерального закона предельных сроков внешнего управления", + "choices": [ + "При нарушении должником условий реструктуризации долга", + "Если должник прекратил свою коммерческую деятельность", + "20 рабочих дней", + "Документ, содержащий технико-экономическую информацию, обязательный для применения в государственных информационных системах", + "Разместить информацию об этом на своем официальном сайте в интернете.", + "Для предоставления услуг мобильной связи населению", + "Через личное обращение в Министерство образования и науки Российской Федерации", + "Если должник не выполнил свои обязательства перед одним кредитором", + "Провести реструктуризацию своих долговых обязательств.", + "Для организации дистанционного обучения", + "30 рабочих дней", + "При истечении установленных статьей 93 настоящего Федерального закона предельных сроков внешнего управления" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nВ каком случае арбитражный суд вправе принять решение о признании должника банкротом и об открытии в отношении должника конкурсного производства, согласно статье 122.1 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?\nA. При нарушении должником условий реструктуризации долга\nB. Если должник прекратил свою коммерческую деятельность\nC. 20 рабочих дней\nD. Документ, содержащий технико-экономическую информацию, обязательный для применения в государственных информационных системах\nE. Разместить информацию об этом на своем официальном сайте в интернете.\nF. Для предоставления услуг мобильной связи населению\nG. Через личное обращение в Министерство образования и науки Российской Федерации\nH. Если должник не выполнил свои обязательства перед одним кредитором\nI. Провести реструктуризацию своих долговых обязательств.\nJ. Для организации дистанционного обучения\nK. 30 рабочих дней\nL. При истечении установленных статьей 93 настоящего Федерального закона предельных сроков внешнего управления\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 222, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.10685661435127258, + "B": 0.018568893894553185, + "C": 0.03469126299023628, + "D": 0.03469126299023628, + "E": 0.3729662299156189, + "F": 0.03931035101413727, + "G": 0.05047548934817314, + "H": 0.03469126299023628, + "I": 0.0648118108510971, + "J": 0.0648118108510971, + "K": 0.023842932656407356, + "L": 0.007740667089819908 + }, + "sample": { + "question": "Что должна сделать микрофинансовая компания, принявшая решение о получении статуса банка с базовой лицензией или небанковской кредитной организации, согласно Федеральному закону 'О банках и банковской деятельности' N 395-1?", + "answerA": "Провести реструктуризацию своих долговых обязательств.", + "answerB": "Разместить информацию об этом на своем официальном сайте в интернете.", + "answerC": "Увеличить уставный капитал до уровня, установленного для банков с базовой лицензией.", + "answerD": "Получить подтверждение намерений от центрального банка страны.", + "correct_answer": "Разместить информацию об этом на своем официальном сайте в интернете.", + "choices": [ + "Разместить информацию об этом на своем официальном сайте в интернете.", + "Единую таможенную ставку для всех видов товаров, не зависимо от их предназначения для личного пользования", + "Для организации дистанционного обучения", + "Провести реструктуризацию своих долговых обязательств.", + "Увеличить уставный капитал до уровня, установленного для банков с базовой лицензией.", + "20 рабочих дней", + "Документ, содержащий технико-экономическую информацию, обязательный для применения в государственных информационных системах", + "Через личное обращение в Министерство образования и науки Российской Федерации", + "30 рабочих дней", + "Путем проставления апостиля органами исполнительной власти субъектов Российской Федерации", + "Для предоставления услуг мобильной связи населению", + "Получить подтверждение намерений от центрального банка страны." + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nЧто должна сделать микрофинансовая компания, принявшая решение о получении статуса банка с базовой лицензией или небанковской кредитной организации, согласн�� Федеральному закону 'О банках и банковской деятельности' N 395-1?\nA. Разместить информацию об этом на своем официальном сайте в интернете.\nB. Единую таможенную ставку для всех видов товаров, не зависимо от их предназначения для личного пользования\nC. Для организации дистанционного обучения\nD. Провести реструктуризацию своих долговых обязательств.\nE. Увеличить уставный капитал до уровня, установленного для банков с базовой лицензией.\nF. 20 рабочих дней\nG. Документ, содержащий технико-экономическую информацию, обязательный для применения в государственных информационных системах\nH. Через личное обращение в Министерство образования и науки Российской Федерации\nI. 30 рабочих дней\nJ. Путем проставления апостиля органами исполнительной власти субъектов Российской Федерации\nK. Для предоставления услуг мобильной связи населению\nL. Получить подтверждение намерений от центрального банка страны.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 231, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.017316652461886406, + "B": 0.004113065544515848, + "C": 0.7363227605819702, + "D": 0.022235020995140076, + "E": 0.06044105440378189, + "F": 0.02519557997584343, + "G": 0.036659352481365204, + "H": 0.02519557997584343, + "I": 0.013486222364008427, + "J": 0.0011784130474552512, + "K": 0.0009769386379048228, + "L": 8.536395034752786e-05 + }, + "sample": { + "question": "Какой максимальный срок установлен для Банка России на принятие решения о регистрации изменений в правила финансовой платформы согласно Федеральному закону от 20.07.2020 N 211-ФЗ?", + "answerA": "20 рабочих дней", + "answerB": "30 рабочих дней", + "answerC": "45 рабочих дней", + "answerD": "60 рабочих дней", + "correct_answer": "answerB", + "choices": [ + "Для организации дистанционного обучения", + "Документ, содержащий технико-экономическую информацию, обязательный для применения в государственных информационных системах", + "60 рабочих дней", + "Организационно-методический документ, касающийся проведения работ по стандартизации", + "Для предоставления услуг мобильной связи населению", + "20 рабочих дней", + "Через личное обращение в Министерство образования и науки Российской Федерации", + "45 рабочих дней", + "30 рабочих дней", + "Путем проставления апостиля органами исполнительной власти субъектов Российской Федерации", + "Единую таможенную ставку для всех видов товаров, не зависимо от их предназначения для личного пользования", + "Эмиссии радиоактивных веществ" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКакой максимальный срок установлен для Банка России на принятие решения о регистрации изменений в правила финансовой платформы согласно Федеральному закону от 20.07.2020 N 211-ФЗ?\nA. Для организации дистанционного обучения\nB. Документ, содержащий технико-экономическую информацию, обязательный для применения в государственных информационных системах\nC. 60 рабочих дней\nD. Организационно-методический документ, касающийся проведения работ по стандартизации\nE. Для предоставления услуг мобильной связи населению\nF. 20 рабочих дней\nG. Через личное обращение в Министерство образования и науки Российской Федерации\nH. 45 рабочих дней\nI. 30 рабочих дней\nJ. Путем проставления апостиля органами исполнительной власти субъектов Российской Федерации\nK. Единую таможенную ставку для всех видов товаров, не зависимо от их предназначения для личного пользования\nL. Эмиссии радиоактивных веществ\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 212, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0012054834514856339, + "B": 0.0019875061698257923, + "C": 0.000731162668671459, + "D": 0.003952628001570702, + "E": 0.0047677792608737946, + "F": 0.0009993808344006538, + "G": 0.0016477005556225777, + "H": 0.9671761393547058, + "I": 0.0003676516644190997, + "J": 0.00018486686167307198, + "K": 0.0005694300052709877, + "L": 0.0025520084891468287 + }, + "sample": { + "question": "Для каких целей предназначены сети связи специального назначения в соответствии со статьей 16 Федерального закона 'О связи' N 126-ФЗ?", + "answerA": "Для организации дистанционного обучения", + "answerB": "Для предоставления услуг мобильной связи населению", + "answerC": "Для нужд органов государственной власти, нужд обороны страны, безопасности государства и обеспечения правопорядка", + "answerD": "Для развлекательных мероприятий", + "correct_answer": "Для нужд органов государственной власти, нужд обороны страны, безопасности государства и обеспечения правопорядка", + "choices": [ + "Путем проставления апостиля органами исполнительной власти субъектов Российской Федерации", + "Для предоставления услуг мобильной связи населению", + "Единую таможенную ставку для всех видов товаров, не зависимо от их предназначения для личного пользования", + "Добавочную стоимость на ввозимые товары для личного пользования без исключений", + "Эмиссии радиоактивных веществ", + "Для развлекательных мероприятий", + "Организационно-методический документ, касающийся проведения работ по стандартизации", + "Для нужд органов государственной власти, нужд обороны страны, безопасности государства и обеспечения правопорядка", + "Для организации дистанционного обучения", + "Документ, содержащий технико-экономическую информацию, обязательный для применения в государственных информационных системах", + "Только физические лица", + "Через личное обращение в Министерство образования и науки Российской Федерации" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nДля каких целей предназначены сети связи специального назначения в соответствии со статьей 16 Федерального закона 'О связи' N 126-ФЗ?\nA. Путем проставления апостиля органами исполнительной власти субъектов Российской Федерации\nB. Для предоставления услуг мобильной связи населению\nC. Единую таможенную ставку для всех видов товаров, не зависимо от их предназначения для личного пользования\nD. Добавочную стоимость на ввозимые товары для личного пользования без исключений\nE. Эмиссии радиоактивных веществ\nF. Для развлекательных мероприятий\nG. Организационно-методический документ, касающийся проведения работ по стандартизации\nH. Для нужд органов государственной власти, нужд обороны страны, безопасности государства и обеспечения правопорядка\nI. Для организации дистанционного обучения\nJ. Документ, содержащий технико-экономическую информацию, обязательный для применения в государственных информационных системах\nK. Только физические лица\nL. Через личное обращение в Министерство образования и науки Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 215, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0014980717096477747, + "B": 0.003171417862176895, + "C": 0.028266541659832, + "D": 0.008620807901024818, + "E": 0.007146900985389948, + "F": 0.007607835810631514, + "G": 0.024945134297013283, + "H": 0.6433435082435608, + "I": 0.004614385776221752, + "J": 0.0033759567886590958, + "K": 0.18432100117206573, + "L": 0.0033759567886590958 + }, + "sample": { + "question": "Как осуществляется подтверждение документов об образовании и (или) о квалификации согласно Статье 106 Федерального закона \"Об образовании в Российской Федерации\" N 273-ФЗ?", + "answerA": "Через личное обращение в Министерство образования и науки Российской Федерации", + "answerB": "Путем проставления апостиля органами исполнительной власти субъектов Российской Федерации", + "answerC": "Исключительно через посольства и консульства Российской Федерации за рубежом", + "answerD": "Автоматически при получении документа об образовании без необходимости дополнительных действий", + "correct_answer": "B", + "choices": [ + "25%", + "Исключительно через посольства и консульства Российской Федерации за рубежом", + "Автоматически при получении документа об образовании без необходимости дополнительных действий", + "Единую таможенную ставку для всех видов товаров, не зависимо от их предназначения для личного пользования", + "Эмиссии радиоактивных веществ", + "Выбросы загрязняющих веществ в атмосферный воздух стационарными источниками", + "Только физические лица", + "Путем проставления апостиля органами исполнительной власти субъектов Российской Федерации", + "Документ, содержащий технико-экономическую информацию, обязательный для применения в государственных информационных системах", + "Организационно-методический документ, касающийся проведения работ по стандартизации", + "Через личное обращение в Министерство образования и науки Российской Федерации", + "Добавочную стоимость на ввозимые товары для личного пользования без исключений" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКак осуществляется подтверждение документов об образовании и (или) о квалификации согласно Статье 106 Федерального закона \"Об образовании в Российской Федерации\" N 273-ФЗ?\nA. 25%\nB. Исключительно через посольства и консульства Российской Федерации за рубежом\nC. Автоматически при получении документа об образовании без необходимости дополнительных действий\nD. Единую таможенную ставку для всех видов товаров, не зависимо от их предназначения для личного пользования\nE. Эмиссии радиоактивных веществ\nF. Выбросы загрязняющих веществ в атмосферный воздух стационарными источниками\nG. Только физические лица\nH. Путем проставления апостиля органами исполнительной власти субъектов Российской Федерации\nI. Документ, содержащий технико-экономическую информацию, обязательный для применения в государственных информационных системах\nJ. Организационно-методический документ, касающийся проведения работ по стандартизации\nK. Через личное обращение в Министерство образования и науки Российской Федерации\nL. Добавочную стоимость на ввозимые товары для личного пользования без исключений\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 231, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0004995719064027071, + "B": 0.0011258026352152228, + "C": 0.006086032371968031, + "D": 0.0053709037601947784, + "E": 0.00270066037774086, + "F": 0.003691365011036396, + "G": 0.012884128838777542, + "H": 0.012103519402444363, + "I": 0.003691365011036396, + "J": 0.06146674603223801, + "K": 0.7488182783126831, + "L": 0.0017436773050576448 + }, + "sample": { + "question": "Что такое 'национальный стандарт' согласно Федеральному закону 'О стандартизации в Российской Федерации' N 162-ФЗ?", + "answerA": "Документ, содержащий технико-экономическую информацию, обязательный для применения в государственных информационных системах", + "answerB": "Организационно-методический документ, касающийся проведения работ по стандартизации", + "answerC": "Документ по стандартизации, который разработан участником или участниками работ по стандартизации, в отношении которого проведена экспертиза в техническом комитете по стандартизации или проектном техническом комитете по стандартизации и в котором для всеобщего применения устанавливаются общие характеристики объекта стандартизации, а также правила и общие принципы в отношении объекта стандартизации", + "answerD": "Документ, утвержденный юридическим лицом для совершенствования производства и обеспечения качества продукции", + "correct_answer": "C", + "choices": [ + "Только юридические лица", + "Федеральные органы исполнительной власти", + "Документ, содержащий технико-экономическую информацию, обязательный для применения в государственных информационных системах", + "Только физические лица", + "Единую таможенную ставку для всех видов товаров, не зависимо от их предназначения для личного пользования", + "25%", + "Выбросы загрязняющих веществ в атмосферный воздух стационарными источниками", + "Добавочную стоимость на ввозимые товары для личного пользования без исключений", + "Документ, утвержденный юридическим лицом для совершенствования производства и обеспечения качества продукции", + "Эмиссии радиоактивных веществ", + "Организационно-методический документ, касающийся проведения работ по стандартизации", + "Документ по стандартизации, который разработан участником или участниками работ по стандартизации, в отношении которого проведена экспертиза в техническом комитете по стандартизации или проектном техническом комитете по стандартизации и в котором для всеобщего применения устанавливаются общие характеристики объекта стандартизации, а также правила и общие принципы в отношении объекта стандартизации" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nЧто такое 'национальный стандарт' согласно Федеральному закону 'О стандартизации в Российской Федерации' N 162-ФЗ?\nA. Только юридические лица\nB. Федеральные органы исполнительной власти\nC. Документ, содержащий технико-экономическую информацию, обязательный для применения в государственных информационных системах\nD. Только физические лица\nE. Единую таможенную ставку для всех видов товаров, не зависимо от их предназначения для личного пользования\nF. 25%\nG. Выбросы загрязняющих веществ в атмосферный воздух стационарными источниками\nH. Добавочную стоимость на ввозимые товары для личного пользования без исключений\nI. Документ, утвержденный юридическим лицом для совершенствования производства и обеспечения качества продукции\nJ. Эмиссии радиоактивных веществ\nK. Организационно-методический документ, касающийся проведения работ по стандартизации\nL. Документ по стандартизации, который разработан участником или участниками работ по стандартизации, в отношении которого проведена экспертиза в техническом комитете по стандартизации или проектном техническом комитете по стандартизации и в котором для всеобщего применения устанавливаются общие характеристики объекта стандартизации, а также правила и общие принципы в отношении объекта стандартизации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 276, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.17936253547668457, + "B": 0.011466262862086296, + "C": 0.05823048949241638, + "D": 0.04002118855714798, + "E": 0.04002118855714798, + "F": 0.006137448363006115, + "G": 0.1396876871585846, + "H": 0.011466262862086296, + "I": 0.37971049547195435, + "J": 0.008388897404074669, + "K": 0.003962634596973658, + "L": 0.00018533489492256194 + }, + "sample": { + "question": "В соответствии с Федеральным законом \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ, Статья 194, что правительство Российской Федерации вправе устанавливать в определенных случаях?", + "answerA": "Единую таможенную ставку для всех видов товаров, не зависимо от их предназначения для личного пользования", + "answerB": "Добавочную стоимость на ввозимые товары для личного пользования без исключений", + "answerC": "Дополнительные условия ввоза на таможенную территорию Союза товаров для личного пользования с освобождением от уплаты таможенных пошлин, налогов", + "answerD": "Нормы ввоза исключительно для транспортных средств, используемых для коммерческих целей", + "correct_answer": "answerC", + "choices": [ + "Нормы ввоза исключительно для транспортных средств, используемых для коммерческих целей", + "Эмиссии радиоактивных веществ", + "Единую таможенную ставку для всех видов товаров, не зависимо от их предназначения для личного пользования", + "Только физические лица", + "30%", + "Выбросы загрязняющих веществ в атмосферный воздух стационарными источниками", + "Добавочную стоимость на ввозимые товары для личного пользования без исключений", + "15 рабочих дней со дня представления всех необходимых документов", + "Дополнительные условия ввоза на таможенную территорию Союза товаров для личного пользования с освобождением от уплаты таможенных пошлин, налогов", + "25%", + "Федеральные органы исполнительной власти", + "Только юридические лица" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nВ соответствии с Федеральным законом \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ, Статья 194, что правительство Российской Федерации вправе устанавливать в определенных случаях?\nA. Нормы ввоза исключительно для транспортных средств, используемых для коммерческих целей\nB. Эмиссии радиоактивных веществ\nC. Единую таможенную ставку для всех видов товаров, не зависимо от их предназначения для личного пользования\nD. Только физические лица\nE. 30%\nF. Выбросы загрязняющих веществ в атмосферный воздух стационарными источниками\nG. Добавочную стоимость на ввозимые товары для личного пользования без исключений\nH. 15 рабочих дней со дня представления всех необходимых документов\nI. Дополнительные условия ввоза на таможенную территорию Союза товаров для личного пользования с освобождением от уплаты таможенных пошлин, налогов\nJ. 25%\nK. Федеральные органы исполнительной власти\nL. Только юридические лица\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 226, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.01782570593059063, + "B": 0.668904721736908, + "C": 0.010156781412661076, + "D": 0.013041566126048565, + "E": 0.01782570593059063, + "F": 0.07050203531980515, + "G": 0.022888658568263054, + "H": 0.03773702308535576, + "I": 0.0006493012770079076, + "J": 0.007910109125077724, + "K": 0.0030976436100900173, + "L": 0.0024124470073729753 + }, + "sample": { + "question": "Какие виды негативного воздействия на окружающую среду подлежат платежам согласно Федеральному закону \"Об охране окружающей среды\" N 7-ФЗ, Статья 16?", + "answerA": "Эмиссии радиоактивных веществ", + "answerB": "Выбросы загрязняющих веществ в атмосферный воздух стационарными источниками", + "answerC": "Вырубка лесных насаждений без предусмотренного разрешения", + "answerD": "Неограниченный улов морских биоресурсов", + "correct_answer": "Выбросы загрязняющих веществ в атмосферный воздух стационарными источниками", + "choices": [ + "Федеральные органы исполнительной власти", + "Выбросы загрязняющих веществ в атмосферный воздух стационарными источниками", + "25%", + "Технические комитеты по стандартизации", + "30%", + "15 рабочих дней со дня представления всех необходимых документов", + "Только физические лица", + "Эмиссии радиоактивных веществ", + "Неограниченный улов морских биоресурсов", + "На основании решения российского правительства", + "Только юридические лица", + "Вырубка лесных насаждений без предусмотренного разрешения" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКакие виды негативного воздействия на окружающую среду подлежат платежам согласно Федеральному закону \"Об охране окружающей среды\" N 7-ФЗ, Статья 16?\nA. Федеральные органы исполнительной власти\nB. Выбросы загрязняющих веществ в атмосферный воздух стационарными источниками\nC. 25%\nD. Технические комитеты по стандартизации\nE. 30%\nF. 15 рабочих дней со дня представления всех необходимых документов\nG. Только физические лица\nH. Эмиссии радиоактивных веществ\nI. Неограниченный улов морских биоресурсов\nJ. На основании решения российского правительства\nK. Только юридические лица\nL. Вырубка лесных насаждений без предусмотренного разрешения\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 173, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.11027757823467255, + "B": 0.007988481782376766, + "C": 0.013170778751373291, + "D": 0.027882536873221397, + "E": 0.04056885465979576, + "F": 0.005490397103130817, + "G": 0.005490397103130817, + "H": 0.00484525877982378, + "I": 0.7191001176834106, + "J": 0.005490397103130817, + "K": 0.0006160055054351687, + "L": 0.00010056013707071543 + }, + "sample": { + "question": "Кто может быть учредителем общественного объединения согласно Федеральному закону \"Об общественных объединениях\" N 82-ФЗ, статья 6?", + "answerA": "Только физические лица", + "answerB": "Только юридические лица", + "answerC": "Физические лица и коммерческие организации", + "answerD": "Физические лица и юридические лица - общественные объединения", + "correct_answer": "answerD", + "choices": [ + "Только физические лица", + "На основании решения российского правительства", + "30%", + "Иностранный гражданин, который осуществляет инвестиции в Российской Федерации", + "Федеральные органы исполнительной власти", + "15 рабочих дней со дня представления всех необходимых документов", + "Технические комитеты по стандартизации", + "30 календарных дней", + "Физические лица и юридические лица - общественные объединения", + "25%", + "Физические лица и коммерческие организации", + "Только юридические лица" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКто может быть учредителем общественного объединения согласно Федеральному закону \"Об общественных объединениях\" N 82-ФЗ, статья 6?\nA. Только физические лица\nB. На основании решения российского правительства\nC. 30%\nD. Иностранный гражданин, который осуществляет инвестиции в Российской Федерации\nE. Федеральные органы исполнительной власти\nF. 15 рабочих дней со дня представления всех необходимых документов\nG. Технические комитеты по стандартизации\nH. 30 календарных дней\nI. Физические лица и юридические лица - общественные объединения\nJ. 25%\nK. Физические лица и коммерческие организации\nL. Только юридические лица\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 159, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0037392089143395424, + "B": 0.007436305284500122, + "C": 0.007436305284500122, + "D": 0.015742657706141472, + "E": 0.75852370262146, + "F": 0.017838768661022186, + "G": 0.015742657706141472, + "H": 0.01389284711331129, + "I": 0.0025699182879179716, + "J": 0.017838768661022186, + "K": 0.005110892467200756, + "L": 0.0027356636710464954 + }, + "sample": { + "question": "Какой процент от должностного оклада составляет доплата за классный чин действительного государственного советника юстиции согласно Федеральному закону \"О прокуратуре Российской Федерации\" N 2202-1-ФЗ?", + "answerA": "25%", + "answerB": "30%", + "answerC": "20%", + "answerD": "27%", + "correct_answer": "B", + "choices": [ + "На основании обязательств Российской Федерации, вытекающих из международного договора Российской Федерации", + "Иностранный гражданин, который осуществляет инвестиции в Российской Федерации", + "Федеральные органы исполнительной власти", + "30 календарных дней", + "27%", + "30%", + "15 рабочих дней со дня представления всех необходимых документов", + "На счет таможенного органа, который осуществил задержание товаров.", + "25%", + "На основании решения российского правительства", + "20%", + "Технические комитеты по стандартизации" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКакой процент от должностного оклада составляе�� доплата за классный чин действительного государственного советника юстиции согласно Федеральному закону \"О прокуратуре Российской Федерации\" N 2202-1-ФЗ?\nA. На основании обязательств Российской Федерации, вытекающих из международного договора Российской Федерации\nB. Иностранный гражданин, который осуществляет инвестиции в Российской Федерации\nC. Федеральные органы исполнительной власти\nD. 30 календарных дней\nE. 27%\nF. 30%\nG. 15 рабочих дней со дня представления всех необходимых документов\nH. На счет таможенного органа, который осуществил задержание товаров.\nI. 25%\nJ. На основании решения российского правительства\nK. 20%\nL. Технические комитеты по стандартизации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 182, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0030372145120054483, + "B": 0.0019609732553362846, + "C": 0.017477963119745255, + "D": 0.025430286303162575, + "E": 0.5787906646728516, + "F": 0.012012416496872902, + "G": 0.12914565205574036, + "H": 0.010600920766592026, + "I": 0.0023653851822018623, + "J": 0.03700084611773491, + "K": 0.017477963119745255, + "L": 0.0025179393123835325 + }, + "sample": { + "question": "Что является формой сотрудничества заинтересованных юридических лиц для разработки документов национальной системы стандартизации в Российской Федерации?", + "answerA": "Федеральные органы исполнительной власти", + "answerB": "Технические комитеты по стандартизации", + "answerC": "Региональные центры стандартизации", + "answerD": "Объединения предпринимателей", + "correct_answer": "B", + "choices": [ + "На счет таможенного органа, который осуществил задержание товаров.", + "Иностранный гражданин, проживший в Российской Федерации менее одного года", + "15 рабочих дней со дня представления всех необходимых документов", + "На основании решения российского правительства", + "Технические комитеты по стандартизации", + "Иностранный гражданин, который осуществляет инвестиции в Российской Федерации", + "Объединения предпринимателей", + "Федеральные органы исполнительной власти", + "По решению местных властей", + "Региональные центры стандартизации", + "30 календарных дней", + "На основании обязательств Российской Федерации, вытекающих из международного договора Российской Федерации" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nЧто является формой сотрудничества заинтересованных юридических лиц для разработки документов национальной системы стандартизации в Российской Федерации?\nA. На счет таможенного органа, который осуществил задержание товаров.\nB. Иностранный гражданин, проживший в Российской Федерации менее одного года\nC. 15 рабочих дней со дня представления всех необходимых документов\nD. На основании решения российского правительства\nE. Технические комитеты по стандартизации\nF. Иностранный гражданин, который осуществляет инвестиции в Российской Федерации\nG. Объединения предпринимателей\nH. Федеральные органы исполнительной власти\nI. По решению местных властей\nJ. Региональные центры стандартизации\nK. 30 календарных дней\nL. На основании обязательств Российской Федерации, вытекающих из международного договора Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 176, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.10714724659919739, + "B": 0.12141373753547668, + "C": 0.08344636112451553, + "D": 0.06498808413743973, + "E": 0.1375797837972641, + "F": 0.06498808413743973, + "G": 0.07364115864038467, + "H": 0.155898317694664, + "I": 0.09455711394548416, + "J": 0.05061277374625206, + "K": 0.005011343397200108, + "L": 0.0028553775046020746 + }, + "sample": { + "question": "Какой максимальный срок рассмотрения заявления о продлении срока реимпорта товаров, установленный Федеральным законом 'О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации' N 289-ФЗ?", + "answerA": "15 рабочих дней со дня представления всех необходимых документов", + "answerB": "30 календарных дней", + "answerC": "10 рабочих дней со дня получения заявления", + "answerD": "5 рабочих дней с момента подачи заявления", + "correct_answer": "B", + "choices": [ + "5 рабочих дней с момента подачи заявления", + "30 календарных дней", + "На основании решения российского правительства", + "На счет уполномоченного дилера по реализации задержанных товаров.", + "На основании обязательств Российской Федерации, вытекающих из международного договора Российской Федерации", + "Оплата услуг представителя работников кредитной организации производится за счет имущества должника (конкурсной массы).", + "По решению местных властей", + "10 рабочих дней со дня получения заявления", + "15 рабочих дней со дня представления всех необходимых документов", + "Иностранный гражданин, который осуществляет инвестиции в Российской Федерации", + "Иностранный гражданин, проживший в Российской Федерации менее одного года", + "На счет таможенного органа, который осуществил задержание товаров." + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКакой максимальный срок рассмотрения заявления о продлении срока реимпорта товаров, установленный Федеральным законом 'О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации' N 289-ФЗ?\nA. 5 рабочих дней с момента подачи заявления\nB. 30 календарных дней\nC. На основании решения российского правительства\nD. На счет уполномоченного дилера по реализации задержанных товаров.\nE. На основании обязательств Российской Федерации, вытекающих из международного договора Российской Федерации\nF. Оплата услуг представителя работников кредитной организации производится за счет имущества должника (конкурсной массы).\nG. По решению местных властей\nH. 10 рабочих дней со дня получения заявления\nI. 15 рабочих дней со дня представления всех необходимых документов\nJ. Иностранный гражданин, который осуществляет инвестиции в Российской Федерации\nK. Иностранный гражданин, проживший в Российской Федерации менее одного года\nL. На счет таможенного органа, который осуществил задержание товаров.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 227, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.009702268056571484, + "B": 0.00911443680524826, + "C": 0.0020337055902928114, + "D": 0.020539700984954834, + "E": 0.03386424109339714, + "F": 0.007556133437901735, + "G": 0.007098331116139889, + "H": 0.8733702898025513, + "I": 0.001088564284145832, + "J": 0.001158770639449358, + "K": 0.002611330011859536, + "L": 0.008043461479246616 + }, + "sample": { + "question": "На каком основании принимается решение о выдаче и транзитной перевозке лиц, совершивших преступления, связанные с легализацией доходов и финансированием терроризма, согласно Статье 12 Федерального закона 'О противодействии легализации (отмыванию) доходов, полученных преступным путем, и финансированию терроризма' N 115-ФЗ?", + "answerA": "На основании решения российского правительства", + "answerB": "На основании обязательств Российской Федерации, вытекающих из международного договора Российской Федерации", + "answerC": "На основании прямого запроса от Международного суда", + "answerD": "На основании голосования в Государственной Думе", + "correct_answer": "На основании обязательств Российской Федерации, вытекающих из международного договора Российской Федерации", + "choices": [ + "На основании решения российского правительства", + "На основании голосования в Государственной Думе", + "Иностранный гражданин, проживший в Российской Федерации менее одного года", + "На основании прямого запроса от Международного суда", + "Выплачивается только на первенца", + "На счет уполномоченного дилера по реализации задержанных товаров.", + "По решению местных властей", + "На основании обязательств Российской Федерации, вытекающих из международного договора Российской Федерации", + "Иностранный гражданин, который осуществляет инвестиции в Российской Федерации", + "На счет таможенного органа, который осуществил задержание товаров.", + "Вследствие истечения срока действия договора", + "Оплата услуг представителя работников кредитной организации производится за счет имущества должника (конкурсной массы)." + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nНа каком основании принимается решение о выдаче и транзитной перевозке лиц, совершивших преступления, связанные с легализацией доходов и финансированием терроризма, согласно Статье 12 Федерального закона 'О противодействии легализации (отмыванию) доходов, полученных преступным путем, и финансированию терроризма' N 115-ФЗ?\nA. На основании решения российского правительства\nB. На основании голосования в Государственной Думе\nC. Иностранный гражданин, проживший в Российской Федерации менее одного года\nD. На основании прямого запроса от Международного суда\nE. Выплачивается только на первенца\nF. На счет уполномоченного дилера по реализации задержанных товаров.\nG. По решению местных властей\nH. На основании обязательств Российской Федерации, вытекающих из международного договора Российской Федерации\nI. Иностранный гражданин, который осуществляет инвестиции в Российской Федерации\nJ. На счет таможенного органа, который осуществил задержание товаров.\nK. Вследствие истечения срока действия договора\nL. Оплата услуг представителя работников кредитной организации производится за счет имущества должника (конкурсной массы).\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 238, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.004286820534616709, + "B": 0.02975643053650856, + "C": 0.410774827003479, + "D": 0.014055942185223103, + "E": 0.002600087784230709, + "F": 0.008008834905922413, + "G": 0.36250752210617065, + "H": 0.010946778580546379, + "I": 0.0003105362120550126, + "J": 0.0008441249374300241, + "K": 0.015927469357848167, + "L": 0.00011423989053582773 + }, + "sample": { + "question": "В соответствии с Федеральным законом \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ, статья 321, куда перечисляются денежные средства, вырученные от реализации задержанных товаров, срок хранения которых истек?", + "answerA": "На счет таможенного органа, который осуществил задержание товаров.", + "answerB": "На счет уполномоченного дилера по реализации задержанных товаров.", + "answerC": "На счет Федерального казначейства для дальнейшего распоряжения в соответствии со статьей 383 Кодекса Союза.", + "answerD": "На персональный счет декларанта или собственника товаров в безналичной форме.", + "correct_answer": "На счет Федерального казначейства для дальнейшего распоряжения в соответствии со статьей 383 Кодекса Союза.", + "choices": [ + "На счет уполномоченного дилера по реализации задержанных товаров.", + "На счет Федерального казначейства для дальнейшего распоряжения в соответствии со статьей 383 Кодекса Союза.", + "Вследствие истечения срока действия договора", + "Прекращает рассмотрение заявлений застрахованных лиц о назначении накопительной пенсии.", + "Выплачивается на каждого ребенка в случае рождения двух или более детей", + "Отсутствие представителя работников кредитной организации на собрании кредиторов является основанием для признания собрания кредиторов недействительным.", + "На счет таможенного органа, который осуществил задержание товаров.", + "Представитель собственника имущества должника", + "По решению местных властей", + "Оплата услуг представителя работников кредитной организации производится за счет имущества должника (конкурсной массы).", + "Выплачивается только на первенца", + "На персональный счет декларанта или собственника товаров в безналичной форме." + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nВ соответствии с Федеральным законом \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ, статья 321, куда перечисляются денежные средства, вырученные от реализации задержанных товаров, срок хранения которых истек?\nA. На счет уполномоченного дилера по реализации задержанных товаров.\nB. На счет Федерального казначейства для дальнейшего распоряжения в соответствии со статьей 383 Кодекса Союза.\nC. Вследствие истечения срока действия договора\nD. Прекращает рассмотрение заявлений застрахованных лиц о назначении накопительной пенсии.\nE. Выплачивается на каждого ребенка в случае рождения двух или более детей\nF. Отсутствие представителя работников кредитной организации на собрании кредиторов является основанием для признания собрания кредиторов недействительным.\nG. На счет таможенного органа, который осуществил задержание товаров.\nH. Представитель собственника имущества должника\nI. По решению местных властей\nJ. Оплата услуг представителя работников кредитной организации производится за счет имущества должника (конкурсной массы).\nK. Выплачивается только на первенца\nL. На персональный счет декларанта или собственника товаров в безналичной форме.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 265, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.015444757416844368, + "B": 0.5114601254463196, + "C": 0.032696548849344254, + "D": 0.04198320209980011, + "E": 0.025464098900556564, + "F": 0.032696548849344254, + "G": 0.06921859830617905, + "H": 0.032696548849344254, + "I": 0.0015292380703613162, + "J": 0.07843495160341263, + "K": 0.053907494992017746, + "L": 0.00826698262244463 + }, + "sample": { + "question": "По какой из перечисленных причин может прекратиться договор инвестиционного товарищества согласно статье 19 Федерального закона \"Об инвестиционном товариществе\" N 335-ФЗ?", + "answerA": "По решению местных властей", + "answerB": "Вследствие истечения срока действия договора", + "answerC": "Из-за изменения законодательства страны", + "answerD": "По причине масштабной природной катастрофы", + "correct_answer": "B", + "choices": [ + "По решению местных властей", + "Вследствие истечения срока действия договора", + "Выплачивается только на первенца", + "Принимает меры по предупреждению банкр��тства негосударственного пенсионного фонда.", + "Выплачивается на каждого ребенка в случае рождения двух или более детей", + "Представитель собственника имущества должника", + "Из-за изменения законодательства страны", + "Обязательные аудиторские проверки для всех операторов платежных систем", + "Прекращает рассмотрение заявлений застрахованных лиц о назначении накопительной пенсии.", + "По причине масштабной природной катастрофы", + "Отсутствие представителя работников кредитной организации на собрании кредиторов является основанием для признания собрания кредиторов недействительным.", + "Оплата услуг представителя работников кредитной организации производится за счет имущества должника (конкурсной массы)." + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nПо какой из перечисленных причин может прекратиться договор инвестиционного товарищества согласно статье 19 Федерального закона \"Об инвестиционном товариществе\" N 335-ФЗ?\nA. По решению местных властей\nB. Вследствие истечения срока действия договора\nC. Выплачивается только на первенца\nD. Принимает меры по предупреждению банкротства негосударственного пенсионного фонда.\nE. Выплачивается на каждого ребенка в случае рождения двух или более детей\nF. Представитель собственника имущества должника\nG. Из-за изменения законодательства страны\nH. Обязательные аудиторские проверки для всех операторов платежных систем\nI. Прекращает рассмотрение заявлений застрахованных лиц о назначении накопительной пенсии.\nJ. По причине масштабной природной катастрофы\nK. Отсутствие представителя работников кредитной организации на собрании кредиторов является основанием для признания собрания кредиторов недействительным.\nL. Оплата услуг представителя работников кредитной организации производится за счет имущества должника (конкурсной массы).\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 212, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.008681321516633034, + "B": 0.05660932883620262, + "C": 0.781467616558075, + "D": 0.030300788581371307, + "E": 0.012631247751414776, + "F": 0.008155346848070621, + "G": 0.011147036217153072, + "H": 0.005966578610241413, + "I": 0.00035832091816700995, + "J": 0.0020619945134967566, + "K": 0.004946467466652393, + "L": 0.0001801750622689724 + }, + "sample": { + "question": "Какое из утверждений верно относительно проведения собрания работников, бывших работников кредитной организации согласно Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ, статья 189.85-1?", + "answerA": "Оплата услуг представителя работников кредитной организации производится за счет имущества должника (конкурсной массы).", + "answerB": "Отсутствие представителя работников кредитной организации на собрании кредиторов является основанием для признания собрания кредитор��в недействительным.", + "answerC": "Полномочия представителя работников кредитной организации прекращаются при погашении требований кредиторов второй очереди.", + "answerD": "Каждый работник кредитной организации обладает на собрании двумя голосами.", + "correct_answer": "answerC", + "choices": [ + "По общим правилам, учитывая только международные законы.", + "Представитель собственника имущества должника", + "Отсутствие представителя работников кредитной организации на собрании кредиторов является основанием для признания собрания кредиторов недействительным.", + "Выплачивается только на первенца", + "Обязательные аудиторские проверки для всех операторов платежных систем", + "Полномочия представителя работников кредитной организации прекращаются при погашении требований кредиторов второй очереди.", + "Прекращает рассмотрение заявлений застрахованных лиц о назначении накопительной пенсии.", + "Выплачивается на каждого ребенка в случае рождения двух или более детей", + "Принимает меры по предупреждению банкротства негосударственного пенсионного фонда.", + "Каждый работник кредитной организации обладает на собрании двумя голосами.", + "Конкурсные кредиторы, чьи требования обеспечены залогом имущества должника", + "Оплата услуг представителя работников кредитной организации производится за счет имущества должника (конкурсной массы)." + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКакое из утверждений верно относительно проведения собрания работников, бывших работников кредитной организации согласно Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ, статья 189.85-1?\nA. По общим правилам, учитывая только международные законы.\nB. Представитель собственника имущества должника\nC. Отсутствие представителя работников кредитной организации на собрании кредиторов является основанием для признания собрания кредиторов недействительным.\nD. Выплачивается только на первенца\nE. Обязательные аудиторские проверки для всех операторов платежных систем\nF. Полномочия представителя работников кредитной организации прекращаются при погашении требований кредиторов второй очереди.\nG. Прекращает рассмотрение заявлений застрахованных лиц о назначении накопительной пенсии.\nH. Выплачивается на каждого ребенка в случае рождения двух или более детей\nI. Принимает меры по предупреждению банкротства негосударственного пенсионного фонда.\nJ. Каждый работник кредитной организации обладает на собрании двумя голосами.\nK. Конкурсные кредиторы, чьи требования обеспечены залогом имущества должника\nL. Оплата услуг представителя работников кредитной организации производится за счет имущества должника (конкурсной массы).\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 257, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.008758312091231346, + "B": 0.3286532163619995, + "C": 0.01636268012225628, + "D": 0.05040060728788376, + "E": 0.05711136385798454, + "F": 0.05040060728788376, + "G": 0.07333245128393173, + "H": 0.03925203159451485, + "I": 0.00235726754181087, + "J": 0.2900354564189911, + "K": 0.03056951053440571, + "L": 0.0014297551242634654 + }, + "sample": { + "question": "Как выплачивается единовременное пособие при рождении ребенка согласно Федеральному закону \"О государственных пособиях гражданам, имеющим детей\" N 81-ФЗ?", + "answerA": "Выплачивается только на первенца", + "answerB": "Выплачивается на каждого ребенка в случае рождения двух или более детей", + "answerC": "Не выплачивается в случае рождения мертвого ребенка", + "answerD": "Выплачивается только матери", + "correct_answer": "B", + "choices": [ + "Конкурсные кредиторы, чьи требования обеспечены залогом имущества должника", + "Выплачивается на каждого ребенка в случае рождения двух или более детей", + "Представитель собственника имущества должника", + "Путем управления работой центров данных, расположенных на территории Российской Федерации.", + "Прекращает рассмотрение заявлений застрахованных лиц о назначении накопительной пенсии.", + "Деятельность операторов информационных систем, в которых осуществляется выпуск цифровых финансовых активов, и (или) деятельность операторов обмена цифровых финансовых активов", + "Обязательные аудиторские проверки для всех операторов платежных систем", + "Выплачивается только на первенца", + "Принимает меры по предупреждению банкротства негосударственного пенсионного фонда.", + "Не выплачивается в случае рождения мертвого ребенка", + "Выплачивается только матери", + "По общим правилам, учитывая только международные законы." + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКак выплачивается единовременное пособие при рождении ребенка согласно Федеральному закону \"О государственных пособиях гражданам, имеющим детей\" N 81-ФЗ?\nA. Конкурсные кредиторы, чьи требования обеспечены залогом имущества должника\nB. Выплачивается на каждого ребенка в случае рождения двух или более детей\nC. Представитель собственника имущества должника\nD. Путем управления работой центров данных, расположенных на территории Российской Федерации.\nE. Прекращает рассмотрение заявлений застрахованных лиц о назначении накопительной пенсии.\nF. Деятельность операторов информационных систем, в которых осуществляется выпуск цифровых финансовых активов, и (или) деятельность операторов обмена цифровых финансовых активов\nG. Обязательные аудиторские проверки для всех операторов платежных систем\nH. Выплачивается только на первенца\nI. Принимает меры по предупреждению банкротства негосударственного пенсионного фонда.\nJ. Не выплачивается в случае рождения мертвого ребенка\nK. Выплачивается только матери\nL. По общим правилам, учитывая только международные законы.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 220, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.13800716400146484, + "B": 0.15638260543346405, + "C": 0.13800716400146484, + "D": 0.07386991381645203, + "E": 0.030793558806180954, + "F": 0.044804368168115616, + "G": 0.06518996506929398, + "H": 0.03489367663860321, + "I": 0.006870971992611885, + "J": 0.044804368168115616, + "K": 0.030793558806180954, + "L": 0.0017372538568452 + }, + "sample": { + "question": "Какие функции не может выполнять временная администрация негосударственного пенсионного фонда после аннулирования лицензии на осуществление деятельности по пенсионному обеспечению в соответствии со статьей 187.4 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?", + "answerA": "Прекращает рассмотрение заявлений застрахованных лиц о назначении накопительной пенсии.", + "answerB": "Принимает меры по предупреждению банкротства негосударственного пенсионного фонда.", + "answerC": "Осуществляет функции, предусмотренные статьей 7.2 Федерального закона 'О негосударственных пенсионных фондах'.", + "answerD": "Покрывает недостаточность средств пенсионных накоплений и исполняет обязательства перед застрахованными лицами.", + "correct_answer": "B", + "choices": [ + "Деятельность операторов информационных систем, в которых осуществляется выпуск цифровых финансовых активов, и (или) деятельность операторов обмена цифровых финансовых активов", + "Прекращает рассмотрение заявлений застрахованных лиц о назначении накопительной пенсии.", + "Покрывает недостаточность средств пенсионных накоплений и исполняет обязательства перед застрахованными лицами.", + "Обязательные аудиторские проверки для всех операторов платежных систем", + "Путем управления работой центров данных, расположенных на территории Российской Федерации.", + "Принимает меры по предупреждению банкротства негосударственного пенсионного фонда.", + "Главный бухгалтер", + "Конкурсные кредиторы, чьи требования обеспечены залогом имущества должника", + "По общим правилам, учитывая только международные законы.", + "Осуществляет функции, предусмотренные статьей 7.2 Федерального закона 'О негосударственных пенсионных фондах'.", + "По правилам настоящего Федерального закона, с учетом особенностей, предусмотренных настоящей главой.", + "Представитель собственника имущества должника" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКакие функции не может выполнять временная администрация негосударственного пенсионного фонда после аннулирования лицензии на осуществление деятельности по пенсионному обеспечению в соответствии со статьей 187.4 Федерального закона 'О несостоятельности (банкротс��ве)' N 127-ФЗ?\nA. Деятельность операторов информационных систем, в которых осуществляется выпуск цифровых финансовых активов, и (или) деятельность операторов обмена цифровых финансовых активов\nB. Прекращает рассмотрение заявлений застрахованных лиц о назначении накопительной пенсии.\nC. Покрывает недостаточность средств пенсионных накоплений и исполняет обязательства перед застрахованными лицами.\nD. Обязательные аудиторские проверки для всех операторов платежных систем\nE. Путем управления работой центров данных, расположенных на территории Российской Федерации.\nF. Принимает меры по предупреждению банкротства негосударственного пенсионного фонда.\nG. Главный бухгалтер\nH. Конкурсные кредиторы, чьи требования обеспечены залогом имущества должника\nI. По общим правилам, учитывая только международные законы.\nJ. Осуществляет функции, предусмотренные статьей 7.2 Федерального закона 'О негосударственных пенсионных фондах'.\nK. По правилам настоящего Федерального закона, с учетом особенностей, предусмотренных настоящей главой.\nL. Представитель собственника имущества должника\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 262, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0009366062004119158, + "B": 0.003943259362131357, + "C": 0.9648838043212891, + "D": 0.0030710138380527496, + "E": 0.0005336621543392539, + "F": 0.00020898508955724537, + "G": 0.00034455815330147743, + "H": 0.00019632333714980632, + "I": 3.2048901630332693e-05, + "J": 2.8283056963118725e-05, + "K": 9.8717566288542e-05, + "L": 7.1510771704197396e-06 + }, + "sample": { + "question": "Кто обладает правом голоса на собраниях кредиторов в ходе реализации имущества гражданина в контексте Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?", + "answerA": "Представитель собственника имущества должника", + "answerB": "Конкурсные кредиторы, чьи требования обеспечены залогом имущества должника", + "answerC": "Представитель саморегулируемой организации", + "answerD": "Представитель учредителей (участников) должника", + "correct_answer": "B", + "choices": [ + "По общим правилам, учитывая только международные законы.", + "Представитель учредителей (участников) должника", + "По правилам настоящего Федерального закона, с учетом особенностей, предусмотренных настоящей главой.", + "Конкурсные кредиторы, чьи требования обеспечены залогом имущества должника", + "С 1 января 2005 года", + "Путем управления работой центров данных, расположенных на территории Российской Федерации.", + "Обязательные аудиторские проверки для всех операторов платежных систем", + "Путем управления техническими средствами противодействия угрозам и (или) путем передачи обязательных к выполнению указаний операторам связи, собственникам или иным владельцам технологических сетей связи, собственникам или иным владельцам то��ек обмена трафиком.", + "Деятельность операторов информационных систем, в которых осуществляется выпуск цифровых финансовых активов, и (или) деятельность операторов обмена цифровых финансовых активов", + "Представитель собственника имущества должника", + "Главный бухгалтер", + "Представитель саморегулируемой организации" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКто обладает правом голоса на собраниях кредиторов в ходе реализации имущества гражданина в контексте Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?\nA. По общим правилам, учитывая только международные законы.\nB. Представитель учредителей (участников) должника\nC. По правилам настоящего Федерального закона, с учетом особенностей, предусмотренных настоящей главой.\nD. Конкурсные кредиторы, чьи требования обеспечены залогом имущества должника\nE. С 1 января 2005 года\nF. Путем управления работой центров данных, расположенных на территории Российской Федерации.\nG. Обязательные аудиторские проверки для всех операторов платежных систем\nH. Путем управления техническими средствами противодействия угрозам и (или) путем передачи обязательных к выполнению указаний операторам связи, собственникам или иным владельцам технологических сетей связи, собственникам или иным владельцам точек обмена трафиком.\nI. Деятельность операторов информационных систем, в которых осуществляется выпуск цифровых финансовых активов, и (или) деятельность операторов обмена цифровых финансовых активов\nJ. Представитель собственника имущества должника\nK. Главный бухгалтер\nL. Представитель саморегулируемой организации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 253, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0030026452150195837, + "B": 0.00720297172665596, + "C": 0.5722029209136963, + "D": 0.03657970577478409, + "E": 0.009248798713088036, + "F": 0.011156181804835796, + "G": 0.02514084242284298, + "H": 0.009248798713088036, + "I": 0.0034024426713585854, + "J": 0.015248690731823444, + "K": 0.06833989173173904, + "L": 0.002338462509214878 + }, + "sample": { + "question": "Что было добавлено в пункт 18 статьи 3 Федерального закона 'О национальной платежной системе' согласно изменениям, принятым Федеральным законом от 31.07.2020 N 259-ФЗ?", + "answerA": "Обязательные аудиторские проверки для всех операторов платежных систем", + "answerB": "Деятельность операторов информационных систем, в которых осуществляется выпуск цифровых финансовых активов, и (или) деятельность операторов обмена цифровых финансовых активов", + "answerC": "Введение ограничений на трансграничные платежи", + "answerD": "Регулирование использования иностранной валюты внутри страны", + "correct_answer": "answerB", + "choices": [ + "Ревизионная комиссия", + "По общим правилам, учитывая только международные законы.", + "Путем управления т��хническими средствами противодействия угрозам и (или) путем передачи обязательных к выполнению указаний операторам связи, собственникам или иным владельцам технологических сетей связи, собственникам или иным владельцам точек обмена трафиком.", + "Проведение ежегодных образовательных программ для всех детей", + "Путем управления работой центров данных, расположенных на территории Российской Федерации.", + "Обязательные аудиторские проверки для всех операторов платежных систем", + "Регулирование использования иностранной валюты внутри страны", + "Главный бухгалтер", + "По правилам настоящего Федерального закона, с учетом особенностей, предусмотренных настоящей главой.", + "С 1 января 2005 года", + "Деятельность операторов информационных систем, в которых осуществляется выпуск цифровых финансовых активов, и (или) деятельность операторов обмена цифровых финансовых активов", + "Введение ограничений на трансграничные платежи" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nЧто было добавлено в пункт 18 статьи 3 Федерального закона 'О национальной платежной системе' согласно изменениям, принятым Федеральным законом от 31.07.2020 N 259-ФЗ?\nA. Ревизионная комиссия\nB. По общим правилам, учитывая только международные законы.\nC. Путем управления техническими средствами противодействия угрозам и (или) путем передачи обязательных к выполнению указаний операторам связи, собственникам или иным владельцам технологических сетей связи, собственникам или иным владельцам точек обмена трафиком.\nD. Проведение ежегодных образовательных программ для всех детей\nE. Путем управления работой центров данных, расположенных на территории Российской Федерации.\nF. Обязательные аудиторские проверки для всех операторов платежных систем\nG. Регулирование использования иностранной валюты внутри страны\nH. Главный бухгалтер\nI. По правилам настоящего Федерального закона, с учетом особенностей, предусмотренных настоящей главой.\nJ. С 1 января 2005 года\nK. Деятельность операторов информационных систем, в которых осуществляется выпуск цифровых финансовых активов, и (или) деятельность операторов обмена цифровых финансовых активов\nL. Введение ограничений на трансграничные платежи\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 260, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0053877318277955055, + "B": 0.10165905207395554, + "C": 0.005061306059360504, + "D": 0.022683199495077133, + "E": 0.022683199495077133, + "F": 0.03981025516986847, + "G": 0.04802033305168152, + "H": 0.07917214184999466, + "I": 0.0032678244169801474, + "J": 0.07917214184999466, + "K": 0.05441416800022125, + "L": 0.45560422539711 + }, + "sample": { + "question": "Какой порядок исполнения судебных актов в отношении иностранного государства и его имущества, находящегося на территории Российской Федерации?", + "answerA": "По общим правилам, учитывая только международные законы.", + "answerB": "По правилам настоящего Федерального закона, с учетом особенностей, предусмотренных настоящей главой.", + "answerC": "По внутренним процедурам иностранного государства.", + "answerD": "Игнорируя наличие юрисдикционных иммунитетов", + "correct_answer": "B", + "choices": [ + "С 1 января 2006 года", + "Путем управления работой центров данных, расположенных на территории Российской Федерации.", + "Проведение ежегодных образовательных программ для всех детей", + "Игнорируя наличие юрисдикционных иммунитетов", + "Федеральным законом 'О страховых взносах в пенсионный фонд Российской Федерации'", + "С 1 января 2005 года", + "Ревизионная комиссия", + "Главный бухгалтер", + "По общим правилам, учитывая только международные законы.", + "Путем управления техническими средствами противодействия угрозам и (или) путем передачи обязательных к выполнению указаний операторам связи, собственникам или иным владельцам технологических сетей связи, собственникам или иным владельцам точек обмена трафиком.", + "По внутренним процедурам иностранного государства.", + "По правилам настоящего Федерального закона, с учетом особенностей, предусмотренных настоящей главой." + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКакой порядок исполнения судебных актов в отношении иностранного государства и его имущества, находящегося на территории Российской Федерации?\nA. С 1 января 2006 года\nB. Путем управления работой центров данных, расположенных на территории Российской Федерации.\nC. Проведение ежегодных образовательных программ для всех детей\nD. Игнорируя наличие юрисдикционных иммунитетов\nE. Федеральным законом 'О страховых взносах в пенсионный фонд Российской Федерации'\nF. С 1 января 2005 года\nG. Ревизионная комиссия\nH. Главный бухгалтер\nI. По общим правилам, учитывая только международные законы.\nJ. Путем управления техническими средствами противодействия угрозам и (или) путем передачи обязательных к выполнению указаний операторам связи, собственникам или иным владельцам технологических сетей связи, собственникам или иным владельцам точек обмена трафиком.\nK. По внутренним процедурам иностранного государства.\nL. По правилам настоящего Федерального закона, с учетом особенностей, предусмотренных настоящей главой.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 223, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0012226891703903675, + "B": 0.0357322134077549, + "C": 0.0025884329807013273, + "D": 0.0031222461257129908, + "E": 0.5589458346366882, + "F": 0.0016712178476154804, + "G": 0.011600551195442677, + "H": 0.0037661476526409388, + "I": 0.0013015457661822438, + "J": 0.004542841576039791, + "K": 0.001148610026575625, + "L": 0.00016547298582736403 + }, + "sample": { + "question": "Каким образом осуществляется централизованное управление сетью связи общего пользования в случае возникновения угроз устойчивости, безопасности и целостности функционирования на территории Российской Федерации информационно-телекоммуникационной сети 'Интернет' и сети связи общего пользования?", + "answerA": "Путем управления работой центров данных, расположенных на территории Российской Федерации.", + "answerB": "Путем управления техническими средствами противодействия угрозам и (или) путем передачи обязательных к выполнению указаний операторам связи, собственникам или иным владельцам технологических сетей связи, собственникам или иным владельцам точек обмена трафиком.", + "answerC": "Через автоматическую систему управления трафиком, управляемую искусственным интеллектом без участия человека.", + "answerD": "Путем полной блокировки доступа к сети Интернет на всей территории Российской Федерации до устранения угроз.", + "correct_answer": "answerB", + "choices": [ + "Ревизионная комиссия", + "Путем управления работой центров данных, расположенных на территории Российской Федерации.", + "Проведение ежегодных образовательных программ для всех детей", + "Главный бухгалтер", + "Путем управления техническими средствами противодействия угрозам и (или) путем передачи обязательных к выполнению указаний операторам связи, собственникам или иным владельцам технологических сетей связи, собственникам или иным владельцам точек обмена трафиком.", + "Назначение и регулирование работы школьных директоров", + "Через автоматическую систему управления трафиком, управляемую искусственным интеллектом без участия человека.", + "Путем полной блокировки доступа к сети Интернет на всей территории Российской Федерации до устранения угроз.", + "Федеральным законом 'О страховых взносах в пенсионный фонд Российской Федерации'", + "Согласие покупателя изменить ценообразование товаров (работ, услуг)", + "С 1 января 2006 года", + "С 1 января 2005 года" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКаким образом осуществляется централизованное управление сетью связи общего пользования в случае возникновения угроз устойчивости, безопасности и целостности функционирования на территории Российской Федерации информационно-телекоммуникационной сети 'Интернет' и сети связи общего пользования?\nA. Ревизионная комиссия\nB. Путем управления работой центров данных, расположенных на территории Российской Федерации.\nC. Проведение ежегодных образовательных программ для всех детей\nD. Главный бухгалтер\nE. Путем управления техническими средствами противодействия угрозам и (или) путем передачи обязательных к выполнению указаний операторам связи, собственникам или иным владельцам технологических сетей связи, собственникам или иным владельцам точек обмена трафиком.\nF. Назначение и регулирование работы школьных директоров\nG. Через автоматическую систему управления трафиком, управляемую искусственным интеллектом без участия человека.\nH. Путем полной блокировки доступа к сети Интернет на всей территории Российской Федерации до устранения угроз.\nI. Федеральным законом 'О страховых взносах в пенсионный фонд Российской Федерации'\nJ. Согласие покупателя изменить ценообразование товаров (работ, услуг)\nK. С 1 января 2006 года\nL. С 1 января 2005 года\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 263, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.032688140869140625, + "B": 0.061069488525390625, + "C": 0.7439786791801453, + "D": 0.032688140869140625, + "E": 0.013626445084810257, + "F": 0.009365309029817581, + "G": 0.015440784394741058, + "H": 0.004155830945819616, + "I": 0.000363132479833439, + "J": 0.0005624305340461433, + "K": 0.0039040418341755867, + "L": 0.0001611390325706452 + }, + "sample": { + "question": "Кто несет ответственность за организацию, состояние и достоверность бухгалтерского учета акционерного общества, согласно Федеральному закону \"Об акционерных обществах\" (АО) N 208-ФЗ?", + "answerA": "Главный бухгалтер", + "answerB": "Ревизионная комиссия", + "answerC": "Исполнительный орган общества", + "answerD": "Наблюдательный совет", + "correct_answer": "Исполнительный орган общества", + "choices": [ + "Наблюдательный совет", + "С 1 января 2006 года", + "Исполнительный орган общества", + "Федеральным законом 'О страховых взносах в пенсионный фонд Российской Федерации'", + "Регулированием интернет-трафика", + "Главный бухгалтер", + "Ревизионная комиссия", + "Проведение ежегодных образовательных программ для всех детей", + "Согласие покупателя изменить ценообразование товаров (работ, услуг)", + "С 1 января 2005 года", + "Назначение и регулирование работы школьных директоров", + "Федеральным законом 'О службе в органах принудительного исполнения Российской Федерации и внесении изменений в отдельные законодательные акты Российской Федерации'" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКто несет ответственность за организацию, состояние и достоверность бухгалтерского учета акционерного общества, согласно Федеральному закону \"Об акционерных обществах\" (АО) N 208-ФЗ?\nA. Наблюдательный совет\nB. С 1 января 2006 года\nC. Исполнительный орган общества\nD. Федеральным законом 'О страховых взносах в пенсионный фонд Российской Федерации'\nE. Регулированием интернет-трафика\nF. Главный бухгалтер\nG. Ревизионная комиссия\nH. Проведение ежегодных образовательных программ для всех детей\nI. Согласие покупателя изменить ценообразование товаров (работ, услуг)\nJ. С 1 января 2005 года\nK. Назначение и регулирование работы школьных директоров\nL. Федеральным законом 'О службе в органах принудительного исполнения Российской Федерации и внесении изменений в отдельные законодательные акты Российской Федерации'\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 204, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.015246630646288395, + "B": 0.025137444958090782, + "C": 0.11265820264816284, + "D": 0.5721256136894226, + "E": 0.06030159443616867, + "F": 0.025137444958090782, + "G": 0.0469629280269146, + "H": 0.013455105014145374, + "I": 0.005970666650682688, + "J": 0.019577061757445335, + "K": 0.03657476603984833, + "L": 0.007666487712413073 + }, + "sample": { + "question": "С какой даты, по Федеральному закону \"О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд\" N 44-ФЗ, при размещении заказов на поставки товаров, выполнение работ, оказание услуг для федеральных нужд не требуется публикация информации о размещении заказов в официальном печатном издании?", + "answerA": "С 1 января 2005 года", + "answerB": "С 1 января 2006 года", + "answerC": "С 1 января 2007 года", + "answerD": "С 1 января 2008 года", + "correct_answer": "С 1 января 2008 года", + "choices": [ + "Проведение ежегодных образовательных программ для всех детей", + "Федеральным законом 'О службе в органах принудительного исполнения Российской Федерации и внесении изменений в отдельные законодательные акты Российской Федерации'", + "Не чаще одного раза в два года", + "С 1 января 2008 года", + "С 1 января 2007 года", + "Регулированием интернет-трафика", + "С 1 января 2006 года", + "Назначение и регулирование работы школьных директоров", + "Согласие покупателя принять на себя обязательства должника по договорам поставки товаров, являющимся предметом регулирования законодательства о естественных монополиях", + "С 1 января 2005 года", + "Федеральным законом 'О страховых взносах в пенсионный фонд Российской Федерации'", + "Согласие покупателя изменить ценообразование товаров (работ, услуг)" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nС какой даты, по Федеральному закону \"О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд\" N 44-ФЗ, при размещении заказов на поставки товаров, выполнение работ, оказание услуг для федеральных нужд не требуется публикация информации о размещении заказов в официальном печатном издании?\nA. Проведение ежегодных образовательных программ для всех детей\nB. Федеральным законом 'О службе в органах принудительного исполнения Российской Федерации и внесении изменений в отдельные законодательные акты Российской Федерации'\nC. Не чаще одного раза в два года\nD. С 1 января 2008 года\nE. С 1 января 2007 года\nF. Регулированием интернет-трафика\nG. С 1 января 2006 года\nH. Назначение и регулирование работы школьных директоров\nI. Согласие покупателя принять на себя обязательства должника по договорам поставки товаров, являющимся предметом регулирования законодательства о естественных монополиях\nJ. С 1 января 2005 года\nK. Федеральным законом 'О страховых взносах в пенсионный фонд Российской Федерации'\nL. Согласие покупателя изменить ценообразование товаров (работ, услуг)\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 269, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.003236242802813649, + "B": 0.0036671434063464403, + "C": 0.0015286927809938788, + "D": 0.006436037365347147, + "E": 0.7439047694206238, + "F": 0.00236768601462245, + "G": 0.00442341947928071, + "H": 0.0017322358908131719, + "I": 0.000411442102631554, + "J": 0.0039036539383232594, + "K": 0.001267331070266664, + "L": 7.610913598909974e-05 + }, + "sample": { + "question": "Какова одна из основных задач Уполномоченного по правам ребенка в Российской Федерации согласно Федеральному закону 'Об уполномоченных по правам детей в Российской Федерации' N 501-ФЗ?", + "answerA": "Проведение ежегодных образовательных программ для всех детей", + "answerB": "Назначение и регулирование работы школьных директоров", + "answerC": "Мониторинг и анализ эффективности функционирования механизмов реализации, соблюдения и защиты прав и законных интересов детей", + "answerD": "Прямое управление детскими садами и школами", + "correct_answer": "Мониторинг и анализ эффективности функционирования механизмов реализации, соблюдения и защиты прав и законных интересов детей", + "choices": [ + "Назначение и регулирование работы школьных директоров", + "Проведение ежегодных образовательных программ для всех детей", + "Федеральным законом 'О службе в органах принудительного исполнения Российской Федерации и внесении изменений в отдельные законодательные акты Российской Федерации'", + "Согласие покупателя изменить ценообразование товаров (работ, услуг)", + "Мониторинг и анализ эффективности функционирования механизмов реализации, соблюдения и защиты прав и законных интересов детей", + "Согласие покупателя принять на себя обязательства должника по договорам поставки товаров, являющимся предметом регулирования законодательства о естественных монополиях", + "Прямое управление детскими садами и школами", + "Обеспечением регулирования использования радиочастот и радиоэлектронных средств", + "Федеральным законом 'О страховых взносах в пенсионный фонд Российской Федерации'", + "Не чаще одного раза в два года", + "с 1 января 2020 года", + "Регулированием интернет-трафика" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКакова одна из основных задач Уполномоченного по правам ребенка в Российской Федерации согласно Федеральному закону 'Об уполномоченных по правам детей в Российской Федерации' N 501-ФЗ?\nA. Назначение и регулирование работы школьных дирек��оров\nB. Проведение ежегодных образовательных программ для всех детей\nC. Федеральным законом 'О службе в органах принудительного исполнения Российской Федерации и внесении изменений в отдельные законодательные акты Российской Федерации'\nD. Согласие покупателя изменить ценообразование товаров (работ, услуг)\nE. Мониторинг и анализ эффективности функционирования механизмов реализации, соблюдения и защиты прав и законных интересов детей\nF. Согласие покупателя принять на себя обязательства должника по договорам поставки товаров, являющимся предметом регулирования законодательства о естественных монополиях\nG. Прямое управление детскими садами и школами\nH. Обеспечением регулирования использования радиочастот и радиоэлектронных средств\nI. Федеральным законом 'О страховых взносах в пенсионный фонд Российской Федерации'\nJ. Не чаще одного раза в два года\nK. с 1 января 2020 года\nL. Регулированием интернет-трафика\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 260, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.004146436229348183, + "B": 0.0011159981368109584, + "C": 0.0014329699333757162, + "D": 0.007277221884578466, + "E": 0.05377179756760597, + "F": 0.004146436229348183, + "G": 0.08865471184253693, + "H": 0.3973228335380554, + "I": 0.30943533778190613, + "J": 0.022415421903133392, + "K": 0.008246172219514847, + "L": 0.0369567796587944 + }, + "sample": { + "question": "Какими законами устанавливаются страховые и социальные гарантии для сотрудников органов принудительного исполнения согласно Федеральному закону 'О судебных приставах' N 118-ФЗ?", + "answerA": "Федеральным законом 'О страховых взносах в пенсионный фонд Российской Федерации'", + "answerB": "Федеральным законом 'О службе в органах принудительного исполнения Российской Федерации и внесении изменений в отдельные законодательные акты Российской Федерации'", + "answerC": "Федеральным законом 'Об образовании в Российской Федерации'", + "answerD": "Федеральным законом 'О минимальном размере оплаты труда'", + "correct_answer": "Федеральным законом 'О службе в органах принудительного исполнения Российской Федерации и внесении изменений в отдельные законодательные акты Российской Федерации'", + "choices": [ + "Федеральным законом 'Об образовании в Российской Федерации'", + "Обеспечением регулирования использования радиочастот и радиоэлектронных средств", + "Регулированием интернет-трафика", + "Не чаще одного раза в два года", + "Не чаще одного раза в три года", + "Согласие покупателя изменить ценообразование товаров (работ, услуг)", + "с 1 января 2020 года", + "Федеральным законом 'О страховых взносах в пенсионный фонд Российской Федерации'", + "Федеральным законом 'О службе в органах принудительного исполнения Российской Федерации и внесении изменений в отдельные законодательные акты Росси��ской Федерации'", + "Федеральным законом 'О минимальном размере оплаты труда'", + "Согласие покупателя принять на себя обязательства должника по договорам поставки товаров, являющимся предметом регулирования законодательства о естественных монополиях", + "По решению совета директоров общества, принятому единогласно" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКакими законами устанавливаются страховые и социальные гарантии для сотрудников органов принудительного исполнения согласно Федеральному закону 'О судебных приставах' N 118-ФЗ?\nA. Федеральным законом 'Об образовании в Российской Федерации'\nB. Обеспечением регулирования использования радиочастот и радиоэлектронных средств\nC. Регулированием интернет-трафика\nD. Не чаще одного раза в два года\nE. Не чаще одного раза в три года\nF. Согласие покупателя изменить ценообразование товаров (работ, услуг)\nG. с 1 января 2020 года\nH. Федеральным законом 'О страховых взносах в пенсионный фонд Российской Федерации'\nI. Федеральным законом 'О службе в органах принудительного исполнения Российской Федерации и внесении изменений в отдельные законодательные акты Российской Федерации'\nJ. Федеральным законом 'О минимальном размере оплаты труда'\nK. Согласие покупателя принять на себя обязательства должника по договорам поставки товаров, являющимся предметом регулирования законодательства о естественных монополиях\nL. По решению совета директоров общества, принятому единогласно\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 231, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0028746777679771185, + "B": 0.01874525286257267, + "C": 0.003929218277335167, + "D": 0.025621721521019936, + "E": 0.009425705298781395, + "F": 0.02406938187777996, + "G": 0.04224307835102081, + "H": 0.016542628407478333, + "I": 0.0013579016085714102, + "J": 0.5146260857582092, + "K": 0.27545949816703796, + "L": 0.0028746777679771185 + }, + "sample": { + "question": "Что является обязательным условием договора купли-продажи имущества должника - субъекта естественной монополии согласно Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ, статье 201?", + "answerA": "Согласие покупателя изменить ценообразование товаров (работ, услуг)", + "answerB": "Согласие покупателя принять на себя обязательства должника по договорам поставки товаров, являющимся предметом регулирования законодательства о естественных монополиях", + "answerC": "Обязанность покупателя уплатить все налоги должника за предыдущий год", + "answerD": "Требование наличия у покупателя двойного гражданства", + "correct_answer": "answerB", + "choices": [ + "Обеспечением регулирования использования радиочастот и радиоэлектронных средств", + "с 1 декабря 2022 года", + "Обязанность покупателя уплатить все налоги должника за предыдущий год", + "с 1 января 2020 года", + "Согласие покупателя изменить ценообразование товаров (работ, услуг)", + "По решению совета директоров общества, принятому единогласно", + "На основании решения суда", + "Не чаще одного раза в два года", + "Требование наличия у покупателя двойного гражданства", + "Согласие покупателя принять на себя обязательства должника по договорам поставки товаров, являющимся предметом регулирования законодательства о естественных монополиях", + "Не чаще одного раза в три года", + "Регулированием интернет-трафика" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nЧто является обязательным условием договора купли-продажи имущества должника - субъекта естественной монополии согласно Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ, статье 201?\nA. Обеспечением регулирования использования радиочастот и радиоэлектронных средств\nB. с 1 декабря 2022 года\nC. Обязанность покупателя уплатить все налоги должника за предыдущий год\nD. с 1 января 2020 года\nE. Согласие покупателя изменить ценообразование товаров (работ, услуг)\nF. По решению совета директоров общества, принятому единогласно\nG. На основании решения суда\nH. Не чаще одного раза в два года\nI. Требование наличия у покупателя двойного гражданства\nJ. Согласие покупателя принять на себя обязательства должника по договорам поставки товаров, являющимся предметом регулирования законодательства о естественных монополиях\nK. Не чаще одного раза в три года\nL. Регулированием интернет-трафика\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 222, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.7313758134841919, + "B": 0.02502630464732647, + "C": 0.046755291521549225, + "D": 0.046755291521549225, + "E": 0.015179220587015152, + "F": 0.019490504637360573, + "G": 0.015179220587015152, + "H": 0.007170156575739384, + "I": 0.005245798267424107, + "J": 0.0028078737668693066, + "K": 0.0023278091102838516, + "L": 0.00015840938431210816 + }, + "sample": { + "question": "Чем занимается радиочастотная служба согласно Федеральному закону 'О связи' N 126-ФЗ?", + "answerA": "Регулированием интернет-трафика", + "answerB": "Обеспечением регулирования использования радиочастот и радиоэлектронных средств", + "answerC": "Развитием инфраструктуры мобильной связи", + "answerD": "Поддержкой и развитием космической связи", + "correct_answer": "answerB", + "choices": [ + "Обеспечением регулирования использования радиочастот и радиоэлектронных средств", + "Поддержкой и развитием космической связи", + "Только по решению общего собрания акционеров об увеличении уставного капитала общества, принятому большинством в две трети голосов", + "Развитием инфраструктуры мобильной связи", + "Не чаще одного раза в три года", + "На основании решения суда", + "На основе директивы президента", + "По решению совета директоров общества, пр��нятому единогласно", + "Не чаще одного раза в два года", + "Регулированием интернет-трафика", + "с 1 декабря 2022 года", + "с 1 января 2020 года" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nЧем занимается радиочастотная служба согласно Федеральному закону 'О связи' N 126-ФЗ?\nA. Обеспечением регулирования использования радиочастот и радиоэлектронных средств\nB. Поддержкой и развитием космической связи\nC. Только по решению общего собрания акционеров об увеличении уставного капитала общества, принятому большинством в две трети голосов\nD. Развитием инфраструктуры мобильной связи\nE. Не чаще одного раза в три года\nF. На основании решения суда\nG. На основе директивы президента\nH. По решению совета директоров общества, принятому единогласно\nI. Не чаще одного раза в два года\nJ. Регулированием интернет-трафика\nK. с 1 декабря 2022 года\nL. с 1 января 2020 года\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 183, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.051115963608026505, + "B": 0.031003400683403015, + "C": 0.0743732899427414, + "D": 0.5495483875274658, + "E": 0.05792197212576866, + "F": 0.04510968178510666, + "G": 0.051115963608026505, + "H": 0.027360403910279274, + "I": 0.014644968323409557, + "J": 0.012924140319228172, + "K": 0.027360403910279274, + "L": 0.021308302879333496 + }, + "sample": { + "question": "Как часто проводится внешняя проверка деятельности аудиторской организации, оказывающей аудиторские услуги общественно значимым организациям, согласно Федеральному закону \"Об аудиторской деятельности\" N 307-ФЗ?", + "answerA": "Не чаще одного раза в два года", + "answerB": "Не чаще одного раза в три года", + "answerC": "Не чаще одного раза в пять лет", + "answerD": "Не чаще одного раза в год", + "correct_answer": "Не чаще одного раза в год", + "choices": [ + "Не чаще одного раза в год", + "На основании решения суда", + "с 1 января 2020 года", + "Не чаще одного раза в два года", + "Реестр домашних животных", + "с 1 декабря 2022 года", + "По решению совета директоров общества, принятому единогласно", + "На основе директивы президента", + "Только по решению общего собрания акционеров об увеличении уставного капитала общества, принятому большинством в две трети голосов", + "По уведомлению из налоговой службы", + "Не чаще одного раза в пять лет", + "Не чаще одного раза в три года" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКак часто проводится внешняя проверка деятельности аудиторской организации, оказывающей аудиторские услуги общественно значимым организациям, согласно Федеральному закону \"Об аудиторской деятельности\" N 307-ФЗ?\nA. Не чаще одного раза в год\nB. На основании решения суда\nC. с 1 января 2020 года\nD. Не чаще одного раза в два года\nE. Реестр домашних животных\nF. с 1 декабря 2022 года\nG. По решению совета директоров общества, принятому ��диногласно\nH. На основе директивы президента\nI. Только по решению общего собрания акционеров об увеличении уставного капитала общества, принятому большинством в две трети голосов\nJ. По уведомлению из налоговой службы\nK. Не чаще одного раза в пять лет\nL. Не чаще одного раза в три года\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 187, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0976027101278305, + "B": 0.18234586715698242, + "C": 0.26531165838241577, + "D": 0.1420111060142517, + "E": 0.035906028002500534, + "F": 0.0976027101278305, + "G": 0.05919903516769409, + "H": 0.046104248613119125, + "I": 0.0029473465401679277, + "J": 0.009078465402126312, + "K": 0.009078465402126312, + "L": 0.0029473465401679277 + }, + "sample": { + "question": "Когда утратила силу Статья 29.1 Федерального закона \"Об общественных объединениях\" N 82-ФЗ?", + "answerA": "с 1 января 2020 года", + "answerB": "с 1 декабря 2022 года", + "answerC": "с 1 июля 2021 года", + "answerD": "с 1 сентября 2019 года", + "correct_answer": "с 1 декабря 2022 года", + "choices": [ + "По решению совета директоров общества, принятому единогласно", + "с 1 января 2020 года", + "Добавление пункта о контроле за использованием животных в научных экспериментах", + "Только по решению общего собрания акционеров об увеличении уставного капитала общества, принятому большинством в две трети голосов", + "На основе директивы президента", + "с 1 сентября 2019 года", + "На основании решения суда", + "Реестр домашних животных", + "с 1 июля 2021 года", + "По уведомлению из налоговой службы", + "На основе государственного или муниципального контракта", + "с 1 декабря 2022 года" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКогда утратила силу Статья 29.1 Федерального закона \"Об общественных объединениях\" N 82-ФЗ?\nA. По решению совета директоров общества, принятому единогласно\nB. с 1 января 2020 года\nC. Добавление пункта о контроле за использованием животных в научных экспериментах\nD. Только по решению общего собрания акционеров об увеличении уставного капитала общества, принятому большинством в две трети голосов\nE. На основе директивы президента\nF. с 1 сентября 2019 года\nG. На основании решения суда\nH. Реестр домашних животных\nI. с 1 июля 2021 года\nJ. По уведомлению из налоговой службы\nK. На основе государственного или муниципального контракта\nL. с 1 декабря 2022 года\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 187, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.002018775325268507, + "B": 0.0033283974044024944, + "C": 0.0006156917079351842, + "D": 0.002287572016939521, + "E": 0.007046218030154705, + "F": 0.004842789843678474, + "G": 0.014916843734681606, + "H": 0.015878897160291672, + "I": 0.11733005940914154, + "J": 0.3614020347595215, + "K": 0.21920141577720642, + "L": 0.15065477788448334 + }, + "sample": { + "question": "Каким образом осуществляется размещение акций (эмиссионных ценных бумаг общества, конвертируемых в акции) посредством закрытой подписки согласно Федеральному закону 'Об акционерных обществах' (АО) N 208-ФЗ?", + "answerA": "По решению совета директоров общества, принятому единогласно", + "answerB": "Только по решению общего собрания акционеров об увеличении уставного капитала общества, принятому большинством в две трети голосов", + "answerC": "Только по решению общего собрания акционеров об увеличении уставного капитала общества путем размещения дополнительных акций (о размещении эмиссионных ценных бумаг общества, конвертируемых в акции), принятому большинством в три четверти голосов акционеров - владельцев голосующих акций", + "answerD": "Автоматически после регистрации дополнительных выпусков акций в Федеральной службе по финансовым рынкам", + "correct_answer": "answerC", + "choices": [ + "Автоматически после регистрации дополнительных выпусков акций в Федеральной службе по финансовым рынкам", + "По решению совета директоров общества, принятому единогласно", + "На основе директивы президента", + "Реестр объектов недвижимости", + "Ограничение возраста участия в политических мероприятиях", + "На основе государственного или муниципального контракта", + "На основании решения суда", + "Реестр домашних животных", + "По уведомлению из налоговой службы", + "Только по решению общего собрания акционеров об увеличении уставного капитала общества путем размещения дополнительных акций (о размещении эмиссионных ценных бумаг общества, конвертируемых в акции), принятому большинством в три четверти голосов акционеров - владельцев голосующих акций", + "Добавление пункта о контроле за использованием животных в научных экспериментах", + "Только по решению общего собрания акционеров об увеличении уставного капитала общества, принятому большинством в две трети голосов" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКаким образом осуществляется размещение акций (эмиссионных ценных бумаг общества, конвертируемых в акции) посредством закрытой подписки согласно Федеральному закону 'Об акционерных обществах' (АО) N 208-ФЗ?\nA. Автоматически после регистрации дополнительных выпусков акций в Федеральной службе по финансовым рынкам\nB. По решению совета директоров общества, принятому единогласно\nC. На основе директивы президента\nD. Реестр объектов недвижимости\nE. Ограничение возраста участия в политических мероприятиях\nF. На основе государственного или муниципального контракта\nG. На основании решения суда\nH. Реестр домашних животных\nI. По уведомлению из налоговой службы\nJ. Только по решению общего собрания акционеров об увеличении уставного капитала общества путем размещения дополнительных акций (о размещении эмиссионных ценных бумаг общества, конвертиру��мых в акции), принятому большинством в три четверти голосов акционеров - владельцев голосующих акций\nK. Добавление пункта о контроле за использованием животных в научных экспериментах\nL. Только по решению общего собрания акционеров об увеличении уставного капитала общества, принятому большинством в две трети голосов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 250, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.003229516791179776, + "B": 0.0064226603135466576, + "C": 0.05051814019680023, + "D": 0.009344915859401226, + "E": 0.05051814019680023, + "F": 0.001840122975409031, + "G": 0.0030338498763740063, + "H": 0.0034378021955490112, + "I": 0.6973813772201538, + "J": 0.030640799552202225, + "K": 0.044582098722457886, + "L": 0.00012522193719632924 + }, + "sample": { + "question": "На каком основании осуществляется государственная регистрация прекращения права собственности на земельный участок или земельную долю вследствие отказа от права собственности согласно Федеральному закону 'О государственной регистрации недвижимости' N 218-ФЗ, Статья 56?", + "answerA": "На основании решения суда", + "answerB": "По уведомлению из налоговой службы", + "answerC": "На основании заявления собственника земельного участка или земельной доли", + "answerD": "Автоматически, без дополнительных действий собственника", + "correct_answer": "На основании заявления собственника земельного участка или земельной доли", + "choices": [ + "Ограничение возраста участия в политических мероприятиях", + "На основе государственного или муниципального контракта", + "На основании решения суда", + "По уведомлению из налоговой службы", + "Дополнение, касающееся обязательной регистрации домашних животных", + "Реестр домашних животных", + "Добавление пункта о контроле за использованием животных в научных экспериментах", + "Путем голосования между родственниками", + "На основании заявления собственника земельного участка или земельной доли", + "Автоматически, без дополнительных действий собственника", + "Реестр объектов недвижимости", + "На основе директивы президента" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nНа каком основании осуществляется государственная регистрация прекращения права собственности на земельный участок или земельную долю вследствие отказа от права собственности согласно Федеральному закону 'О государственной регистрации недвижимости' N 218-ФЗ, Статья 56?\nA. Ограничение возраста участия в политических мероприятиях\nB. На основе государственного или муниципального контракта\nC. На основании решения суда\nD. По уведомлению из налоговой службы\nE. Дополнение, касающееся обязательной регистрации домашних животных\nF. Реестр домашних животных\nG. Добавление пункта о контроле за использованием животных в научных экспериментах\nH. Путем голосования между родственниками\nI. На основании заявления собственника земельного участка или земельной доли\nJ. Автоматически, без дополнительных действий собственника\nK. Реестр объектов недвижимости\nL. На основе директивы президента\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 187, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0008167579653672874, + "B": 0.004147839266806841, + "C": 0.0012650196440517902, + "D": 0.0038965344429016113, + "E": 0.1004929468035698, + "F": 0.7425479888916016, + "G": 0.0038965344429016113, + "H": 0.0038965344429016113, + "I": 0.00014193124661687762, + "J": 0.004415351897478104, + "K": 0.005669423844665289, + "L": 0.06095205247402191 + }, + "sample": { + "question": "На основе чего осуществляется оказание услуг связи, услуг присоединения и услуг по пропуску трафика для обеспечения государственных или муниципальных нужд согласно Федеральному закону 'О связи' N 126-ФЗ, Статья 51?", + "answerA": "На основе директивы президента", + "answerB": "На основе государственного или муниципального контракта", + "answerC": "На основе решения суда", + "answerD": "На основе устных договоренностей", + "correct_answer": "На основе государственного или муниципального контракта", + "choices": [ + "На основе решения суда", + "Путем голосования между родственниками", + "Реестр домашних животных", + "Установление максимального содержания этилового спирта в спиртосодержащей продукции", + "Добавление пункта о контроле за использованием животных в научных экспериментах", + "На основе государственного или муниципального контракта", + "На основе директивы президента", + "Дополнение, касающееся обязательной регистрации домашних животных", + "Ограничение возраста участия в политических мероприятиях", + "Решение, принятое единогласно всеми участниками общества", + "Реестр объектов недвижимости", + "На основе устных договоренностей" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nНа основе чего осуществляется оказание услуг связи, услуг присоединения и услуг по пропуску трафика для обеспечения государственных или муниципальных нужд согласно Федеральному закону 'О связи' N 126-ФЗ, Статья 51?\nA. На основе решения суда\nB. Путем голосования между родственниками\nC. Реестр домашних животных\nD. Установление максимального содержания этилового спирта в спиртосодержащей продукции\nE. Добавление пункта о контроле за использованием животных в научных экспериментах\nF. На основе государственного или муниципального контракта\nG. На основе директивы президента\nH. Дополнение, касающееся обязательной регистрации домашних животных\nI. Ограничение возраста участия в политических мероприятиях\nJ. Решение, принятое единогласно всеми участниками общества\nK. Реестр объектов недвижимости\nL. На основе устных договоренностей\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 192, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0016245980514213443, + "B": 0.012004245072603226, + "C": 0.004148556385189295, + "D": 0.02242688275873661, + "E": 0.021068107336759567, + "F": 0.11389311403036118, + "G": 0.0369756780564785, + "H": 0.03263092041015625, + "I": 0.0093489158898592, + "J": 0.5104334950447083, + "K": 0.14624164998531342, + "L": 0.018592538312077522 + }, + "sample": { + "question": "Какие реестры входят в состав Единого государственного реестра недвижимости согласно статье 7 Федерального закона 'О государственной регистрации недвижимости' N 218-ФЗ?", + "answerA": "Реестр домашних животных", + "answerB": "Реестр объектов недвижимости", + "answerC": "Реестр водительских удостоверений", + "answerD": "Реестр электронных подписей", + "correct_answer": "answerB", + "choices": [ + "Добавление пункта о контроле за использованием животных в научных экспериментах", + "Ограничение возраста участия в политических мероприятиях", + "Реестр домашних животных", + "Реестр электронных подписей", + "Установление максимального содержания этилового спирта в спиртосодержащей продукции", + "Дополнение, касающееся обязательной регистрации домашних животных", + "В административном порядке у представителя по правам ребенка", + "Цвет обложки договора", + "Реестр водительских удостоверений", + "Реестр объектов недвижимости", + "Путем голосования между родственниками", + "Решение, принятое единогласно всеми участниками общества" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКакие реестры входят в состав Единого государственного реестра недвижимости согласно статье 7 Федерального закона 'О государственной регистрации недвижимости' N 218-ФЗ?\nA. Добавление пункта о контроле за использованием животных в научных экспериментах\nB. Ограничение возраста участия в политических мероприятиях\nC. Реестр домашних животных\nD. Реестр электронных подписей\nE. Установление максимального содержания этилового спирта в спиртосодержащей продукции\nF. Дополнение, касающееся обязательной регистрации домашних животных\nG. В административном порядке у представителя по правам ребенка\nH. Цвет обложки договора\nI. Реестр водительских удостоверений\nJ. Реестр объектов недвижимости\nK. Путем голосования между родственниками\nL. Решение, принятое единогласно всеми участниками общества\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 185, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.008901038207113743, + "B": 0.07452747970819473, + "C": 0.008361752144992352, + "D": 0.015621809288859367, + "E": 0.01295093446969986, + "F": 0.06577027589082718, + "G": 0.42887604236602783, + "H": 0.15777470171451569, + "I": 0.001986090326681733, + "J": 0.01295093446969986, + "K": 0.05122194066643715, + "L": 0.09569518268108368 + }, + "sample": { + "question": "Како�� изменение внесено в Федеральный закон 'Об основах общественного контроля в Российской Федерации' согласно Федеральному закону 'Об ответственном обращении с животными и о внесении изменений в отдельные законодательные акты Российской Федерации' N 498-ФЗ?", + "answerA": "Добавление пункта о контроле за использованием животных в научных экспериментах", + "answerB": "Дополнение, касающееся обязательной регистрации домашних животных", + "answerC": "Дополнение словами ', общественными инспекторами в области обращения с животными общественного контроля в области обращения с животными'", + "answerD": "Установление ограничений на содержание экзотических животных в частных домах", + "correct_answer": "Дополнение словами ', общественными инспекторами в области обращения с животными общественного контроля в области обращения с животными'", + "choices": [ + "В административном порядке у представителя по правам ребенка", + "Дополнение, касающееся обязательной регистрации домашних животных", + "Путем голосования между родственниками", + "Ограничение возраста участия в политических мероприятиях", + "Передача оставшегося имущества сотрудникам должника.", + "Установление максимального содержания этилового спирта в спиртосодержащей продукции", + "Установление ограничений на содержание экзотических животных в частных домах", + "Добавление пункта о контроле за использованием животных в научных экспериментах", + "Цвет обложки договора", + "Решение, принятое единогласно всеми участниками общества", + "Решение, принятое большинством в одну треть голосов от общего числа голосов участников общества", + "Дополнение словами ', общественными инспекторами в области обращения с животными общественного контроля в области обращения с животными'" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКакое изменение внесено в Федеральный закон 'Об основах общественного контроля в Российской Федерации' согласно Федеральному закону 'Об ответственном обращении с животными и о внесении изменений в отдельные законодательные акты Российской Федерации' N 498-ФЗ?\nA. В административном порядке у представителя по правам ребенка\nB. Дополнение, касающееся обязательной регистрации домашних животных\nC. Путем голосования между родственниками\nD. Ограничение возраста участия в политических мероприятиях\nE. Передача оставшегося имущества сотрудникам должника.\nF. Установление максимального содержания этилового спирта в спиртосодержащей продукции\nG. Установление ограничений на содержание экзотических животных в частных домах\nH. Добавление пункта о контроле за использованием животных в научных экспериментах\nI. Цвет обложки договора\nJ. Решение, принятое единогласно всеми участниками общества\nK. Решение, принятое большинством в одну треть гол��сов от общего числа голосов участников общества\nL. Дополнение словами ', общественными инспекторами в области обращения с животными общественного контроля в области обращения с животными'\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 239, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.007364809047430754, + "B": 0.1574665606021881, + "C": 0.016596853733062744, + "D": 0.06564182788133621, + "E": 0.03981378301978111, + "F": 0.4850311577320099, + "G": 0.05112190544605255, + "H": 0.03513554111123085, + "I": 0.000604540400672704, + "J": 0.02736358717083931, + "K": 0.03981378301978111, + "L": 0.008345421403646469 + }, + "sample": { + "question": "Что из перечисленного относится к полномочиям органов государственной власти Российской Федерации в области производства и оборота этилового спирта, алкогольной и спиртосодержащей продукции согласно Федеральному закону 'О государственном регулировании производства и оборота этилового спирта, алкогольной и спиртосодержащей продукции и об ограничении потребления (распития) алкогольной продукции' N 171-ФЗ?", + "answerA": "Ограничение возраста участия в политических мероприятиях", + "answerB": "Установление максимального содержания этилового спирта в спиртосодержащей продукции", + "answerC": "Регулирование цен на кофе и чай", + "answerD": "Организация мероприятий культурного наследия", + "correct_answer": "B", + "choices": [ + "Решение, принятое единогласно всеми участниками общества", + "Решение, принятое большинством в одну треть голосов от общего числа голосов участников общества", + "Цвет обложки договора", + "Передача оставшегося имущества сотрудникам должника.", + "Правила поведения участников на корпоративных мероприятиях", + "Установление максимального содержания этилового спирта в спиртосодержащей продукции", + "Непредставление соискателем лицензии документов, необходимых в соответствии с требованиями.", + "Путем голосования между родственниками", + "Организация мероприятий культурного наследия", + "В административном порядке у представителя по правам ребенка", + "Регулирование цен на кофе и чай", + "Ограничение возраста участия в политических мероприятиях" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nЧто из перечисленного относится к полномочиям органов государственной власти Российской Федерации в области производства и оборота этилового спирта, алкогольной и спиртосодержащей продукции согласно Федеральному закону 'О государственном регулировании производства и оборота этилового спирта, алкогольной и спиртосодержащей продукции и об ограничении потребления (распития) алкогольной продукции' N 171-ФЗ?\nA. Решение, принятое единогласно всеми участниками общества\nB. Решение, принятое большинством в одну треть голосов от общего числа голосов участников общества\nC. Цвет обложки договора\nD. Передача оставшегося имущества сотрудникам должника.\nE. Правила поведения участников на корпоративных мероприятиях\nF. Установление максимального содержания этилового спирта в спиртосодержащей продукции\nG. Непредставление соискателем лицензии документов, необходимых в соответствии с требованиями.\nH. Путем голосования между родственниками\nI. Организация мероприятий культурного наследия\nJ. В административном порядке у представителя по правам ребенка\nK. Регулирование цен на кофе и чай\nL. Ограничение возраста участия в политических мероприятиях\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 251, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0012477736454457045, + "B": 0.0004886351525783539, + "C": 0.0008575813262723386, + "D": 0.16342608630657196, + "E": 0.7324249148368835, + "F": 0.00026154753868468106, + "G": 0.0005201494204811752, + "H": 0.0001688677875790745, + "I": 9.038841380970553e-05, + "J": 0.0006274199113249779, + "K": 0.0004312189994379878, + "L": 9.62179692578502e-05 + }, + "sample": { + "question": "Как разрешаются споры о гражданстве ребенка или недееспособного лица согласно Федеральному закону \"О гражданстве Российской Федерации\" N 62-ФЗ?", + "answerA": "Путем голосования между родственниками", + "answerB": "В административном порядке у представителя по правам ребенка", + "answerC": "В судебном порядке исходя из интересов ребенка или недееспособного лица", + "answerD": "Через общее собрание жителей места жительства", + "correct_answer": "В судебном порядке исходя из интересов ребенка или недееспособного лица", + "choices": [ + "Через общее собрание жителей места жительства", + "Цвет обложки договора", + "Решение, принятое единогласно всеми участниками общества", + "В административном порядке у представителя по правам ребенка", + "В судебном порядке исходя из интересов ребенка или недееспособного лица", + "Правила поведения участников на корпоративных мероприятиях", + "Продажа имущества на международных аукционах.", + "Решение, принятое большинством в одну треть голосов от общего числа голосов участников общества", + "Передача оставшегося имущества сотрудникам должника.", + "Движение транспортного средства в пределах дорог.", + "Непредставление соискателем лицензии документов, необходимых в соответствии с требованиями.", + "Путем голосования между родственниками" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКак разрешаются споры о гражданстве ребенка или недееспособного лица согласно Федеральному закону \"О гражданстве Российской Федерации\" N 62-ФЗ?\nA. Через общее собрание жителей места жительства\nB. Цвет обложки договора\nC. Решение, принятое единогласно всеми участниками общества\nD. В административном порядке у представителя по правам ребенка\nE. В судебном порядке исходя из интересов ребенка или недееспособного лица\nF. Правила поведения участников на корпоративных мероприятиях\nG. Продажа имущества на международных аукционах.\nH. Решение, принятое большинством в одну треть голосов от общего числа голосов участников общества\nI. Передача оставшегося имущества сотрудникам должника.\nJ. Движение транспортного средства в пределах дорог.\nK. Непредставление соискателем лицензии документов, необходимых в соответствии с требованиями.\nL. Путем голосования между родственниками\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 196, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0007419895264320076, + "B": 0.008491620421409607, + "C": 0.3391965627670288, + "D": 0.014903257600963116, + "E": 0.26416656374931335, + "F": 0.16022512316703796, + "G": 0.027842950075864792, + "H": 0.04590526223182678, + "I": 0.0002408887230558321, + "J": 0.0020169364288449287, + "K": 0.003539833938702941, + "L": 0.001014179433695972 + }, + "sample": { + "question": "Какое решение необходимо для создания филиалов и открытия представительств ООО согласно Федеральному закону 'Об обществах с ограниченной ответственностью' N 14-ФЗ?", + "answerA": "Решение, принятое единогласно всеми участниками общества", + "answerB": "Решение, принятое большинством в одну треть голосов от общего числа голосов участников общества", + "answerC": "Решение, принятое большинством не менее двух третей голосов от общего числа голосов участников общества", + "answerD": "Решение, принятое простым большинством голосов участников общества", + "correct_answer": "answerC", + "choices": [ + "Передача оставшегося имущества сотрудникам должника.", + "Цвет обложки договора", + "Решение, принятое большинством в одну треть голосов от общего числа голосов участников общества", + "Правила поведения участников на корпоративных мероприятиях", + "Непредставление соискателем лицензии документов, необходимых в соответствии с требованиями.", + "Решение, принятое большинством не менее двух третей голосов от общего числа голосов участников общества", + "Продажа имущества на международных аукционах.", + "Решение, принятое простым большинством голосов участников общества", + "Решение, принятое единогласно всеми участниками общества", + "Движение транспортного средства в пределах дорог.", + "Расходы на рекламу пенсионного фонда", + "Отсутствие у соискателя лицензии образования в области связи." + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКакое решение необходимо для создания филиалов и открытия представительств ООО согласно Федеральному закону 'Об обществах с ограниченной ответственностью' N 14-ФЗ?\nA. Передача оставшегося имущества сотрудникам должника.\nB. Цвет обложки договора\nC. Решение, принятое большинством в одну треть голосов от общего числа голосов участников общества\nD. Правила поведения участников на корпоративных мероприятиях\nE. Непредставление соискателем лицензии документов, необходимых в соответствии с требованиями.\nF. Решение, принятое большинством не менее двух третей голосов от общего числа голосов участников общества\nG. Продажа имущества на международных аукционах.\nH. Решение, принятое простым большинством голосов участников общества\nI. Решение, принятое единогласно всеми участниками общества\nJ. Движение транспортного средства в пределах дорог.\nK. Расходы на рекламу пенсионного фонда\nL. Отсутствие у соискателя лицензии образования в области связи.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 201, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.34148430824279785, + "B": 0.05236831679940224, + "C": 0.03599218279123306, + "D": 0.05236831679940224, + "E": 0.0863407552242279, + "F": 0.14235183596611023, + "G": 0.05934107303619385, + "H": 0.09783689677715302, + "I": 0.00854889303445816, + "J": 0.019265228882431984, + "K": 0.012438565492630005, + "L": 0.004298652987927198 + }, + "sample": { + "question": "Какие условия могут быть определены примерными условиями договоров, утвержденными саморегулируемой организацией в сфере финансового рынка?", + "answerA": "Цвет обложки договора", + "answerB": "Правила поведения участников на корпоративных мероприятиях", + "answerC": "Основания и порядок прекращения обязательств по договору", + "answerD": "Выбор столовой для бизнес-ланчей участников договора", + "correct_answer": "Основания и порядок прекращения обязательств по договору", + "choices": [ + "Основания и порядок прекращения обязательств по договору", + "Передача оставшегося имущества сотрудникам должника.", + "Расходы на рекламу пенсионного фонда", + "Продажа имущества на международных аукционах.", + "Выбор столовой для бизнес-ланчей участников договора", + "Временная администрация не имеет права изменять размер уставного капитала банка.", + "Правила поведения участников на корпоративных мероприятиях", + "Эксплуатация оборудования, установленного на транспортном средстве и непосредственно не связанного с участием транспортного средства в дорожном движении.", + "Движение транспортного средства в пределах дорог.", + "Отсутствие у соискателя лицензии образования в области связи.", + "Непредставление соискателем лицензии документов, необходимых в соответствии с требованиями.", + "Цвет обложки договора" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКакие условия могут быть определены примерными условиями договоров, утвержденными саморегулируемой организацией в сфере финансового рынка?\nA. Основания и порядок прекращения обязательств по договору\nB. Передача оставшегося имущества сотрудникам должника.\nC. Расходы на рекламу пенсионного фонда\nD. Продажа имущества на международных аукционах.\nE. Выбор столовой для бизнес-ланчей участников договора\nF. Временная администрация не имеет права изменять размер уставного капитала банка.\nG. Правила поведения участников на корпоративных мероприятиях\nH. Эксплуатация оборудования, установленного на транспортном средстве и непосредственно не связанного с участием транспортного средства в дорожном движении.\nI. Движение транспортного средства в пределах дорог.\nJ. Отсутствие у соискателя лицензии образования в области связи.\nK. Непредставление соискателем лицензии документов, необходимых в соответствии с требованиями.\nL. Цвет обложки договора\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 197, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0005224360502324998, + "B": 0.03036368265748024, + "C": 0.0008613514364697039, + "D": 0.0038603092543780804, + "E": 0.003200308885425329, + "F": 0.0034067106898874044, + "G": 0.007677141577005386, + "H": 0.005978963803499937, + "I": 0.0005919975810684264, + "J": 0.6910742521286011, + "K": 0.17473092675209045, + "L": 0.0017130018677562475 + }, + "sample": { + "question": "Какие действия предусмотрены в статье 148 Федерального закона \"О несостоятельности (банкротстве)\" в отношении имущества должника, не проданного в ходе конкурсного производства или оставшегося после завершения расчетов с кредиторами?", + "answerA": "Передача оставшегося имущества сотрудникам должника.", + "answerB": "Продажа имущества на международных аукционах.", + "answerC": "Передача непроданного или оставшегося имущества собственнику имущества должника или учредителям (участникам) должника.", + "answerD": "Автоматическая передача имущества в собственность государству.", + "correct_answer": "C", + "choices": [ + "Отсутствие у соискателя лицензии образования в области связи.", + "Передача оставшегося имущества сотрудникам должника.", + "Автоматическая передача имущества в собственность государству.", + "Продажа имущества на международных аукционах.", + "Движение транспортного средства в пределах дорог.", + "Расходы на рекламу пенсионного фонда", + "Расходы на приобретение недвижимости", + "Только судебные приставы-исполнители", + "Временная администрация не имеет права изменять размер уставного капитала банка.", + "Передача непроданного или оставшегося имущества собственнику имущества должника или учредителям (участникам) должника.", + "Эксплуатация оборудования, установленного на транспортном средстве и непосредственно не связанного с участием транспортного средства в дорожном движении.", + "Непредставление соискателем лицензии документов, необходимых в соответствии с требованиями." + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКакие действия предусмотрены в статье 148 Федерального закона \"О несостоятельности (банкротстве)\" в отнош��нии имущества должника, не проданного в ходе конкурсного производства или оставшегося после завершения расчетов с кредиторами?\nA. Отсутствие у соискателя лицензии образования в области связи.\nB. Передача оставшегося имущества сотрудникам должника.\nC. Автоматическая передача имущества в собственность государству.\nD. Продажа имущества на международных аукционах.\nE. Движение транспортного средства в пределах дорог.\nF. Расходы на рекламу пенсионного фонда\nG. Расходы на приобретение недвижимости\nH. Только судебные приставы-исполнители\nI. Временная администрация не имеет права изменять размер уставного капитала банка.\nJ. Передача непроданного или оставшегося имущества собственнику имущества должника или учредителям (участникам) должника.\nK. Эксплуатация оборудования, установленного на транспортном средстве и непосредственно не связанного с участием транспортного средства в дорожном движении.\nL. Непредставление соискателем лицензии документов, необходимых в соответствии с требованиями.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 233, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.039892155677080154, + "B": 0.08445169776678085, + "C": 0.042464978992938995, + "D": 0.07933501899242401, + "E": 0.07001291960477829, + "F": 0.1154317781329155, + "G": 0.13080134987831116, + "H": 0.07001291960477829, + "I": 0.013786360621452332, + "J": 0.19031482934951782, + "K": 0.05452611297369003, + "L": 0.037475209683179855 + }, + "sample": { + "question": "Какое из перечисленных оснований НЕ является причиной для отказа в предоставлении лицензии в области связи согласно Федеральному закону \"О связи\" N 126-ФЗ?", + "answerA": "Непредставление соискателем лицензии документов, необходимых в соответствии с требованиями.", + "answerB": "Отсутствие у соискателя лицензии образования в области связи.", + "answerC": "Несоответствие документов, прилагаемых к заявлению, требованиям статьи.", + "answerD": "Осутствие технической возможности реализации заявленной услуги связи.", + "correct_answer": "Отсутствие у соискателя лицензии образования в области связи.", + "choices": [ + "Непредставление соискателем лицензии документов, необходимых в соответствии с требованиями.", + "Временная администрация не имеет права изменять размер уставного капитала банка.", + "Отсутствие у соискателя лицензии образования в области связи.", + "Расходы на приобретение недвижимости", + "Временная администрация не может принимать решения о реорганизации банка.", + "Только судебные приставы-исполнители", + "Расходы на рекламу пенсионного фонда", + "Эксплуатация оборудования, установленного на транспортном средстве и непосредственно не связанного с участием транспортного средства в дорожном движении.", + "Несоответствие документов, прилагаемых к заявлению, требованиям статьи.", + "Объявлять общенациональный таможенный праздник", + "Осутствие технической возможности реализации заявленной услуги связи.", + "Движение транспортного средства в пределах дорог." + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКакое из перечисленных оснований НЕ является причиной для отказа в предоставлении лицензии в области связи согласно Федеральному закону \"О связи\" N 126-ФЗ?\nA. Непредставление соискателем лицензии документов, необходимых в соответствии с требованиями.\nB. Временная администрация не имеет права изменять размер уставного капитала банка.\nC. Отсутствие у соискателя лицензии образования в области связи.\nD. Расходы на приобретение недвижимости\nE. Временная администрация не может принимать решения о реорганизации банка.\nF. Только судебные приставы-исполнители\nG. Расходы на рекламу пенсионного фонда\nH. Эксплуатация оборудования, установленного на транспортном средстве и непосредственно не связанного с участием транспортного средства в дорожном движении.\nI. Несоответствие документов, прилагаемых к заявлению, требованиям статьи.\nJ. Объявлять общенациональный таможенный праздник\nK. Осутствие технической возможности реализации заявленной услуги связи.\nL. Движение транспортного средства в пределах дорог.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 215, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.1170118972659111, + "B": 0.09112895280122757, + "C": 0.058837275952100754, + "D": 0.06263195723295212, + "E": 0.09700626879930496, + "F": 0.07554855942726135, + "G": 0.06667136400938034, + "H": 0.10326263308525085, + "I": 0.0158358383923769, + "J": 0.10326263308525085, + "K": 0.04304627329111099, + "L": 0.08042102307081223 + }, + "sample": { + "question": "Что НЕ является использованием транспортного средства согласно Федеральному закону 'Об обязательном страховании гражданской ответственности владельцев транспортных средств' (ОСАГО) N 40-ФЗ?", + "answerA": "Движение транспортного средства в пределах дорог.", + "answerB": "Эксплуатация оборудования, установленного на транспортном средстве и непосредственно не связанного с участием транспортного средства в дорожном движении.", + "answerC": "Движение на прилегающих к дорогам и предназначенных для движения транспортных средств территориях.", + "answerD": "Остановка на заправочных станциях для заправки транспортного средства.", + "correct_answer": "B", + "choices": [ + "Временная администрация не может принимать решения о реорганизации банка.", + "Движение транспортного средства в пределах дорог.", + "Временная администрация не имеет права изменять размер уставного капитала банка.", + "Не позднее чем за пять дней до даты прекращения трансляции", + "Только судебные приставы-исполнители", + "Эксплуатация оборудования, установленного на транспортном средстве и непосредственно не связанного с участием транспортного средства в дорожном движении.", + "Остановка на заправочных станциях для заправки транспортного средства.", + "Объявлять общенациональный таможенный праздник", + "Только дознаватели", + "Расходы на рекламу пенсионного фонда", + "Движение на прилегающих к дорогам и предназначенных для движения транспортных средств территориях.", + "Расходы на приобретение недвижимости" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nЧто НЕ является использованием транспортного средства согласно Федеральному закону 'Об обязательном страховании гражданской ответственности владельцев транспортных средств' (ОСАГО) N 40-ФЗ?\nA. Временная администрация не может принимать решения о реорганизации банка.\nB. Движение транспортного средства в пределах дорог.\nC. Временная администрация не имеет права изменять размер уставного капитала банка.\nD. Не позднее чем за пять дней до даты прекращения трансляции\nE. Только судебные приставы-исполнители\nF. Эксплуатация оборудования, установленного на транспортном средстве и непосредственно не связанного с участием транспортного средства в дорожном движении.\nG. Остановка на заправочных станциях для заправки транспортного средства.\nH. Объявлять общенациональный таможенный праздник\nI. Только дознаватели\nJ. Расходы на рекламу пенсионного фонда\nK. Движение на прилегающих к дорогам и предназначенных для движения транспортных средств территориях.\nL. Расходы на приобретение недвижимости\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 215, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.026645928621292114, + "B": 0.015182391740381718, + "C": 0.004349827766418457, + "D": 0.018313460052013397, + "E": 0.36783567070961, + "F": 0.00865066610276699, + "G": 0.00980248861014843, + "H": 0.01426253654062748, + "I": 0.10538668930530548, + "J": 0.10538668930530548, + "K": 0.030193790793418884, + "L": 0.026645928621292114 + }, + "sample": { + "question": "Какие расходы покрываются за счет имущества негосударственного пенсионного фонда в соответствии со статьей 186.3 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?", + "answerA": "Расходы на рекламу пенсионного фонда", + "answerB": "Расходы на приобретение недвижимости", + "answerC": "Расходы временной администрации, связанные с ее деятельностью, включая вознаграждение членов данной администрации", + "answerD": "Расходы на проведение корпоративных мероприятий", + "correct_answer": "answerC", + "choices": [ + "Временная администрация не имеет права изменять размер уставного капитала банка.", + "Расходы на приобретение недвижимости", + "Только дознаватели", + "Вынесение судебным органом решения о временном ограничении прав кредитного кооператива", + "Расходы временной администрации, связанные с ее деятельностью, включая вознаграждение членов данной администрации", + "Не позднее чем за пять дней до даты прекращения трансляции", + "Объединить для совместного рассмотрения несколько жалоб", + "Объявлять общенациональный таможенный праздник", + "Расходы на проведение корпоративных мероприятий", + "Только судебные приставы-исполнители", + "Расходы на рекламу пенсионного фонда", + "Временная администрация не может принимать решения о реорганизации банка." + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКакие расходы покрываются за счет имущества негосударственного пенсионного фонда в соответствии со статьей 186.3 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?\nA. Временная администрация не имеет права изменять размер уставного капитала банка.\nB. Расходы на приобретение недвижимости\nC. Только дознаватели\nD. Вынесение судебным органом решения о временном ограничении прав кредитного кооператива\nE. Расходы временной администрации, связанные с ее деятельностью, включая вознаграждение членов данной администрации\nF. Не позднее чем за пять дней до даты прекращения трансляции\nG. Объединить для совместного рассмотрения несколько жалоб\nH. Объявлять общенациональный таможенный праздник\nI. Расходы на проведение корпоративных мероприятий\nJ. Только судебные приставы-исполнители\nK. Расходы на рекламу пенсионного фонда\nL. Временная администрация не может принимать решения о реорганизации банка.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 210, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.06813076138496399, + "B": 0.0071809301152825356, + "C": 0.008137059397995472, + "D": 0.053060293197631836, + "E": 0.39206549525260925, + "F": 0.025063907727599144, + "G": 0.060125190764665604, + "H": 0.04682554677128792, + "I": 0.16343720257282257, + "J": 0.02211882174015045, + "K": 0.011122042313218117, + "L": 0.011839351616799831 + }, + "sample": { + "question": "Каковы особенности функционирования временной администрации по управлению банком в случае участия Банка России или Агентства в осуществлении мер по предупреждению банкротства банка согласно Федеральному закону \"О несостоятельности (банкротстве)\" N 127-ФЗ?", + "answerA": "Временная администрация не имеет права изменять размер уставного капитала банка.", + "answerB": "Временная администрация не может принимать решения о реорганизации банка.", + "answerC": "Полномочия органов управления банка продолжают действовать без изменений.", + "answerD": "Полномочия органов управления банка приостанавливаются.", + "correct_answer": "answerD", + "choices": [ + "Полномочия органов управления банка приостанавливаются.", + "Только судебные приставы-исполнители", + "Только дознаватели", + "Временная администрация не может принимать решения о реорганизации банка.", + "Не позднее чем за пять дней до даты прекр��щения трансляции", + "Объявлять общенациональный таможенный праздник", + "Вынесение судебным органом решения о временном ограничении прав кредитного кооператива", + "Президент Российской Федерации", + "В течение трех рабочих дней со дня возникновения оснований для прекращения трансляции", + "Объединить для совместного рассмотрения несколько жалоб", + "Временная администрация не имеет права изменять размер уставного капитала банка.", + "Полномочия органов управления банка продолжают действовать без изменений." + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКаковы особенности функционирования временной администрации по управлению банком в случае участия Банка России или Агентства в осуществлении мер по предупреждению банкротства банка согласно Федеральному закону \"О несостоятельности (банкротстве)\" N 127-ФЗ?\nA. Полномочия органов управления банка приостанавливаются.\nB. Только судебные приставы-исполнители\nC. Только дознаватели\nD. Временная администрация не может принимать решения о реорганизации банка.\nE. Не позднее чем за пять дней до даты прекращения трансляции\nF. Объявлять общенациональный таможенный праздник\nG. Вынесение судебным органом решения о временном ограничении прав кредитного кооператива\nH. Президент Российской Федерации\nI. В течение трех рабочих дней со дня возникновения оснований для прекращения трансляции\nJ. Объединить для совместного рассмотрения несколько жалоб\nK. Временная администрация не имеет права изменять размер уставного капитала банка.\nL. Полномочия органов управления банка продолжают действовать без изменений.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 220, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.011427161283791065, + "B": 0.005397808738052845, + "C": 0.021348746493458748, + "D": 0.10841787606477737, + "E": 0.05803190916776657, + "F": 0.004203817341476679, + "G": 0.05803190916776657, + "H": 0.004763549193739891, + "I": 0.6239018440246582, + "J": 0.011427161283791065, + "K": 0.005397808738052845, + "L": 0.00030452353530563414 + }, + "sample": { + "question": "Кто относится к работникам органов принудительного исполнения согласно Федеральному закону \"О судебных приставах\" N 118-ФЗ?", + "answerA": "Только судебные приставы-исполнители", + "answerB": "Только дознаватели", + "answerC": "Сотрудники, федеральные государственные гражданские служащие, рабочие и служащие органов принудительного исполнения", + "answerD": "Только ведущие судебные приставы-исполнители", + "correct_answer": "Сотрудники, федеральные государственные гражданские служащие, рабочие и служащие органов принудительного исполнения", + "choices": [ + "Объявлять общенациональный таможенный праздник", + "Вынесение судебным органом решения о временном ограничении прав кредитного кооператива", + "Предоставление финансовой помощи должнику", + "Только судебные приставы-исполнители", + "Не позднее чем за пять дней до даты прекращения трансляции", + "Объединить для совместного рассмотрения несколько жалоб", + "Только ведущие судебные приставы-исполнители", + "Только дознаватели", + "Сотрудники, федеральные государственные гражданские служащие, рабочие и служащие органов принудительного исполнения", + "В течение трех рабочих дней со дня возникновения оснований для прекращения трансляции", + "Президент Российской Федерации", + "Неоднократное нарушение финансовых нормативов, установленных в соответствии с законодательством РФ в сфере кредитной кооперации, в течение двенадцати месяцев с даты выявления первого такого нарушения" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКто относится к работникам органов принудительного исполнения согласно Федеральному закону \"О судебных приставах\" N 118-ФЗ?\nA. Объявлять общенациональный таможенный праздник\nB. Вынесение судебным органом решения о временном ограничении прав кредитного кооператива\nC. Предоставление финансовой помощи должнику\nD. Только судебные приставы-исполнители\nE. Не позднее чем за пять дней до даты прекращения трансляции\nF. Объединить для совместного рассмотрения несколько жалоб\nG. Только ведущие судебные приставы-исполнители\nH. Только дознаватели\nI. Сотрудники, федеральные государственные гражданские служащие, рабочие и служащие органов принудительного исполнения\nJ. В течение трех рабочих дней со дня возникновения оснований для прекращения трансляции\nK. Президент Российской Федерации\nL. Неоднократное нарушение финансовых нормативов, установленных в соответствии с законодательством РФ в сфере кредитной кооперации, в течение двенадцати месяцев с даты выявления первого такого нарушения\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 213, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0691051110625267, + "B": 0.013607602566480637, + "C": 0.6556510329246521, + "D": 0.03264294192194939, + "E": 0.0254223495721817, + "F": 0.012008667923510075, + "G": 0.019798945635557175, + "H": 0.010597611777484417, + "I": 0.015419434756040573, + "J": 0.003662436967715621, + "K": 0.010597611777484417, + "L": 6.707986904075369e-05 + }, + "sample": { + "question": "Согласно Федеральному закону \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ, что вправе делать таможенный орган согласно Статье 296?", + "answerA": "Объявлять общенациональный таможенный праздник", + "answerB": "Объединить для совместного рассмотрения несколько жалоб", + "answerC": "Автоматически отклонять все жалобы в течение 3 дней", + "answerD": "Осуществлять таможенный контроль за использованием иностранных слов", + "correct_answer": "B", + "choices": [ + "В течение трех рабочих дней со дня возникновения оснований для прекращения трансляции", + "Президент Российской Федерации", + "Правительство Российской Федерации или уполномоченные им федеральные органы исполнительной власти", + "Вынесение судебным органом решения о временном ограничении прав кредитного кооператива", + "Предоставление финансовой помощи должнику", + "Объединить для совместного рассмотрения несколько жалоб", + "Автоматически отклонять все жалобы в течение 3 дней", + "Местные органы власти", + "Неоднократное нарушение финансовых нормативов, установленных в соответствии с законодательством РФ в сфере кредитной кооперации, в течение двенадцати месяцев с даты выявления первого такого нарушения", + "Не позднее чем за пять дней до даты прекращения трансляции", + "Осуществлять таможенный контроль за использованием иностранных слов", + "Объявлять общенациональный таможенный праздник" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nСогласно Федеральному закону \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ, что вправе делать таможенный орган согласно Статье 296?\nA. В течение трех рабочих дней со дня возникновения оснований для прекращения трансляции\nB. Президент Российской Федерации\nC. Правительство Российской Федерации или уполномоченные им федеральные органы исполнительной власти\nD. Вынесение судебным органом решения о временном ограничении прав кредитного кооператива\nE. Предоставление финансовой помощи должнику\nF. Объединить для совместного рассмотрения несколько жалоб\nG. Автоматически отклонять все жалобы в течение 3 дней\nH. Местные органы власти\nI. Неоднократное нарушение финансовых нормативов, установленных в соответствии с законодательством РФ в сфере кредитной кооперации, в течение двенадцати месяцев с даты выявления первого такого нарушения\nJ. Не позднее чем за пять дней до даты прекращения трансляции\nK. Осуществлять таможенный контроль за использованием иностранных слов\nL. Объявлять общенациональный таможенный праздник\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 238, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.06482350826263428, + "B": 0.030620457604527473, + "C": 0.6150283813476562, + "D": 0.02384723722934723, + "E": 0.0185722466558218, + "F": 0.10687589645385742, + "G": 0.02104511298239231, + "H": 0.01638995110988617, + "I": 0.009941007941961288, + "J": 0.006029526237398386, + "K": 0.006832348182797432, + "L": 0.00014180084690451622 + }, + "sample": { + "question": "Согласно Федеральному закону 'О связи' N 126-ФЗ, в какой срок оператор связи обязан представить в лицензирующий орган сведения о вещателе, с которым прекращается договор?", + "answerA": "Не позднее чем за пять дней до даты прекращения трансляции", + "answerB": "В течение трех рабочих дней со дня возникновения оснований для прекращения трансляции", + "answerC": "Не позднее чем за десять дней с даты начала трансляции", + "answerD": "Не позднее чем за тридцать дней до даты прекращения трансляции", + "correct_answer": "Не позднее чем за тридцать дней до даты прекращения трансляции", + "choices": [ + "Не позднее чем за десять дней с даты начала трансляции", + "Правительство Российской Федерации или уполномоченные им федеральные органы исполнительной власти", + "В течение трех рабочих дней со дня возникновения оснований для прекращения трансляции", + "Президент Российской Федерации", + "Местные органы власти", + "Не позднее чем за пять дней до даты прекращения трансляции", + "Вынесение судебным органом решения о временном ограничении прав кредитного кооператива", + "Предоставление финансовой помощи должнику", + "Переформулирована в новой редакции", + "Не позднее чем за тридцать дней до даты прекращения трансляции", + "Неоднократное нарушение финансовых нормативов, установленных в соответствии с законодательством РФ в сфере кредитной кооперации, в течение двенадцати месяцев с даты выявления первого такого нарушения", + "Проведение аудита всех предыдущих операций должника" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nСогласно Федеральному закону 'О связи' N 126-ФЗ, в какой срок оператор связи обязан представить в лицензирующий орган сведения о вещателе, с которым прекращается договор?\nA. Не позднее чем за десять дней с даты начала трансляции\nB. Правительство Российской Федерации или уполномоченные им федеральные органы исполнительной власти\nC. В течение трех рабочих дней со дня возникновения оснований для прекращения трансляции\nD. Президент Российской Федерации\nE. Местные органы власти\nF. Не позднее чем за пять дней до даты прекращения трансляции\nG. Вынесение судебным органом решения о временном ограничении прав кредитного кооператива\nH. Предоставление финансовой помощи должнику\nI. Переформулирована в новой редакции\nJ. Не позднее чем за тридцать дней до даты прекращения трансляции\nK. Неоднократное нарушение финансовых нормативов, установленных в соответствии с законодательством РФ в сфере кредитной кооперации, в течение двенадцати месяцев с даты выявления первого такого нарушения\nL. Проведение аудита всех предыдущих операций должника\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 227, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.15346622467041016, + "B": 0.0207693949341774, + "C": 0.3681463301181793, + "D": 0.056457068771123886, + "E": 0.03424294292926788, + "F": 0.038802336901426315, + "G": 0.04982318729162216, + "H": 0.0207693949341774, + "I": 0.011117056012153625, + "J": 0.009810767136514187, + "K": 0.038802336901426315, + "L": 0.0005199516308493912 + }, + "sample": { + "question": "Какое из перечисленных является дополнительным основанием для применения мер по предупреждению банкротства кредитного кооператива в соответствии со статьей 189.2 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?", + "answerA": "Вынесение судебным органом решения о временном ограничении прав кредитного кооператива", + "answerB": "Неоднократное нарушение финансовых нормативов, установленных в соответствии с законодательством РФ в сфере кредитной кооперации, в течение двенадцати месяцев с даты выявления первого такого нарушения", + "answerC": "Получение кредитным кооперативом инвестиций от иностранных государств", + "answerD": "Увеличение объема денежных средств на счетах кредитного кооператива", + "correct_answer": "answerB", + "choices": [ + "Неоднократное нарушение финансовых нормативов, установленных в соответствии с законодательством РФ в сфере кредитной кооперации, в течение двенадцати месяцев с даты выявления первого такого нарушения", + "Увеличение объема денежных средств на счетах кредитного кооператива", + "Правительство Российской Федерации или уполномоченные им федеральные органы исполнительной власти", + "Получение кредитным кооперативом инвестиций от иностранных государств", + "Местные органы власти", + "Путем выкупа акций на открытом рынке", + "Вынесение судебным органом решения о временном ограничении прав кредитного кооператива", + "Предоставление финансовой помощи должнику", + "Проведение аудита всех предыдущих операций должника", + "Федеральный орган исполнительной власти в области связи", + "Президент Российской Федерации", + "Переформулирована в новой редакции" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКакое из перечисленных является дополнительным основанием для применения мер по предупреждению банкротства кредитного кооператива в соответствии со статьей 189.2 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?\nA. Неоднократное нарушение финансовых нормативов, установленных в соответствии с законодательством РФ в сфере кредитной кооперации, в течение двенадцати месяцев с даты выявления первого такого нарушения\nB. Увеличение объема денежных средств на счетах кредитного кооператива\nC. Правительство Российской Федерации или уполномоченные им федеральные органы исполнительной власти\nD. Получение кредитным кооперативом инвестиций от иностранных государств\nE. Местные органы власти\nF. Путем выкупа акций на открытом рынке\nG. Вынесение судебным органом решения о временном ограничении прав кредитного кооператива\nH. Предоставление финансовой помощи должнику\nI. Проведение аудита всех предыдущих операций должника\nJ. Федеральный орган исполнительной власти в области связ��\nK. Президент Российской Федерации\nL. Переформулирована в новой редакции\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 232, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0005175465485081077, + "B": 0.01610039919614792, + "C": 0.0013216014485806227, + "D": 0.008095789700746536, + "E": 0.011779304593801498, + "F": 0.0020469361916184425, + "G": 0.0020469361916184425, + "H": 0.9357460737228394, + "I": 0.00017885927809402347, + "J": 0.0002770227147266269, + "K": 0.0005175465485081077, + "L": 0.0006242803065106273 + }, + "sample": { + "question": "Кто устанавливает особенности оценки соответствия продукции, упомянутой в статье 5 Федерального закона 'О техническом регулировании' N 184-ФЗ?", + "answerA": "Президент Российской Федерации", + "answerB": "Правительство Российской Федерации или уполномоченные им федеральные органы исполнительной власти", + "answerC": "Федеральные органы исполнительной власти, уполномоченные в области обеспечения безопасности", + "answerD": "Государственные заказчики", + "correct_answer": "answerB", + "choices": [ + "Предоставление финансовой помощи должнику", + "Федеральные органы исполнительной власти, уполномоченные в области обеспечения безопасности", + "Государственные заказчики", + "Президент Российской Федерации", + "Путем выкупа акций на открытом рынке", + "Переформулирована в новой редакции", + "Местные органы власти", + "Правительство Российской Федерации или уполномоченные им федеральные органы исполнительной власти", + "Федеральный орган исполнительной власти в области связи", + "Утратила силу", + "На основании гарантийного письма залогодержателя.", + "Проведение аудита всех предыдущих операций должника" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКто устанавливает особенности оценки соответствия продукции, упомянутой в статье 5 Федерального закона 'О техническом регулировании' N 184-ФЗ?\nA. Предоставление финансовой помощи должнику\nB. Федеральные органы исполнительной власти, уполномоченные в области обеспечения безопасности\nC. Государственные заказчики\nD. Президент Российской Федерации\nE. Путем выкупа акций на открытом рынке\nF. Переформулирована в новой редакции\nG. Местные органы власти\nH. Правительство Российской Федерации или уполномоченные им федеральные органы исполнительной власти\nI. Федеральный орган исполнительной власти в области связи\nJ. Утратила силу\nK. На основании гарантийного письма залогодержателя.\nL. Проведение аудита всех предыдущих операций должника\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 174, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.003548169508576393, + "B": 0.014033282175660133, + "C": 0.011633999645709991, + "D": 0.014033282175660133, + "E": 0.026217622682452202, + "F": 0.01092913094907999, + "G": 0.00964492466300726, + "H": 0.8682084083557129, + "I": 0.0010165674611926079, + "J": 0.0013894831063225865, + "K": 0.0017841315129771829, + "L": 0.013183047994971275 + }, + "sample": { + "question": "Какую обязанность несет временный управляющий согласно статье 67 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?", + "answerA": "Предоставление финансовой помощи должнику", + "answerB": "Проведение аудита всех предыдущих операций должника", + "answerC": "Принятие мер по обеспечению сохранности имущества должника", + "answerD": "Организация и проведение благотворительных мероприятий для сбора средств", + "correct_answer": "Принятие мер по обеспечению сохранности имущества должника", + "choices": [ + "Утратила силу", + "Путем выкупа акций на открытом рынке", + "Предоставление финансовой помощи должнику", + "Федеральный орган исполнительной власти в области связи", + "Проведение аудита всех предыдущих операций должника", + "В течение двадцати рабочих дней с даты опубликования сообщения о введении наблюдения", + "Переформулирована в новой редакции", + "Принятие мер по обеспечению сохранности имущества должника", + "Через слияние с другим публичным обществом", + "Организация и проведение благотворительных мероприятий для сбора средств", + "На основании гарантийного письма залогодержателя.", + "Местные органы власти" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакую обязанность несет временный управляющий согласно статье 67 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?\nA. Утратила силу\nB. Путем выкупа акций на открытом рынке\nC. Предоставление финансовой помощи должнику\nD. Федеральный орган исполнительной власти в области связи\nE. Проведение аудита всех предыдущих операций должника\nF. В течение двадцати рабочих дней с даты опубликования сообщения о введении наблюдения\nG. Переформулирована в новой редакции\nH. Принятие мер по обеспечению сохранности имущества должника\nI. Через слияние с другим публичным обществом\nJ. Организация и проведение благотворительных мероприятий для сбора средств\nK. На основании гарантийного письма залогодержателя.\nL. Местные органы власти\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 178, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.02219344675540924, + "B": 0.01623707078397274, + "C": 0.0034034750424325466, + "D": 0.04413694143295288, + "E": 0.02514846995472908, + "F": 0.023624800145626068, + "G": 0.018399013206362724, + "H": 0.7823459506034851, + "I": 0.0052714054472744465, + "J": 0.00465199863538146, + "K": 0.006768618710339069, + "L": 0.023624800145626068 + }, + "sample": { + "question": "В соответствии со статьей 65 Федерального закона 'О связи' N 126-ФЗ, кто осуществляет управление сетью связи общего пользования в чрезвычайных ситуациях?", + "answerA": "Местные органы власти", + "answerB": "Федеральный орган исполнительной власти в области связи", + "answerC": "Частные организации связи", + "answerD": "Министерство чрезвычайных ситуаций", + "correct_answer": "B", + "choices": [ + "Федеральный орган исполнительной власти в области связи", + "Утратила силу", + "Министерство чрезвычайных ситуаций", + "Местные органы власти", + "Путем выкупа акций на открытом рынке", + "Выплачивать дивиденды своим акционерам каждый квартал", + "В течение двадцати рабочих дней с даты опубликования сообщения о введении наблюдения", + "На основании заявления залогодержателя и согласия третьей стороны.", + "На основании гарантийного письма залогодержателя.", + "Через слияние с другим публичным обществом", + "Частные организации связи", + "Переформулирована в новой редакции" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nВ соответствии со статьей 65 Федерального закона 'О связи' N 126-ФЗ, кто осуществляет управление сетью связи общего пользования в чрезвычайных ситуациях?\nA. Федеральный орган исполнительной власти в области связи\nB. Утратила силу\nC. Министерство чрезвычайных ситуаций\nD. Местные органы власти\nE. Путем выкупа акций на открытом рынке\nF. Выплачивать дивиденды своим акционерам каждый квартал\nG. В течение двадцати рабочих дней с даты опубликования сообщения о введении наблюдения\nH. На основании заявления залогодержателя и согласия третьей стороны.\nI. На основании гарантийного письма залогодержателя.\nJ. Через слияние с другим публичным обществом\nK. Частные организации связи\nL. Переформулирована в новой редакции\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 172, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.17443394660949707, + "B": 0.0499761588871479, + "C": 0.0499761588871479, + "D": 0.28759294748306274, + "E": 0.17443394660949707, + "F": 0.034348081797361374, + "G": 0.038921475410461426, + "H": 0.08239676058292389, + "I": 0.01187037955969572, + "J": 0.014318409375846386, + "K": 0.00984088983386755, + "L": 0.00494831008836627 + }, + "sample": { + "question": "Какой статус имеет Статья 22 в рамках Федерального закона 'Об общественных объединениях' N 82-ФЗ?", + "answerA": "Переформулирована в новой редакции", + "answerB": "Утратила силу", + "answerC": "Остаётся без изменений", + "answerD": "Дополнена новыми положениями", + "correct_answer": "B", + "choices": [ + "Остаётся без изменений", + "Через слияние с другим публичным обществом", + "Путем выкупа акций на открытом рынке", + "Со дня принятия полномочным органом соответствующего решения", + "Утратила силу", + "В течение двадцати рабочих дней с даты опубликования сообщения о введении наблюдения", + "На основании заявления залогодержателя и согласия третьей стороны.", + "Переформулирована в новой редакции", + "В течение тридцати календарных дней с даты опубликования сообщения о введении набл��дения", + "На основании гарантийного письма залогодержателя.", + "Дополнена новыми положениями", + "Выплачивать дивиденды своим акционерам каждый квартал" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКакой статус имеет Статья 22 в рамках Федерального закона 'Об общественных объединениях' N 82-ФЗ?\nA. Остаётся без изменений\nB. Через слияние с другим публичным обществом\nC. Путем выкупа акций на открытом рынке\nD. Со дня принятия полномочным органом соответствующего решения\nE. Утратила силу\nF. В течение двадцати рабочих дней с даты опубликования сообщения о введении наблюдения\nG. На основании заявления залогодержателя и согласия третьей стороны.\nH. Переформулирована в новой редакции\nI. В течение тридцати календарных дней с даты опубликования сообщения о введении наблюдения\nJ. На основании гарантийного письма залогодержателя.\nK. Дополнена новыми положениями\nL. Выплачивать дивиденды своим акционерам каждый квартал\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 182, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0064252526499331, + "B": 0.01859208568930626, + "C": 0.5433403849601746, + "D": 0.25665584206581116, + "E": 0.012778141535818577, + "F": 0.01640745811164379, + "G": 0.050538528710603714, + "H": 0.009348687715828419, + "I": 0.0008695634896866977, + "J": 0.0008168792119249701, + "K": 0.007750334218144417, + "L": 0.00024913408560678363 + }, + "sample": { + "question": "Каким образом непубличное общество может приобрести статус публичного общества согласно Федеральному закону 'Об акционерных обществах' (АО) N 208-ФЗ?", + "answerA": "Путем выкупа акций на открытом рынке", + "answerB": "Через слияние с другим публичным обществом", + "answerC": "Путем внесения в устав общества изменений, содержащих указание на то, что общество является публичным", + "answerD": "Заключением договора с государственными органами", + "correct_answer": "Путем внесения в устав общества изменений, содержащих указание на то, что общество является публичным", + "choices": [ + "Выплачивать дивиденды своим акционерам каждый квартал", + "Путем выкупа акций на открытом рынке", + "Со дня принятия полномочным органом соответствующего решения", + "Путем внесения в устав общества изменений, содержащих указание на то, что общество является публичным", + "На основании заявления залогодержателя и согласия третьей стороны.", + "Направлять в Банк России информацию о контролирующих ее лицах в установленные сроки", + "Заключением договора с государственными органами", + "В течение двадцати рабочих дней с даты опубликования сообщения о введении наблюдения", + "Первая помощь может оказываться только медицинскими работниками.", + "Через слияние с другим публичным обществом", + "На основании гарантийного письма залогодержателя.", + "В течение тридцати календарных дней с даты опубликования сообщения о введении наблюдения" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКаким образом непубличное общество может приобрести статус публичного общества согласно Федеральному закону 'Об акционерных обществах' (АО) N 208-ФЗ?\nA. Выплачивать дивиденды своим акционерам каждый квартал\nB. Путем выкупа акций на открытом рынке\nC. Со дня принятия полномочным органом соответствующего решения\nD. Путем внесения в устав общества изменений, содержащих указание на то, что общество является публичным\nE. На основании заявления залогодержателя и согласия третьей стороны.\nF. Направлять в Банк России информацию о контролирующих ее лицах в установленные сроки\nG. Заключением договора с государственными органами\nH. В течение двадцати рабочих дней с даты опубликования сообщения о введении наблюдения\nI. Первая помощь может оказываться только медицинскими работниками.\nJ. Через слияние с другим публичным обществом\nK. На основании гарантийного письма залогодержателя.\nL. В течение тридцати календарных дней с даты опубликования сообщения о введении наблюдения\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 224, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0004923128872178495, + "B": 0.002661418402567506, + "C": 0.0004923128872178495, + "D": 0.0052928621880710125, + "E": 0.0032102835830301046, + "F": 0.0014245546190068126, + "G": 0.0028330651111900806, + "H": 0.6932281851768494, + "I": 0.0005578636191785336, + "J": 0.0018291643355041742, + "K": 0.002661418402567506, + "L": 0.25502443313598633 + }, + "sample": { + "question": "Как осуществляется государственная регистрация ипотеки, возникающей на основании договора, согласно Федеральному закону \"О государственной регистрации недвижимости\" N 218-ФЗ?", + "answerA": "На основании гарантийного письма залогодержателя.", + "answerB": "На основании заявления залогодержателя и согласия третьей стороны.", + "answerC": "На основании договора об ипотеке и заявления залогодателя и залогодержателя, залогодателя и управляющего залогом либо нотариуса, удостоверившего договор об ипотеке, после государственной регистрации права собственности залогодателя на являющийся предметом ипотеки объект недвижимости.", + "answerD": "На основании одобрения местных властей.", + "correct_answer": "answerC", + "choices": [ + "Первая помощь может оказываться только медицинскими работниками.", + "Со дня рождения ребенка", + "Выплачивать дивиденды своим акционерам каждый квартал", + "Направлять в Банк России информацию о контролирующих ее лицах в установленные сроки", + "В течение тридцати календарных дней с даты опубликования сообщения о введении наблюдения", + "На основании заявления залогодержателя и согласия третьей стороны.", + "На основании гарантийного письма залогодержателя.", + "На основании договора об ипотеке и заявления залогодателя и залогодержателя, залогодателя и управляющего залогом либо нотариуса, удостоверившего договор об ипотеке, после государственной регистрации права собственности залогодателя на являющийся предметом ипотеки объект недвижимости.", + "Федеральный закон от 25 октября 2007 года N 234-ФЗ 'О контроле и надзоре в экономической деятельности'", + "В течение двадцати рабочих дней с даты опубликования сообщения о введении наблюдения", + "На основании одобрения местных властей.", + "Со дня принятия полномочным органом соответствующего решения" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКак осуществляется государственная регистрация ипотеки, возникающей на основании договора, согласно Федеральному закону \"О государственной регистрации недвижимости\" N 218-ФЗ?\nA. Первая помощь может оказываться только медицинскими работниками.\nB. Со дня рождения ребенка\nC. Выплачивать дивиденды своим акционерам каждый квартал\nD. Направлять в Банк России информацию о контролирующих ее лицах в установленные сроки\nE. В течение тридцати календарных дней с даты опубликования сообщения о введении наблюдения\nF. На основании заявления залогодержателя и согласия третьей стороны.\nG. На основании гарантийного письма залогодержателя.\nH. На основании договора об ипотеке и заявления залогодателя и залогодержателя, залогодателя и управляющего залогом либо нотариуса, удостоверившего договор об ипотеке, после государственной регистрации права собственности залогодателя на являющийся предметом ипотеки объект недвижимости.\nI. Федеральный закон от 25 октября 2007 года N 234-ФЗ 'О контроле и надзоре в экономической деятельности'\nJ. В течение двадцати рабочих дней с даты опубликования сообщения о введении наблюдения\nK. На основании одобрения местных властей.\nL. Со дня принятия полномочным органом соответствующего решения\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 262, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.045827534049749374, + "B": 0.013129807077348232, + "C": 0.007963631302118301, + "D": 0.007963631302118301, + "E": 0.6326295733451843, + "F": 0.021647393703460693, + "G": 0.011587015353143215, + "H": 0.02452971041202545, + "I": 0.01487802155315876, + "J": 0.03569051995873451, + "K": 0.007027880288660526, + "L": 0.0062020826153457165 + }, + "sample": { + "question": "В какой срок кредиторы могут заявить свои требования к финансовой организации в ходе наблюдения согласно Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ?", + "answerA": "В течение двадцати рабочих дней с даты опубликования сообщения о введении наблюдения", + "answerB": "В течение тридцати календарных дней с даты опубликования сообщения о введении наблюдения", + "answerC": "В течение одного месяца с даты принятия решения арбитражным судом", + "answerD": "В течение двух месяце�� с даты опубликования сведений о признании финансовой организации банкротом", + "correct_answer": "B", + "choices": [ + "В течение двадцати рабочих дней с даты опубликования сообщения о введении наблюдения", + "Первая помощь может оказываться только медицинскими работниками.", + "Направлять в Банк России информацию о контролирующих ее лицах в установленные сроки", + "Со дня рождения ребенка", + "В течение тридцати календарных дней с даты опубликования сообщения о введении наблюдения", + "Со дня принятия полномочным органом соответствующего решения", + "Если имущество не было вовлечено в другие судебные процессы.", + "Выплачивать дивиденды своим акционерам каждый квартал", + "Первая помощь оказывается гражданам при угрозе их жизни и здоровью лицами, имеющими специальную подготовку, включая сотрудников полиции, военнослужащих, спасателей, а также самими пострадавшими или окружающими в случаях, предусмотренных федеральным законом.", + "В течение одного месяца с даты принятия решения арбитражным судом", + "Федеральный закон от 25 октября 2007 года N 234-ФЗ 'О контроле и надзоре в экономической деятельности'", + "В течение двух месяцев с даты опубликования сведений о признании финансовой организации банкротом" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nВ какой срок кредиторы могут заявить свои требования к финансовой организации в ходе наблюдения согласно Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ?\nA. В течение двадцати рабочих дней с даты опубликования сообщения о введении наблюдения\nB. Первая помощь может оказываться только медицинскими работниками.\nC. Направлять в Банк России информацию о контролирующих ее лицах в установленные сроки\nD. Со дня рождения ребенка\nE. В течение тридцати календарных дней с даты опубликования сообщения о введении наблюдения\nF. Со дня принятия полномочным органом соответствующего решения\nG. Если имущество не было вовлечено в другие судебные процессы.\nH. Выплачивать дивиденды своим акционерам каждый квартал\nI. Первая помощь оказывается гражданам при угрозе их жизни и здоровью лицами, имеющими специальную подготовку, включая сотрудников полиции, военнослужащих, спасателей, а также самими пострадавшими или окружающими в случаях, предусмотренных федеральным законом.\nJ. В течение одного месяца с даты принятия решения арбитражным судом\nK. Федеральный закон от 25 октября 2007 года N 234-ФЗ 'О контроле и надзоре в экономической деятельности'\nL. В течение двух месяцев с даты опубликования сведений о признании финансовой организации банкротом\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 276, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0038839534390717745, + "B": 0.023792097344994545, + "C": 0.053616318851709366, + "D": 0.02695997804403305, + "E": 0.060755252838134766, + "F": 0.019724341109395027, + "G": 0.24029168486595154, + "H": 0.39617398381233215, + "I": 0.0020789303816854954, + "J": 0.0038839534390717745, + "K": 0.005651118233799934, + "L": 0.0038839534390717745 + }, + "sample": { + "question": "Какая обязанность возлагается на кредитные организации согласно статье 11.1-3 Федерального закона \"О банках и банковской деятельности\" N 395-1?", + "answerA": "Выплачивать дивиденды своим акционерам каждый квартал", + "answerB": "Направлять в Банк России информацию о контролирующих ее лицах в установленные сроки", + "answerC": "Обеспечивать конфиденциальность всех операций своих клиентов", + "answerD": "Вести учет всех кредитных операций в электронном виде", + "correct_answer": "B", + "choices": [ + "Со дня рождения ребенка", + "Если имущество не было вовлечено в другие судебные процессы.", + "Со дня принятия полномочным органом соответствующего решения", + "Личный адрес проживания", + "Первая помощь оказывается гражданам при угрозе их жизни и здоровью лицами, имеющими специальную подготовку, включая сотрудников полиции, военнослужащих, спасателей, а также самими пострадавшими или окружающими в случаях, предусмотренных федеральным законом.", + "Выплачивать дивиденды своим акционерам каждый квартал", + "Обеспечивать конфиденциальность всех операций своих клиентов", + "Направлять в Банк России информацию о контролирующих ее лицах в установленные сроки", + "Федеральный закон от 27 декабря 2002 года N 184-ФЗ 'О техническом регулировании'", + "Вести учет всех кредитных операций в электронном виде", + "Первая помощь может оказываться только медицинскими работниками.", + "Федеральный закон от 25 октября 2007 года N 234-ФЗ 'О контроле и надзоре в экономической деятельности'" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакая обязанность возлагается на кредитные организации согласно статье 11.1-3 Федерального закона \"О банках и банковской деятельности\" N 395-1?\nA. Со дня рождения ребенка\nB. Если имущество не было вовлечено в другие судебные процессы.\nC. Со дня принятия полномочным органом соответствующего решения\nD. Личный адрес проживания\nE. Первая помощь оказывается гражданам при угрозе их жизни и здоровью лицами, имеющими специальную подготовку, включая сотрудников полиции, военнослужащих, спасателей, а также самими пострадавшими или окружающими в случаях, предусмотренных федеральным законом.\nF. Выплачивать дивиденды своим акционерам каждый квартал\nG. Обеспечивать конфиденциальность всех операций своих клиентов\nH. Направлять в Банк России информацию о контролирующих ее лицах в установленные сроки\nI. Федеральный закон от 27 декабря 2002 года N 184-ФЗ 'О техническом регулировании'\nJ. Вести учет всех кредитных операций в электронном виде\nK. Первая помощь может оказываться только медицинскими работникам��.\nL. Федеральный закон от 25 октября 2007 года N 234-ФЗ 'О контроле и надзоре в экономической деятельности'\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 271, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0004809084057342261, + "B": 0.0025997664779424667, + "C": 0.0035534591879695654, + "D": 0.0035534591879695654, + "E": 0.0031359167769551277, + "F": 0.0027674369048327208, + "G": 0.8168222904205322, + "H": 0.008524306118488312, + "I": 0.00039868708699941635, + "J": 0.0013072446454316378, + "K": 0.024665895849466324, + "L": 0.00024181594199035317 + }, + "sample": { + "question": "Согласно Федеральному закону 'О гражданстве Российской Федерации' N 62-ФЗ, в какой день происходит приобретение гражданства Российской Федерации в случае усыновления (удочерения) ребенка?", + "answerA": "Со дня принятия полномочным органом соответствующего решения", + "answerB": "Со дня рождения ребенка", + "answerC": "Со дня усыновления (удочерения) ребенка", + "answerD": "Со дня принесения Присяги", + "correct_answer": "C", + "choices": [ + "Размер таможенных пошлин.", + "Со дня рождения ребенка", + "Федеральный закон от 25 октября 2007 года N 234-ФЗ 'О контроле и надзоре в экономической деятельности'", + "Федеральный закон от 27 декабря 2002 года N 184-ФЗ 'О техническом регулировании'", + "Со дня принесения Присяги", + "Первая помощь может оказываться только медицинскими работниками.", + "Со дня усыновления (удочерения) ребенка", + "Личный адрес проживания", + "Если имущество не было вовлечено в другие судебные процессы.", + "При условии одобрения всех участников сделки без проведения собрания кредиторов.", + "Первая помощь оказывается гражданам при угрозе их жизни и здоровью лицами, имеющими специальную подготовку, включая сотрудников полиции, военнослужащих, спасателей, а также самими пострадавшими или окружающими в случаях, предусмотренных федеральным законом.", + "Со дня принятия полномочным органом соответствующего решения" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nСогласно Федеральному закону 'О гражданстве Российской Федерации' N 62-ФЗ, в какой день происходит приобретение гражданства Российской Федерации в случае усыновления (удочерения) ребенка?\nA. Размер таможенных пошлин.\nB. Со дня рождения ребенка\nC. Федеральный закон от 25 октября 2007 года N 234-ФЗ 'О контроле и надзоре в экономической деятельности'\nD. Федеральный закон от 27 декабря 2002 года N 184-ФЗ 'О техническом регулировании'\nE. Со дня принесения Присяги\nF. Первая помощь может оказываться только медицинскими работниками.\nG. Со дня усыновления (удочерения) ребенка\nH. Личный адрес проживания\nI. Если имущество не было вовлечено в другие судебные процессы.\nJ. При условии одобрения всех участников сделки без проведения собрания кредиторов.\nK. Первая помощь оказывается гражданам при угрозе их жизни и здоровью лицами, имеющими специальную подготовку, включая сотрудников полиции, военнослужащих, спасателей, а также самими пострадавшими или окружающими в случаях, предусмотренных федеральным законом.\nL. Со дня принятия полномочным органом соответствующего решения\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 259, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.003188798436895013, + "B": 0.0016034286236390471, + "C": 0.0016034286236390471, + "D": 0.009227094240486622, + "E": 0.19728399813175201, + "F": 0.02356221154332161, + "G": 0.02356221154332161, + "H": 0.011847822926938534, + "I": 0.5362734198570251, + "J": 0.02356221154332161, + "K": 0.00982219073921442, + "L": 0.0006684085237793624 + }, + "sample": { + "question": "Каковы основные положения оказания первой помощи согласно Статье 31. Федерального закона \"Об основах охраны здоровья граждан в Российской Федерации\" N 323-ФЗ?", + "answerA": "Первая помощь может оказываться только медицинскими работниками.", + "answerB": "Первая помощь оказывается гражданам при угрозе их жизни и здоровью лицами, имеющими специальную подготовку, включая сотрудников полиции, военнослужащих, спасателей, а также самими пострадавшими или окружающими в случаях, предусмотренных федеральным законом.", + "answerC": "Оказание первой помощи строго регламентируется и может проводиться только после специального разрешения.", + "answerD": "Первая помощь не включает самопомощь или взаимопомощь, предполагая только профессиональное медицинское вмешательство.", + "correct_answer": "answerB", + "choices": [ + "Федеральный закон от 25 октября 2007 года N 234-ФЗ 'О контроле и надзоре в экономической деятельности'", + "Федеральный закон от 27 декабря 2002 года N 184-ФЗ 'О техническом регулировании'", + "Размер таможенных пошлин.", + "Если имущество не было вовлечено в другие судебные процессы.", + "Сведения о получении дополнительного профессионального образования", + "Оказание первой помощи строго регламентируется и может проводиться только после специального разрешения.", + "В порядке, предусмотренном статьей 213 настоящего Федерального закона", + "Первая помощь может оказываться только медицинскими работниками.", + "Первая помощь оказывается гражданам при угрозе их жизни и здоровью лицами, имеющими специальную подготовку, включая сотрудников полиции, военнослужащих, спасателей, а также самими пострадавшими или окружающими в случаях, предусмотренных федеральным законом.", + "Первая помощь не включает самопомощь или взаимопомощь, предполагая только профессиональное медицинское вмешательство.", + "Личный адрес проживания", + "При условии одобрения всех участников сделки без проведения собрания кредиторов." + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКаковы основные положения оказания первой помощи согласно Статье 31. Федерального закона \"Об основах охраны здоровья граждан в Российской Федерации\" N 323-ФЗ?\nA. Федеральный закон от 25 октября 2007 года N 234-ФЗ 'О контроле и надзоре в экономической деятельности'\nB. Федеральный закон от 27 декабря 2002 года N 184-ФЗ 'О техническом регулировании'\nC. Размер таможенных пошлин.\nD. Если имущество не было вовлечено в другие судебные процессы.\nE. Сведения о получении дополнительного профессионального образования\nF. Оказание первой помощи строго регламентируется и может проводиться только после специального разрешения.\nG. В порядке, предусмотренном статьей 213 настоящего Федерального закона\nH. Первая помощь может оказываться только медицинскими работниками.\nI. Первая помощь оказывается гражданам при угрозе их жизни и здоровью лицами, имеющими специальную подготовку, включая сотрудников полиции, военнослужащих, спасателей, а также самими пострадавшими или окружающими в случаях, предусмотренных федеральным законом.\nJ. Первая помощь не включает самопомощь или взаимопомощь, предполагая только профессиональное медицинское вмешательство.\nK. Личный адрес проживания\nL. При условии одобрения всех участников сделки без проведения собрания кредиторов.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 280, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0005686958902515471, + "B": 0.001645576092414558, + "C": 0.035183969885110855, + "D": 0.005395636428147554, + "E": 0.001645576092414558, + "F": 0.002249235985800624, + "G": 0.003272618865594268, + "H": 0.002888076240196824, + "I": 0.0006859781569801271, + "J": 0.003947531804442406, + "K": 0.6236507892608643, + "L": 0.0019849438685923815 + }, + "sample": { + "question": "В соответствии с каким законом осуществляется экологическая сертификация хозяйственной и иной деятельности согласно статье 31 Федерального закона 'Об охране окружающей среды' N 7-ФЗ?", + "answerA": "Федеральный закон от 25 октября 2007 года N 234-ФЗ 'О контроле и надзоре в экономической деятельности'", + "answerB": "Федеральный закон от 27 декабря 2002 года N 184-ФЗ 'О техническом регулировании'", + "answerC": "Федеральный закон от 30 декабря 2009 года N 384-ФЗ 'Технический регламент о безопасности зданий и сооружений'", + "answerD": "Федеральный закон от 28 июля 2012 года N 123-ФЗ 'Технический регламент о требованиях пожарной безопасности'", + "correct_answer": "Федеральный закон от 27 декабря 2002 года N 184-ФЗ 'О техническом регулировании'", + "choices": [ + "Сведения о получении дополнительного профессионального образования", + "Федеральный закон от 28 июля 2012 года N 123-ФЗ 'Технический регламент о требованиях пожарной безопасности'", + "Федеральный закон от 25 октября 2007 года N 234-ФЗ 'О контроле и надзоре в экономической деятельности'", + "Министерство финансов Российской Федерации", + "Федеральный закон от 30 декабря 2009 года N 384-ФЗ 'Технический регламент о безопасности зданий и сооружений'", + "Размер таможенных пошлин.", + "Личный адрес проживания", + "Порядок возврата товаров без осуществления таможенного оформления.", + "При условии одобрения всех участников сделки без проведения собрания кредиторов.", + "Если имущество не было вовлечено в другие судебные процессы.", + "Федеральный закон от 27 декабря 2002 года N 184-ФЗ 'О техническом регулировании'", + "В порядке, предусмотренном статьей 213 настоящего Федерального закона" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nВ соответствии с каким законом осуществляется экологическая сертификация хозяйственной и иной деятельности согласно статье 31 Федерального закона 'Об охране окружающей среды' N 7-ФЗ?\nA. Сведения о получении дополнительного профессионального образования\nB. Федеральный закон от 28 июля 2012 года N 123-ФЗ 'Технический регламент о требованиях пожарной безопасности'\nC. Федеральный закон от 25 октября 2007 года N 234-ФЗ 'О контроле и надзоре в экономической деятельности'\nD. Министерство финансов Российской Федерации\nE. Федеральный закон от 30 декабря 2009 года N 384-ФЗ 'Технический регламент о безопасности зданий и сооружений'\nF. Размер таможенных пошлин.\nG. Личный адрес проживания\nH. Порядок возврата товаров без осуществления таможенного оформления.\nI. При условии одобрения всех участников сделки без проведения собрания кредиторов.\nJ. Если имущество не было вовлечено в другие судебные процессы.\nK. Федеральный закон от 27 декабря 2002 года N 184-ФЗ 'О техническом регулировании'\nL. В порядке, предусмотренном статьей 213 настоящего Федерального закона\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 265, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0013732828665524721, + "B": 0.009532472118735313, + "C": 0.35770338773727417, + "D": 0.025911947712302208, + "E": 0.009532472118735313, + "F": 0.010801706463098526, + "G": 0.029362082481384277, + "H": 0.009532472118735313, + "I": 0.0007350653177127242, + "J": 0.0035068008583039045, + "K": 0.2458457052707672, + "L": 0.0017633300740271807 + }, + "sample": { + "question": "В соответствии со Статьёй 230.4 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ, какое условие позволяет передать имущество, составляющее залоговое обеспечение облигаций специализированного общества, иному специализированному обществу?", + "answerA": "Если имущество не было вовлечено в другие судебные процессы.", + "answerB": "При условии одобрения всех участников сделки без проведения собрания кредиторов.", + "answerC": "Если рыночная стоимость указанного имущества превышает совокупный размер обязательств по таким облигациям не более чем на десять процентов.", + "answerD": "Только после полного погашения задолженности перед кредиторами.", + "correct_answer": "C", + "choices": [ + "Личный адрес проживания", + "Порядок возврата товаров без осуществления таможенного оформления.", + "В порядке, предусмотренном статьей 213 настоящего Федерального закона", + "Министерство финансов Российской Федерации", + "Происходит автоматический перевыбор представительного органа.", + "В порядке, предусмотренном пунктами 7 - 9 статьи 195 настоящего Федерального закона", + "При условии одобрения всех участников сделки без проведения собрания кредиторов.", + "Если имущество не было вовлечено в другие судебные процессы.", + "Размер таможенных пошлин.", + "Только после полного погашения задолженности перед кредиторами.", + "Если рыночная стоимость указанного имущества превышает совокупный размер обязательств по таким облигациям не более чем на десять процентов.", + "Сведения о получении дополнительного профессионального образования" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nВ соответствии со Статьёй 230.4 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ, какое условие позволяет передать имущество, составляющее залоговое обеспечение облигаций специализированного общества, иному специализированному обществу?\nA. Личный адрес проживания\nB. Порядок возврата товаров без осуществления таможенного оформления.\nC. В порядке, предусмотренном статьей 213 настоящего Федерального закона\nD. Министерство финансов Российской Федерации\nE. Происходит автоматический перевыбор представительного органа.\nF. В порядке, предусмотренном пунктами 7 - 9 статьи 195 настоящего Федерального закона\nG. При условии одобрения всех участников сделки без проведения собрания кредиторов.\nH. Если имущество не было вовлечено в другие судебные процессы.\nI. Размер таможенных пошлин.\nJ. Только после полного погашения задолженности перед кредиторами.\nK. Если рыночная стоимость указанного имущества превышает совокупный размер обязательств по таким облигациям не более чем на десять процентов.\nL. Сведения о получении дополнительного профессионального образования\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 229, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.04687104374170303, + "B": 0.44470009207725525, + "C": 0.04687104374170303, + "D": 0.0322139672935009, + "E": 0.1274087131023407, + "F": 0.0322139672935009, + "G": 0.0322139672935009, + "H": 0.025088263675570488, + "I": 0.0026442832313477993, + "J": 0.02842872403562069, + "K": 0.010458343662321568, + "L": 0.004095545969903469 + }, + "sample": { + "question": "Что содержит личное дело прокурорского работника согласно Федеральному закону \"О прокуратуре Российской Федерации\" N 2202-1-ФЗ?", + "answerA": "Личный адрес проживания", + "answerB": "Сведения о получении дополнительного профессионального образования", + "answerC": "Информацию о судимостях", + "answerD": "Данные о личных доходах и имуществе", + "correct_answer": "answerB", + "choices": [ + "Личный адрес проживания", + "В порядке, предусмотренном статьей 213 настоящего Федерального закона", + "Федеральная таможенная служба", + "Министерство финансов Российской Федерации", + "Сведения о получении дополнительного профессионального образования", + "В порядке, предусмотренном пунктами 7 - 9 статьи 195 настоящего Федерального закона", + "Информацию о судимостях", + "24 месяца", + "Размер таможенных пошлин.", + "Данные о личных доходах и имуществе", + "Происходит автоматический перевыбор представительного органа.", + "Порядок возврата товаров без осуществления таможенного оформления." + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nЧто содержит личное дело прокурорского работника согласно Федеральному закону \"О прокуратуре Российской Федерации\" N 2202-1-ФЗ?\nA. Личный адрес проживания\nB. В порядке, предусмотренном статьей 213 настоящего Федерального закона\nC. Федеральная таможенная служба\nD. Министерство финансов Российской Федерации\nE. Сведения о получении дополнительного профессионального образования\nF. В порядке, предусмотренном пунктами 7 - 9 статьи 195 настоящего Федерального закона\nG. Информацию о судимостях\nH. 24 месяца\nI. Размер таможенных пошлин.\nJ. Данные о личных доходах и имуществе\nK. Происходит автоматический перевыбор представительного органа.\nL. Порядок возврата товаров без осуществления таможенного оформления.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 175, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0015820410335436463, + "B": 0.004873029422014952, + "C": 0.7698655128479004, + "D": 0.02051622048020363, + "E": 0.009691176936030388, + "F": 0.006257094442844391, + "G": 0.07160864770412445, + "H": 0.007547496352344751, + "I": 0.0003316138463560492, + "J": 0.0006594928563572466, + "K": 0.0023018564097583294, + "L": 0.0001667459000600502 + }, + "sample": { + "question": "Что определяет федеральный орган исполнительной власти, осуществляющий функции по контролю и надзору в области таможенного дела, согласно статье 250 Федерального закона N 289-ФЗ \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\"?", + "answerA": "Размер таможенных пошлин.", + "answerB": "Порядок возврата товаров без осуществления таможенного оформления.", + "answerC": "Порядок организации таможенного сопровождения при таможенном сопровождении транспортных средств только по территории Российской Федерации.", + "answerD": "Список запрещенных к ввозу товаров.", + "correct_answer": "answerC", + "choices": [ + "24 месяца", + "Список запрещенных к ввозу товаров.", + "В порядке, предусмотренном статьей 213 настоящего Федерального закона", + "Размер таможенных пошлин.", + "Порядок возврата товаров без осуществления таможенного оформления.", + "Министерство финансов Российской Федерации", + "Федеральная таможенная служба", + "Происходит автоматический перевыбор представительного органа.", + "Высшее должностное лицо субъекта РФ вносит проект закона о роспуске представительного органа.", + "Брокерская деятельность", + "Порядок организации таможенного сопровождения при таможенном сопровождении транспортных средств только по территории Российской Федерации.", + "В порядке, предусмотренном пунктами 7 - 9 статьи 195 настоящего Федерального закона" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nЧто определяет федеральный орган исполнительной власти, осуществляющий функции по контролю и надзору в области таможенного дела, согласно статье 250 Федерального закона N 289-ФЗ \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\"?\nA. 24 месяца\nB. Список запрещенных к ввозу товаров.\nC. В порядке, предусмотренном статьей 213 настоящего Федерального закона\nD. Размер таможенных пошлин.\nE. Порядок возврата товаров без осуществления таможенного оформления.\nF. Министерство финансов Российской Федерации\nG. Федеральная таможенная служба\nH. Происходит автоматический перевыбор представительного органа.\nI. Высшее должностное лицо субъекта РФ вносит проект закона о роспуске представительного органа.\nJ. Брокерская деятельность\nK. Порядок организации таможенного сопровождения при таможенном сопровождении транспортных средств только по территории Российской Федерации.\nL. В порядке, предусмотренном пунктами 7 - 9 статьи 195 настоящего Федерального закона\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 227, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.01687142439186573, + "B": 0.01687142439186573, + "C": 0.812910795211792, + "D": 0.01911783032119274, + "E": 0.007033056579530239, + "F": 0.003536442993208766, + "G": 0.010233037173748016, + "H": 0.004265764262527227, + "I": 0.0007412786944769323, + "J": 0.00032894042669795454, + "K": 0.0008399788057431579, + "L": 3.928633304894902e-05 + }, + "sample": { + "question": "В каком порядке осуществляется продажа предприятия должника, являющегося стратегическим предприятием или организацией, по Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ?", + "answerA": "В порядке, предусмотренном статьей 213 настоящего Федерального закона", + "answerB": "В порядке, предусмотренном пунктами 7 - 9 статьи 195 настоящего Федерального закона", + "answerC": "По усмотрению суда", + "answerD": "В порядке, предусмотренном статьей 111 настоящего Федерального закона", + "correct_answer": "B", + "choices": [ + "24 месяца", + "18 месяцев", + "В порядке, предусмотренном статьей 213 настоящего Федерального закона", + "Статья 12", + "Брокерская деятельность", + "Высшее должностное лицо субъекта РФ вносит проект закона о роспуске представительного органа.", + "В порядке, предусмотренном пунктами 7 - 9 статьи 195 настоящего Федерального закона", + "Происходит автоматический перевыбор представительного органа.", + "По усмотрению суда", + "Федеральная таможенная служба", + "В порядке, предусмотренном статьей 111 настоящего Федерального закона", + "Министерство финансов Российской Федерации" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nВ каком порядке осуществляется продажа предприятия должника, являющегося стратегическим предприятием или организацией, по Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ?\nA. 24 месяца\nB. 18 месяцев\nC. В порядке, предусмотренном статьей 213 настоящего Федерального закона\nD. Статья 12\nE. Брокерская деятельность\nF. Высшее должностное лицо субъекта РФ вносит проект закона о роспуске представительного органа.\nG. В порядке, предусмотренном пунктами 7 - 9 статьи 195 настоящего Федерального закона\nH. Происходит автоматический перевыбор представительного органа.\nI. По усмотрению суда\nJ. Федеральная таможенная служба\nK. В порядке, предусмотренном статьей 111 настоящего Федерального закона\nL. Министерство финансов Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 193, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0006797228124924004, + "B": 0.0028617398347705603, + "C": 0.04476514086127281, + "D": 0.03950510174036026, + "E": 0.0015317789511755109, + "F": 0.0018476780969649553, + "G": 0.003451916854828596, + "H": 0.0011929506435990334, + "I": 0.00026618328411132097, + "J": 0.0013517901534214616, + "K": 0.5453510880470276, + "L": 0.00030162514303810894 + }, + "sample": { + "question": "Каким органом устанавливается порядок действий должностных лиц таможенных органов при использовании информационных систем в таможенном деле согласно Федеральному закону 'О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации' N 289-ФЗ, Статья 302?", + "answerA": "Министерство финансов Российской Федерации", + "answerB": "Федеральная таможенная служба", + "answerC": "Федеральный орган исполнительной власти, осуществляющий функции по контролю и надзору в области таможенного дела", + "answerD": "Правительство Российской Федерации", + "correct_answer": "C", + "choices": [ + "Статья 12", + "18 месяцев", + "Министерство финансов Российской Федерации", + "Консультационные услуги", + "Высшее должностное лицо субъекта РФ вносит проект закона о роспуске представительного органа.", + "24 месяца", + "Федеральная таможенная служба", + "Правительство Российской Федерации", + "Происходит автоматический перевыбор представительного органа.", + "Для покрытия дефицита местных бюджетов", + "Федеральный орган исполнительной власти, осуществляющий функции по контролю и надзору в области та��оженного дела", + "Брокерская деятельность" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКаким органом устанавливается порядок действий должностных лиц таможенных органов при использовании информационных систем в таможенном деле согласно Федеральному закону 'О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации' N 289-ФЗ, Статья 302?\nA. Статья 12\nB. 18 месяцев\nC. Министерство финансов Российской Федерации\nD. Консультационные услуги\nE. Высшее должностное лицо субъекта РФ вносит проект закона о роспуске представительного органа.\nF. 24 месяца\nG. Федеральная таможенная служба\nH. Правительство Российской Федерации\nI. Происходит автоматический перевыбор представительного органа.\nJ. Для покрытия дефицита местных бюджетов\nK. Федеральный орган исполнительной власти, осуществляющий функции по контролю и надзору в области таможенного дела\nL. Брокерская деятельность\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 198, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.12303769588470459, + "B": 0.0746261328458786, + "C": 0.13941998779773712, + "D": 0.06585733592510223, + "E": 0.05811889097094536, + "F": 0.09582185745239258, + "G": 0.29515209794044495, + "H": 0.039944492280483246, + "I": 0.0018682286608964205, + "J": 0.0018682286608964205, + "K": 0.003955040592700243, + "L": 0.0003455875557847321 + }, + "sample": { + "question": "Что происходит, если представительным органом муниципального образования принят нормативный правовой акт, противоречащий Конституции РФ, и не отменен в установленный судом срок?", + "answerA": "Происходит автоматический перевыбор представительного органа.", + "answerB": "Высшее должностное лицо субъекта РФ вносит проект закона о роспуске представительного органа.", + "answerC": "Представительный орган подлежит обязательной реорганизации.", + "answerD": "Против депутатов представительного органа инициируется уголовное преследование.", + "correct_answer": "Высшее должностное лицо субъекта РФ вносит проект закона о роспуске представительного органа.", + "choices": [ + "Происходит автоматический перевыбор представительного органа.", + "Высшее должностное лицо субъекта РФ вносит проект закона о роспуске представительного органа.", + "Против депутатов представительного органа инициируется уголовное преследование.", + "Для покрытия дефицита местных бюджетов", + "Консультационные услуги", + "Статья 12", + "Представительный орган подлежит обязательной реорганизации.", + "Статья 23", + "Только дополнительные профессиональные программы", + "24 месяца", + "18 месяцев", + "Брокерская деятельность" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nЧто происходит, если представительным органом муниципального образования принят норматив��ый правовой акт, противоречащий Конституции РФ, и не отменен в установленный судом срок?\nA. Происходит автоматический перевыбор представительного органа.\nB. Высшее должностное лицо субъекта РФ вносит проект закона о роспуске представительного органа.\nC. Против депутатов представительного органа инициируется уголовное преследование.\nD. Для покрытия дефицита местных бюджетов\nE. Консультационные услуги\nF. Статья 12\nG. Представительный орган подлежит обязательной реорганизации.\nH. Статья 23\nI. Только дополнительные профессиональные программы\nJ. 24 месяца\nK. 18 месяцев\nL. Брокерская деятельность\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 162, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.42485082149505615, + "B": 0.0947970300912857, + "C": 0.1771041601896286, + "D": 0.0574973039329052, + "E": 0.016473254188895226, + "F": 0.014537595212459564, + "G": 0.0947970300912857, + "H": 0.01282938290387392, + "I": 0.0028626222629100084, + "J": 0.009991534054279327, + "K": 0.01282938290387392, + "L": 0.00023497834627050906 + }, + "sample": { + "question": "На какой максимальный срок может быть введено внешнее управление в соответствии со Статьей 93 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?", + "answerA": "24 месяца", + "answerB": "18 месяцев", + "answerC": "12 месяцев", + "answerD": "18 месяцев, с возможностью продления на 6 месяцев", + "correct_answer": "D", + "choices": [ + "18 месяцев, с возможностью продления на 6 месяцев", + "24 месяца", + "Брокерская деятельность", + "Только дополнительные профессиональные программы", + "взыскание штрафа в размере 40 процентов от неуплаченной суммы налога, но не менее 10 000 рублей", + "Статья 23", + "18 месяцев", + "Для софинансирования расходных обязательств, возникающих при выполнении полномочий органов местного самоуправления по вопросам местного значения", + "Консультационные услуги", + "Статья 12", + "12 месяцев", + "Для покрытия дефицита местных бюджетов" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nНа какой максимальный срок может быть введено внешнее управление в соответствии со Статьей 93 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?\nA. 18 месяцев, с возможностью продления на 6 месяцев\nB. 24 месяца\nC. Брокерская деятельность\nD. Только дополнительные профессиональные программы\nE. взыскание штрафа в размере 40 процентов от неуплаченной суммы налога, но не менее 10 000 рублей\nF. Статья 23\nG. 18 месяцев\nH. Для софинансирования расходных обязательств, возникающих при выполнении полномочий органов местного самоуправления по вопросам местного значения\nI. Консультационные услуги\nJ. Статья 12\nK. 12 месяцев\nL. Для покрытия дефицита местных бюджетов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 194, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.018348053097724915, + "B": 0.25328704714775085, + "C": 0.1740814745426178, + "D": 0.11964432895183563, + "E": 0.016192099079489708, + "F": 0.023559363558888435, + "G": 0.04401468485593796, + "H": 0.030250823125243187, + "I": 0.0038459606003016233, + "J": 0.03427867218852043, + "K": 0.08223026245832443, + "L": 0.004938311409205198 + }, + "sample": { + "question": "Какая деятельность может быть совмещена с ведением реестра в соответствии с Федеральным законом \"О рынке ценных бумаг\" N 39-ФЗ?", + "answerA": "Брокерская деятельность", + "answerB": "Консультационные услуги", + "answerC": "Депозитарная деятельность", + "answerD": "Управление активами", + "correct_answer": "Депозитарная деятельность", + "choices": [ + "взыскание штрафа в размере 40 процентов от неуплаченной суммы налога, но не менее 10 000 рублей", + "Брокерская деятельность", + "Статья 23", + "Основные и дополнительные программы профессионального обучения, образовательные программы среднего профессионального образования", + "60 лет", + "Депозитарная деятельность", + "Консультационные услуги", + "Для софинансирования расходных обязательств, возникающих при выполнении полномочий органов местного самоуправления по вопросам местного значения", + "Статья 12", + "Только дополнительные профессиональные программы", + "Управление активами", + "Для покрытия дефицита местных бюджетов" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКакая деятельность может быть совмещена с ведением реестра в соответствии с Федеральным законом \"О рынке ценных бумаг\" N 39-ФЗ?\nA. взыскание штрафа в размере 40 процентов от неуплаченной суммы налога, но не менее 10 000 рублей\nB. Брокерская деятельность\nC. Статья 23\nD. Основные и дополнительные программы профессионального обучения, образовательные программы среднего профессионального образования\nE. 60 лет\nF. Депозитарная деятельность\nG. Консультационные услуги\nH. Для софинансирования расходных обязательств, возникающих при выполнении полномочий органов местного самоуправления по вопросам местного значения\nI. Статья 12\nJ. Только дополнительные профессиональные программы\nK. Управление активами\nL. Для покрытия дефицита местных бюджетов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 188, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.08971169590950012, + "B": 0.35481664538383484, + "C": 0.1305297613143921, + "D": 0.1305297613143921, + "E": 0.05441289767622948, + "F": 0.03300308808684349, + "G": 0.042376808822155, + "H": 0.029125124216079712, + "I": 0.0053876060992479324, + "J": 0.022682668641209602, + "K": 0.012141157872974873, + "L": 0.0023907357826828957 + }, + "sample": { + "question": "Какая статья Федерального закона 'Об ответственном обращении с животными и о внесении изменений в отдельные законодательные акты Российской Федерации' N 498-ФЗ утратила силу с 1 января 2023 года?", + "answerA": "Статья 12", + "answerB": "Ста��ья 23", + "answerC": "Статья 34", + "answerD": "Статья 45", + "correct_answer": "answerB", + "choices": [ + "Для покрытия дефицита местных бюджетов", + "Статья 45", + "60 лет", + "Статья 12", + "Статья 23", + "Только дополнительные профессиональные программы", + "взыскание штрафа в размере 20 процентов от неуплаченной суммы налога, но не менее 30 000 рублей", + "Начальные знания экологии", + "Основные и дополнительные программы профессионального обучения, образовательные программы среднего профессионального образования", + "Для софинансирования расходных обязательств, возникающих при выполнении полномочий органов местного самоуправления по вопросам местного значения", + "взыскание штрафа в размере 40 процентов от неуплаченной суммы налога, но не менее 10 000 рублей", + "Статья 34" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКакая статья Федерального закона 'Об ответственном обращении с животными и о внесении изменений в отдельные законодательные акты Российской Федерации' N 498-ФЗ утратила силу с 1 января 2023 года?\nA. Для покрытия дефицита местных бюджетов\nB. Статья 45\nC. 60 лет\nD. Статья 12\nE. Статья 23\nF. Только дополнительные профессиональные программы\nG. взыскание штрафа в размере 20 процентов от неуплаченной суммы налога, но не менее 30 000 рублей\nH. Начальные знания экологии\nI. Основные и дополнительные программы профессионального обучения, образовательные программы среднего профессионального образования\nJ. Для софинансирования расходных обязательств, возникающих при выполнении полномочий органов местного самоуправления по вопросам местного значения\nK. взыскание штрафа в размере 40 процентов от неуплаченной суммы налога, но не менее 10 000 рублей\nL. Статья 34\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 231, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0021390162874013186, + "B": 0.013948139734566212, + "C": 0.0035266417544335127, + "D": 0.029528211802244186, + "E": 0.2472366839647293, + "F": 0.0909532979130745, + "G": 0.033459845930337906, + "H": 0.02299659326672554, + "I": 0.0022769710049033165, + "J": 0.0909532979130745, + "K": 0.07083449512720108, + "L": 0.2472366839647293 + }, + "sample": { + "question": "Какая цель предоставления субсидий местным бюджетам из бюджета субъекта Российской Федерации в соответствии с Федеральным законом 'Об общих принципах организации местного самоуправления в РФ' (закон о МСУ) N 131-ФЗ, статья 63.1?", + "answerA": "Для покрытия дефицита местных бюджетов", + "answerB": "Для софинансирования расходных обязательств, возникающих при выполнении полномочий органов местного самоуправления по вопросам местного значения", + "answerC": "Для финансирования полностью централизованных проектов развития территорий", + "answerD": "Для увеличения заработной платы государственных служащих на местном уровне", + "correct_answer": "Для с��финансирования расходных обязательств, возникающих при выполнении полномочий органов местного самоуправления по вопросам местного значения", + "choices": [ + "взыскание штрафа в размере 20 процентов от неуплаченной суммы налога, но не менее 30 000 рублей", + "Граждане, забронированные за органами государственной власти и организациями на период мобилизации", + "взыскание штрафа в размере 40 процентов от неуплаченной суммы налога, но не менее 10 000 рублей", + "Для увеличения заработной платы государственных служащих на местном уровне", + "Для покрытия дефицита местных бюджетов", + "Для софинансирования расходных обязательств, возникающих при выполнении полномочий органов местного самоуправления по вопросам местного значения", + "Начальные знания экологии", + "60 лет", + "Основные и дополнительные программы профессионального обучения, образовательные программы среднего профессионального образования", + "65 лет", + "Только дополнительные профессиональные программы", + "Для финансирования полностью централизованных проектов развития территорий" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКакая цель предоставления субсидий местным бюджетам из бюджета субъекта Российской Федерации в соответствии с Федеральным законом 'Об общих принципах организации местного самоуправления в РФ' (закон о МСУ) N 131-ФЗ, статья 63.1?\nA. взыскание штрафа в размере 20 процентов от неуплаченной суммы налога, но не менее 30 000 рублей\nB. Граждане, забронированные за органами государственной власти и организациями на период мобилизации\nC. взыскание штрафа в размере 40 процентов от неуплаченной суммы налога, но не менее 10 000 рублей\nD. Для увеличения заработной платы государственных служащих на местном уровне\nE. Для покрытия дефицита местных бюджетов\nF. Для софинансирования расходных обязательств, возникающих при выполнении полномочий органов местного самоуправления по вопросам местного значения\nG. Начальные знания экологии\nH. 60 лет\nI. Основные и дополнительные программы профессионального обучения, образовательные программы среднего профессионального образования\nJ. 65 лет\nK. Только дополнительные профессиональные программы\nL. Для финансирования полностью централизованных проектов развития территорий\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 256, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0013505436945706606, + "B": 0.0013505436945706606, + "C": 0.0030434972140938044, + "D": 0.009374631568789482, + "E": 0.14664389193058014, + "F": 0.00390792777761817, + "G": 0.006443083751946688, + "H": 0.004428261891007423, + "I": 0.7447192072868347, + "J": 0.005686000920832157, + "K": 0.0006379516562446952, + "L": 0.0001108593714889139 + }, + "sample": { + "question": "Какие образовательные программы реализуются в области подготовки специа��истов авиационного персонала гражданской авиации, членов экипажей судов в соответствии с международными требованиями, а также в области подготовки работников железнодорожного транспорта?", + "answerA": "Только дополнительные профессиональные программы", + "answerB": "Основные и дополнительные программы профессионального обучения, образовательные программы среднего профессионального образования", + "answerC": "Только основные программы профессионального обучения", + "answerD": "Основные программы профессионального обучения, образовательные программы среднего профессионального образования и высшего образования, а также дополнительные профессиональные программы", + "correct_answer": "answerD", + "choices": [ + "взыскание штрафа в размере 40 процентов от неуплаченной суммы налога, но не менее 10 000 рублей", + "взыскание штрафа в размере 20 процентов от неуплаченной суммы налога, но не менее 30 000 рублей", + "60 лет", + "Граждане, забронированные за органами государственной власти и организациями на период мобилизации", + "Товары для личного пользования могут храниться в любом предложенном гражданином месте.", + "65 лет", + "Основные и дополнительные программы профессионального обучения, образовательные программы среднего профессионального образования", + "Только основные программы профессионального обучения", + "Основные программы профессионального обучения, образовательные программы среднего профессионального образования и высшего образования, а также дополнительные профессиональные программы", + "Начальные знания экологии", + "Только дополнительные профессиональные программы", + "Начальные знания информатики" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКакие образовательные программы реализуются в области подготовки специалистов авиационного персонала гражданской авиации, членов экипажей судов в соответствии с международными требованиями, а также в области подготовки работников железнодорожного транспорта?\nA. взыскание штрафа в размере 40 процентов от неуплаченной суммы налога, но не менее 10 000 рублей\nB. взыскание штрафа в размере 20 процентов от неуплаченной суммы налога, но не менее 30 000 рублей\nC. 60 лет\nD. Граждане, забронированные за органами государственной власти и организациями на период мобилизации\nE. Товары для личного пользования могут храниться в любом предложенном гражданином месте.\nF. 65 лет\nG. Основные и дополнительные программы профессионального обучения, образовательные программы среднего профессионального образования\nH. Только основные программы профессионального обучения\nI. Основные программы профессионального обучения, образовательные программы среднего профессионального образования и высшего образования, а также дополнительные профессиональные программы\nJ. На��альные знания экологии\nK. Только дополнительные профессиональные программы\nL. Начальные знания информатики\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 245, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0036915664095431566, + "B": 0.03728349879384041, + "C": 0.06147010251879692, + "D": 0.06965474784374237, + "E": 0.08943846821784973, + "F": 0.21455173194408417, + "G": 0.13013219833374023, + "H": 0.0542471744120121, + "I": 0.0057176100090146065, + "J": 0.07892917841672897, + "K": 0.1148412749171257, + "L": 0.019956419244408607 + }, + "sample": { + "question": "Какое наказание предусмотрено за неуплату или неполную уплату сумм налога в результате применения в целях налогообложения в контролируемых сделках коммерческих и (или) финансовых условий, не сопоставимых с коммерческими и (или) финансовыми условиями сделок между лицами, не являющимися взаимозависимыми?", + "answerA": "взыскание штрафа в размере 40 процентов от неуплаченной суммы налога, но не менее 10 000 рублей", + "answerB": "взыскание штрафа в размере 20 процентов от неуплаченной суммы налога, но не менее 30 000 рублей", + "answerC": "взыскание штрафа в размере 40 процентов от неуплаченной суммы налога, но не менее 30 000 рублей", + "answerD": "взыскание штрафа в размере 50 процентов от неуплаченной суммы налога, но не менее 20 000 рублей", + "correct_answer": "взыскание штрафа в размере 40 процентов от неуплаченной суммы налога, но не менее 30 000 рублей", + "choices": [ + "Начальные знания экологии", + "65 лет", + "Запрос инспектором устных свидетельств для устной оценки соблюдения обязательных требований", + "60 лет", + "Граждане, забронированные за органами государственной власти и организациями на период мобилизации", + "взыскание штрафа в размере 40 процентов от неуплаченной суммы налога, но не менее 30 000 рублей", + "Товары для личного пользования могут храниться в любом предложенном гражданином месте.", + "взыскание штрафа в размере 40 процентов от неуплаченной суммы налога, но не менее 10 000 рублей", + "Начальные знания информатики", + "взыскание штрафа в размере 20 процентов от неуплаченной суммы налога, но не менее 30 000 рублей", + "взыскание штрафа в размере 50 процентов от неуплаченной суммы налога, но не менее 20 000 рублей", + "Плавающий состав судов морского и речного флота в период навигации" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКакое наказание предусмотрено за неуплату или неполную уплату сумм налога в результате применения в целях налогообложения в контролируемых сделках коммерческих и (или) финансовых условий, не сопоставимых с коммерческими и (или) финансовыми условиями сделок между лицами, не являющимися взаимозависимыми?\nA. Начальные знания экологии\nB. 65 лет\nC. Запрос инспектором устных свидетельств для устной оценки соблюдения обязательных требований\nD. 60 лет\nE. Граждане, забронированные за органами государственной власти и организациями на период мобилизации\nF. взыскание штрафа в размере 40 процентов от неуплаченной суммы налога, но не менее 30 000 рублей\nG. Товары для личного пользования могут храниться в любом предложенном гражданином месте.\nH. взыскание штрафа в размере 40 процентов от неуплаченной суммы налога, но не менее 10 000 рублей\nI. Начальные знания информатики\nJ. взыскание штрафа в размере 20 процентов от неуплаченной суммы налога, но не менее 30 000 рублей\nK. взыскание штрафа в размере 50 процентов от неуплаченной суммы налога, но не менее 20 000 рублей\nL. Плавающий состав судов морского и речного флота в период навигации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 314, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.01646839641034603, + "B": 0.03275131806731224, + "C": 0.04205352067947388, + "D": 0.08902730792760849, + "E": 0.03275131806731224, + "F": 0.04765288904309273, + "G": 0.1008811667561531, + "H": 0.07856633514165878, + "I": 0.01646839641034603, + "J": 0.08902730792760849, + "K": 0.2135654240846634, + "L": 0.14678123593330383 + }, + "sample": { + "question": "Какой предельный возраст пребывания на военной службе установлен для военнослужащего с званием генерал-полковника или адмирала согласно Федеральному закону 'О воинской обязанности и военной службе' N 53-ФЗ?", + "answerA": "60 лет", + "answerB": "65 лет", + "answerC": "70 лет", + "answerD": "55 лет", + "correct_answer": "C", + "choices": [ + "Товары для личного пользования могут храниться в любом предложенном гражданином месте.", + "Начальные знания информатики", + "Временное хранение товаров для личного пользования не регламентируется и может осуществляться без каких-либо условий.", + "55 лет", + "Начальные знания экологии", + "Плавающий состав судов морского и речного флота в период навигации", + "70 лет", + "Запрос инспектором устных свидетельств для устной оценки соблюдения обязательных требований", + "С 1 июня 2005 года", + "60 лет", + "Граждане, забронированные за органами государственной власти и организациями на период мобилизации", + "65 лет" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКакой предельный возраст пребывания на военной службе установлен для военнослужащего с званием генерал-полковника или адмирала согласно Федеральному закону 'О воинской обязанности и военной службе' N 53-ФЗ?\nA. Товары для личного пользования могут храниться в любом предложенном гражданином месте.\nB. Начальные знания информатики\nC. Временное хранение товаров для личного пользования не регламентируется и может осуществляться без каких-либо условий.\nD. 55 лет\nE. Начальные знания экологии\nF. Плавающий состав судов морского и речного флота в период навигации\nG. 70 лет\nH. Запрос инспектором устных свидетельств для устной оценки соблюдения обязатель��ых требований\nI. С 1 июня 2005 года\nJ. 60 лет\nK. Граждане, забронированные за органами государственной власти и организациями на период мобилизации\nL. 65 лет\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 209, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.001523307990282774, + "B": 0.006826993077993393, + "C": 0.00641336664557457, + "D": 0.0049947346560657024, + "E": 0.0017261342145502567, + "F": 0.0011144760064780712, + "G": 0.0036542261950671673, + "H": 0.004407837986946106, + "I": 0.0006350092589855194, + "J": 0.0013443147763609886, + "K": 0.7890930771827698, + "L": 0.0018374602077528834 + }, + "sample": { + "question": "Какие начальные знания предусматривается получать гражданам согласно Статье 12 Федерального закона 'О воинской обязанности и военной службе' N 53-ФЗ?", + "answerA": "Начальные знания экологии", + "answerB": "Начальные знания информатики", + "answerC": "Начальные знания в области обороны государства", + "answerD": "Основы космического права", + "correct_answer": "Начальные знания в области обороны государства", + "choices": [ + "Контрольное мероприятие, предполагающее проведение тестирования работников контролируемого лица", + "Запрос инспектором устных свидетельств для устной оценки соблюдения обязательных требований", + "С 1 июня 2005 года", + "Плавающий состав судов морского и речного флота в период навигации", + "Основы космического права", + "Начальные знания информатики", + "Начальные знания экологии", + "Товары для личного пользования могут храниться в любом предложенном гражданином месте.", + "Несоблюдение аудиторской организацией требований об обязательном страховании ответственности аудитора.", + "Временное хранение товаров для личного пользования не регламентируется и может осуществляться без каких-либо условий.", + "Начальные знания в области обороны государства", + "Граждане, забронированные за органами государственной власти и организациями на период мобилизации" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКакие начальные знания предусматривается получать гражданам согласно Статье 12 Федерального закона 'О воинской обязанности и военной службе' N 53-ФЗ?\nA. Контрольное мероприятие, предполагающее проведение тестирования работников контролируемого лица\nB. Запрос инспектором устных свидетельств для устной оценки соблюдения обязательных требований\nC. С 1 июня 2005 года\nD. Плавающий состав судов морского и речного флота в период навигации\nE. Основы космического права\nF. Начальные знания информатики\nG. Начальные знания экологии\nH. Товары для личного пользования могут храниться в любом предложенном гражданином месте.\nI. Несоблюдение аудиторской организацией требований об обязательном страховании ответственности аудитора.\nJ. Временное хранение товаров для личного пользования не регламентируется �� может осуществляться без каких-либо условий.\nK. Начальные знания в области обороны государства\nL. Граждане, забронированные за органами государственной власти и организациями на период мобилизации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 222, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.1908635050058365, + "B": 0.21627669036388397, + "C": 0.13117843866348267, + "D": 0.1157645732164383, + "E": 0.04258740320801735, + "F": 0.021414292976260185, + "G": 0.03316710516810417, + "H": 0.03316710516810417, + "I": 0.0061352974735200405, + "J": 0.025830566883087158, + "K": 0.013826105743646622, + "L": 0.0012860281858593225 + }, + "sample": { + "question": "Кто из перечисленных групп НЕ освобождается от военных сборов согласно Статье 55 Федерального закона \"О воинской обязанности и военной службе\" N 53-ФЗ?", + "answerA": "Граждане, забронированные за органами государственной власти и организациями на период мобилизации", + "answerB": "Плавающий состав судов морского и речного флота в период навигации", + "answerC": "Граждане, прошедшие альтернативную гражданскую службу", + "answerD": "Граждане, занимающиеся индивидуальным предпринимательством без образования юридического лица", + "correct_answer": "answerD", + "choices": [ + "Несоблюдение аудиторской организацией требований об обязательном страховании ответственности аудитора.", + "Временное хранение товаров для личного пользования не регламентируется и может осуществляться без каких-либо условий.", + "Граждане, занимающиеся индивидуальным предпринимательством без образования юридического лица", + "Плавающий состав судов морского и речного флота в период навигации", + "С 1 января 2007 года", + "Не менее чем за десять дней до даты его рассмотрения собранием кредиторов", + "Граждане, забронированные за органами государственной власти и организациями на период мобилизации", + "Граждане, прошедшие альтернативную гражданскую службу", + "Контрольное мероприятие, предполагающее проведение тестирования работников контролируемого лица", + "Товары для личного пользования могут храниться в любом предложенном гражданином месте.", + "С 1 июня 2005 года", + "Запрос инспектором устных свидетельств для устной оценки соблюдения обязательных требований" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКто из перечисленных групп НЕ освобождается от военных сборов согласно Статье 55 Федерального закона \"О воинской обязанности и военной службе\" N 53-ФЗ?\nA. Несоблюдение аудиторской организацией требований об обязательном страховании ответственности аудитора.\nB. Временное хранение товаров для личного пользования не регламентируется и может осуществляться без каких-либо условий.\nC. Граждане, занимающиеся индивидуальным предпринимательством без образования юридического лица\nD. Плавающий сос��ав судов морского и речного флота в период навигации\nE. С 1 января 2007 года\nF. Не менее чем за десять дней до даты его рассмотрения собранием кредиторов\nG. Граждане, забронированные за органами государственной власти и организациями на период мобилизации\nH. Граждане, прошедшие альтернативную гражданскую службу\nI. Контрольное мероприятие, предполагающее проведение тестирования работников контролируемого лица\nJ. Товары для личного пользования могут храниться в любом предложенном гражданином месте.\nK. С 1 июня 2005 года\nL. Запрос инспектором устных свидетельств для устной оценки соблюдения обязательных требований\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 248, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.43562009930610657, + "B": 0.07569941133260727, + "C": 0.04051898047327995, + "D": 0.04051898047327995, + "E": 0.08577867597341537, + "F": 0.05202740058302879, + "G": 0.05202740058302879, + "H": 0.12480724602937698, + "I": 0.006614541634917259, + "J": 0.004270669538527727, + "K": 0.003326000180095434, + "L": 0.0011494350619614124 + }, + "sample": { + "question": "Какое утверждение верно относительно временного хранения товаров для личного пользования согласно Федеральному закону \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?", + "answerA": "Товары для личного пользования могут храниться в любом предложенном гражданином месте.", + "answerB": "Временное хранение товаров для личного пользования не регламентируется и может осуществляться без каких-либо условий.", + "answerC": "Места временного хранения товаров для личного пользования определены статьей 90 настоящего Федерального закона.", + "answerD": "Временное хранение товаров для личного пользования не допускается в принципе.", + "correct_answer": "Места временного хранения товаров для личного пользования определены статьей 90 настоящего Федерального закона.", + "choices": [ + "Места временного хранения товаров для личного пользования определены статьей 90 настоящего Федерального закона.", + "Запрос инспектором устных свидетельств для устной оценки соблюдения обязательных требований", + "Временное хранение товаров для личного пользования не регламентируется и может осуществляться без каких-либо условий.", + "Быть преподавателем в университете", + "Заявление аудиторской организации об исключении сведений о ней из соответствующего реестра аудиторских организаций.", + "Товары для личного пользования могут храниться в любом предложенном гражданином месте.", + "Контрольное мероприятие, предполагающее проведение тестирования работников контролируемого лица", + "Временное хранение товаров для личного пользования не допускается в принципе.", + "С 1 июня 2005 года", + "Несоблюдение аудиторск��й организацией требований об обязательном страховании ответственности аудитора.", + "Не менее чем за десять дней до даты его рассмотрения собранием кредиторов", + "С 1 января 2007 года" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКакое утверждение верно относительно временного хранения товаров для личного пользования согласно Федеральному закону \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?\nA. Места временного хранения товаров для личного пользования определены статьей 90 настоящего Федерального закона.\nB. Запрос инспектором устных свидетельств для устной оценки соблюдения обязательных требований\nC. Временное хранение товаров для личного пользования не регламентируется и может осуществляться без каких-либо условий.\nD. Быть преподавателем в университете\nE. Заявление аудиторской организации об исключении сведений о ней из соответствующего реестра аудиторских организаций.\nF. Товары для личного пользования могут храниться в любом предложенном гражданином месте.\nG. Контрольное мероприятие, предполагающее проведение тестирования работников контролируемого лица\nH. Временное хранение товаров для личного пользования не допускается в принципе.\nI. С 1 июня 2005 года\nJ. Несоблюдение аудиторской организацией требований об обязательном страховании ответственности аудитора.\nK. Не менее чем за десять дней до даты его рассмотрения собранием кредиторов\nL. С 1 января 2007 года\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 263, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.002293404657393694, + "B": 0.0033368838485330343, + "C": 0.09160971641540527, + "D": 0.038188617676496506, + "E": 0.008004767820239067, + "F": 0.023162566125392914, + "G": 0.5271775722503662, + "H": 0.02044089138507843, + "I": 0.001083327573724091, + "J": 0.0019012992270290852, + "K": 0.1332913637161255, + "L": 0.011646868661046028 + }, + "sample": { + "question": "В соответствии со Статьей 79 Федерального закона от 31.07.2020 N 248-ФЗ 'О государственном контроле (надзоре) и муниципальном контроле в Российской Федерации', что понимается под получением письменных объяснений?", + "answerA": "Запрос инспектором устных свидетельств для устной оценки соблюдения обязательных требований", + "answerB": "Контрольное мероприятие, предполагающее проведение тестирования работников контролируемого лица", + "answerC": "Контрольное (надзорное) действие, заключающееся в запросе инспектором письменных свидетельств, имеющих значение для проведения оценки соблюдения контролируемым лицом обязательных требований", + "answerD": "Взятие подписи под письменными инструкциями без дальнейших действий", + "correct_answer": "answerC", + "choices": [ + "Не менее чем за десять дней до даты его рассмотрения собранием кредиторов", + "Залогодатель должен вдвое увеличить размер ипотечных платежей.", + "Несоблюдение аудиторской организацией требований об обязательном страховании ответственности аудитора.", + "Заявление аудиторской организации об исключении сведений о ней из соответствующего реестра аудиторских организаций.", + "Быть преподавателем в университете", + "Контрольное мероприятие, предполагающее проведение тестирования работников контролируемого лица", + "Контрольное (надзорное) действие, заключающееся в запросе инспектором письменных свидетельств, имеющих значение для проведения оценки соблюдения контролируемым лицом обязательных требований", + "Запрос инспектором устных свидетельств для устной оценки соблюдения обязательных требований", + "Взятие подписи под письменными инструкциями без дальнейших действий", + "С 1 января 2007 года", + "С 1 июня 2005 года", + "Не менее чем за пятнадцать дней до даты его рассмотрения собранием кредиторов" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nВ соответствии со Статьей 79 Федерального закона от 31.07.2020 N 248-ФЗ 'О государственном контроле (надзоре) и муниципальном контроле в Российской Федерации', что понимается под получением письменных объяснений?\nA. Не менее чем за десять дней до даты его рассмотрения собранием кредиторов\nB. Залогодатель должен вдвое увеличить размер ипотечных платежей.\nC. Несоблюдение аудиторской организацией требований об обязательном страховании ответственности аудитора.\nD. Заявление аудиторской организации об исключении сведений о ней из соответствующего реестра аудиторских организаций.\nE. Быть преподавателем в университете\nF. Контрольное мероприятие, предполагающее проведение тестирования работников контролируемого лица\nG. Контрольное (надзорное) действие, заключающееся в запросе инспектором письменных свидетельств, имеющих значение для проведения оценки соблюдения контролируемым лицом обязательных требований\nH. Запрос инспектором устных свидетельств для устной оценки соблюдения обязательных требований\nI. Взятие подписи под письменными инструкциями без дальнейших действий\nJ. С 1 января 2007 года\nK. С 1 июня 2005 года\nL. Не менее чем за пятнадцать дней до даты его рассмотрения собранием кредиторов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 278, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.08615083247423172, + "B": 0.03591300919651985, + "C": 0.20666511356830597, + "D": 0.12534873187541962, + "E": 0.09762169420719147, + "F": 0.040694769471883774, + "G": 0.0670943409204483, + "H": 0.18238131701946259, + "I": 0.01805819571018219, + "J": 0.02318718098104, + "K": 0.02627451904118061, + "L": 0.010952849872410297 + }, + "sample": { + "question": "Когда утратила силу статья 80 Федерального закона 'Об акционерных обществах' (АО) N 208-ФЗ?", + "answerA": "С 1 июня 2005 года", + "answerB": "С 1 января 2007 года", + "answerC": "С 1 июля 2006 года", + "answerD": "С 1 апреля 2004 года", + "correct_answer": "С 1 июля 2006 года", + "choices": [ + "Несоблюдение аудиторской организацией требований об обязательном страховании ответственности аудитора.", + "Быть преподавателем в университете", + "С 1 апреля 2004 года", + "Не менее чем за пятнадцать дней до даты его рассмотрения собранием кредиторов", + "Не менее чем за десять дней до даты его рассмотрения собранием кредиторов", + "С 1 июля 2006 года", + "Быть членом экипажа военного корабля Российской Федерации", + "Заявление аудиторской организации об исключении сведений о ней из соответствующего реестра аудиторских организаций.", + "Субъект персональных данных не имеет права заявить возражение против принятия решений на основании автоматизированной обработки его данных.", + "С 1 июня 2005 года", + "С 1 января 2007 года", + "Залогодатель должен вдвое увеличить размер ипотечных платежей." + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКогда утратила силу статья 80 Федерального закона 'Об акционерных обществах' (АО) N 208-ФЗ?\nA. Несоблюдение аудиторской организацией требований об обязательном страховании ответственности аудитора.\nB. Быть преподавателем в университете\nC. С 1 апреля 2004 года\nD. Не менее чем за пятнадцать дней до даты его рассмотрения собранием кредиторов\nE. Не менее чем за десять дней до даты его рассмотрения собранием кредиторов\nF. С 1 июля 2006 года\nG. Быть членом экипажа военного корабля Российской Федерации\nH. Заявление аудиторской организации об исключении сведений о ней из соответствующего реестра аудиторских организаций.\nI. Субъект персональных данных не имеет права заявить возражение против принятия решений на основании автоматизированной обработки его данных.\nJ. С 1 июня 2005 года\nK. С 1 января 2007 года\nL. Залогодатель должен вдвое увеличить размер ипотечных платежей.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 230, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.6443822383880615, + "B": 0.14378111064434052, + "C": 0.09881921857595444, + "D": 0.011802272871136665, + "E": 0.019458657130599022, + "F": 0.0012439503334462643, + "G": 0.0010312710655853152, + "H": 0.00132417818531394, + "I": 0.0001581505493959412, + "J": 0.0002449483727104962, + "K": 0.00014856868074275553, + "L": 1.2195259841973893e-05 + }, + "sample": { + "question": "Какой срок установлен для внешнего управляющего на направление разработанного им плана внешнего управления в федеральный орган исполнительной власти, обеспечивающий реализацию единой государственной политики в отрасли экономики, где осуществляет деятельность стратегическое предприятие или организация?", + "answerA": "Не менее чем за десять дней до даты его рассмотрения собранием кредиторов", + "answerB": "Не менее чем за пятнадцать дней до даты его рассмотрения собранием кредиторов", + "answerC": "Не менее чем за двадцать дней до даты его рассмотрения собранием кредиторов", + "answerD": "Не менее чем за тридцать дней до даты его рассмотрения собранием кредиторов", + "correct_answer": "B", + "choices": [ + "Не менее чем за тридцать дней до даты его рассмотрения собранием кредиторов", + "Не менее чем за десять дней до даты его рассмотрения собранием кредиторов", + "Не менее чем за двадцать дней до даты его рассмотрения собранием кредиторов", + "Быть преподавателем в университете", + "Не менее чем за пятнадцать дней до даты его рассмотрения собранием кредиторов", + "Оператор не обязан разъяснять субъекту порядок принятия решений на основании автоматизированной обработки его персональных данных.", + "Субъект персональных данных не имеет права заявить возражение против принятия решений на основании автоматизированной обработки его данных.", + "Залогодержатель вправе потребовать досрочного исполнения обеспеченного ипотекой обязательства.", + "Через 6 месяцев", + "Залогодатель должен вдвое увеличить размер ипотечных платежей.", + "Только требования, установленные международными агентствами", + "Быть членом экипажа военного корабля Российской Федерации" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКакой срок установлен для внешнего управляющего на направление разработанного им плана внешнего управления в федеральный орган исполнительной власти, обеспечивающий реализацию единой государственной политики в отрасли экономики, где осуществляет деятельность стратегическое предприятие или организация?\nA. Не менее чем за тридцать дней до даты его рассмотрения собранием кредиторов\nB. Не менее чем за десять дней до даты его рассмотрения собранием кредиторов\nC. Не менее чем за двадцать дней до даты его рассмотрения собранием кредиторов\nD. Быть преподавателем в университете\nE. Не менее чем за пятнадцать дней до даты его рассмотрения собранием кредиторов\nF. Оператор не обязан разъяснять субъекту порядок принятия решений на основании автоматизированной обработки его персональных данных.\nG. Субъект персональных данных не имеет права заявить возражение против принятия решений на основании автоматизированной обработки его данных.\nH. Залогодержатель вправе потребовать досрочного исполнения обеспеченного ипотекой обязательства.\nI. Через 6 месяцев\nJ. Залогодатель должен вдвое увеличить размер ипотечных платежей.\nK. Только требования, установленные международными агентствами\nL. Быть членом экипажа военного корабля Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 234, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.07424305379390717, + "B": 0.10802299529314041, + "C": 0.09532996267080307, + "D": 0.07424305379390717, + "E": 0.07424305379390717, + "F": 0.06551925837993622, + "G": 0.08412839472293854, + "H": 0.08412839472293854, + "I": 0.019982246682047844, + "J": 0.08412839472293854, + "K": 0.05782054737210274, + "L": 0.037331752479076385 + }, + "sample": { + "question": "К какому из перечисленных видов деятельности иностранный гражданин НЕ имеет права согласно Статье 14 Федерального закона 'О правовом положении иностранных граждан в Российской Федерации' N 115-ФЗ?", + "answerA": "Быть преподавателем в университете", + "answerB": "Быть членом экипажа военного корабля Российской Федерации", + "answerC": "Работать в международной IT-компании", + "answerD": "Заниматься научной деятельностью", + "correct_answer": "answerB", + "choices": [ + "Залогодатель должен вдвое увеличить размер ипотечных платежей.", + "Только требования, установленные международными агентствами", + "Оператор не обязан разъяснять субъекту порядок принятия решений на основании автоматизированной обработки его персональных данных.", + "Участники предварительного отбора должны иметь аккредитацию у заказчика", + "Быть членом экипажа военного корабля Российской Федерации", + "Работать в международной IT-компании", + "Быть преподавателем в университете", + "Заниматься научной деятельностью", + "Через 6 месяцев", + "Залогодержатель вправе потребовать досрочного исполнения обеспеченного ипотекой обязательства.", + "Нормативы энергопотребления и водоиспользования", + "Субъект персональных данных не имеет права заявить возражение против принятия решений на основании автоматизированной обработки его данных." + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nК какому из перечисленных видов деятельности иностранный гражданин НЕ имеет права согласно Статье 14 Федерального закона 'О правовом положении иностранных граждан в Российской Федерации' N 115-ФЗ?\nA. Залогодатель должен вдвое увеличить размер ипотечных платежей.\nB. Только требования, установленные международными агентствами\nC. Оператор не обязан разъяснять субъекту порядок принятия решений на основании автоматизированной обработки его персональных данных.\nD. Участники предварительного отбора должны иметь аккредитацию у заказчика\nE. Быть членом экипажа военного корабля Российской Федерации\nF. Работать в международной IT-компании\nG. Быть преподавателем в университете\nH. Заниматься научной деятельностью\nI. Через 6 месяцев\nJ. Залогодержатель вправе потребовать досрочного исполнения обеспеченного ипотекой обязательства.\nK. Нормативы энергопотребления и водоиспользования\nL. Субъект персональных данных не имеет права заявить возражение против принятия решений на основании автоматизированной обработки его данных.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 210, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.003701899666339159, + "B": 0.010062807239592075, + "C": 0.04800696671009064, + "D": 0.027353545650839806, + "E": 0.017660776153206825, + "F": 0.01213806215673685, + "G": 0.04236600175499916, + "H": 0.75095534324646, + "I": 0.0013618528610095382, + "J": 0.0015431813662871718, + "K": 0.01659076288342476, + "L": 0.001748653594404459 + }, + "sample": { + "question": "Какие последствия утраты или повреждения заложенного имущества указаны в Статье 36 Федерального закона \"Об ипотеке (залоге недвижимости)\" N 102-ФЗ?", + "answerA": "Залогодатель должен вдвое увеличить размер ипотечных платежей.", + "answerB": "Залогодержатель вправе потребовать досрочного исполнения обеспеченного ипотекой обязательства.", + "answerC": "Залогодатель обязан заменить поврежденное имущество аналогичным в срок до 30 дней.", + "answerD": "Залогодержатель приобретает право владения заложенным имуществом до его полного восстановления.", + "correct_answer": "Залогодержатель вправе потребовать досрочного исполнения обеспеченного ипотекой обязательства.", + "choices": [ + "Только требования, установленные международными агентствами", + "Залогодатель должен вдвое увеличить размер ипотечных платежей.", + "Залогодержатель приобретает право владения заложенным имуществом до его полного восстановления.", + "Нормативы энергопотребления и водоиспользования", + "Через 6 месяцев", + "По личному усмотрению исполнителя", + "Оператор не обязан разъяснять субъекту порядок принятия решений на основании автоматизированной обработки его персональных данных.", + "Залогодержатель вправе потребовать досрочного исполнения обеспеченного ипотекой обязательства.", + "Не ранее чем через один год", + "Субъект персональных данных не имеет права заявить возражение против принятия решений на основании автоматизированной обработки его данных.", + "Участники предварительного отбора должны иметь аккредитацию у заказчика", + "Залогодатель обязан заменить поврежденное имущество аналогичным в срок до 30 дней." + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакие последствия утраты или повреждения заложенного имущества указаны в Статье 36 Федерального закона \"Об ипотеке (залоге недвижимости)\" N 102-ФЗ?\nA. Только требования, установленные международными агентствами\nB. Залогодатель должен вдвое увеличить размер ипотечных платежей.\nC. Залогодержатель приобретает право владения заложенным имуществом до его полного восстановления.\nD. Нормативы энергопотребления и водоиспользования\nE. Через 6 месяцев\nF. По личному усмотрению исполнителя\nG. Оператор не обязан разъяснять субъекту порядок принятия решений на основании автоматизированной обработки его персональных данных.\nH. Залогодержатель вправе потребовать досрочного исполнения обеспеченного ипотекой обязательства.\nI. Не ранее чем через один год\nJ. Субъек�� персональных данных не имеет права заявить возражение против принятия решений на основании автоматизированной обработки его данных.\nK. Участники предварительного отбора должны иметь аккредитацию у заказчика\nL. Залогодатель обязан заменить поврежденное имущество аналогичным в срок до 30 дней.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 228, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.003769213566556573, + "B": 0.035761307924985886, + "C": 0.6338843107223511, + "D": 0.021690327674150467, + "E": 0.007041818927973509, + "F": 0.014907530508935452, + "G": 0.11015256494283676, + "H": 0.010245785117149353, + "I": 0.00021264448878355324, + "J": 0.002286143833771348, + "K": 0.03155924007296562, + "L": 8.86434136191383e-05 + }, + "sample": { + "question": "В соответствии с Федеральным законом \"О персональных данных\" N 152-ФЗ, какое утверждение описывает права субъектов персональных данных при принятии решений на основании исключительно автоматизированной обработки их персональных данных?", + "answerA": "Субъект персональных данных не имеет права заявить возражение против принятия решений на основании автоматизированной обработки его данных.", + "answerB": "Оператор не обязан разъяснять субъекту порядок принятия решений на основании автоматизированной обработки его персональных данных.", + "answerC": "Оператор обязан разъяснить субъекту порядок принятия решения на основании автоматизированной обработки его персональных данных и предоставить возможность заявить возражение против такого решения.", + "answerD": "Решение, порождающее юридические последствия в отношении субъекта персональных данных, может быть принято исключительно без его согласия и без предусмотрения мер по обеспечению прав и законных интересов субъекта.", + "correct_answer": "C", + "choices": [ + "Федеральная антимонопольная служба", + "Субъект персональных данных не имеет права заявить возражение против принятия решений на основании автоматизированной обработки его данных.", + "Оператор обязан разъяснить субъекту порядок принятия решения на основании автоматизированной обработки его персональных данных и предоставить возможность заявить возражение против такого решения.", + "Через 6 месяцев", + "Нормативы энергопотребления и водоиспользования", + "Нормативы допустимых выбросов, нормативы допустимых сбросов, технологические нормативы, технические нормативы, нормативы образования отходов и лимиты на их размещение, нормативы допустимых физических воздействий, нормативы допустимого изъятия компонентов природной среды, нормативы допустимой антропогенной нагрузки на окружающую среду", + "Решение, порождающее юридические последствия в отношении субъекта персональных данных, может быть принято исключительно без его согласия и без предусмотрения мер по обеспечению прав и законных интересов субъекта.", + "Не ранее чем через один год", + "Участники предварительного отбора должны иметь аккредитацию у заказчика", + "Оператор не обязан разъяснять субъекту порядок принятия решений на основании автоматизированной обработки его персональных данных.", + "По личному усмотрению исполнителя", + "Только требования, установленные международными агентствами" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nВ соответствии с Федеральным законом \"О персональных данных\" N 152-ФЗ, какое утверждение описывает права субъектов персональных данных при принятии решений на основании исключительно автоматизированной обработки их персональных данных?\nA. Федеральная антимонопольная служба\nB. Субъект персональных данных не имеет права заявить возражение против принятия решений на основании автоматизированной обработки его данных.\nC. Оператор обязан разъяснить субъекту порядок принятия решения на основании автоматизированной обработки его персональных данных и предоставить возможность заявить возражение против такого решения.\nD. Через 6 месяцев\nE. Нормативы энергопотребления и водоиспользования\nF. Нормативы допустимых выбросов, нормативы допустимых сбросов, технологические нормативы, технические нормативы, нормативы образования отходов и лимиты на их размещение, нормативы допустимых физических воздействий, нормативы допустимого изъятия компонентов природной среды, нормативы допустимой антропогенной нагрузки на окружающую среду\nG. Решение, порождающее юридические последствия в отношении субъекта персональных данных, может быть принято исключительно без его согласия и без предусмотрения мер по обеспечению прав и законных интересов субъекта.\nH. Не ранее чем через один год\nI. Участники предварительного отбора должны иметь аккредитацию у заказчика\nJ. Оператор не обязан разъяснять субъекту порядок принятия решений на основании автоматизированной обработки его персональных данных.\nK. По личному усмотрению исполнителя\nL. Только требования, установленные международными агентствами\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 302, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.011783218011260033, + "B": 0.012543169781565666, + "C": 0.03863568231463432, + "D": 0.014213274233043194, + "E": 0.3234926164150238, + "F": 0.196208193898201, + "G": 0.023433728143572807, + "H": 0.0562145821750164, + "I": 0.003825450548902154, + "J": 0.023433728143572807, + "K": 0.014213274233043194, + "L": 0.030089499428868294 + }, + "sample": { + "question": "Какие требования предъявляются к участникам предварительного отбора в контексте Федерального закона 'О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд' N 44-ФЗ?", + "answerA": "Только требования, установленные международными агентствами", + "answerB": "Участники предварительного отбора должны иметь аккредитацию у заказчика", + "answerC": "Участники должны соответствовать требованиям, предусмотренным частью 1 и пунктом 2 части 2 статьи 11 Федерального закона", + "answerD": "Участники обязаны представить обеспечение заявки в двойном размере", + "correct_answer": "Участники должны соответствовать требованиям, предусмотренным частью 1 и пунктом 2 части 2 статьи 11 Федерального закона", + "choices": [ + "Участники обязаны представить обеспечение заявки в двойном размере", + "По личному усмотрению исполнителя", + "Нормативы допустимых выбросов, нормативы допустимых сбросов, технологические нормативы, технические нормативы, нормативы образования отходов и лимиты на их размещение, нормативы допустимых физических воздействий, нормативы допустимого изъятия компонентов природной среды, нормативы допустимой антропогенной нагрузки на окружающую среду", + "Только требования, установленные международными агентствами", + "Через 6 месяцев", + "Участники должны соответствовать требованиям, предусмотренным частью 1 и пунктом 2 части 2 статьи 11 Федерального закона", + "Не ранее чем через один год", + "Нормативы энергопотребления и водоиспользования", + "Федеральная антимонопольная служба", + "Участники предварительного отбора должны иметь аккредитацию у заказчика", + "По инициативе заинтересованной стороны без уведомления суда", + "Размещение заказа осуществляется только через аукционы." + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКакие требования предъявляются к участникам предварительного отбора в контексте Федерального закона 'О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд' N 44-ФЗ?\nA. Участники обязаны представить обеспечение заявки в двойном размере\nB. По личному усмотрению исполнителя\nC. Нормативы допустимых выбросов, нормативы допустимых сбросов, технологические нормативы, технические нормативы, нормативы образования отходов и лимиты на их размещение, нормативы допустимых физических воздействий, нормативы допустимого изъятия компонентов природной среды, нормативы допустимой антропогенной нагрузки на окружающую среду\nD. Только требования, установленные международными агентствами\nE. Через 6 месяцев\nF. Участники должны соответствовать требованиям, предусмотренным частью 1 и пунктом 2 части 2 статьи 11 Федерального закона\nG. Не ранее чем через один год\nH. Нормативы энергопотребления и водоиспользования\nI. Федеральная антимонопольная служба\nJ. Участники предварительного отбора должны иметь аккредитацию у заказчика\nK. По инициативе заинтересованной стороны без уведомления суда\nL. Размещение заказа осуществляется только через аукционы.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 260, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.001934344763867557, + "B": 0.01619607023894787, + "C": 0.018352551385760307, + "D": 0.0440254807472229, + "E": 0.038852352648973465, + "F": 0.020796164870262146, + "G": 0.1056116446852684, + "H": 0.6886743903160095, + "I": 0.0017070532776415348, + "J": 0.0013294543605297804, + "K": 0.0031891954131424427, + "L": 0.0033948805648833513 + }, + "sample": { + "question": "Согласно Федеральному закону \"О гражданстве Российской Федерации\" N 62-ФЗ, статье 41.9, через какой срок после отклонения заявления можно вновь обратиться с заявлением о приеме в гражданство РФ или о признании гражданином РФ?", + "answerA": "Через 6 месяцев", + "answerB": "Не ранее чем через один год", + "answerC": "Через 2 года", + "answerD": "Через 3 месяца", + "correct_answer": "B", + "choices": [ + "По личному усмотрению исполнителя", + "Нормативы энергопотребления и водоиспользования", + "Федеральная антимонопольная служба", + "На дату внесения в Единый государственный реестр юридических лиц записи о ликвидации юридического лица", + "Нормативы допустимых выбросов, нормативы допустимых сбросов, технологические нормативы, технические нормативы, нормативы образования отходов и лимиты на их размещение, нормативы допустимых физических воздействий, нормативы допустимого изъятия компонентов природной среды, нормативы допустимой антропогенной нагрузки на окружающую среду", + "Через 3 месяца", + "Через 6 месяцев", + "Не ранее чем через один год", + "Размещение заказа осуществляется только через аукционы.", + "Через 2 года", + "По инициативе заинтересованной стороны без уведомления суда", + "Министерство промышленности и торговли" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nСогласно Федеральному закону \"О гражданстве Российской Федерации\" N 62-ФЗ, статье 41.9, через какой срок после отклонения заявления можно вновь обратиться с заявлением о приеме в гражданство РФ или о признании гражданином РФ?\nA. По личному усмотрению исполнителя\nB. Нормативы энергопотребления и водоиспользования\nC. Федеральная антимонопольная служба\nD. На дату внесения в Единый государственный реестр юридических лиц записи о ликвидации юридического лица\nE. Нормативы допустимых выбросов, нормативы допустимых сбросов, технологические нормативы, технические нормативы, нормативы образования отходов и лимиты на их размещение, нормативы допустимых физических воздействий, нормативы допустимого изъятия компонентов природной среды, нормативы допустимой антропогенной нагрузки на окружающую среду\nF. Через 3 месяца\nG. Через 6 месяцев\nH. Не ранее чем через один год\nI. Размещение заказа осуществляется только через аукционы.\nJ. Через 2 года\nK. По инициативе заинтересованной стороны без уведомления суда\nL. Министерство промышленности и торговли\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 246, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.029434174299240112, + "B": 0.020229794085025787, + "C": 0.002269719960168004, + "D": 0.013061336241662502, + "E": 0.06231215223670006, + "F": 0.027650848031044006, + "G": 0.2623439431190491, + "H": 0.09651095420122147, + "I": 0.022923357784748077, + "J": 0.07516280561685562, + "K": 0.2315177321434021, + "L": 0.040231749415397644 + }, + "sample": { + "question": "Какие нормативы допустимого воздействия на окружающую среду устанавливаются Федеральным законом \"Об охране окружающей среды\" N 7-ФЗ в соответствии со Статьей 21?", + "answerA": "Нормативы энергопотребления и водоиспользования", + "answerB": "Нормативы допустимых выбросов, нормативы допустимых сбросов, технологические нормативы, технические нормативы, нормативы образования отходов и лимиты на их размещение, нормативы допустимых физических воздействий, нормативы допустимого изъятия компонентов природной среды, нормативы допустимой антропогенной нагрузки на окружающую среду", + "answerC": "Нормативы использования пестицидов и агрохимикатов", + "answerD": "Стандарты безопасности для работы в опасных производственных участках", + "correct_answer": "answerB", + "choices": [ + "Нормативы энергопотребления и водоиспользования", + "На дату внесения в Единый государственный реестр юридических лиц записи о ликвидации юридического лица", + "Федеральная антимонопольная служба", + "По личному усмотрению исполнителя", + "Стандарты безопасности для работы в опасных производственных участках", + "Максимальная цена контракта должна быть указана в запросе котировок.", + "Нормативы использования пестицидов и агрохимикатов", + "Размещение заказа осуществляется только через аукционы.", + "Министерство промышленности и торговли", + "По инициативе заинтересованной стороны без уведомления суда", + "Декларант должен подать заявление о желании применить таможенный транзит не позднее 30 дней с момента ввоза товара.", + "Нормативы допустимых выбросов, нормативы допустимых сбросов, технологические нормативы, технические нормативы, нормативы образования отходов и лимиты на их размещение, нормативы допустимых физических воздействий, нормативы допустимого изъятия компонентов природной среды, нормативы допустимой антропогенной нагрузки на окружающую среду" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКакие нормативы допустимого воздействия на окружающую среду устанавливаются Федеральным законом \"Об охране окружающей среды\" N 7-ФЗ в соответствии со Статьей 21?\nA. Нормативы энергопотребления и водоиспользования\nB. На дату внесения в Единый государственный реестр юридических лиц записи о ликвидации юридического лица\nC. Федеральная антимонопольная служба\nD. По личном�� усмотрению исполнителя\nE. Стандарты безопасности для работы в опасных производственных участках\nF. Максимальная цена контракта должна быть указана в запросе котировок.\nG. Нормативы использования пестицидов и агрохимикатов\nH. Размещение заказа осуществляется только через аукционы.\nI. Министерство промышленности и торговли\nJ. По инициативе заинтересованной стороны без уведомления суда\nK. Декларант должен подать заявление о желании применить таможенный транзит не позднее 30 дней с момента ввоза товара.\nL. Нормативы допустимых выбросов, нормативы допустимых сбросов, технологические нормативы, технические нормативы, нормативы образования отходов и лимиты на их размещение, нормативы допустимых физических воздействий, нормативы допустимого изъятия компонентов природной среды, нормативы допустимой антропогенной нагрузки на окружающую среду\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 271, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.06420347839593887, + "B": 0.005270142573863268, + "C": 0.038941383361816406, + "D": 0.01264241524040699, + "E": 0.07275207340717316, + "F": 0.0009748783777467906, + "G": 0.00233861175365746, + "H": 0.00868899654597044, + "I": 0.6902524828910828, + "J": 0.006766997743397951, + "K": 0.0010377526050433517, + "L": 5.8545992942526937e-05 + }, + "sample": { + "question": "Каким образом и по каким основаниям может быть приостановлено исполнение судебного акта по делу об административном правонарушении согласно статье 41 Федерального закона \"Об исполнительном производстве\" N 229-ФЗ?", + "answerA": "По личному усмотрению исполнителя", + "answerB": "По инициативе заинтересованной стороны без уведомления суда", + "answerC": "Судом, другим органом или должностным лицом, выдавшими исполнительный документ, по основаниям и в порядке, установленным федеральным законом", + "answerD": "Автоматически после истечения срока давности", + "correct_answer": "answerC", + "choices": [ + "По личному усмотрению исполнителя", + "На дату внесения в Единый государственный реестр юридических лиц записи о ликвидации юридического лица", + "После даты внесения в Единый государственный реестр юридических лиц записи о ликвидации юридического лица", + "Министерство промышленности и торговли", + "Необходимо получить письменное согласие всех соседей по прилегающим земельным участкам", + "Декларант должен подать заявление о желании применить таможенный транзит не позднее 30 дней с момента ввоза товара.", + "Автоматически после истечения срока давности", + "По инициативе заинтересованной стороны без уведомления суда", + "Судом, другим органом или должностным лицом, выдавшими исполнительный документ, по основаниям и в порядке, установленным федеральным законом", + "Федеральная антимонопольная служба", + "Максимальная цена контракта дол��на быть указана в запросе котировок.", + "Размещение заказа осуществляется только через аукционы." + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКаким образом и по каким основаниям может быть приостановлено исполнение судебного акта по делу об административном правонарушении согласно статье 41 Федерального закона \"Об исполнительном производстве\" N 229-ФЗ?\nA. По личному усмотрению исполнителя\nB. На дату внесения в Единый государственный реестр юридических лиц записи о ликвидации юридического лица\nC. После даты внесения в Единый государственный реестр юридических лиц записи о ликвидации юридического лица\nD. Министерство промышленности и торговли\nE. Необходимо получить письменное согласие всех соседей по прилегающим земельным участкам\nF. Декларант должен подать заявление о желании применить таможенный транзит не позднее 30 дней с момента ввоза товара.\nG. Автоматически после истечения срока давности\nH. По инициативе заинтересованной стороны без уведомления суда\nI. Судом, другим органом или должностным лицом, выдавшими исполнительный документ, по основаниям и в порядке, установленным федеральным законом\nJ. Федеральная антимонопольная служба\nK. Максимальная цена контракта должна быть указана в запросе котировок.\nL. Размещение заказа осуществляется только через аукционы.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 244, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0010041018249467015, + "B": 0.0016554842004552484, + "C": 0.0027294319588690996, + "D": 0.971744954586029, + "E": 0.0016554842004552484, + "F": 0.0003693884063977748, + "G": 0.0015551833203062415, + "H": 0.0002538766711950302, + "I": 5.664754644385539e-05, + "J": 5.3215444495435804e-05, + "K": 0.0005048940656706691, + "L": 1.622979289095383e-05 + }, + "sample": { + "question": "Какой федеральный орган осуществляет государственный контроль (надзор) за обращением медицинских изделий согласно Федеральному закону \"Об основах охраны здоровья граждан в Российской Федерации\" N 323-ФЗ?", + "answerA": "Федеральная антимонопольная служба", + "answerB": "Министерство промышленности и торговли", + "answerC": "Федеральная служба по надзору в сфере здравоохранения", + "answerD": "Министерство здравоохранения", + "correct_answer": "Федеральная служба по надзору в сфере здравоохранения", + "choices": [ + "На дату внесения в Единый государственный реестр юридических лиц записи о ликвидации юридического лица", + "Декларант должен подать заявление о желании применить таможенный транзит не позднее 30 дней с момента ввоза товара.", + "Размещение заказа осуществляется только через аукционы.", + "Федеральная служба по надзору в сфере здравоохранения", + "Таможенная процедура таможенного транзита не применяется к товарам, перемещаемым трубопроводным транспортом.", + "Максимальная цена контракта должна б��ть указана в запросе котировок.", + "Министерство здравоохранения", + "Не более чем 30 календарных дней", + "Необходимо получить письменное согласие всех соседей по прилегающим земельным участкам", + "Федеральная антимонопольная служба", + "После даты внесения в Единый государственный реестр юридических лиц записи о ликвидации юридического лица", + "Министерство промышленности и торговли" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКакой федеральный орган осуществляет государственный контроль (надзор) за обращением медицинских изделий согласно Федеральному закону \"Об основах охраны здоровья граждан в Российской Федерации\" N 323-ФЗ?\nA. На дату внесения в Единый государственный реестр юридических лиц записи о ликвидации юридического лица\nB. Декларант должен подать заявление о желании применить таможенный транзит не позднее 30 дней с момента ввоза товара.\nC. Размещение заказа осуществляется только через аукционы.\nD. Федеральная служба по надзору в сфере здравоохранения\nE. Таможенная процедура таможенного транзита не применяется к товарам, перемещаемым трубопроводным транспортом.\nF. Максимальная цена контракта должна быть указана в запросе котировок.\nG. Министерство здравоохранения\nH. Не более чем 30 календарных дней\nI. Необходимо получить письменное согласие всех соседей по прилегающим земельным участкам\nJ. Федеральная антимонопольная служба\nK. После даты внесения в Единый государственный реестр юридических лиц записи о ликвидации юридического лица\nL. Министерство промышленности и торговли\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 237, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.028213655576109886, + "B": 0.08690417557954788, + "C": 0.03622705116868019, + "D": 0.046516455709934235, + "E": 0.11158717423677444, + "F": 0.046516455709934235, + "G": 0.06768103688955307, + "H": 0.06768103688955307, + "I": 0.014186717569828033, + "J": 0.3437126874923706, + "K": 0.052710048854351044, + "L": 0.0018036386463791132 + }, + "sample": { + "question": "Какие особенности установлены для размещения заказа путем запроса котировок в случае оказания гуманитарной помощи или ликвидации последствий чрезвычайных ситуаций природного или техногенного характера согласно Федеральному закону \"О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд\" N 44-ФЗ, Статья 53?", + "answerA": "Размещение заказа осуществляется только через аукционы.", + "answerB": "Максимальная цена контракта должна быть указана в запросе котировок.", + "answerC": "Заказчик вправе осуществить размещение заказа у единственного поставщика без проведения запроса котировок.", + "answerD": "В запросе котировок не указывается максимальная цена контракта.", + "correct_answer": "answerD", + "choices": [ + "Декларант должен подать зая��ление о желании применить таможенный транзит не позднее 30 дней с момента ввоза товара.", + "После даты внесения в Единый государственный реестр юридических лиц записи о ликвидации юридического лица", + "Не более чем 30 календарных дней", + "Таможенная процедура таможенного транзита не применяется к товарам, перемещаемым трубопроводным транспортом.", + "Заказчик вправе осуществить размещение заказа у единственного поставщика без проведения запроса котировок.", + "В запросе котировок не указывается максимальная цена контракта.", + "Размещение заказа осуществляется только через аукционы.", + "Необходимо уведомить соответствующие государственные органы за 30 дней до начала строительства", + "Необходимо получить письменное согласие всех соседей по прилегающим земельным участкам", + "Максимальная цена контракта должна быть указана в запросе котировок.", + "На дату внесения в Единый государственный реестр юридических лиц записи о ликвидации юридического лица", + "Разработка федеральных бюджетов" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКакие особенности установлены для размещения заказа путем запроса котировок в случае оказания гуманитарной помощи или ликвидации последствий чрезвычайных ситуаций природного или техногенного характера согласно Федеральному закону \"О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд\" N 44-ФЗ, Статья 53?\nA. Декларант должен подать заявление о желании применить таможенный транзит не позднее 30 дней с момента ввоза товара.\nB. После даты внесения в Единый государственный реестр юридических лиц записи о ликвидации юридического лица\nC. Не более чем 30 календарных дней\nD. Таможенная процедура таможенного транзита не применяется к товарам, перемещаемым трубопроводным транспортом.\nE. Заказчик вправе осуществить размещение заказа у единственного поставщика без проведения запроса котировок.\nF. В запросе котировок не указывается максимальная цена контракта.\nG. Размещение заказа осуществляется только через аукционы.\nH. Необходимо уведомить соответствующие государственные органы за 30 дней до начала строительства\nI. Необходимо получить письменное согласие всех соседей по прилегающим земельным участкам\nJ. Максимальная цена контракта должна быть указана в запросе котировок.\nK. На дату внесения в Единый государственный реестр юридических лиц записи о ликвидации юридического лица\nL. Разработка федеральных бюджетов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 283, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.02144678309559822, + "B": 0.015690801665186882, + "C": 0.012220008298754692, + "D": 0.1313774734735489, + "E": 0.02282998152077198, + "F": 0.029314275830984116, + "G": 0.09029433131217957, + "H": 0.5887929797172546, + "I": 0.007889830507338047, + "J": 0.004785424564033747, + "K": 0.016702773049473763, + "L": 0.025869758799672127 + }, + "sample": { + "question": "Когда составляется последняя бухгалтерская (финансовая) отчетность ликвидируемого юридического лица согласно Федеральному закону \"О бухгалтерском учете\" N 402-ФЗ?", + "answerA": "На дату внесения в Единый государственный реестр юридических лиц записи о ликвидации юридического лица", + "answerB": "После даты внесения в Единый государственный реестр юридических лиц записи о ликвидации юридического лица", + "answerC": "На дату, предшествующую дате внесения в Единый государственный реестр юридических лиц записи о ликвидации юридического лица", + "answerD": "В первый день месяца, следующего за месяцем внесения записи о ликвидации в Единый государственный реестр юридических лиц", + "correct_answer": "answerC", + "choices": [ + "Не более чем 30 календарных дней", + "Декларант должен подать заявление о желании применить таможенный транзит не позднее 30 дней с момента ввоза товара.", + "Не более чем 45 календарных дней", + "На дату внесения в Единый государственный реестр юридических лиц записи о ликвидации юридического лица", + "Необходимо уведомить соответствующие государственные органы за 30 дней до начала строительства", + "Необходимо получить письменное согласие всех соседей по прилегающим земельным участкам", + "Организация праздника для работников объекта", + "После даты внесения в Единый государственный реестр юридических лиц записи о ликвидации юридического лица", + "Таможенная процедура таможенного транзита не применяется к товарам, перемещаемым трубопроводным транспортом.", + "В первый день месяца, следующего за месяцем внесения записи о ликвидации в Единый государственный реестр юридических лиц", + "Разработка федеральных бюджетов", + "На дату, предшествующую дате внесения в Единый государственный реестр юридических лиц записи о ликвидации юридического лица" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКогда составляется последняя бухгалтерская (финансовая) отчетность ликвидируемого юридического лица согласно Федеральному закону \"О бухгалтерском учете\" N 402-ФЗ?\nA. Не более чем 30 календарных дней\nB. Декларант должен подать заявление о желании применить таможенный транзит не позднее 30 дней с момента ввоза товара.\nC. Не более чем 45 календарных дней\nD. На дату внесения в Единый государственный реестр юридических лиц записи о ликвидации юридического лица\nE. Необходимо уведомить соответствующие государственные органы за 30 дней до начала строительства\nF. Необходимо получить письменное согласие всех соседей по прилегающим земельным участкам\nG. Организация праздника для работников объекта\nH. После даты внесения в Единый государственный реестр юридических лиц записи о ликвидации юридического лица\nI. Таможенная процедура таможенного транзита не применяется к товарам, перемещаемым трубопроводным транспортом.\nJ. В первый день месяца, следующего за месяцем внесения записи о ликвидации в Единый государственный реестр юридических лиц\nK. Разработка федеральных бюджетов\nL. На дату, предшествующую дате внесения в Единый государственный реестр юридических лиц записи о ликвидации юридического лица\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 268, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.06213860213756561, + "B": 0.054837122559547424, + "C": 0.006152555346488953, + "D": 0.0178030077368021, + "E": 0.02590322308242321, + "F": 0.0178030077368021, + "G": 0.015711098909378052, + "H": 0.02935219742357731, + "I": 0.04270719736814499, + "J": 0.5895546674728394, + "K": 0.03326039761304855, + "L": 0.0017627364723011851 + }, + "sample": { + "question": "Какие особенности применения таможенной процедуры таможенного транзита определены в Федеральном законе \"О таможенном регулировании в Российской Федерации\" N 289-ФЗ, в отношении товаров, перемещаемых трубопроводным транспортом?", + "answerA": "Декларант должен подать заявление о желании применить таможенный транзит не позднее 30 дней с момента ввоза товара.", + "answerB": "Таможенная процедура таможенного транзита не применяется к товарам, перемещаемым трубопроводным транспортом.", + "answerC": "Декларант, поместивший товары под таможенную процедуру таможенного транзита, обязан представить точные сведения о фактически перевезенных товарах в установленные сроки.", + "answerD": "Применение таможенной процедуры в отношении иностранных товаров, перемещаемых трубопроводным транспортом, регулируется исключительно межгосударственными соглашениями.", + "correct_answer": "C", + "choices": [ + "Декларант, поместивший товары под таможенную процедуру таможенного транзита, обязан представить точные сведения о фактически перевезенных товарах в установленные сроки.", + "Не более чем 30 календарных дней", + "Не более чем 45 календарных дней", + "Предоставление юридической консультации должнику по вопросам его долгов", + "Определение долгосрочных целей и задач муниципального управления и социально-экономического развития муниципальных образований", + "Разработка федеральных бюджетов", + "Организация праздника для работников объекта", + "Необходимо получить письменное согласие всех соседей по прилегающим земельным участкам", + "Декларант должен подать заявление о желании применить таможенный транзит не позднее 30 дней с момента ввоза товара.", + "Таможенная процедура таможенного транзита не применяется к товарам, перемещаемым трубопроводным транспортом.", + "Применение таможенной процедуры в отношении иностранных товаров, перемещаемых ��рубопроводным транспортом, регулируется исключительно межгосударственными соглашениями.", + "Необходимо уведомить соответствующие государственные органы за 30 дней до начала строительства" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКакие особенности применения таможенной процедуры таможенного транзита определены в Федеральном законе \"О таможенном регулировании в Российской Федерации\" N 289-ФЗ, в отношении товаров, перемещаемых трубопроводным транспортом?\nA. Декларант, поместивший товары под таможенную процедуру таможенного транзита, обязан представить точные сведения о фактически перевезенных товарах в установленные сроки.\nB. Не более чем 30 календарных дней\nC. Не более чем 45 календарных дней\nD. Предоставление юридической консультации должнику по вопросам его долгов\nE. Определение долгосрочных целей и задач муниципального управления и социально-экономического развития муниципальных образований\nF. Разработка федеральных бюджетов\nG. Организация праздника для работников объекта\nH. Необходимо получить письменное согласие всех соседей по прилегающим земельным участкам\nI. Декларант должен подать заявление о желании применить таможенный транзит не позднее 30 дней с момента ввоза товара.\nJ. Таможенная процедура таможенного транзита не применяется к товарам, перемещаемым трубопроводным транспортом.\nK. Применение таможенной процедуры в отношении иностранных товаров, перемещаемых трубопроводным транспортом, регулируется исключительно межгосударственными соглашениями.\nL. Необходимо уведомить соответствующие государственные органы за 30 дней до начала строительства\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 289, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.8899762034416199, + "B": 0.009886743500828743, + "C": 0.009886743500828743, + "D": 0.0049713668413460255, + "E": 0.005996612831950188, + "F": 0.0014243203913792968, + "G": 0.0018288635183125734, + "H": 0.00266098091378808, + "I": 0.0017180583672598004, + "J": 0.0004922319203615189, + "K": 0.000434393179602921, + "L": 3.349680264363997e-05 + }, + "sample": { + "question": "Какие условия должны быть соблюдены, чтобы залогодатель мог возвести здания или сооружения на заложенном земельном участке, если права залогодержателя удостоверены закладной?", + "answerA": "Необходимо получить письменное согласие всех соседей по прилегающим земельным участкам", + "answerB": "Необходимо уведомить соответствующие государственные органы за 30 дней до начала строительства", + "answerC": "Право залогодателя на это должно быть предусмотрено в закладной, с соблюдением условий, которые в ней отражены", + "answerD": "Залогодатель должен пригласить залогодержателя на обсуждение проекта строительства", + "correct_answer": "Право залогодателя на это должно быть предусмотрено в закладной, с соблюдением условий, которые в ней отражены", + "choices": [ + "Право залогодателя на это должно быть предусмотрено в закладной, с соблюдением условий, которые в ней отражены", + "Необходимо уведомить соответствующие государственные органы за 30 дней до начала строительства", + "Разработка федеральных бюджетов", + "Реализация мероприятий по предотвращению и ликвидации загрязнения окружающей среды", + "Определение долгосрочных целей и задач муниципального управления и социально-экономического развития муниципальных образований", + "Организация праздника для работников объекта", + "Не более чем 45 календарных дней", + "Залогодатель должен пригласить залогодержателя на обсуждение проекта строительства", + "Не более чем 30 календарных дней", + "с 1 января 2025 года", + "Необходимо получить письменное согласие всех соседей по прилегающим земельным участкам", + "Предоставление юридической консультации должнику по вопросам его долгов" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКакие условия должны быть соблюдены, чтобы залогодатель мог возвести здания или сооружения на заложенном земельном участке, если права залогодержателя удостоверены закладной?\nA. Право залогодателя на это должно быть предусмотрено в закладной, с соблюдением условий, которые в ней отражены\nB. Необходимо уведомить соответствующие государственные органы за 30 дней до начала строительства\nC. Разработка федеральных бюджетов\nD. Реализация мероприятий по предотвращению и ликвидации загрязнения окружающей среды\nE. Определение долгосрочных целей и задач муниципального управления и социально-экономического развития муниципальных образований\nF. Организация праздника для работников объекта\nG. Не более чем 45 календарных дней\nH. Залогодатель должен пригласить залогодержателя на обсуждение проекта строительства\nI. Не более чем 30 календарных дней\nJ. с 1 января 2025 года\nK. Необходимо получить письменное согласие всех соседей по прилегающим земельным участкам\nL. Предоставление юридической консультации должнику по вопросам его долгов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 226, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.04658084735274315, + "B": 0.03627719730138779, + "C": 0.18423081934452057, + "D": 0.05278301611542702, + "E": 0.02825271338224411, + "F": 0.03627719730138779, + "G": 0.1266198754310608, + "H": 0.02493293024599552, + "I": 0.03201451525092125, + "J": 0.07679883390665054, + "K": 0.18423081934452057, + "L": 0.0031698662787675858 + }, + "sample": { + "question": "Сколько времени занимает проведение анализа финансового положения негосударственного пенсионного фонда согласно статье 186.1-2 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?", + "answerA": "Не более чем 30 календарных дней", + "answerB": "Не более чем 45 календарных дней", + "answerC": "Не ��олее чем 60 календарных дней", + "answerD": "Не более чем 90 календарных дней", + "correct_answer": "B", + "choices": [ + "Не более чем 60 календарных дней", + "Определение долгосрочных целей и задач муниципального управления и социально-экономического развития муниципальных образований", + "Не более чем 45 календарных дней", + "Разработка федеральных бюджетов", + "Только экономические требования", + "Организация праздника для работников объекта", + "Реализация мероприятий по предотвращению и ликвидации загрязнения окружающей среды", + "с 1 января 2025 года", + "Предоставление юридической консультации должнику по вопросам его долгов", + "Не более чем 30 календарных дней", + "Не более чем 90 календарных дней", + "Вызов сторон исполнительного производства или их представителей" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nСколько времени занимает проведение анализа финансового положения негосударственного пенсионного фонда согласно статье 186.1-2 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?\nA. Не более чем 60 календарных дней\nB. Определение долгосрочных целей и задач муниципального управления и социально-экономического развития муниципальных образований\nC. Не более чем 45 календарных дней\nD. Разработка федеральных бюджетов\nE. Только экономические требования\nF. Организация праздника для работников объекта\nG. Реализация мероприятий по предотвращению и ликвидации загрязнения окружающей среды\nH. с 1 января 2025 года\nI. Предоставление юридической консультации должнику по вопросам его долгов\nJ. Не более чем 30 календарных дней\nK. Не более чем 90 календарных дней\nL. Вызов сторон исполнительного производства или их представителей\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 198, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0018761699320748448, + "B": 0.07494334876537323, + "C": 0.0045006973668932915, + "D": 0.1586550623178482, + "E": 0.017800604924559593, + "F": 0.4886919856071472, + "G": 0.027570117264986038, + "H": 0.018948644399642944, + "I": 0.0006483869510702789, + "J": 0.03540072962641716, + "K": 0.06613726913928986, + "L": 0.03540072962641716 + }, + "sample": { + "question": "Какое из перечисленных полномочий относится к органам местного самоуправления в сфере стратегического планирования согласно Федеральному закону \"О стратегическом планировании в Российской Федерации\" N 172-ФЗ?", + "answerA": "Разработка федеральных бюджетов", + "answerB": "Определение долгосрочных целей и задач муниципального управления и социально-экономического развития муниципальных образований", + "answerC": "Установление налоговых ставок на федеральном уровне", + "answerD": "Проведение международных переговоров от имени Российской Федерации", + "correct_answer": "B", + "choices": [ + "Только экономические требования", + "с 1 января 2025 года", + "Организация праздника для работников объекта", + "Вызов сторон исполнительного производства или их представителей", + "Разработка федеральных бюджетов", + "Определение долгосрочных целей и задач муниципального управления и социально-экономического развития муниципальных образований", + "Реализация мероприятий по предотвращению и ликвидации загрязнения окружающей среды", + "Предоставление юридической консультации должнику по вопросам его долгов", + "Проведение международных переговоров от имени Российской Федерации", + "с 1 марта 2024 года", + "Установление налоговых ставок на федеральном уровне", + "Финансовую поддержку" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКакое из перечисленных полномочий относится к органам местного самоуправления в сфере стратегического планирования согласно Федеральному закону \"О стратегическом планировании в Российской Федерации\" N 172-ФЗ?\nA. Только экономические требования\nB. с 1 января 2025 года\nC. Организация праздника для работников объекта\nD. Вызов сторон исполнительного производства или их представителей\nE. Разработка федеральных бюджетов\nF. Определение долгосрочных целей и задач муниципального управления и социально-экономического развития муниципальных образований\nG. Реализация мероприятий по предотвращению и ликвидации загрязнения окружающей среды\nH. Предоставление юридической консультации должнику по вопросам его долгов\nI. Проведение международных переговоров от имени Российской Федерации\nJ. с 1 марта 2024 года\nK. Установление налоговых ставок на федеральном уровне\nL. Финансовую поддержку\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 189, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.02761419303715229, + "B": 0.002266711089760065, + "C": 0.9144564270973206, + "D": 0.0069819604977965355, + "E": 0.0005383910029195249, + "F": 0.0002108369517372921, + "G": 0.00017478996596764773, + "H": 9.959233284462243e-05, + "I": 3.900091178365983e-05, + "J": 6.777343060093699e-06, + "K": 8.25649403850548e-05, + "L": 4.110665940970648e-06 + }, + "sample": { + "question": "Согласно Федеральному закону \"Об охране окружающей среды\" N 7-ФЗ, какие действия должны быть выполнены при выводе из эксплуатации отдельных производственных объектов?", + "answerA": "Организация праздника для работников объекта", + "answerB": "Реализация мероприятий по предотвращению и ликвидации загрязнения окружающей среды", + "answerC": "Продажа отходов производства ближайшему населенному пункту", + "answerD": "Переоборудование объекта в торговый центр без уведомления властей", + "correct_answer": "B", + "choices": [ + "Вызов сторон исполнительного производства или их представителей", + "Организация праздника для работников объекта", + "Реализация мероприятий по предотвращению и ликвидации загрязнения окружающей среды", + "Минимально необходимые требования, обеспечивающие безопасность в различных сферах", + "Финансовую поддержку", + "Переоборудование объекта в торговый центр без уведомления властей", + "Предоставление юридической консультации должнику по вопросам его долгов", + "Продажа отходов производства ближайшему населенному пункту", + "с 1 января 2025 года", + "Только экономические требования", + "Организация праздничных мероприятий в честь Дня защитника Отечества", + "с 1 марта 2024 года" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nСогласно Федеральному закону \"Об охране окружающей среды\" N 7-ФЗ, какие действия должны быть выполнены при выводе из эксплуатации отдельных производственных объектов?\nA. Вызов сторон исполнительного производства или их представителей\nB. Организация праздника для работников объекта\nC. Реализация мероприятий по предотвращению и ликвидации загрязнения окружающей среды\nD. Минимально необходимые требования, обеспечивающие безопасность в различных сферах\nE. Финансовую поддержку\nF. Переоборудование объекта в торговый центр без уведомления властей\nG. Предоставление юридической консультации должнику по вопросам его долгов\nH. Продажа отходов производства ближайшему населенному пункту\nI. с 1 января 2025 года\nJ. Только экономические требования\nK. Организация праздничных мероприятий в честь Дня защитника Отечества\nL. с 1 марта 2024 года\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 189, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.004953715484589338, + "B": 0.005613294895738363, + "C": 0.009254759177565575, + "D": 0.9440110921859741, + "E": 0.0018223701044917107, + "F": 0.002065015956759453, + "G": 0.0009163451613858342, + "H": 0.0008086718153208494, + "I": 0.0007136503700166941, + "J": 0.0006297942600212991, + "K": 0.001711958204396069, + "L": 8.523338328814134e-05 + }, + "sample": { + "question": "Что из перечисленного является исполнительным действием согласно Федерального закона 'Об исполнительном производстве' N 229-ФЗ, статья 64?", + "answerA": "Предоставление юридической консультации должнику по вопросам его долгов", + "answerB": "Вызов сторон исполнительного производства или их представителей", + "answerC": "Подписание соглашения о реструктуризации долга", + "answerD": "Проведение образовательных семинаров для должников", + "correct_answer": "Вызов сторон исполнительного производства или их представителей", + "choices": [ + "Минимально необходимые требования, обеспечивающие безопасность в различных сферах", + "Проведение образовательных семинаров для должников", + "с 1 марта 2024 года", + "Вызов сторон исполнительного производства или их представителей", + "Только экономические требования", + "3 рабочих дня", + "Организация праздничных мероприятий в честь Дня защитника Отечества", + "Финансовую поддержку", + "с 1 января 2025 года", + "Предоставление юридической консультации должнику по вопросам его долгов", + "Подписание соглашения о реструктуризации долга", + "Право на проживание в любой стране мира без ограничений" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nЧто из перечисленного является исполнительным действием согласно Федерального закона 'Об исполнительном производстве' N 229-ФЗ, статья 64?\nA. Минимально необходимые требования, обеспечивающие безопасность в различных сферах\nB. Проведение образовательных семинаров для должников\nC. с 1 марта 2024 года\nD. Вызов сторон исполнительного производства или их представителей\nE. Только экономические требования\nF. 3 рабочих дня\nG. Организация праздничных мероприятий в честь Дня защитника Отечества\nH. Финансовую поддержку\nI. с 1 января 2025 года\nJ. Предоставление юридической консультации должнику по вопросам его долгов\nK. Подписание соглашения о реструктуризации долга\nL. Право на проживание в любой стране мира без ограничений\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 187, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.006762477569282055, + "B": 0.03891536965966225, + "C": 0.15391330420970917, + "D": 0.06416060775518417, + "E": 0.01726859249174595, + "F": 0.09335312992334366, + "G": 0.41837969422340393, + "H": 0.07270348072052002, + "I": 0.0015089127700775862, + "J": 0.007662891410291195, + "K": 0.04409689083695412, + "L": 0.004366184119135141 + }, + "sample": { + "question": "Когда утратила силу Статья 63.2 Федерального закона 'Об охране окружающей среды' N 7-ФЗ?", + "answerA": "с 1 января 2025 года", + "answerB": "с 1 марта 2024 года", + "answerC": "с 1 июля 2023 года", + "answerD": "с 1 сентября 2022 года", + "correct_answer": "с 1 марта 2024 года", + "choices": [ + "Финансовую поддержку", + "3 рабочих дня", + "Министерство иностранных дел Российской Федерации", + "Право на проживание в любой стране мира без ограничений", + "Организация праздничных мероприятий в честь Дня защитника Отечества", + "с 1 июля 2023 года", + "с 1 сентября 2022 года", + "Минимально необходимые требования, обеспечивающие безопасность в различных сферах", + "Проведение выплаты денежного довольствия военнослужащим", + "Только экономические требования", + "с 1 января 2025 года", + "с 1 марта 2024 года" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКогда утратила силу Статья 63.2 Федерального закона 'Об охране окружающей среды' N 7-ФЗ?\nA. Финансовую поддержку\nB. 3 рабочих дня\nC. Министерство иностранных дел Российской Федерации\nD. Право на проживание в любой стране мира без ограничений\nE. Организация праздничных мероприятий в честь Дня защитника Отечества\nF. с 1 июля 2023 года\nG. с 1 сентября 2022 года\nH. Минимально необходимые требования, обеспечивающие безопасность в различных сферах\nI. Проведение выплаты денежного довольствия военнослужащим\nJ. Только экономические требования\nK. с 1 января 2025 года\nL. с 1 марта 2024 года\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 176, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0018838457763195038, + "B": 0.0069993361830711365, + "C": 0.0010083499364554882, + "D": 0.0033062524162232876, + "E": 0.002740979427471757, + "F": 0.0069993361830711365, + "G": 0.00956695806235075, + "H": 0.03136884793639183, + "I": 0.0017697092844173312, + "J": 0.04027840122580528, + "K": 0.08526936918497086, + "L": 0.7139516472816467 + }, + "sample": { + "question": "Согласно Федеральному закону \"О техническом регулировании\" № 184-ФЗ, какие требования технические регламенты должны устанавливать с учетом степени риска?", + "answerA": "Только экономические требования", + "answerB": "Минимально необходимые требования, обеспечивающие безопасность в различных сферах", + "answerC": "Только требования по стандартизации", + "answerD": "Исключительно требования к внешнему виду продукции", + "correct_answer": "B", + "choices": [ + "Организация праздничных мероприятий в честь Дня защитника Отечества", + "Проведение выплаты денежного довольствия военнослужащим", + "В заявлении о регистрации права на земельный участок не требуется указывать основание возникновения права собственности.", + "Исключительно требования к внешнему виду продукции", + "Финансовую поддержку", + "Только экономические требования", + "5 рабочих дней", + "Право на проживание в любой стране мира без ограничений", + "Только требования по стандартизации", + "3 рабочих дня", + "Министерство иностранных дел Российской Федерации", + "Минимально необходимые требования, обеспечивающие безопасность в различных сферах" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nСогласно Федеральному закону \"О техническом регулировании\" № 184-ФЗ, какие требования технические регламенты должны устанавливать с учетом степени риска?\nA. Организация праздничных мероприятий в честь Дня защитника Отечества\nB. Проведение выплаты денежного довольствия военнослужащим\nC. В заявлении о регистрации права на земельный участок не требуется указывать основание возникновения права собственности.\nD. Исключительно требования к внешнему виду продукции\nE. Финансовую поддержку\nF. Только экономические требования\nG. 5 рабочих дней\nH. Право на проживание в любой стране мира без ограничений\nI. Только требования по стандартизации\nJ. 3 рабочих дня\nK. Министерство иностранных дел Российской Федерации\nL. Минимально необходимые требования, обеспечивающие безопасность в различных сферах\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 176, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.15520694851875305, + "B": 0.07331456989049911, + "C": 0.10667207092046738, + "D": 0.030562058091163635, + "E": 0.08307629823684692, + "F": 0.030562058091163635, + "G": 0.05038831755518913, + "H": 0.05709744244813919, + "I": 0.225824773311615, + "J": 0.014436494559049606, + "K": 0.008225667290389538, + "L": 0.001113222911953926 + }, + "sample": { + "question": "Что обязаны предоставлять гражданам Российской Федерации, находящимся за пределами Российской Федерации, согласно Федеральному закону \"О гражданстве Российской Федерации\" N 62-ФЗ, Статья 7?", + "answerA": "Финансовую поддержку", + "answerB": "Право на проживание в любой стране мира без ограничений", + "answerC": "Защиту и покровительство Российской Федерации", + "answerD": "Безвизовый въезд в Российскую Федерацию", + "correct_answer": "C", + "choices": [ + "Проведение выплаты денежного довольствия военнослужащим", + "В заявлении о регистрации права на земельный участок не требуется указывать основание возникновения права собственности.", + "Изменение места регистрации организации", + "Генеральная прокуратура Российской Федерации", + "Финансовую поддержку", + "Организация праздничных мероприятий в честь Дня защитника Отечества", + "Право на проживание в любой стране мира без ограничений", + "Министерство иностранных дел Российской Федерации", + "Защиту и покровительство Российской Федерации", + "3 рабочих дня", + "Безвизовый въезд в Российскую Федерацию", + "5 рабочих дней" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nЧто обязаны предоставлять гражданам Российской Федерации, находящимся за пределами Российской Федерации, согласно Федеральному закону \"О гражданстве Российской Федерации\" N 62-ФЗ, Статья 7?\nA. Проведение выплаты денежного довольствия военнослужащим\nB. В заявлении о регистрации права на земельный участок не требуется указывать основание возникновения права собственности.\nC. Изменение места регистрации организации\nD. Генеральная прокуратура Российской Федерации\nE. Финансовую поддержку\nF. Организация праздничных мероприятий в честь Дня защитника Отечества\nG. Право на проживание в любой стране мира без ограничений\nH. Министерство иностранных дел Российской Федерации\nI. Защиту и покровительство Российской Федерации\nJ. 3 рабочих дня\nK. Безвизовый въезд в Российскую Федерацию\nL. 5 рабочих дней\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 178, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.03165416792035103, + "B": 0.0040243761613965034, + "C": 0.00906907208263874, + "D": 0.02175557054579258, + "E": 0.027934705838561058, + "F": 0.0014804851962253451, + "G": 0.002023583510890603, + "H": 0.002023583510890603, + "I": 0.8163717985153198, + "J": 0.0017858061473816633, + "K": 0.0010831460822373629, + "L": 0.00012936335406266153 + }, + "sample": { + "question": "Какие функции выполняет призывная комиссия субъекта Российской Федерации согласно Статье 29 Федерального закона \"О воинской обязанности и военной службе\" N 53-ФЗ?", + "answerA": "Организация праздничных мероприятий в честь Дня защитника Отечества", + "answerB": "Проведение выплаты денежного довольствия военнослужащим", + "answerC": "Организация и контроль медицинского осмотра и психологического отбора призывников", + "answerD": "Разработка и производство военной техники и вооружения", + "correct_answer": "Организация и контроль медицинского осмотра и психологического отбора призывников", + "choices": [ + "Организация проведения учета и анализа финансового состояния стратегических предприятий и организаций.", + "Проведение выплаты денежного довольствия военнослужащим", + "Разработка и производство военной техники и вооружения", + "5 рабочих дней", + "Перечень документов для регистрации права собственности на земельный участок принимается на уровне муниципалитета.", + "В заявлении о регистрации права на земельный участок не требуется указывать основание возникновения права собственности.", + "Генеральная прокуратура Российской Федерации", + "3 рабочих дня", + "Организация и контроль медицинского осмотра и психологического отбора призывников", + "Организация праздничных мероприятий в честь Дня защитника Отечества", + "Изменение места регистрации организации", + "Министерство иностранных дел Российской Федерации" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКакие функции выполняет призывная комиссия субъекта Российской Федерации согласно Статье 29 Федерального закона \"О воинской обязанности и военной службе\" N 53-ФЗ?\nA. Организация проведения учета и анализа финансового состояния стратегических предприятий и организаций.\nB. Проведение выплаты денежного довольствия военнослужащим\nC. Разработка и производство военной техники и вооружения\nD. 5 рабочих дней\nE. Перечень документов для регистрации права собственности на земельный участок принимается на уровне муниципалитета.\nF. В заявлении о регистрации права на земельный участок не требуется указывать основание возникновения права собственности.\nG. Генеральная прокуратура Российской Федерации\nH. 3 рабочих дня\nI. Организация и контроль медицинского осмотра и психологического отбора призывников\nJ. Организация праздничных мероприятий в честь Дня защитника Отечества\nK. Изменение места регистрации организации\nL. Министерство иностранных дел Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 191, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.02386777102947235, + "B": 0.03935129940509796, + "C": 0.05052806809544563, + "D": 0.29076895117759705, + "E": 0.32948440313339233, + "F": 0.06487932056188583, + "G": 0.03472739830613136, + "H": 0.03064682148396969, + "I": 0.010591259226202965, + "J": 0.016404060646891594, + "K": 0.008780461736023426, + "L": 0.03472739830613136 + }, + "sample": { + "question": "Сколько рабочих дней отводится на возврат денежных средств, внесенных в качестве обеспечения заявки на участие в аукционе, участнику размещения заказа, который не допущен к участию в аукционе, согласно статье 36 Федерального закона \"О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд\" N 44-ФЗ?", + "answerA": "3 рабочих дня", + "answerB": "5 рабочих дней", + "answerC": "10 рабочих дней", + "answerD": "15 рабочих дней", + "correct_answer": "answerB", + "choices": [ + "Изменение места регистрации организации", + "Министерство иностранных дел Российской Федерации", + "Смена главного бухгалтера организации", + "15 рабочих дней", + "5 рабочих дней", + "В заявлении о регистрации права на земельный участок не требуется указывать основание возникновения права собственности.", + "Генеральная прокуратура Российской Федерации", + "3 рабочих дня", + "Организация проведения учета и анализа финансового состояния стратегических предприятий и организаций.", + "Перечень документов для регистрации права собственности на земельный участок принимается на уровне муниципалитета.", + "10 рабочих дней", + "Путем публичного объявления в средствах массовой информации" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nСколько рабочих дней отводится на возврат денежных средств, внесенных в качестве обеспечения заявки на участие в аукционе, участнику размещения заказа, который не допущен к участию в аукционе, согласно статье 36 Федерального закона \"О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд\" N 44-ФЗ?\nA. Изменение места регистрации организации\nB. Министерство иностранных дел Российской Федерации\nC. Смена главного бухгалтера организации\nD. 15 рабочих дней\nE. 5 рабочих дней\nF. В заявлении о регистрации права на земельный участок не требуется указывать основание возникновения права собственности.\nG. Генеральная прокуратура Российской Федерации\nH. 3 рабочих дня\nI. Организация проведения учета и анализа финансового состояния стратегических предприятий и организаций.\nJ. Перечень документов для регистрации права собственности на земельный участок принимается на уровне муниципалитета.\nK. 10 рабочих дней\nL. Путем публичного объявления в средствах массовой информации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 218, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0005850823945365846, + "B": 0.0035840640775859356, + "C": 0.056064195930957794, + "D": 0.0033669169060885906, + "E": 0.004602029453963041, + "F": 0.0008512898930348456, + "G": 0.6027469038963318, + "H": 0.0014035396743565798, + "I": 4.802648618351668e-05, + "J": 0.0001226399326696992, + "K": 0.005214782897382975, + "L": 2.4149232558556832e-05 + }, + "sample": { + "question": "Какая организация обеспечивает представительство и защиту интересов Российской Федерации в межгосударственных органах, иностранных и международных (межгосударственных) судах, иностранных и международных третейских судах (арбитражах)?", + "answerA": "Министерство иностранных дел Российской Федерации", + "answerB": "Генеральная прокуратура Российской Федерации", + "answerC": "Федеральная служба безопасности Российской Федерации", + "answerD": "Министерство юстиции Российской Федерации", + "correct_answer": "B", + "choices": [ + "Перечень документов для регистрации права собственности на земельный участок принимается на уровне муниципалитета.", + "Министерство иностранных дел Российской Федерации", + "Проведение реорганизации стратегических предприятий и организаций.", + "Изменение места регистрации организации", + "В заявлении о регистрации права на земельный участок не требуется указывать основание возникновения права собственности.", + "Смена главного бухгалтера организации", + "Министерство юстиции Российской Федерации", + "Предоставление документов, подтверждающих наличие договорных отношений между заинтересованным лицом и владельцем свободного склада.", + "Генеральная прокуратура Российской Федерации", + "Федеральная служба безопасности Российской Федерации", + "Путем публичного объявления в средствах массовой информации", + "Организация проведения учета и анализа финансового состояния стратегических предприятий и организаций." + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКакая организация обеспечивает представительство и защиту интересов Российской Федерации в межгосударственных органах, иностранных и международных (межгосударственных) судах, иностранных и международных третейских судах (арбитражах)?\nA. Перечень документов для регистрации права собственности на земельный участок принимается на уровне муниципалитета.\nB. Министерство иностранных дел Российской Федерации\nC. Проведение реорганизации стратегических предприятий и организаций.\nD. Изменение места регистрации организации\nE. В заявлении о регистрации права на земельный участок не требуется указывать основание возникновения права собственности.\nF. Смена главного бухгалтера организации\nG. Министерство юстиции Российской Федерации\nH. Предоставление документов, подтверждающих наличие договорных отношений между заинтересованным лицом и владельцем свободного склада.\nI. Генеральная прокуратура Российской Федерации\nJ. Федеральная служба безопасности Российской Федерации\nK. Путем публичного объявления в средствах массовой информации\nL. Организация проведения учета и анализа финансового состояния стратегических предприятий и организаций.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 206, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0028892550617456436, + "B": 0.012164217419922352, + "C": 0.0018654431914910674, + "D": 0.00889953225851059, + "E": 0.005745969247072935, + "F": 0.0042038410902023315, + "G": 0.004763575736433268, + "H": 0.024191435426473618, + "I": 0.0009984998032450676, + "J": 0.0213488657027483, + "K": 0.03988493233919144, + "L": 0.8011103272438049 + }, + "sample": { + "question": "Какое утверждение верно относительно особенностей государственной регистрации права собственности на земельный участок при разграничении госсобственности на землю согласно Федеральному закону 'О государственной регистрации недвижимости' N 218-ФЗ, Статья 55?", + "answerA": "В заявлении о регистрации права на земельный участок не требуется указывать основание возникновения права собственности.", + "answerB": "Перечень документов для регистрации права собственности на земельный участок принимается на уровне муниципалитета.", + "answerC": "Основание возникновения права собственности на земельный участок должно быть указано в заявлении о государственной регистрации.", + "answerD": "Для регистрации права собственности на землю не требуется согласие соседних землевладельцев.", + "correct_answer": "C", + "choices": [ + "Перечень документов для регистрации права собственности на земельный участок принимается на уровне муниципалитета.", + "Смена главного бухгалтера организации", + "Организация проведения учета и анализа финансового состояния стратегических предприятий и организаций.", + "Предоставление документов, подтверждающих наличие договорных отношений между заинтересованным лицом и владельцем свободного склада.", + "Посредством личного устного сообщения уполномоченному представителю эмитента", + "Путем публичного объявления в средствах массовой информации", + "Изменение места регистрации организации", + "В заявлении о регистрации права на земельный участок не требуется указывать основание возникновения права собственности.", + "Для регистрации права собственности на землю не требуется согласие соседних землевладельцев.", + "Проведение реорганизации стратегических предприятий и организаций.", + "Красными флагами на границах зоны", + "Основание возникновения права собственности на земельный участок должно быть указано в заявлении о государственной регистрации." + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКакое утверждение верно относительно особенностей государственной регистрации права собственности на земельный участок при разграничении госсобственности на землю согласно Федеральному закону 'О государственной регистрации недвижимости' N 218-ФЗ, Статья 55?\nA. Перечень документов для регистрации права собственности на земельный участок принимается на уровне муниципалитета.\nB. Смена главного бухгалтера организации\nC. Организация проведения учета и анализа финансового состояния стратегических предприятий и организаций.\nD. Предоставление документов, подтверждающих наличие договорных отношений между заинтересованным лицом и владельцем свободного склада.\nE. Посредством личного устного сообщения уполномоченному представителю эмитента\nF. Путем публичного объявления в средствах массовой информации\nG. Изменение места регистрации организации\nH. В заявлении о регистрации права на земельный участок не требуется указывать основание возникновения права собственности.\nI. Для регистрации права собственности на землю не требуется согласие соседних землевладельцев.\nJ. Проведение реорганизации стратегических предприятий и организаций.\nK. Красными флагами на границах зоны\nL. Основание возникновения права собственности на земельный участок должно быть указано в заявлении о государственной регистрации.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 244, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.004774264059960842, + "B": 0.02139676734805107, + "C": 0.005082177463918924, + "D": 0.02010040171444416, + "E": 0.006946512497961521, + "F": 0.004774264059960842, + "G": 0.00891949888318777, + "H": 0.01888258010149002, + "I": 0.0017563535366207361, + "J": 0.037552494555711746, + "K": 0.168298602104187, + "L": 0.587419867515564 + }, + "sample": { + "question": "Что является основанием для изменения учетной политики согласно статье 8 Федерального закона \"О бухгалтерском учете\" N 402-ФЗ?", + "answerA": "Изменение места регистрации организации", + "answerB": "Смена главного бухгалтера организации", + "answerC": "Изменение требований законодательства о бухгалтерском учете или применение нового способа учета, который улучшает качество информации", + "answerD": "Ежегодное увеличение выручки компании", + "correct_answer": "C", + "choices": [ + "Предоставление документов, подтверждающих наличие договорных отношений между заинтересованным лицом и владельцем свободного склада.", + "Посредством личного устного сообщения уполномоченному представителю эмитента", + "Организация проведения учета и анализа финансового состояния стратегических предприятий и организаций.", + "Изменение места регистрации организации", + "Путем публичного объявления в средствах массовой информации", + "Смена главного бухгалтера организации", + "Проведение реорганизации стратегических предприятий и организаций.", + "Ежегодное увеличение выручки компании", + "Красными флагами на границах зоны", + "Определение случаев, при которых товары могут размещаться на территориях нескольких свободных складов.", + "Из указов Президента РФ и постановлений Правительства РФ", + "Изменение требований законодательства о бухгалтерском учете или применение нового способа учета, который улучшает качество информации" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nЧто является основанием для изменения учетной политики согласно статье 8 Федерального закона \"О бухгалтерском учете\" N 402-ФЗ?\nA. Предоставление документов, подтверждающих наличие договорных отношений между заинтересованным лицом и владельцем свободного склада.\nB. Посредством личного устного сообщения уполномоченному представителю эмитента\nC. Организация проведения учета и анализа финансового состояния стратегических предприятий и организаций.\nD. Изменение места регистрации организации\nE. Путем публичного объявления в средствах массовой информации\nF. Смена главного бухгалтера организации\nG. Проведение реорганизации стратегических предприятий и организаций.\nH. Ежегодное увеличение выручки компании\nI. Красными флагами на границах зоны\nJ. Определение случаев, при которых товары могут размещаться на территориях нескольких свободных складов.\nK. Из указов Президента РФ и постановлений Правительства РФ\nL. Изменение требований законодательства о бухгалтерском учете или применение нового способа учета, который улучшает качество информации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 213, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.2045658677816391, + "B": 0.10949622094631195, + "C": 0.12407547235488892, + "D": 0.1405959278345108, + "E": 0.07525558769702911, + "F": 0.05172235146164894, + "G": 0.05860910564661026, + "H": 0.045644816011190414, + "I": 0.01679178886115551, + "J": 0.03554821386933327, + "K": 0.010184734128415585, + "L": 0.004245629068464041 + }, + "sample": { + "question": "Какая из перечисленных мер НЕ указана в статье 191 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ как способ предупреждения банкротства стратегических предприятий и организаций?", + "answerA": "Организация проведения учета и анализа финансового состояния стратегических предприятий и организаций.", + "answerB": "Проведение реорганизации стратегических предприятий и организаций.", + "answerC": "Предоставление беспроцентных кредитов стратегическим предприятиям и организациям.", + "answerD": "Содействие достижению соглашения стратегических предприятий и организаций с кредиторами о реструктуризации их кредиторской задолженности.", + "correct_answer": "answerC", + "choices": [ + "Предоставление беспроцентных кредитов стратегическим предприятиям и организациям.", + "Знаками прямоугольной формы с надписью на русском и английском языках \"Зона таможенного контроля\"", + "Красными флагами на границах зоны", + "Проведение реорганизации стратегических предприятий и организаций.", + "Из указов Президента РФ и постановлений Правительства РФ", + "Путем публичного объявления в средствах массовой информации", + "45 дней", + "Содействие достижению соглашения стратегических предприятий и организаций с кредиторами о реструктуризации их кредиторской задолженности.", + "Посредством личного устного сообщения уполномоченному представителю эмитента", + "Организация проведения учета и анализа финансового состояния стратегических предприятий и организаций.", + "Определение случаев, при которых товары могут размещаться на территориях нескольких свободных складов.", + "Предоставление документов, подтверждающих наличие договорных отношений между заинтересованным лицом и владельцем свободного склада." + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКакая из перечисленных мер НЕ указана в статье 191 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ как способ предупреждения банкротства стратегических предприятий и организаций?\nA. Предоставление беспроцентных кредитов стратегическим предприятиям и организациям.\nB. Знаками прямоугольной формы с надписью на русском и английском языках \"Зона таможенного контроля\"\nC. Красными флагами на границах зоны\nD. Проведение реорганизации стратегических предприятий и организаций.\nE. Из указов Президента РФ и постановлений Правительства РФ\nF. Путем публичного объявления в средствах массовой информации\nG. 45 дней\nH. Содействие достижению соглашения стратегических предприятий и организаций с кредиторами о реструктуризации их кредиторской задолженности.\nI. Посредством личного устного сообщения уполномоченному представителю эмитента\nJ. Организация проведения учета и анализа финансового состояния стратегических предприятий и организаций.\nK. Определение случаев, при которых товары могут размещаться на территориях нескольких свободных складов.\nL. Предоставление документов, подтверждающих наличие договорных отношений между заинтересованным лицом и владельцем свободного склада.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 249, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0010804033372551203, + "B": 0.004014185164123774, + "C": 0.814304530620575, + "D": 0.024589866399765015, + "E": 0.005486740730702877, + "F": 0.0033278765622526407, + "G": 0.05898802727460861, + "H": 0.002591752912849188, + "I": 0.0002731687272898853, + "J": 0.00021274400933180004, + "K": 0.004273077938705683, + "L": 2.5408651708858088e-05 + }, + "sample": { + "question": "Как предъявляется требование зарегистрированного в реестре владельца о досрочном погашении или приобретении облигаций эмитентом согласно статье 17.3 Федерального закона 'О рынке ценных бумаг' N 39-ФЗ?", + "answerA": "Путем публичного объявления в средствах массовой информации", + "answerB": "Посредством личного устного сообщения уполномоченному представителю эмитента", + "answerC": "Путем направления по почте либо вручения под роспись документа в письменной форме, подписанного владельцем обл��гаций или его уполномоченным лицом", + "answerD": "Через заполнение онлайн-формы на официальном сайте эмитента без какой-либо электронной подписи", + "correct_answer": "Путем направления по почте либо вручения под роспись документа в письменной форме, подписанного владельцем облигаций или его уполномоченным лицом", + "choices": [ + "Через заполнение онлайн-формы на официальном сайте эмитента без какой-либо электронной подписи", + "Путем публичного объявления в средствах массовой информации", + "Предоставление документов, подтверждающих наличие договорных отношений между заинтересованным лицом и владельцем свободного склада.", + "Знаками прямоугольной формы с надписью на русском и английском языках \"Зона таможенного контроля\"", + "45 дней", + "Посредством личного устного сообщения уполномоченному представителю эмитента", + "Путем направления по почте либо вручения под роспись документа в письменной форме, подписанного владельцем облигаций или его уполномоченным лицом", + "Красными флагами на границах зоны", + "В течение трех рабочих дней со дня ее поступления.", + "Определение случаев, при которых товары могут размещаться на территориях нескольких свободных складов.", + "Только из настоящего Федерального закона", + "Из указов Президента РФ и постановлений Правительства РФ" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКак предъявляется требование зарегистрированного в реестре владельца о досрочном погашении или приобретении облигаций эмитентом согласно статье 17.3 Федерального закона 'О рынке ценных бумаг' N 39-ФЗ?\nA. Через заполнение онлайн-формы на официальном сайте эмитента без какой-либо электронной подписи\nB. Путем публичного объявления в средствах массовой информации\nC. Предоставление документов, подтверждающих наличие договорных отношений между заинтересованным лицом и владельцем свободного склада.\nD. Знаками прямоугольной формы с надписью на русском и английском языках \"Зона таможенного контроля\"\nE. 45 дней\nF. Посредством личного устного сообщения уполномоченному представителю эмитента\nG. Путем направления по почте либо вручения под роспись документа в письменной форме, подписанного владельцем облигаций или его уполномоченным лицом\nH. Красными флагами на границах зоны\nI. В течение трех рабочих дней со дня ее поступления.\nJ. Определение случаев, при которых товары могут размещаться на территориях нескольких свободных складов.\nK. Только из настоящего Федерального закона\nL. Из указов Президента РФ и постановлений Правительства РФ\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 257, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.116371750831604, + "B": 0.029423387721180916, + "C": 0.06228931248188019, + "D": 0.06228931248188019, + "E": 0.0906304121017456, + "F": 0.02022237703204155, + "G": 0.03778037428855896, + "H": 0.022914957255125046, + "I": 0.4061773121356964, + "J": 0.05497012287378311, + "K": 0.01574920304119587, + "L": 0.004512222949415445 + }, + "sample": { + "question": "Какой из перечисленных пунктов НЕ является частью содержания таможенной процедуры свободного склада в соответствии с Федеральным законом N 289-ФЗ?", + "answerA": "Предоставление документов, подтверждающих наличие договорных отношений между заинтересованным лицом и владельцем свободного склада.", + "answerB": "Определение случаев, при которых товары могут размещаться на территориях нескольких свободных складов.", + "answerC": "Установление запрета на импорт иностранных товаров, не подлежащих размещению под таможенную процедуру свободного склада.", + "answerD": "Предоставление обеспечения исполнения обязанности по уплате таможенных пошлин, налогов.", + "correct_answer": "C", + "choices": [ + "Установление запрета на импорт иностранных товаров, не подлежащих размещению под таможенную процедуру свободного склада.", + "Знаками прямоугольной формы с надписью на русском и английском языках \"Зона таможенного контроля\"", + "Только из настоящего Федерального закона", + "45 дней", + "Предоставление обеспечения исполнения обязанности по уплате таможенных пошлин, налогов.", + "Определение случаев, при которых товары могут размещаться на территориях нескольких свободных складов.", + "20 дней", + "Из указов Президента РФ и постановлений Правительства РФ", + "На основании решений муниципальных советов", + "Предоставление документов, подтверждающих наличие договорных отношений между заинтересованным лицом и владельцем свободного склада.", + "В течение трех рабочих дней со дня ее поступления.", + "Красными флагами на границах зоны" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКакой из перечисленных пунктов НЕ является частью содержания таможенной процедуры свободного склада в соответствии с Федеральным законом N 289-ФЗ?\nA. Установление запрета на импорт иностранных товаров, не подлежащих размещению под таможенную процедуру свободного склада.\nB. Знаками прямоугольной формы с надписью на русском и английском языках \"Зона таможенного контроля\"\nC. Только из настоящего Федерального закона\nD. 45 дней\nE. Предоставление обеспечения исполнения обязанности по уплате таможенных пошлин, налогов.\nF. Определение случаев, при которых товары могут размещаться на территориях нескольких свободных складов.\nG. 20 дней\nH. Из указов Президента РФ и постановлений Правительства РФ\nI. На основании решений муниципальных советов\nJ. Предоставление документов, подтверждающих наличие договорных отношений между заинтересованным лицом и владельцем свободного склада.\nK. В течение трех рабочих дней со дня ее поступления.\nL. Красными флагами на границах зон��\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 214, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.001259088283404708, + "B": 0.005300959572196007, + "C": 0.007245552726089954, + "D": 0.022317873314023018, + "E": 0.0036432927008718252, + "F": 0.0043946499936282635, + "G": 0.004678080789744854, + "H": 0.0028373992536216974, + "I": 0.0006739413947798312, + "J": 0.0036432927008718252, + "K": 0.8374720215797424, + "L": 0.007245552726089954 + }, + "sample": { + "question": "Как обозначаются зоны таможенного контроля вдоль Государственной границы Российской Федерации?", + "answerA": "Красными флагами на границах зоны", + "answerB": "Знаками прямоугольной формы с надписью на русском и английском языках \"Зона таможенного контроля\"", + "answerC": "Синими щитами с символикой таможенной службы", + "answerD": "Специальными барьерами с мигающими огнями", + "correct_answer": "B", + "choices": [ + "Организация дополнительного образования", + "20 дней", + "В течение трех рабочих дней со дня ее поступления.", + "Специальными барьерами с мигающими огнями", + "На основании решений муниципальных советов", + "Из указов Президента РФ и постановлений Правительства РФ", + "45 дней", + "Красными флагами на границах зоны", + "В течение двенадцати рабочих дней со дня ее поступления.", + "Синими щитами с символикой таможенной службы", + "Знаками прямоугольной формы с надписью на русском и английском языках \"Зона таможенного контроля\"", + "Только из настоящего Федерального закона" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКак обозначаются зоны таможенного контроля вдоль Государственной границы Российской Федерации?\nA. Организация дополнительного образования\nB. 20 дней\nC. В течение трех рабочих дней со дня ее поступления.\nD. Специальными барьерами с мигающими огнями\nE. На основании решений муниципальных советов\nF. Из указов Президента РФ и постановлений Правительства РФ\nG. 45 дней\nH. Красными флагами на границах зоны\nI. В течение двенадцати рабочих дней со дня ее поступления.\nJ. Синими щитами с символикой таможенной службы\nK. Знаками прямоугольной формы с надписью на русском и английском языках \"Зона таможенного контроля\"\nL. Только из настоящего Федерального закона\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 162, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0016242845449596643, + "B": 0.039352815598249435, + "C": 0.004147755913436413, + "D": 0.10697203874588013, + "E": 0.021064043045043945, + "F": 0.03472873568534851, + "G": 0.006034949328750372, + "H": 0.005669310688972473, + "I": 0.000282258348306641, + "J": 0.0038964564446359873, + "K": 0.006034949328750372, + "L": 0.6975452899932861 + }, + "sample": { + "question": "Из чего состоит законодательство Российской Федерации о бухгалтерском учете согласно Федеральному закону \"О бухгалтерском учете\" N 402-ФЗ, Статья 4?", + "answerA": "Из указов Президента РФ и постановлений Правительства РФ", + "answerB": "Только из настоящего Федерального закона", + "answerC": "Из настоящего Федерального закона, других федеральных законов и принятых в соответствии с ними нормативных правовых актов", + "answerD": "Из международных конвенций, принятых Российской Федерацией", + "correct_answer": "answerC", + "choices": [ + "Организация дополнительного образования", + "На основании коммерческих интересов", + "Любое имущество должника", + "Из указов Президента РФ и постановлений Правительства РФ", + "В течение двенадцати рабочих дней со дня ее поступления.", + "Из настоящего Федерального закона, других федеральных законов и принятых в соответствии с ними нормативных правовых актов", + "В течение трех рабочих дней со дня ее поступления.", + "Только из настоящего Федерального закона", + "Из международных конвенций, принятых Российской Федерацией", + "На основании решений муниципальных советов", + "45 дней", + "20 дней" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nИз чего состоит законодательство Российской Федерации о бухгалтерском учете согласно Федеральному закону \"О бухгалтерском учете\" N 402-ФЗ, Статья 4?\nA. Организация дополнительного образования\nB. На основании коммерческих интересов\nC. Любое имущество должника\nD. Из указов Президента РФ и постановлений Правительства РФ\nE. В течение двенадцати рабочих дней со дня ее поступления.\nF. Из настоящего Федерального закона, других федеральных законов и принятых в соответствии с ними нормативных правовых актов\nG. В течение трех рабочих дней со дня ее поступления.\nH. Только из настоящего Федерального закона\nI. Из международных конвенций, принятых Российской Федерацией\nJ. На основании решений муниципальных советов\nK. 45 дней\nL. 20 дней\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 174, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.06541179120540619, + "B": 0.7032430768013, + "C": 0.10784582048654556, + "D": 0.024063654243946075, + "E": 0.018740791827440262, + "F": 0.012880345806479454, + "G": 0.0060842446982860565, + "H": 0.007812324911355972, + "I": 0.00016213962226174772, + "J": 0.00197526509873569, + "K": 0.0009330491302534938, + "L": 0.0004994252230972052 + }, + "sample": { + "question": "Сколько дней минимум должно пройти между размещением извещения о проведении открытого конкурса и днём вскрытия конвертов с заявками на участие в конкурсе для заказов на финансирование проката или показа национального фильма в соответствии со статьёй 31.2 Федерального закона N 44-ФЗ?", + "answerA": "45 дней", + "answerB": "20 дней", + "answerC": "30 дней", + "answerD": "60 дней", + "correct_answer": "answerB", + "choices": [ + "30 дней", + "В течение трех рабочих дней со дня ее поступления.", + "45 дней", + "На основании решений муниципальных советов", + "Любое имущество должника", + "В течение двенадцати рабочих дней со дня ее поступления.", + "60 дней", + "Федеральный закон от 21.07.1997 N 122-ФЗ", + "На основании коммерческих интересов", + "Организация дополнительного образования", + "Общеобразовательная организация", + "20 дней" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nСколько дней минимум должно пройти между размещением извещения о проведении открытого конкурса и днём вскрытия конвертов с заявками на участие в конкурсе для заказов на финансирование проката или показа национального фильма в соответствии со статьёй 31.2 Федерального закона N 44-ФЗ?\nA. 30 дней\nB. В течение трех рабочих дней со дня ее поступления.\nC. 45 дней\nD. На основании решений муниципальных советов\nE. Любое имущество должника\nF. В течение двенадцати рабочих дней со дня ее поступления.\nG. 60 дней\nH. Федеральный закон от 21.07.1997 N 122-ФЗ\nI. На основании коммерческих интересов\nJ. Организация дополнительного образования\nK. Общеобразовательная организация\nL. 20 дней\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 193, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.007105667144060135, + "B": 0.004883648827672005, + "C": 0.03608555719256401, + "D": 0.8213034868240356, + "E": 0.028103457763791084, + "F": 0.011715264059603214, + "G": 0.024801215156912804, + "H": 0.0029620828572660685, + "I": 0.03184539079666138, + "J": 0.0012347798328846693, + "K": 0.002614028984680772, + "L": 0.0003122012421954423 + }, + "sample": { + "question": "Согласно Федеральному закону \"О воинской обязанности и военной службе\" N 53-ФЗ, каков срок рассмотрения жалобы в случае подачи через многофункциональный центр?", + "answerA": "В течение трех рабочих дней со дня ее поступления.", + "answerB": "В течение двенадцати рабочих дней со дня ее поступления.", + "answerC": "В течение пяти рабочих дней со дня ее поступления.", + "answerD": "В течение семи рабочих дней со дня ее поступления.", + "correct_answer": "answerD", + "choices": [ + "Социально значимые объекты и объекты коммунальной инфраструктуры", + "Организация дополнительного образования", + "Общеобразовательная организация", + "В течение пяти рабочих дней со дня ее поступления.", + "Федеральный закон от 21.07.1997 N 122-ФЗ", + "На основании коммерческих интересов", + "В течение семи рабочих дней со дня ее поступления.", + "Любое имущество должника", + "В течение двенадцати рабочих дней со дня ее поступления.", + "Судьей, вынесшим решение", + "На основании решений муниципальных советов", + "В течение трех рабочих дней со дня ее поступления." + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nСогласно Федеральному закону \"О воинской обязанности и военной службе\" N 53-ФЗ, каков срок рассмотрения жалобы в случае подачи через многофункциональный центр?\nA. Социально значимые объекты и объекты коммунальной инфраструктуры\nB. Организация дополнительного образования\nC. Общеобразовательная организация\nD. В течение пяти рабочих дней со дня ее поступления.\nE. Федеральный закон от 21.07.1997 N 122-ФЗ\nF. На основании коммерческих интересов\nG. В течение семи рабочих дней со дня ее поступления.\nH. Любое имущество должника\nI. В течение двенадцати рабочих дней со дня ее поступления.\nJ. Судьей, вынесшим решение\nK. На основании решений муниципальных советов\nL. В течение трех рабочих дней со дня ее поступления.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 180, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.006066964939236641, + "B": 0.012065601535141468, + "C": 0.00829255860298872, + "D": 0.07867760211229324, + "E": 0.017555346712470055, + "F": 0.03279770538210869, + "G": 0.0050296904519200325, + "H": 0.01989281363785267, + "I": 0.0009303992846980691, + "J": 0.01989281363785267, + "K": 0.028943873941898346, + "L": 0.6587595343589783 + }, + "sample": { + "question": "На основании чего организуются пожарно-спасательные гарнизоны?", + "answerA": "На основании решений муниципальных советов", + "answerB": "На основании коммерческих интересов", + "answerC": "На основании нормативных правовых актов федерального органа исполнительной власти, уполномоченного на решение задач в области пожарной безопасности", + "answerD": "На основании решений жителей населенных пунктов", + "correct_answer": "На основании нормативных правовых актов федерального органа исполнительной власти, уполномоченного на решение задач в области пожарной безопасности", + "choices": [ + "Социально значимые объекты и объекты коммунальной инфраструктуры", + "Общеобразовательная организация", + "Федеральный закон от 21.07.1997 N 122-ФЗ", + "Организация дополнительного образования", + "Федеральный закон от 13.07.2015 N 218-ФЗ", + "На основании нормативных правовых актов федерального органа исполнительной власти, уполномоченного на решение задач в области пожарной безопасности", + "Судьей, вынесшим решение", + "На основании решений жителей населенных пунктов", + "На основании коммерческих интересов", + "На основании решений муниципальных советов", + "Любое имущество должника", + "Руководствоваться исключительно градостроительными нормами и правилами" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nНа основании чего организуются пожарно-спасательные гарнизоны?\nA. Социально значимые объекты и объекты коммунальной инфраструктуры\nB. Общеобразовательная организация\nC. Федеральный закон от 21.07.1997 N 122-ФЗ\nD. Организация дополнительного образования\nE. Федеральный закон от 13.07.2015 N 218-ФЗ\nF. На основании нормативных правовых актов федерального органа исполнительной власти, уполномоченного на решение задач в области пожарной безопасности\nG. Судьей, вынесшим решение\nH. На основании решений жителей населенных пунктов\nI. На основании коммерческих интересов\nJ. На основании решений муниципальных советов\nK. Любое имущество должника\nL. Руководствоваться исключительно градостроительными нормами и правилами\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 184, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.21197116374969482, + "B": 0.07797984033823013, + "C": 0.06073075905442238, + "D": 0.14568550884723663, + "E": 0.04173959419131279, + "F": 0.032506830990314484, + "G": 0.0472971610724926, + "H": 0.05359470471739769, + "I": 0.01971638947725296, + "J": 0.0392107255756855, + "K": 0.04173959419131279, + "L": 0.12856701016426086 + }, + "sample": { + "question": "Какой из перечисленных типов образовательных организаций НЕ соответствует описанию, данному в Федеральном законе 'Об образовании в Российской Федерации' N 273-ФЗ?", + "answerA": "Организация дополнительного образования", + "answerB": "Общеобразовательная организация", + "answerC": "Образовательная организация среднего профессионального образования", + "answerD": "Образовательная организация высшего образования", + "correct_answer": "Образовательная организация среднего профессионального образования", + "choices": [ + "Социально значимые объекты и объекты коммунальной инфраструктуры", + "Федеральный закон от 21.07.1997 N 122-ФЗ", + "Прокурором, принесшим протест", + "Руководствоваться исключительно градостроительными нормами и правилами", + "Организация дополнительного образования", + "Общеобразовательная организация", + "Образовательная организация среднего профессионального образования", + "Федеральный закон от 13.07.2015 N 218-ФЗ", + "Федеральный закон от 23.07.2013 N 251-ФЗ", + "Судьей, вынесшим решение", + "Образовательная организация высшего образования", + "Любое имущество должника" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКакой из перечисленных типов образовательных организаций НЕ соответствует описанию, данному в Федеральном законе 'Об образовании в Российской Федерации' N 273-ФЗ?\nA. Социально значимые объекты и объекты коммунальной инфраструктуры\nB. Федеральный закон от 21.07.1997 N 122-ФЗ\nC. Прокурором, принесшим протест\nD. Руководствоваться исключительно градостроительными нормами и правилами\nE. Организация дополнительного образования\nF. Общеобразовательная организация\nG. Образовательная организация среднего профессионального образования\nH. Федеральный закон от 13.07.2015 N 218-ФЗ\nI. Федеральный закон от 23.07.2013 N 251-ФЗ\nJ. Судьей, вынесшим решение\nK. Образовательная организация высшего образования\nL. Любое имущество должника\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 207, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.010064502246677876, + "B": 0.0480150543153286, + "C": 0.015588205307722092, + "D": 0.03300023078918457, + "E": 0.01140457484871149, + "F": 0.03300023078918457, + "G": 0.14789676666259766, + "H": 0.167589008808136, + "I": 0.0064981309697031975, + "J": 0.0480150543153286, + "K": 0.3547859191894531, + "L": 0.025700606405735016 + }, + "sample": { + "question": "Какие объекты в соответствии с Федеральным законом 'О несостоятельности (банкротстве)' N 127-ФЗ подлежат продаже в порядке, установленном статьей 110 настоящего Федерального закона?", + "answerA": "Любое имущество должника", + "answerB": "Социально значимые объекты и объекты коммунальной инфраструктуры", + "answerC": "Исключительно объекты, составляющие конкурсную массу", + "answerD": "Только имущество, находящееся в собственности фондов", + "correct_answer": "B", + "choices": [ + "Только имущество, находящееся в собственности фондов", + "Любое имущество должника", + "В размере десяти процентов начальной (максимальной) цены контракта", + "Федеральный закон от 13.07.2015 N 218-ФЗ", + "Федеральный закон от 23.07.2013 N 251-ФЗ", + "Прокурором, принесшим протест", + "Руководствоваться исключительно градостроительными нормами и правилами", + "Исключительно объекты, составляющие конкурсную массу", + "Федеральный закон от 21.07.1997 N 122-ФЗ", + "Судьей, вынесшим решение", + "Социально значимые объекты и объекты коммунальной инфраструктуры", + "Учитывать необходимость защиты средств связи и сооружений связи от несанкционированного доступа к ним" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКакие объекты в соответствии с Федеральным законом 'О несостоятельности (банкротстве)' N 127-ФЗ подлежат продаже в порядке, установленном статьей 110 настоящего Федерального закона?\nA. Только имущество, находящееся в собственности фондов\nB. Любое имущество должника\nC. В размере десяти процентов начальной (максимальной) цены контракта\nD. Федеральный закон от 13.07.2015 N 218-ФЗ\nE. Федеральный закон от 23.07.2013 N 251-ФЗ\nF. Прокурором, принесшим протест\nG. Руководствоваться исключительно градостроительными нормами и правилами\nH. Исключительно объекты, составляющие конкурсную массу\nI. Федеральный закон от 21.07.1997 N 122-ФЗ\nJ. Судьей, вынесшим решение\nK. Социально значимые объекты и объекты коммунальной инфраструктуры\nL. Учитывать необходимость защиты средств связи и сооружений связи от несанкционированного доступа к ним\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 238, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.08740877360105515, + "B": 0.022100398316979408, + "C": 0.3917389214038849, + "D": 0.12717901170253754, + "E": 0.04678654298186302, + "F": 0.04128897562623024, + "G": 0.04128897562623024, + "H": 0.07713796198368073, + "I": 0.008654640056192875, + "J": 0.007174948696047068, + "K": 0.022100398316979408, + "L": 0.03215589001774788 + }, + "sample": { + "question": "В соответствии с каким Федеральным законом добросовестный приобретатель имеет право на однократную единовременную компенсацию ��а счет казны Российской Федерации в случае истребования от него жилого помещения?", + "answerA": "Федеральный закон от 21.07.1997 N 122-ФЗ", + "answerB": "Федеральный закон от 13.07.2015 N 218-ФЗ", + "answerC": "Федеральный закон от 02.08.2019 N 299-ФЗ", + "answerD": "Федеральный закон от 25.10.2001 N 137-ФЗ", + "correct_answer": "C", + "choices": [ + "В размере десяти процентов начальной (максимальной) цены контракта", + "Учитывать необходимость защиты средств связи и сооружений связи от несанкционированного доступа к ним", + "Федеральный закон от 02.08.2019 N 299-ФЗ", + "Федеральный закон от 21.07.1997 N 122-ФЗ", + "Руководствоваться исключительно градостроительными нормами и правилами", + "Федеральный закон от 23.07.2013 N 251-ФЗ", + "Федеральный закон от 25.10.2001 N 137-ФЗ", + "Федеральный закон от 13.07.2015 N 218-ФЗ", + "Федеральный закон от 23.05.2016 N 146-ФЗ", + "Не менее 30 процентов", + "Прокурором, принесшим протест", + "Судьей, вынесшим решение" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nВ соответствии с каким Федеральным законом добросовестный приобретатель имеет право на однократную единовременную компенсацию за счет казны Российской Федерации в случае истребования от него жилого помещения?\nA. В размере десяти процентов начальной (максимальной) цены контракта\nB. Учитывать необходимость защиты средств связи и сооружений связи от несанкционированного доступа к ним\nC. Федеральный закон от 02.08.2019 N 299-ФЗ\nD. Федеральный закон от 21.07.1997 N 122-ФЗ\nE. Руководствоваться исключительно градостроительными нормами и правилами\nF. Федеральный закон от 23.07.2013 N 251-ФЗ\nG. Федеральный закон от 25.10.2001 N 137-ФЗ\nH. Федеральный закон от 13.07.2015 N 218-ФЗ\nI. Федеральный закон от 23.05.2016 N 146-ФЗ\nJ. Не менее 30 процентов\nK. Прокурором, принесшим протест\nL. Судьей, вынесшим решение\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 275, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0045423139818012714, + "B": 0.007489010225981474, + "C": 0.06674882024526596, + "D": 0.0404852069914341, + "E": 0.006609028670936823, + "F": 0.006609028670936823, + "G": 0.009616079740226269, + "H": 0.005147117190063, + "I": 0.001569781918078661, + "J": 0.010236263275146484, + "K": 0.6332951784133911, + "L": 0.0006543824565596879 + }, + "sample": { + "question": "Согласно Федеральному закону 'О прокуратуре Российской Федерации' N 2202-1-ФЗ, кем может быть отозван протест на решение, приговор, определение или постановление суда до начала его рассмотрения судом?", + "answerA": "Судьей, вынесшим решение", + "answerB": "Прокурором, принесшим протест", + "answerC": "Адвокатом, представляющим интересы стороны", + "answerD": "Председателем суда", + "correct_answer": "Прокурором, принесшим протест", + "choices": [ + "Федеральный закон от 23.07.2013 N 251-ФЗ", + "Руководствоваться исключительно градостроительными нормами и правилами", + "В размере двух процентов начальной (максимальной) цены контракта", + "Учитывать необходимость защиты средств связи и сооружений связи от несанкционированного доступа к ним", + "Адвокатом, представляющим интересы стороны", + "Судьей, вынесшим решение", + "В размере десяти процентов начальной (максимальной) цены контракта", + "Федеральный закон от 23.05.2016 N 146-ФЗ", + "Не менее 30 процентов", + "Председателем суда", + "Прокурором, принесшим протест", + "Федеральный закон 'О внесении изменений и дополнений в законодательные акты Российской Федерации о возмещении работодателями вреда, причиненного работникам увечьем, профессиональным заболеванием либо иным повреждением здоровья, связанными с исполнением ими трудовых обязанностей'" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nСогласно Федеральному закону 'О прокуратуре Российской Федерации' N 2202-1-ФЗ, кем может быть отозван протест на решение, приговор, определение или постановление суда до начала его рассмотрения судом?\nA. Федеральный закон от 23.07.2013 N 251-ФЗ\nB. Руководствоваться исключительно градостроительными нормами и правилами\nC. В размере двух процентов начальной (максимальной) цены контракта\nD. Учитывать необходимость защиты средств связи и сооружений связи от несанкционированного доступа к ним\nE. Адвокатом, представляющим интересы стороны\nF. Судьей, вынесшим решение\nG. В размере десяти процентов начальной (максимальной) цены контракта\nH. Федеральный закон от 23.05.2016 N 146-ФЗ\nI. Не менее 30 процентов\nJ. Председателем суда\nK. Прокурором, принесшим протест\nL. Федеральный закон 'О внесении изменений и дополнений в законодательные акты Российской Федерации о возмещении работодателями вреда, причиненного работникам увечьем, профессиональным заболеванием либо иным повреждением здоровья, связанными с исполнением ими трудовых обязанностей'\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 270, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.00524989003315568, + "B": 0.014270680956542492, + "C": 0.028380637988448143, + "D": 0.02210286259651184, + "E": 0.032159473747015, + "F": 0.019505707547068596, + "G": 0.02210286259651184, + "H": 0.011114017106592655, + "I": 0.009213843382894993, + "J": 0.6068047881126404, + "K": 0.13539645075798035, + "L": 0.002991297049447894 + }, + "sample": { + "question": "Чем должны руководствоваться операторы связи и застройщики при строительстве и реконструкции сооружений связи согласно Федеральному закону 'О связи' N 126-ФЗ, Статье 7?", + "answerA": "Руководствоваться исключительно градостроительными нормами и правилами", + "answerB": "Учитывать необходимость защиты средств связи и сооружений связи от несанкционированного доступа к ним", + "answerC": "Строить исключительно из отечественных материалов", + "answerD": "Соблюдать только экологические стандарты", + "correct_answer": "answerB", + "choices": [ + "Строить исключительно из отечественных материалов", + "Соблюдать только экологические стандарты", + "В размере двух процентов начальной (максимальной) цены контракта", + "10 дней", + "Не менее 30 процентов", + "В размере десяти процентов начальной (максимальной) цены контракта", + "Федеральный закон от 23.05.2016 N 146-ФЗ", + "Федеральный закон от 23.07.2013 N 251-ФЗ", + "Федеральный закон 'О внесении изменений и дополнений в законодательные акты Российской Федерации о возмещении работодателями вреда, причиненного работникам увечьем, профессиональным заболеванием либо иным повреждением здоровья, связанными с исполнением ими трудовых обязанностей'", + "Учитывать необходимость защиты средств связи и сооружений связи от несанкционированного доступа к ним", + "Руководствоваться исключительно градостроительными нормами и правилами", + "Не менее 40 процентов" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nЧем должны руководствоваться операторы связи и застройщики при строительстве и реконструкции сооружений связи согласно Федеральному закону 'О связи' N 126-ФЗ, Статье 7?\nA. Строить исключительно из отечественных материалов\nB. Соблюдать только экологические стандарты\nC. В размере двух процентов начальной (максимальной) цены контракта\nD. 10 дней\nE. Не менее 30 процентов\nF. В размере десяти процентов начальной (максимальной) цены контракта\nG. Федеральный закон от 23.05.2016 N 146-ФЗ\nH. Федеральный закон от 23.07.2013 N 251-ФЗ\nI. Федеральный закон 'О внесении изменений и дополнений в законодательные акты Российской Федерации о возмещении работодателями вреда, причиненного работникам увечьем, профессиональным заболеванием либо иным повреждением здоровья, связанными с исполнением ими трудовых обязанностей'\nJ. Учитывать необходимость защиты средств связи и сооружений связи от несанкционированного доступа к ним\nK. Руководствоваться исключительно градостроительными нормами и правилами\nL. Не менее 40 процентов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 268, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.13953454792499542, + "B": 0.295394629240036, + "C": 0.17916589975357056, + "D": 0.17916589975357056, + "E": 0.035279858857393265, + "F": 0.035279858857393265, + "G": 0.035279858857393265, + "H": 0.027475981041789055, + "I": 0.0013679486000910401, + "J": 0.007395060267299414, + "K": 0.005759278777986765, + "L": 0.001869763946160674 + }, + "sample": { + "question": "Как устанавливается 'шаг аукциона' в соответствии со статьей 37 Федерального закона 'О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд' N 44-ФЗ?", + "answerA": "В размере десяти процентов начальной (максимальной) цены контракта", + "answerB": "В размере двух процентов начальной (максимальной) цены контракта", + "answerC": "В размере пяти процентов начальной (максимальной) цены контракта", + "answerD": "В размере семи процентов начальной (максимальной) цены контракта", + "correct_answer": "answerC", + "choices": [ + "20 дней", + "В размере двух процентов начальной (максимальной) цены контракта", + "Не менее 40 процентов", + "В размере семи процентов начальной (максимальной) цены контракта", + "Правила возмещения работодателями вреда, причиненного работникам увечьем, профессиональным заболеванием либо иным повреждением здоровья, связанными с исполнением ими трудовых обязанностей, утвержденные Постановлением Верховного Совета Российской Федерации", + "В размере пяти процентов начальной (максимальной) цены контракта", + "Федеральный закон 'О внесении изменений и дополнений в законодательные акты Российской Федерации о возмещении работодателями вреда, причиненного работникам увечьем, профессиональным заболеванием либо иным повреждением здоровья, связанными с исполнением ими трудовых обязанностей'", + "В размере десяти процентов начальной (максимальной) цены контракта", + "Использование животных в научных экспериментах без специального разрешения", + "Не менее 30 процентов", + "Режим, при котором инспекторы проводят ежегодную проверку объектов.", + "10 дней" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКак устанавливается 'шаг аукциона' в соответствии со статьей 37 Федерального закона 'О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд' N 44-ФЗ?\nA. 20 дней\nB. В размере двух процентов начальной (максимальной) цены контракта\nC. Не менее 40 процентов\nD. В размере семи процентов начальной (максимальной) цены контракта\nE. Правила возмещения работодателями вреда, причиненного работникам увечьем, профессиональным заболеванием либо иным повреждением здоровья, связанными с исполнением ими трудовых обязанностей, утвержденные Постановлением Верховного Совета Российской Федерации\nF. В размере пяти процентов начальной (максимальной) цены контракта\nG. Федеральный закон 'О внесении изменений и дополнений в законодательные акты Российской Федерации о возмещении работодателями вреда, причиненного работникам увечьем, профессиональным заболеванием либо иным повреждением здоровья, связанными с исполнением ими трудовых обязанностей'\nH. В размере десяти процентов начальной (максимальной) цены контракта\nI. Использование животных в научных экспериментах без специального разрешения\nJ. Не менее 30 процентов\nK. Режим, при котором инспекторы проводят ежегодную проверку объектов.\nL. 10 дней\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 281, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.07141930609941483, + "B": 0.026273690164089203, + "C": 0.029771992936730385, + "D": 0.06302730739116669, + "E": 0.08092866837978363, + "F": 0.033736083656549454, + "G": 0.06302730739116669, + "H": 0.13342881202697754, + "I": 0.06302730739116669, + "J": 0.06302730739116669, + "K": 0.1941377818584442, + "L": 0.07141930609941483 + }, + "sample": { + "question": "Какой минимальный процент от минимальной цены продажи имущества должника должна составлять стоимость имущества, предлагаемого для передачи кредиторам в качестве отступного, согласно Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ, Статья 142.1?", + "answerA": "Не менее 30 процентов", + "answerB": "Не менее 40 процентов", + "answerC": "Не менее 50 процентов", + "answerD": "Не менее 60 процентов", + "correct_answer": "Не менее 50 процентов", + "choices": [ + "Не менее 40 процентов", + "Использование животных в научных экспериментах без специального разрешения", + "В течение пяти рабочих дней", + "Режим, при котором инспекторы имеют возможность постоянного пребывания на объектах и совершения контрольных действий.", + "Не менее 50 процентов", + "Режим, при котором инспекторы проводят ежегодную проверку объектов.", + "Правила возмещения работодателями вреда, причиненного работникам увечьем, профессиональным заболеванием либо иным повреждением здоровья, связанными с исполнением ими трудовых обязанностей, утвержденные Постановлением Верховного Совета Российской Федерации", + "Федеральный закон 'О внесении изменений и дополнений в законодательные акты Российской Федерации о возмещении работодателями вреда, причиненного работникам увечьем, профессиональным заболеванием либо иным повреждением здоровья, связанными с исполнением ими трудовых обязанностей'", + "20 дней", + "10 дней", + "Не менее 60 процентов", + "Не менее 30 процентов" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКакой минимальный процент от минимальной цены продажи имущества должника должна составлять стоимость имущества, предлагаемого для передачи кредиторам в качестве отступного, согласно Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ, Статья 142.1?\nA. Не менее 40 процентов\nB. Использование животных в научных экспериментах без специального разрешения\nC. В течение пяти рабочих дней\nD. Режим, при котором инспекторы имеют возможность постоянного пребывания на объектах и совершения контрольных действий.\nE. Не менее 50 процентов\nF. Режим, при котором инспекторы проводят ежегодную проверку объектов.\nG. Правила возмещения работодателями вреда, причиненного работникам увечьем, профессиональным заболеванием либо иным повреждением здоровья, связанными с исполнением ими трудовых обязанностей, утвержденные Постановлением Верховного Совета Российской Федерации\nH. Федеральный закон 'О внесении изменений и дополнений в законодательные акты Российской Федерации о возмещении работодателями вреда, причиненного работникам ��вечьем, профессиональным заболеванием либо иным повреждением здоровья, связанными с исполнением ими трудовых обязанностей'\nI. 20 дней\nJ. 10 дней\nK. Не менее 60 процентов\nL. Не менее 30 процентов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 276, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.04169607162475586, + "B": 0.02692100591957569, + "C": 0.017381509765982628, + "D": 0.04724784195423126, + "E": 0.14553359150886536, + "F": 0.04724784195423126, + "G": 0.06066742166876793, + "H": 0.04724784195423126, + "I": 0.053538814187049866, + "J": 0.3080946207046509, + "K": 0.053538814187049866, + "L": 0.01969582960009575 + }, + "sample": { + "question": "Какой законодательный акт не был признан утратившим силу в соответствии со Статьёй 29 Федерального закона 'Об обязательном социальном страховании от несчастных случаев на производстве и профессиональных заболеваний' N 125-ФЗ?", + "answerA": "Федеральный закон 'О внесении изменений и дополнений в законодательные акты Российской Федерации о возмещении работодателями вреда, причиненного работникам увечьем, профессиональным заболеванием либо иным повреждением здоровья, связанными с исполнением ими трудовых обязанностей'", + "answerB": "Правила возмещения работодателями вреда, причиненного работникам увечьем, профессиональным заболеванием либо иным повреждением здоровья, связанными с исполнением ими трудовых обязанностей, утвержденные Постановлением Верховного Совета Российской Федерации", + "answerC": "Закон Российской Федерации 'О социальной защите инвалидов в Российской Федерации'", + "answerD": "Постановление Верховного Совета Российской Федерации 'Об утверждении Правил возмещения работодателями вреда, причиненного работникам увечьем, профессиональным заболеванием либо иным повреждением здоровья, связанными с исполнением ими трудовых обязанностей'", + "correct_answer": "C", + "choices": [ + "Закон Российской Федерации 'О социальной защите инвалидов в Российской Федерации'", + "Режим, при котором инспекторы проводят ежегодную проверку объектов.", + "В течение пяти рабочих дней", + "Режим, при котором инспекторы имеют возможность постоянного пребывания на объектах и совершения контрольных действий.", + "Федеральный закон 'О внесении изменений и дополнений в законодательные акты Российской Федерации о возмещении работодателями вреда, причиненного работникам увечьем, профессиональным заболеванием либо иным повреждением здоровья, связанными с исполнением ими трудовых обязанностей'", + "10 дней", + "Заключать международные договоры от имени государства", + "Содержание и использование животных, включенных в перечень животных, запрещенных к содержанию", + "Использование животных в научных экспериментах без специального разрешения", + "Правила возмещения работодателями вреда, причиненного работникам увечьем, профессиональным заболеванием либо иным повреждением здоровья, связанными с исполнением ими трудовых обязанностей, утвержденные Постановлением Верховного Совета Российской Федерации", + "20 дней", + "Постановление Верховного Совета Российской Федерации 'Об утверждении Правил возмещения работодателями вреда, причиненного работникам увечьем, профессиональным заболеванием либо иным повреждением здоровья, связанными с исполнением ими трудовых обязанностей'" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКакой законодательный акт не был признан утратившим силу в соответствии со Статьёй 29 Федерального закона 'Об обязательном социальном страховании от несчастных случаев на производстве и профессиональных заболеваний' N 125-ФЗ?\nA. Закон Российской Федерации 'О социальной защите инвалидов в Российской Федерации'\nB. Режим, при котором инспекторы проводят ежегодную проверку объектов.\nC. В течение пяти рабочих дней\nD. Режим, при котором инспекторы имеют возможность постоянного пребывания на объектах и совершения контрольных действий.\nE. Федеральный закон 'О внесении изменений и дополнений в законодательные акты Российской Федерации о возмещении работодателями вреда, причиненного работникам увечьем, профессиональным заболеванием либо иным повреждением здоровья, связанными с исполнением ими трудовых обязанностей'\nF. 10 дней\nG. Заключать международные договоры от имени государства\nH. Содержание и использование животных, включенных в перечень животных, запрещенных к содержанию\nI. Использование животных в научных экспериментах без специального разрешения\nJ. Правила возмещения работодателями вреда, причиненного работникам увечьем, профессиональным заболеванием либо иным повреждением здоровья, связанными с исполнением ими трудовых обязанностей, утвержденные Постановлением Верховного Совета Российской Федерации\nK. 20 дней\nL. Постановление Верховного Совета Российской Федерации 'Об утверждении Правил возмещения работодателями вреда, причиненного работникам увечьем, профессиональным заболеванием либо иным повреждением здоровья, связанными с исполнением ими трудовых обязанностей'\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 321, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.020899774506688118, + "B": 0.018443986773490906, + "C": 0.784258246421814, + "D": 0.07294737547636032, + "E": 0.018443986773490906, + "F": 0.009872354567050934, + "G": 0.018443986773490906, + "H": 0.006785163190215826, + "I": 0.0004915155586786568, + "J": 0.001179084531031549, + "K": 0.0014222473837435246, + "L": 0.00046173614100553095 + }, + "sample": { + "question": "Сколько дней минимум должно быть до даты окончания подачи заявок на участие в открытом аукционе с момента размещения соответствующего извещения на официальном сайте согласно Федеральному закону 'О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд' N 44-ФЗ?", + "answerA": "10 дней", + "answerB": "20 дней", + "answerC": "7 рабочих дней", + "answerD": "15 дней", + "correct_answer": "B", + "choices": [ + "Содержание и использование животных, включенных в перечень животных, запрещенных к содержанию", + "Заключать международные договоры от имени государства", + "15 дней", + "7 рабочих дней", + "10 дней", + "20 дней", + "В течение пяти рабочих дней", + "Режим, при котором инспекторы проводят ежегодную проверку объектов.", + "Заявление о выдаче разрешения на временное проживание", + "Использование животных в научных экспериментах без специального разрешения", + "В течение одного месяца", + "Режим, при котором инспекторы имеют возможность постоянного пребывания на объектах и совершения контрольных действий." + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nСколько дней минимум должно быть до даты окончания подачи заявок на участие в открытом аукционе с момента размещения соответствующего извещения на официальном сайте согласно Федеральному закону 'О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд' N 44-ФЗ?\nA. Содержание и использование животных, включенных в перечень животных, запрещенных к содержанию\nB. Заключать международные договоры от имени государства\nC. 15 дней\nD. 7 рабочих дней\nE. 10 дней\nF. 20 дней\nG. В течение пяти рабочих дней\nH. Режим, при котором инспекторы проводят ежегодную проверку объектов.\nI. Заявление о выдаче разрешения на временное проживание\nJ. Использование животных в научных экспериментах без специального разрешения\nK. В течение одного месяца\nL. Режим, при котором инспекторы имеют возможность постоянного пребывания на объектах и совершения контрольных действий.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 210, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.004495851695537567, + "B": 0.002123689977452159, + "C": 0.12342764437198639, + "D": 0.8048493266105652, + "E": 0.0032892352901399136, + "F": 0.004495851695537567, + "G": 0.01013155747205019, + "H": 0.0007812617695890367, + "I": 0.00032567838206887245, + "J": 0.00021027374896220863, + "K": 0.003727192059159279, + "L": 7.735539838904515e-05 + }, + "sample": { + "question": "В соответствии с Федеральным законом от 31.07.2020 N 248-ФЗ \"О государственном контроле (надзоре) и муниципальном контроле в Российской Федерации\", что понимается под постоянным государственным контролем (надзором)?", + "answerA": "Режим, при котором инспекторы проводят ежегодную проверку объектов.", + "answerB": "Режим, при котором инспекторы имеют возможность постоянного пребывания на объектах и совершения контрольных действий.", + "answerC": "Система электронного мониторинга объек��ов без прямого участия инспекторов.", + "answerD": "Режим, включающий только плановые проверки без права на внеплановые визиты.", + "correct_answer": "answerB", + "choices": [ + "Устанавливать налоги и сборы за использование природных ресурсов", + "Заключать международные договоры от имени государства", + "Содержание и использование животных, включенных в перечень животных, запрещенных к содержанию", + "Режим, при котором инспекторы имеют возможность постоянного пребывания на объектах и совершения контрольных действий.", + "Равна тройной номинальной стоимости акций", + "Использование животных в научных экспериментах без специального разрешения", + "В течение пяти рабочих дней", + "Режим, включающий только плановые проверки без права на внеплановые визиты.", + "Система электронного мониторинга объектов без прямого участия инспекторов.", + "В течение одного месяца", + "Заявление о выдаче разрешения на временное проживание", + "Режим, при котором инспекторы проводят ежегодную проверку объектов." + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nВ соответствии с Федеральным законом от 31.07.2020 N 248-ФЗ \"О государственном контроле (надзоре) и муниципальном контроле в Российской Федерации\", что понимается под постоянным государственным контролем (надзором)?\nA. Устанавливать налоги и сборы за использование природных ресурсов\nB. Заключать международные договоры от имени государства\nC. Содержание и использование животных, включенных в перечень животных, запрещенных к содержанию\nD. Режим, при котором инспекторы имеют возможность постоянного пребывания на объектах и совершения контрольных действий.\nE. Равна тройной номинальной стоимости акций\nF. Использование животных в научных экспериментах без специального разрешения\nG. В течение пяти рабочих дней\nH. Режим, включающий только плановые проверки без права на внеплановые визиты.\nI. Система электронного мониторинга объектов без прямого участия инспекторов.\nJ. В течение одного месяца\nK. Заявление о выдаче разрешения на временное проживание\nL. Режим, при котором инспекторы проводят ежегодную проверку объектов.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 229, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.005423686467111111, + "B": 0.006964150816202164, + "C": 0.05145850405097008, + "D": 0.02145109511911869, + "E": 0.005423686467111111, + "F": 0.003289631800726056, + "G": 0.006964150816202164, + "H": 0.004496394190937281, + "I": 0.0027272007428109646, + "J": 0.018930524587631226, + "K": 0.43085676431655884, + "L": 0.0003059834416490048 + }, + "sample": { + "question": "Что не допускается при обращении с животными согласно Федеральному закону \"Об ответственном обращении с животными\" N 498-ФЗ?", + "answerA": "Использование животных в научных экспериментах без специального разрешения", + "answerB": "Содержание и использование животных, включенных в перечень животных, запрещенных к содержанию", + "answerC": "Профессиональное дрессирование собак без сертификации", + "answerD": "Проведение выставок домашних питомцев", + "correct_answer": "B", + "choices": [ + "Заявление о выдаче разрешения на временное проживание", + "Равна тройной номинальной стоимости акций", + "Заключать международные договоры от имени государства", + "В течение пяти рабочих дней", + "Профессиональное дрессирование собак без сертификации", + "Проведение выставок домашних питомцев", + "В течение одного месяца", + "Справка о несудимости из страны происхождения", + "Министр обороны Российской Федерации", + "Использование животных в научных экспериментах без специального разрешения", + "Содержание и использование животных, включенных в перечень животных, запрещенных к содержанию", + "Устанавливать налоги и сборы за использование природных ресурсов" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nЧто не допускается при обращении с животными согласно Федеральному закону \"Об ответственном обращении с животными\" N 498-ФЗ?\nA. Заявление о выдаче разрешения на временное проживание\nB. Равна тройной номинальной стоимости акций\nC. Заключать международные договоры от имени государства\nD. В течение пяти рабочих дней\nE. Профессиональное дрессирование собак без сертификации\nF. Проведение выставок домашних питомцев\nG. В течение одного месяца\nH. Справка о несудимости из страны происхождения\nI. Министр обороны Российской Федерации\nJ. Использование животных в научных экспериментах без специального разрешения\nK. Содержание и использование животных, включенных в перечень животных, запрещенных к содержанию\nL. Устанавливать налоги и сборы за использование природных ресурсов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 181, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0009027011110447347, + "B": 0.0010888653341680765, + "C": 0.004879956133663654, + "D": 0.004879956133663654, + "E": 0.8206824660301208, + "F": 0.008045688271522522, + "G": 0.007100294344127178, + "H": 0.01503132376819849, + "I": 0.01326509565114975, + "J": 0.0013981310185045004, + "K": 0.00045390662853606045, + "L": 0.00016698292165528983 + }, + "sample": { + "question": "Согласно Федеральному закону \"Об обязательном социальном страховании от несчастных случаев на производстве и профессиональных заболеваний\" N 125-ФЗ, в течение какого срока территориальный орган страховщика обязан сообщить страхователю о факте излишней уплаты страховых взносов?", + "answerA": "В течение пяти рабочих дней", + "answerB": "В течение одного месяца", + "answerC": "В течение десяти рабочих дней", + "answerD": "В течение трех рабочих дней", + "correct_answer": "В течение десяти рабочих дней", + "choices": [ + "Справка о несудимости из страны происхождения", + "Заявление о выдаче разрешения на временное проживание", + "Не должна быть ниже их номинальной стоимости", + "Заключать международные договоры от имени государства", + "В течение трех рабочих дней", + "Министр обороны Российской Федерации", + "Преобразование, изменение юридического адреса", + "В течение десяти рабочих дней", + "В течение пяти рабочих дней", + "Равна тройной номинальной стоимости акций", + "В течение одного месяца", + "Устанавливать налоги и сборы за использование природных ресурсов" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nСогласно Федеральному закону \"Об обязательном социальном страховании от несчастных случаев на производстве и профессиональных заболеваний\" N 125-ФЗ, в течение какого срока территориальный орган страховщика обязан сообщить страхователю о факте излишней уплаты страховых взносов?\nA. Справка о несудимости из страны происхождения\nB. Заявление о выдаче разрешения на временное проживание\nC. Не должна быть ниже их номинальной стоимости\nD. Заключать международные договоры от имени государства\nE. В течение трех рабочих дней\nF. Министр обороны Российской Федерации\nG. Преобразование, изменение юридического адреса\nH. В течение десяти рабочих дней\nI. В течение пяти рабочих дней\nJ. Равна тройной номинальной стоимости акций\nK. В течение одного месяца\nL. Устанавливать налоги и сборы за использование природных ресурсов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 193, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.004255331587046385, + "B": 0.004255331587046385, + "C": 0.9188957214355469, + "D": 0.009008537046611309, + "E": 0.0031132670119404793, + "F": 0.0012978027807548642, + "G": 0.003755316836759448, + "H": 0.002010076306760311, + "I": 0.0005082268617115915, + "J": 0.0002255243161926046, + "K": 0.0015654490562155843, + "L": 2.5303126676590182e-05 + }, + "sample": { + "question": "Какое право имеют общественные объединения и некоммерческие организации согласно Федеральному закону 'Об охране окружающей среды' N 7-ФЗ?", + "answerA": "Заключать международные договоры от имени государства", + "answerB": "Устанавливать налоги и сборы за использование природных ресурсов", + "answerC": "Привлекать граждан к осуществлению деятельности в области охраны окружающей среды на добровольной основе", + "answerD": "Издавать обязательные для исполнения правительственные указы", + "correct_answer": "Привлекать граждан к осуществлению деятельности в области охраны окружающей среды на добровольной основе", + "choices": [ + "Равна тройной номинальной стоимости акций", + "Министр обороны Российской Федерации", + "Привлекать граждан к осуществлению деятельности в области охраны окружающей среды на добровольной основе", + "Устанавливать налоги и сборы за использование ��риродных ресурсов", + "Заключать международные договоры от имени государства", + "Заявление о выдаче разрешения на временное проживание", + "За счет иностранных инвестиций", + "Главнокомандующий вооруженными силами", + "Преобразование, изменение юридического адреса", + "Справка о несудимости из страны происхождения", + "Не должна быть ниже их номинальной стоимости", + "Издавать обязательные для исполнения правительственные указы" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКакое право имеют общественные объединения и некоммерческие организации согласно Федеральному закону 'Об охране окружающей среды' N 7-ФЗ?\nA. Равна тройной номинальной стоимости акций\nB. Министр обороны Российской Федерации\nC. Привлекать граждан к осуществлению деятельности в области охраны окружающей среды на добровольной основе\nD. Устанавливать налоги и сборы за использование природных ресурсов\nE. Заключать международные договоры от имени государства\nF. Заявление о выдаче разрешения на временное проживание\nG. За счет иностранных инвестиций\nH. Главнокомандующий вооруженными силами\nI. Преобразование, изменение юридического адреса\nJ. Справка о несудимости из страны происхождения\nK. Не должна быть ниже их номинальной стоимости\nL. Издавать обязательные для исполнения правительственные указы\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 183, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.05901600793004036, + "B": 0.11025641858577728, + "C": 0.43607258796691895, + "D": 0.0757780447602272, + "E": 0.016908368095755577, + "F": 0.021710775792598724, + "G": 0.0757780447602272, + "H": 0.027877187356352806, + "I": 0.003127733478322625, + "J": 0.009050397202372551, + "K": 0.03158899396657944, + "L": 0.0037727670278400183 + }, + "sample": { + "question": "Какой документ НЕ требуется для получения разрешения на временное проживание иностранному гражданину, прибывшему в Российскую Федерацию в порядке, не требующем получения визы?", + "answerA": "Заявление о выдаче разрешения на временное проживание", + "answerB": "Справка о несудимости из страны происхождения", + "answerC": "Миграционная карта с отметкой о въезде", + "answerD": "Квитанция об уплате государственной пошлины", + "correct_answer": "B", + "choices": [ + "За счет иностранных инвестиций", + "Миграционная карта с отметкой о въезде", + "Заявление о выдаче разрешения на временное проживание", + "Равна тройной номинальной стоимости акций", + "Не должна быть ниже их номинальной стоимости", + "Министр обороны Российской Федерации", + "Квитанция об уплате государственной пошлины", + "Преобразование, изменение юридического адреса", + "Слияние, разделение, выделение, преобразование, изменение наименования", + "Главнокомандующий вооруженными силами", + "Справка о несудимости из страны происхождения", + "Правила получения водительских прав" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКакой документ НЕ требуется для получения разрешения на временное проживание иностранному гражданину, прибывшему в Российскую Федерацию в порядке, не требующем получения визы?\nA. За счет иностранных инвестиций\nB. Миграционная карта с отметкой о въезде\nC. Заявление о выдаче разрешения на временное проживание\nD. Равна тройной номинальной стоимости акций\nE. Не должна быть ниже их номинальной стоимости\nF. Министр обороны Российской Федерации\nG. Квитанция об уплате государственной пошлины\nH. Преобразование, изменение юридического адреса\nI. Слияние, разделение, выделение, преобразование, изменение наименования\nJ. Главнокомандующий вооруженными силами\nK. Справка о несудимости из страны происхождения\nL. Правила получения водительских прав\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 185, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.001722934888675809, + "B": 0.011959538795053959, + "C": 0.022343361750245094, + "D": 0.036837972700595856, + "E": 0.009914806112647057, + "F": 0.008749785833060741, + "G": 0.028689442202448845, + "H": 0.010554255917668343, + "I": 0.0009816987439990044, + "J": 0.009914806112647057, + "K": 0.7399104833602905, + "L": 0.0038826940581202507 + }, + "sample": { + "question": "Какова минимально возможная цена размещения дополнительных акций общества, размещаемых посредством подписки, согласно Федеральному закону 'Об акционерных обществах' (АО) N 208-ФЗ?", + "answerA": "Равна тройной номинальной стоимости акций", + "answerB": "Не должна быть ниже их номинальной стоимости", + "answerC": "Может быть ниже номинальной стоимости без ограничений", + "answerD": "Определяется исключительно согласием всех учредителей", + "correct_answer": "answerB", + "choices": [ + "Правила получения водительских прав", + "Определяется исключительно согласием всех учредителей", + "Министр обороны Российской Федерации", + "За счет средств федерального бюджета и из других источников, предусмотренных законодательством Российской Федерации", + "Слияние, разделение, выделение, преобразование, изменение наименования", + "Преобразование, изменение юридического адреса", + "Может быть ниже номинальной стоимости без ограничений", + "Продажа акций по выгодной цене для местного самоуправления", + "За счет иностранных инвестиций", + "Главнокомандующий вооруженными силами", + "Не должна быть ниже их номинальной стоимости", + "Равна тройной номинальной стоимости акций" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКакова минимально возможная цена размещения дополнительных акций общества, размещаемых посредством подписки, согласно Федеральному закону 'Об акционерных обществах' (АО) N 208-ФЗ?\nA. Правила получения води��ельских прав\nB. Определяется исключительно согласием всех учредителей\nC. Министр обороны Российской Федерации\nD. За счет средств федерального бюджета и из других источников, предусмотренных законодательством Российской Федерации\nE. Слияние, разделение, выделение, преобразование, изменение наименования\nF. Преобразование, изменение юридического адреса\nG. Может быть ниже номинальной стоимости без ограничений\nH. Продажа акций по выгодной цене для местного самоуправления\nI. За счет иностранных инвестиций\nJ. Главнокомандующий вооруженными силами\nK. Не должна быть ниже их номинальной стоимости\nL. Равна тройной номинальной стоимости акций\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 191, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.018086841329932213, + "B": 0.015961579978466034, + "C": 0.026316199451684952, + "D": 0.32059693336486816, + "E": 0.018086841329932213, + "F": 0.4664657711982727, + "G": 0.018086841329932213, + "H": 0.033790670335292816, + "I": 0.0004253617371432483, + "J": 0.004296001046895981, + "K": 0.006250645034015179, + "L": 0.005181966815143824 + }, + "sample": { + "question": "Кто определяет места дислокации соединений и выше военных частей войск национальной гвардии Российской Федерации согласно Федеральному закону \"О войсках национальной гвардии Российской Федерации\" N 226-ФЗ?", + "answerA": "Министр обороны Российской Федерации", + "answerB": "Главнокомандующий вооруженными силами", + "answerC": "Президент Российской Федерации", + "answerD": "Председатель Правительства Российской Федерации", + "correct_answer": "answerC", + "choices": [ + "Главнокомандующий вооруженными силами", + "Правила получения водительских прав", + "Преобразование, изменение юридического адреса", + "Президент Российской Федерации", + "Порядок и условия расчетов между страховщиками и профессиональным объединением страховщиков", + "Министр обороны Российской Федерации", + "Слияние, разделение, выделение, преобразование, изменение наименования", + "Изготовитель получает право на компенсацию убытков от государства", + "За счет средств федерального бюджета и из других источников, предусмотренных законодательством Российской Федерации", + "Продажа акций по выгодной цене для местного самоуправления", + "Председатель Правительства Российской Федерации", + "За счет иностранных инвестиций" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКто определяет места дислокации соединений и выше военных частей войск национальной гвардии Российской Федерации согласно Федеральному закону \"О войсках национальной гвардии Российской Федерации\" N 226-ФЗ?\nA. Главнокомандующий вооруженными силами\nB. Правила получения водительских прав\nC. Преобразование, изменение юридического адреса\nD. Президент Российской Федерации\nE. Порядок и условия расчетов между страховщиками и профессиональным объединением страховщиков\nF. Министр обороны Российской Федерации\nG. Слияние, разделение, выделение, преобразование, изменение наименования\nH. Изготовитель получает право на компенсацию убытков от государства\nI. За счет средств федерального бюджета и из других источников, предусмотренных законодательством Российской Федерации\nJ. Продажа акций по выгодной цене для местного самоуправления\nK. Председатель Правительства Российской Федерации\nL. За счет иностранных инвестиций\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 184, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0022209407761693, + "B": 0.06909143924713135, + "C": 0.02705659717321396, + "D": 0.036981984972953796, + "E": 0.012780631892383099, + "F": 0.02243070676922798, + "G": 0.036981984972953796, + "H": 0.02387736365199089, + "I": 0.0011887839064002037, + "J": 0.03263648599386215, + "K": 0.5105205178260803, + "L": 0.01641065627336502 + }, + "sample": { + "question": "Какие формы реорганизации ООО предусмотрены Федеральным законом 'Об обществах с ограниченной ответственностью' (ООО) N 14-ФЗ?", + "answerA": "Преобразование, изменение юридического адреса", + "answerB": "Слияние, разделение, выделение, преобразование, изменение наименования", + "answerC": "Слияние, присоединение, разделение, выделение, преобразование", + "answerD": "Объединение активов, поглощение, деление, сокращение капитала", + "correct_answer": "Слияние, присоединение, разделение, выделение, преобразование", + "choices": [ + "Правила получения водительских прав", + "Преобразование, изменение юридического адреса", + "Передача части прибыли предприятия государству", + "Продажа акций по выгодной цене для местного самоуправления", + "За счет средств федерального бюджета и из других источников, предусмотренных законодательством Российской Федерации", + "Слияние, разделение, выделение, преобразование, изменение наименования", + "Объединение активов, поглощение, деление, сокращение капитала", + "За счет иностранных инвестиций", + "Изготовитель получает право на компенсацию убытков от государства", + "Порядок и условия расчетов между страховщиками и профессиональным объединением страховщиков", + "Слияние, присоединение, разделение, выделение, преобразование", + "Статья 20" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКакие формы реорганизации ООО предусмотрены Федеральным законом 'Об обществах с ограниченной ответственностью' (ООО) N 14-ФЗ?\nA. Правила получения водительских прав\nB. Преобразование, изменение юридического адреса\nC. Передача части прибыли предприятия государству\nD. Продажа акций по выгодной цене для местного самоуправления\nE. За счет средств федерального бюджета и из других источников, предусмотренных законодательством Российской Федерации\nF. Слияние, разделение, выделение, преобразование, изменение наименования\nG. Объединение активов, поглощение, деление, сокращение капитала\nH. За счет иностранных инвестиций\nI. Изготовитель получает право на компенсацию убытков от государства\nJ. Порядок и условия расчетов между страховщиками и профессиональным объединением страховщиков\nK. Слияние, присоединение, разделение, выделение, преобразование\nL. Статья 20\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 193, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.00035036474582739174, + "B": 0.0031227669678628445, + "C": 0.00039701524656265974, + "D": 0.0009523900807835162, + "E": 0.0010138138895854354, + "F": 0.00039701524656265974, + "G": 0.0006545674987137318, + "H": 0.007974264211952686, + "I": 0.00012108281953260303, + "J": 0.0014750906266272068, + "K": 0.001301762880757451, + "L": 0.9216996431350708 + }, + "sample": { + "question": "Как осуществляется материально-техническое обеспечение деятельности таможенных органов согласно Федеральному закону 'О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации' N 289-ФЗ, Статья 272?", + "answerA": "За счет иностранных инвестиций", + "answerB": "За счет средств федерального бюджета и из других источников, предусмотренных законодательством Российской Федерации", + "answerC": "Только за счет средств, собранных от таможенных пошлин", + "answerD": "За счет частных фондов и пожертвований", + "correct_answer": "B", + "choices": [ + "За счет иностранных инвестиций", + "За счет частных фондов и пожертвований", + "Правила получения водительских прав", + "Продажа акций по выгодной цене для местного самоуправления", + "Только за счет средств, собранных от таможенных пошлин", + "Передача части прибыли предприятия государству", + "Статья 20", + "Порядок и условия расчетов между страховщиками и профессиональным объединением страховщиков", + "Не менее чем за двадцать рабочих дней до дня истечения срока представления заявок на участие в конкурсе", + "Ответчик обязывается совершить определенные действия, связанные с отзывом продукции, в установленный судом срок", + "Изготовитель получает право на компенсацию убытков от государства", + "За счет средств федерального бюджета и из других источников, предусмотренных законодательством Российской Федерации" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКак осуществляется материально-техническое обеспечение деятельности таможенных органов согласно Федеральному закону 'О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации' N 289-ФЗ, Статья 272?\nA. За счет иностранных инвестиций\nB. За счет частных фондов и пожертвований\nC. Правила получения водительских прав\nD. Продажа акций по выгодной цене для местного самоуправления\nE. Только за счет средств, собранных от таможенных пошлин\nF. Передача части прибыли предприятия государству\nG. Статья 20\nH. Порядок и условия расчетов между страховщиками и профессиональным объединением страховщиков\nI. Не менее чем за двадцать рабочих дней до дня истечения срока представления заявок на участие в конкурсе\nJ. Ответчик обязывается совершить определенные действия, связанные с отзывом продукции, в установленный судом срок\nK. Изготовитель получает право на компенсацию убытков от государства\nL. За счет средств федерального бюджета и из других источников, предусмотренных законодательством Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 226, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.00487208878621459, + "B": 0.0042996034026145935, + "C": 0.0016837487928569317, + "D": 0.0075460392981767654, + "E": 0.16134142875671387, + "F": 0.014097858220338821, + "G": 0.03600013628602028, + "H": 0.7230821251869202, + "I": 0.004039103630930185, + "J": 0.00855078175663948, + "K": 0.0031456570141017437, + "L": 0.006255886051803827 + }, + "sample": { + "question": "Что определяется соглашением о прямом возмещении убытков согласно Федеральному закону \"Об обязательном страховании гражданской ответственности владельцев транспортных средств\" (ОСАГО) N 40-ФЗ?", + "answerA": "Правила получения водительских прав", + "answerB": "Порядок и условия расчетов между страховщиками и профессиональным объединением страховщиков", + "answerC": "Требования к экологическому классу транспортных средств", + "answerD": "Стандарты производства транспортных средств", + "correct_answer": "B", + "choices": [ + "Требования к экологическому классу транспортных средств", + "Федеральный закон от 12 февраля 1999 года N 31-ФЗ 'Об обеспечении единства измерений'", + "Передача части прибыли предприятия государству", + "Стандарты производства транспортных средств", + "Порядок и условия расчетов между страховщиками и профессиональным объединением страховщиков", + "Продажа акций по выгодной цене для местного самоуправления", + "Не менее чем за двадцать рабочих дней до дня истечения срока представления заявок на участие в конкурсе", + "Ответчик обязывается совершить определенные действия, связанные с отзывом продукции, в установленный судом срок", + "Статья 18", + "Статья 20", + "Изготовитель получает право на компенсацию убытков от государства", + "Правила получения водительских прав" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nЧто определяется соглашением о прямом возмещении убытков согласно Федеральному закону \"Об обязательном страховании гражданской ответственности владельцев транспортных средств\" (ОСАГО) N 40-ФЗ?\nA. Требования к экологическому классу транспортных средств\nB. Федеральный закон от 12 февраля 1999 года N 31-ФЗ 'Об обеспечении единства измерений'\nC. Передача части прибыли предприятия государству\nD. Стандарты производства транспортных средств\nE. Порядок и условия расчетов между страховщиками и профессиональным объединением страховщиков\nF. Продажа акций по выгодной цене для местного самоуправления\nG. Не менее чем за двадцать рабочих дней до дня истечения срока представления заявок на участие в конкурсе\nH. Ответчик обязывается совершить определенные действия, связанные с отзывом продукции, в установленный судом срок\nI. Статья 18\nJ. Статья 20\nK. Изготовитель получает право на компенсацию убытков от государства\nL. Правила получения водительских прав\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 220, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.06573647260665894, + "B": 0.012944278307259083, + "C": 0.00447342311963439, + "D": 0.016620781272649765, + "E": 0.039871182292699814, + "F": 0.012160023674368858, + "G": 0.012944278307259083, + "H": 0.8008341789245605, + "I": 0.005069052334874868, + "J": 0.00447342311963439, + "K": 0.002548879710957408, + "L": 0.002113095484673977 + }, + "sample": { + "question": "Какое условие может быть установлено при продаже предприятия градообразующей организации согласно статье 175 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?", + "answerA": "Продажа акций по выгодной цене для местного самоуправления", + "answerB": "Передача части прибыли предприятия государству", + "answerC": "Сохранение рабочих мест не менее чем для пятидесяти процентов работников на дату его продажи в течение определенного срока", + "answerD": "Обязательное переименование предприятия в соответствии с местными традициями", + "correct_answer": "answerC", + "choices": [ + "Ответчик обязывается совершить определенные действия, связанные с отзывом продукции, в установленный судом срок", + "Федеральный закон от 12 февраля 1999 года N 31-ФЗ 'Об обеспечении единства измерений'", + "Не менее чем за двадцать рабочих дней до дня истечения срока представления заявок на участие в конкурсе", + "Изготовитель получает право на компенсацию убытков от государства", + "На основе международных нормативных актов", + "Статья 18", + "Обязательное переименование предприятия в соответствии с местными традициями", + "Сохранение рабочих мест не менее чем для пятидесяти процентов работников на дату его продажи в течение определенного срока", + "Статья 20", + "Продажа акций по выгодной цене для местного самоуправления", + "Не менее чем за тридцать рабочих дней до дня истечения срока представления заявок на участие в конкурсе", + "Передача части прибыли предприятия государству" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакое условие может быть установлено при продаже предприятия градообразующей организац��и согласно статье 175 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?\nA. Ответчик обязывается совершить определенные действия, связанные с отзывом продукции, в установленный судом срок\nB. Федеральный закон от 12 февраля 1999 года N 31-ФЗ 'Об обеспечении единства измерений'\nC. Не менее чем за двадцать рабочих дней до дня истечения срока представления заявок на участие в конкурсе\nD. Изготовитель получает право на компенсацию убытков от государства\nE. На основе международных нормативных актов\nF. Статья 18\nG. Обязательное переименование предприятия в соответствии с местными традициями\nH. Сохранение рабочих мест не менее чем для пятидесяти процентов работников на дату его продажи в течение определенного срока\nI. Статья 20\nJ. Продажа акций по выгодной цене для местного самоуправления\nK. Не менее чем за тридцать рабочих дней до дня истечения срока представления заявок на участие в конкурсе\nL. Передача части прибыли предприятия государству\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 241, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0014501730911433697, + "B": 0.0165963526815176, + "C": 0.003703146707266569, + "D": 0.008883386850357056, + "E": 0.007839561440050602, + "F": 0.9061300754547119, + "G": 0.012925251387059689, + "H": 0.0165963526815176, + "I": 0.00015284711844287813, + "J": 0.00270928000099957, + "K": 0.0019821515306830406, + "L": 0.0018620589980855584 + }, + "sample": { + "question": "Что происходит, если суд удовлетворяет иск о принудительном отзыве продукции согласно Федеральному закону 'О техническом регулировании' N 184-ФЗ?", + "answerA": "Изготовитель получает право на компенсацию убытков от государства", + "answerB": "Ответчик обязывается совершить определенные действия, связанные с отзывом продукции, в установленный судом срок", + "answerC": "Продукция автоматически считается безопасной и проходит сертификацию заново", + "answerD": "Иск перенаправляется в международный суд для дальнейшей оценки", + "correct_answer": "Ответчик обязывается совершить определенные действия, связанные с отзывом продукции, в установленный судом срок", + "choices": [ + "Статья 18", + "Не менее чем за тридцать рабочих дней до дня истечения срока представления заявок на участие в конкурсе", + "Федеральный закон от 12 февраля 1999 года N 31-ФЗ 'Об обеспечении единства измерений'", + "Иск перенаправляется в международный суд для дальнейшей оценки", + "Федеральный закон от 6 октября 2003 года N 131-ФЗ 'Об общих принципах организации местного самоуправления в Российской Федерации'", + "Ответчик обязывается совершить определенные действия, связанные с отзывом продукции, в установленный судом срок", + "Изготовитель получает право на компенсацию убытков от государства", + "Из региональных архивов", + "Не менее чем за двадцать рабочих дней до дня истечения срока пр��дставления заявок на участие в конкурсе", + "Продукция автоматически считается безопасной и проходит сертификацию заново", + "Статья 20", + "На основе международных нормативных актов" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nЧто происходит, если суд удовлетворяет иск о принудительном отзыве продукции согласно Федеральному закону 'О техническом регулировании' N 184-ФЗ?\nA. Статья 18\nB. Не менее чем за тридцать рабочих дней до дня истечения срока представления заявок на участие в конкурсе\nC. Федеральный закон от 12 февраля 1999 года N 31-ФЗ 'Об обеспечении единства измерений'\nD. Иск перенаправляется в международный суд для дальнейшей оценки\nE. Федеральный закон от 6 октября 2003 года N 131-ФЗ 'Об общих принципах организации местного самоуправления в Российской Федерации'\nF. Ответчик обязывается совершить определенные действия, связанные с отзывом продукции, в установленный судом срок\nG. Изготовитель получает право на компенсацию убытков от государства\nH. Из региональных архивов\nI. Не менее чем за двадцать рабочих дней до дня истечения срока представления заявок на участие в конкурсе\nJ. Продукция автоматически считается безопасной и проходит сертификацию заново\nK. Статья 20\nL. На основе международных нормативных актов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 243, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.059405334293842316, + "B": 0.12576112151145935, + "C": 0.11098378151655197, + "D": 0.34185412526130676, + "E": 0.046264924108982086, + "F": 0.06731506437063217, + "G": 0.06731506437063217, + "H": 0.05242503061890602, + "I": 0.009110103361308575, + "J": 0.028061095625162125, + "K": 0.01928609050810337, + "L": 0.007094956003129482 + }, + "sample": { + "question": "Какая статья Федерального закона 'О государственной регистрации юридических лиц и индивидуальных предпринимателей' N 129-ФЗ утратила силу в соответствии с Федеральным законом от 30.10.2017 N 312-ФЗ?", + "answerA": "Статья 20", + "answerB": "Статья 18", + "answerC": "Статья 19", + "answerD": "Статья 17", + "correct_answer": "Статья 19", + "choices": [ + "Из региональных архивов", + "Федеральный закон от 12 февраля 1999 года N 31-ФЗ 'Об обеспечении единства измерений'", + "Не менее чем за двадцать рабочих дней до дня истечения срока представления заявок на участие в конкурсе", + "Статья 20", + "На основе решений Совета Федерации", + "В течение 5 рабочих дней со дня их создания или получения", + "Статья 18", + "Статья 19", + "Федеральный закон от 6 октября 2003 года N 131-ФЗ 'Об общих принципах организации местного самоуправления в Российской Федерации'", + "Статья 17", + "Не менее чем за тридцать рабочих дней до дня истечения срока представления заявок на участие в конкурсе", + "На основе международных нормативных актов" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакая статья Федерал��ного закона 'О государственной регистрации юридических лиц и индивидуальных предпринимателей' N 129-ФЗ утратила силу в соответствии с Федеральным законом от 30.10.2017 N 312-ФЗ?\nA. Из региональных архивов\nB. Федеральный закон от 12 февраля 1999 года N 31-ФЗ 'Об обеспечении единства измерений'\nC. Не менее чем за двадцать рабочих дней до дня истечения срока представления заявок на участие в конкурсе\nD. Статья 20\nE. На основе решений Совета Федерации\nF. В течение 5 рабочих дней со дня их создания или получения\nG. Статья 18\nH. Статья 19\nI. Федеральный закон от 6 октября 2003 года N 131-ФЗ 'Об общих принципах организации местного самоуправления в Российской Федерации'\nJ. Статья 17\nK. Не менее чем за тридцать рабочих дней до дня истечения срока представления заявок на участие в конкурсе\nL. На основе международных нормативных актов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 236, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0011842851527035236, + "B": 0.008220567367970943, + "C": 0.016348551958799362, + "D": 0.3283694088459015, + "E": 0.015358042903244495, + "F": 0.026954205706715584, + "G": 0.10660594701766968, + "H": 0.020991956815123558, + "I": 0.0026688273064792156, + "J": 0.020991956815123558, + "K": 0.37209129333496094, + "L": 0.005649907980114222 + }, + "sample": { + "question": "Какой срок установлен для публикации сообщения о проведении конкурса в соответствии с Федеральным законом 'О концессионных соглашениях' N 115-ФЗ, статья 26?", + "answerA": "Не менее чем за двадцать рабочих дней до дня истечения срока представления заявок на участие в конкурсе", + "answerB": "Не менее чем за тридцать рабочих дней до дня истечения срока представления заявок на участие в конкурсе", + "answerC": "Не менее чем за сорок рабочих дней до дня истечения срока представления заявок на участие в конкурсе", + "answerD": "Не менее чем за десять рабочих дней до дня истечения срока представления заявок на участие в конкурсе", + "correct_answer": "answerB", + "choices": [ + "Из региональных архивов", + "Федеральный закон от 12 февраля 1999 года N 31-ФЗ 'Об обеспечении единства измерений'", + "На основе международных нормативных актов", + "Не менее чем за тридцать рабочих дней до дня истечения срока представления заявок на участие в конкурсе", + "Федеральный закон от 6 октября 2003 года N 131-ФЗ 'Об общих принципах организации местного самоуправления в Российской Федерации'", + "На основе решений Совета Федерации", + "Из Единого государственного реестра записей актов гражданского состояния", + "Не менее чем за десять рабочих дней до дня истечения срока представления заявок на участие в конкурсе", + "Подача уведомления через телефонный звонок в Роскомнадзор", + "В течение 5 рабочих дней со дня их создания или получения", + "Не менее чем за сорок рабочих дней до дня истечения срока представления заявок на участие в конкурсе", + "Не менее чем за двадцать рабочих дней до дня истечения срока представления заявок на участие в конкурсе" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКакой срок установлен для публикации сообщения о проведении конкурса в соответствии с Федеральным законом 'О концессионных соглашениях' N 115-ФЗ, статья 26?\nA. Из региональных архивов\nB. Федеральный закон от 12 февраля 1999 года N 31-ФЗ 'Об обеспечении единства измерений'\nC. На основе международных нормативных актов\nD. Не менее чем за тридцать рабочих дней до дня истечения срока представления заявок на участие в конкурсе\nE. Федеральный закон от 6 октября 2003 года N 131-ФЗ 'Об общих принципах организации местного самоуправления в Российской Федерации'\nF. На основе решений Совета Федерации\nG. Из Единого государственного реестра записей актов гражданского состояния\nH. Не менее чем за десять рабочих дней до дня истечения срока представления заявок на участие в конкурсе\nI. Подача уведомления через телефонный звонок в Роскомнадзор\nJ. В течение 5 рабочих дней со дня их создания или получения\nK. Не менее чем за сорок рабочих дней до дня истечения срока представления заявок на участие в конкурсе\nL. Не менее чем за двадцать рабочих дней до дня истечения срока представления заявок на участие в конкурсе\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 259, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.02683737315237522, + "B": 0.000761317671276629, + "C": 0.001179151819087565, + "D": 0.00598822720348835, + "E": 0.01627768948674202, + "F": 0.002657259814441204, + "G": 0.00220294576138258, + "H": 0.012677076272666454, + "I": 0.8887317180633545, + "J": 0.00598822720348835, + "K": 0.0013361540623009205, + "L": 0.0007151917670853436 + }, + "sample": { + "question": "В соответствии с каким федеральным законом могут быть перераспределены полномочия между органами местного самоуправления и органами государственной власти субъекта Российской Федерации в сфере образования, согласно Федеральному закону 'Об образовании в Российской Федерации' N 273-ФЗ?", + "answerA": "Федеральный закон от 12 февраля 1999 года N 31-ФЗ 'Об обеспечении единства измерений'", + "answerB": "Федеральный закон от 6 октября 2003 года N 131-ФЗ 'Об общих принципах организации местного самоуправления в Российской Федерации'", + "answerC": "Федеральный закон от 7 мая 1998 года N 75-ФЗ 'О некоммерческих организациях'", + "answerD": "Федеральный закон от 29 декабря 2012 года N 273-ФЗ 'О коррупции'", + "correct_answer": "B", + "choices": [ + "Федеральный закон от 7 мая 1998 года N 75-ФЗ 'О некоммерческих организациях'", + "Любой кредитор специализированного общества", + "Из Единого государственного реестра записей актов гражданского состояния", + "Федеральный закон от 29 декабря 2012 года N 273-ФЗ 'О коррупции'", + "На основе международных нормативных актов", + "В течение 20 рабочих дней со дн�� их создания или получения", + "На основе решений Совета Федерации", + "Из региональных архивов", + "Федеральный закон от 6 октября 2003 года N 131-ФЗ 'Об общих принципах организации местного самоуправления в Российской Федерации'", + "Федеральный закон от 12 февраля 1999 года N 31-ФЗ 'Об обеспечении единства измерений'", + "В течение 5 рабочих дней со дня их создания или получения", + "Подача уведомления через телефонный звонок в Роскомнадзор" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nВ соответствии с каким федеральным законом могут быть перераспределены полномочия между органами местного самоуправления и органами государственной власти субъекта Российской Федерации в сфере образования, согласно Федеральному закону 'Об образовании в Российской Федерации' N 273-ФЗ?\nA. Федеральный закон от 7 мая 1998 года N 75-ФЗ 'О некоммерческих организациях'\nB. Любой кредитор специализированного общества\nC. Из Единого государственного реестра записей актов гражданского состояния\nD. Федеральный закон от 29 декабря 2012 года N 273-ФЗ 'О коррупции'\nE. На основе международных нормативных актов\nF. В течение 20 рабочих дней со дня их создания или получения\nG. На основе решений Совета Федерации\nH. Из региональных архивов\nI. Федеральный закон от 6 октября 2003 года N 131-ФЗ 'Об общих принципах организации местного самоуправления в Российской Федерации'\nJ. Федеральный закон от 12 февраля 1999 года N 31-ФЗ 'Об обеспечении единства измерений'\nK. В течение 5 рабочих дней со дня их создания или получения\nL. Подача уведомления через телефонный звонок в Роскомнадзор\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 266, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.013447114266455173, + "B": 0.27009251713752747, + "C": 0.04693503677845001, + "D": 0.03225795179605484, + "E": 0.07738280296325684, + "F": 0.11259131133556366, + "G": 0.11259131133556366, + "H": 0.16381940245628357, + "I": 0.015237578190863132, + "J": 0.03225795179605484, + "K": 0.028467541560530663, + "L": 0.009242057800292969 + }, + "sample": { + "question": "На основе какого документа основывается нормативное правовое регулирование развития малого и среднего предпринимательства в Российской Федерации согласно Федеральному закону \"О развитии малого и среднего предпринимательства в Российской Федерации\" N 209-ФЗ?", + "answerA": "На основе международных нормативных актов", + "answerB": "На основе решений Совета Федерации", + "answerC": "На основе Конституции Российской Федерации", + "answerD": "На основе годовых отчетов правительства", + "correct_answer": "На основе Конституции Российской Федерации", + "choices": [ + "Из региональных архивов", + "На основе Конституции Российской Федерации", + "На основе решений Совета Федерации", + "Подача уведомления через телефонный звонок в Роскомнадзор", + "Отправка уведомления в форме SMS-сообщения", + "На основе международных нормативных актов", + "Из Единого государственного реестра записей актов гражданского состояния", + "В течение 20 рабочих дней со дня их создания или получения", + "В течение 5 рабочих дней со дня их создания или получения", + "Любой кредитор специализированного общества", + "На основе годовых отчетов правительства", + "Предоставить должнику беспроцентный кредит на оплату долга." + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nНа основе какого документа основывается нормативное правовое регулирование развития малого и среднего предпринимательства в Российской Федерации согласно Федеральному закону \"О развитии малого и среднего предпринимательства в Российской Федерации\" N 209-ФЗ?\nA. Из региональных архивов\nB. На основе Конституции Российской Федерации\nC. На основе решений Совета Федерации\nD. Подача уведомления через телефонный звонок в Роскомнадзор\nE. Отправка уведомления в форме SMS-сообщения\nF. На основе международных нормативных актов\nG. Из Единого государственного реестра записей актов гражданского состояния\nH. В течение 20 рабочих дней со дня их создания или получения\nI. В течение 5 рабочих дней со дня их создания или получения\nJ. Любой кредитор специализированного общества\nK. На основе годовых отчетов правительства\nL. Предоставить должнику беспроцентный кредит на оплату долга.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 195, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.5409007668495178, + "B": 0.023765522986650467, + "C": 0.030515536665916443, + "D": 0.03918272256851196, + "E": 0.06460139155387878, + "F": 0.1367611289024353, + "G": 0.03918272256851196, + "H": 0.0503116101026535, + "I": 0.008742846548557281, + "J": 0.0030214472208172083, + "K": 0.0015192790888249874, + "L": 0.00024801547988317907 + }, + "sample": { + "question": "Как страховщики получают сведения о государственной регистрации актов гражданского состояния в соответствии с Федеральным законом \"Об обязательном социальном страховании от несчастных случаев на производстве и профессиональных заболеваний\" N 125-ФЗ?", + "answerA": "Из региональных архивов", + "answerB": "Из Единого государственного реестра записей актов гражданского состояния", + "answerC": "Из региональных отделений Федеральной налоговой службы", + "answerD": "Из личных обращений граждан", + "correct_answer": "B", + "choices": [ + "Из Единого государственного реестра записей актов гражданского состояния", + "Из региональных отделений Федеральной налоговой службы", + "Предоставить должнику беспроцентный кредит на оплату долга.", + "Профсоюзная организация, представляющая интересы работников организации", + "Отправка уведомления в форме SMS-сообщения", + "Из региональных архивов", + "В течение 5 рабочих дней со дня их создания или получения", + "В течение 20 рабочих дней со дня их создания или получения", + "Подача уведомления через телефонный звонок в Роскомнадзор", + "Любой кредитор специализированного общества", + "Минимум 20 лет", + "Из личных обращений граждан" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКак страховщики получают сведения о государственной регистрации актов гражданского состояния в соответствии с Федеральным законом \"Об обязательном социальном страховании от несчастных случаев на производстве и профессиональных заболеваний\" N 125-ФЗ?\nA. Из Единого государственного реестра записей актов гражданского состояния\nB. Из региональных отделений Федеральной налоговой службы\nC. Предоставить должнику беспроцентный кредит на оплату долга.\nD. Профсоюзная организация, представляющая интересы работников организации\nE. Отправка уведомления в форме SMS-сообщения\nF. Из региональных архивов\nG. В течение 5 рабочих дней со дня их создания или получения\nH. В течение 20 рабочих дней со дня их создания или получения\nI. Подача уведомления через телефонный звонок в Роскомнадзор\nJ. Любой кредитор специализированного общества\nK. Минимум 20 лет\nL. Из личных обращений граждан\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 199, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.002753768814727664, + "B": 0.015846844762563705, + "C": 0.019114943221211433, + "D": 0.02454407326877117, + "E": 0.04046633839607239, + "F": 0.013137496076524258, + "G": 0.007031995337456465, + "H": 0.02454407326877117, + "I": 0.0015690501313656569, + "J": 0.019114943221211433, + "K": 0.02166006900370121, + "L": 0.7172830104827881 + }, + "sample": { + "question": "Какой срок установлен для обновления информации и документов на официальном сайте образовательной организации в соответствии со Статьей 29 Федерального закона \"Об образовании в Российской Федерации\" N 273-ФЗ?", + "answerA": "В течение 5 рабочих дней со дня их создания или получения", + "answerB": "В течение 20 рабочих дней со дня их создания или получения", + "answerC": "В течение 10 рабочих дней со дня их создания, получения или внесения в них соответствующих изменений", + "answerD": "В течение 30 рабочих дней со дня их создания или получения", + "correct_answer": "C", + "choices": [ + "Минимум 20 лет", + "Любой кредитор специализированного общества", + "В течение 5 рабочих дней со дня их создания или получения", + "Отдел по работе с иностранными инвестициями", + "В течение 20 рабочих дней со дня их создания или получения", + "В течение 30 рабочих дней со дня их создания или получения", + "Отправка уведомления в форме SMS-сообщения", + "Профсоюзная организация, представляющая интересы работников организации", + "Предоставить сторонам исполнительного производства возможность знакомиться с материалами исполнительного производства.", + "Пре��оставить должнику беспроцентный кредит на оплату долга.", + "Подача уведомления через телефонный звонок в Роскомнадзор", + "В течение 10 рабочих дней со дня их создания, получения или внесения в них соответствующих изменений" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКакой срок установлен для обновления информации и документов на официальном сайте образовательной организации в соответствии со Статьей 29 Федерального закона \"Об образовании в Российской Федерации\" N 273-ФЗ?\nA. Минимум 20 лет\nB. Любой кредитор специализированного общества\nC. В течение 5 рабочих дней со дня их создания или получения\nD. Отдел по работе с иностранными инвестициями\nE. В течение 20 рабочих дней со дня их создания или получения\nF. В течение 30 рабочих дней со дня их создания или получения\nG. Отправка уведомления в форме SMS-сообщения\nH. Профсоюзная организация, представляющая интересы работников организации\nI. Предоставить сторонам исполнительного производства возможность знакомиться с материалами исполнительного производства.\nJ. Предоставить должнику беспроцентный кредит на оплату долга.\nK. Подача уведомления через телефонный звонок в Роскомнадзор\nL. В течение 10 рабочих дней со дня их создания, получения или внесения в них соответствующих изменений\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 224, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.07268448919057846, + "B": 0.0046465639024972916, + "C": 0.026739129796624184, + "D": 0.0183775182813406, + "E": 0.038905203342437744, + "F": 0.0009149627294391394, + "G": 0.002487126737833023, + "H": 0.0033994989935308695, + "I": 0.7814319729804993, + "J": 0.001250605913810432, + "K": 0.0006288440781645477, + "L": 7.510471914429218e-05 + }, + "sample": { + "question": "Каким образом оператор должен уведомить Роскомнадзор о намерении обрабатывать персональные данные согласно статье 22 Федерального закона 'О персональных данных' N 152-ФЗ?", + "answerA": "Подача уведомления через телефонный звонок в Роскомнадзор", + "answerB": "Отправка уведомления в форме SMS-сообщения", + "answerC": "Уведомление направляется в виде документа на бумажном носителе или в форме электронного документа", + "answerD": "Публикация уведомления на официальном сайте оператора", + "correct_answer": "Уведомление направляется в виде документа на бумажном носителе или в форме электронного документа", + "choices": [ + "В течение десяти рабочих дней", + "Публикация уведомления на официальном сайте оператора", + "Минимум 20 лет", + "Подача уведомления через телефонный звонок в Роскомнадзор", + "Отдел по работе с иностранными инвестициями", + "Предоставить должнику беспроцентный кредит на оплату долга.", + "Профсоюзная организация, представляющая интересы работников организации", + "Минимум 25 лет", + "Уведомление направляется в виде документа на бу��ажном носителе или в форме электронного документа", + "Предоставить сторонам исполнительного производства возможность знакомиться с материалами исполнительного производства.", + "Любой кредитор специализированного общества", + "Отправка уведомления в форме SMS-сообщения" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКаким образом оператор должен уведомить Роскомнадзор о намерении обрабатывать персональные данные согласно статье 22 Федерального закона 'О персональных данных' N 152-ФЗ?\nA. В течение десяти рабочих дней\nB. Публикация уведомления на официальном сайте оператора\nC. Минимум 20 лет\nD. Подача уведомления через телефонный звонок в Роскомнадзор\nE. Отдел по работе с иностранными инвестициями\nF. Предоставить должнику беспроцентный кредит на оплату долга.\nG. Профсоюзная организация, представляющая интересы работников организации\nH. Минимум 25 лет\nI. Уведомление направляется в виде документа на бумажном носителе или в форме электронного документа\nJ. Предоставить сторонам исполнительного производства возможность знакомиться с материалами исполнительного производства.\nK. Любой кредитор специализированного общества\nL. Отправка уведомления в форме SMS-сообщения\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 196, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.012227275408804417, + "B": 0.04009169340133667, + "C": 0.07490114122629166, + "D": 0.03323717787861824, + "E": 0.03323717787861824, + "F": 0.0426773838698864, + "G": 0.12349110841751099, + "H": 0.07490114122629166, + "I": 0.012227275408804417, + "J": 0.08487410843372345, + "K": 0.26143068075180054, + "L": 0.017790580168366432 + }, + "sample": { + "question": "Кто имеет право подать заявление о признании специализированного общества банкротом согласно Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ, Статья 230.1?", + "answerA": "Любой кредитор специализированного общества", + "answerB": "Профсоюзная организация, представляющая интересы работников организации", + "answerC": "Представитель владельцев облигаций специализированного общества", + "answerD": "Любое физическое лицо, выражающее интерес", + "correct_answer": "C", + "choices": [ + "Предоставить должнику беспроцентный кредит на оплату долга.", + "Представитель владельцев облигаций специализированного общества", + "Профсоюзная организация, представляющая интересы работников организации", + "Минимум 25 лет", + "Отдел по работе с иностранными инвестициями", + "Минимум 20 лет", + "В течение десяти рабочих дней", + "Предоставить сторонам исполнительного производства возможность знакомиться с материалами исполнительного производства.", + "Любое физическое лицо, выражающее интерес", + "Любой кредитор специализированного общества", + "Лица освобождаются от ответственности, если нарушени�� сроков было вызвано форс-мажорными обстоятельствами.", + "Резервы (фонды), в том числе под обесценение ценных бумаг" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКто имеет право подать заявление о признании специализированного общества банкротом согласно Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ, Статья 230.1?\nA. Предоставить должнику беспроцентный кредит на оплату долга.\nB. Представитель владельцев облигаций специализированного общества\nC. Профсоюзная организация, представляющая интересы работников организации\nD. Минимум 25 лет\nE. Отдел по работе с иностранными инвестициями\nF. Минимум 20 лет\nG. В течение десяти рабочих дней\nH. Предоставить сторонам исполнительного производства возможность знакомиться с материалами исполнительного производства.\nI. Любое физическое лицо, выражающее интерес\nJ. Любой кредитор специализированного общества\nK. Лица освобождаются от ответственности, если нарушение сроков было вызвано форс-мажорными обстоятельствами.\nL. Резервы (фонды), в том числе под обесценение ценных бумаг\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 207, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0026920901145786047, + "B": 0.04211137071251869, + "C": 0.00829222146421671, + "D": 0.01455330103635788, + "E": 0.00829222146421671, + "F": 0.027189146727323532, + "G": 0.005029486026614904, + "H": 0.011334122158586979, + "I": 0.016491051763296127, + "J": 0.6587327122688293, + "K": 0.14698314666748047, + "L": 0.0030505377799272537 + }, + "sample": { + "question": "Какое действие обязан выполнить судебный пристав-исполнитель в процессе принудительного исполнения судебных актов, согласно Федеральному закону \"О судебных приставах\" N 118-ФЗ, Статье 12?", + "answerA": "Предоставить должнику беспроцентный кредит на оплату долга.", + "answerB": "Предоставить сторонам исполнительного производства возможность знакомиться с материалами исполнительного производства.", + "answerC": "Отложить исполнение судебного решения на неопределенный срок по собственному усмотрению.", + "answerD": "Провести переговоры между сторонами для достижения взаимоприемлемого решения без исполнения судебного решения.", + "correct_answer": "B", + "choices": [ + "Провести переговоры между сторонами для достижения взаимоприемлемого решения без исполнения судебного решения.", + "Лица освобождаются от ответственности, если нарушение сроков было вызвано форс-мажорными обстоятельствами.", + "Резервы (фонды), в том числе под обесценение ценных бумаг", + "Минимум 20 лет", + "В течение пятнадцати рабочих дней", + "В течение десяти рабочих дней", + "Размер определяется из расчета среднемесячного заработка", + "Отдел по работе с иностранными инвестициями", + "Минимум 25 лет", + "Предоставить сторонам исполнительного производства возможность знакомит��ся с материалами исполнительного производства.", + "Отложить исполнение судебного решения на неопределенный срок по собственному усмотрению.", + "Предоставить должнику беспроцентный кредит на оплату долга." + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКакое действие обязан выполнить судебный пристав-исполнитель в процессе принудительного исполнения судебных актов, согласно Федеральному закону \"О судебных приставах\" N 118-ФЗ, Статье 12?\nA. Провести переговоры между сторонами для достижения взаимоприемлемого решения без исполнения судебного решения.\nB. Лица освобождаются от ответственности, если нарушение сроков было вызвано форс-мажорными обстоятельствами.\nC. Резервы (фонды), в том числе под обесценение ценных бумаг\nD. Минимум 20 лет\nE. В течение пятнадцати рабочих дней\nF. В течение десяти рабочих дней\nG. Размер определяется из расчета среднемесячного заработка\nH. Отдел по работе с иностранными инвестициями\nI. Минимум 25 лет\nJ. Предоставить сторонам исполнительного производства возможность знакомиться с материалами исполнительного производства.\nK. Отложить исполнение судебного решения на неопределенный срок по собственному усмотрению.\nL. Предоставить должнику беспроцентный кредит на оплату долга.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 224, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.016012713313102722, + "B": 0.32162395119667053, + "C": 0.13407281041145325, + "D": 0.0717640072107315, + "E": 0.11831884831190109, + "F": 0.02056073024868965, + "G": 0.11831884831190109, + "H": 0.03841250389814377, + "I": 0.004309763666242361, + "J": 0.029915686696767807, + "K": 0.029915686696767807, + "L": 0.0010896788444370031 + }, + "sample": { + "question": "Сколько лет должны проработать мужчины в летно-испытательном составе, чтобы иметь право на досрочное назначение трудовой пенсии по старости согласно Федеральному закону 'О трудовых пенсиях в Российской Федерации' N 173-ФЗ?", + "answerA": "Минимум 20 лет", + "answerB": "Минимум 25 лет", + "answerC": "Минимум 15 лет", + "answerD": "Минимум 30 лет", + "correct_answer": "Минимум 25 лет", + "choices": [ + "В течение пятнадцати рабочих дней", + "Минимум 25 лет", + "Лица, не исполнившие обязательства, подлежат административному наказанию.", + "Лица освобождаются от ответственности, если нарушение сроков было вызвано форс-мажорными обстоятельствами.", + "Минимум 30 лет", + "В течение десяти рабочих дней", + "Минимум 15 лет", + "Во вторую очередь уплачивается исполнительский сбор, затем возмещаются расходы по совершению исполнительных действий.", + "Отдел по работе с иностранными инвестициями", + "Резервы (фонды), в том числе под обесценение ценных бумаг", + "Минимум 20 лет", + "Размер определяется из расчета среднемесячного заработка" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nСколько лет должны проработать мужчины в летно-испытательном составе, чтобы иметь право на досрочное назначение трудовой пенсии по старости согласно Федеральному закону 'О трудовых пенсиях в Российской Федерации' N 173-ФЗ?\nA. В течение пятнадцати рабочих дней\nB. Минимум 25 лет\nC. Лица, не исполнившие обязательства, подлежат административному наказанию.\nD. Лица освобождаются от ответственности, если нарушение сроков было вызвано форс-мажорными обстоятельствами.\nE. Минимум 30 лет\nF. В течение десяти рабочих дней\nG. Минимум 15 лет\nH. Во вторую очередь уплачивается исполнительский сбор, затем возмещаются расходы по совершению исполнительных действий.\nI. Отдел по работе с иностранными инвестициями\nJ. Резервы (фонды), в том числе под обесценение ценных бумаг\nK. Минимум 20 лет\nL. Размер определяется из расчета среднемесячного заработка\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 222, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.16861894726753235, + "B": 0.013841085135936737, + "C": 0.13132056593894958, + "D": 0.012214715592563152, + "E": 0.21651101112365723, + "F": 0.017772305756807327, + "G": 0.033203039318323135, + "H": 0.09025521576404572, + "I": 0.11588999629020691, + "J": 0.010126355104148388, + "K": 0.013841085135936737, + "L": 0.000733550637960434 + }, + "sample": { + "question": "Что обязана создавать кредитная организация в целях обеспечения финансовой надежности, согласно Федеральному закону \"О банках и банковской деятельности\" N 395-1, Статье 24?", + "answerA": "Отдел по работе с иностранными инвестициями", + "answerB": "Резервы (фонды), в том числе под обесценение ценных бумаг", + "answerC": "Программу лояльности для вкладчиков", + "answerD": "Фонд поддержки стартапов", + "correct_answer": "B", + "choices": [ + "В течение пятнадцати рабочих дней", + "Размер определяется из расчета среднемесячного заработка", + "В течение десяти рабочих дней", + "Отдел по работе с иностранными инвестициями", + "Программу лояльности для вкладчиков", + "Лица освобождаются от ответственности, если нарушение сроков было вызвано форс-мажорными обстоятельствами.", + "СЧ = ПК / Т + Б, где СЧ - страховая часть трудовой пенсии по старости; ПК - сумма расчетного пенсионного капитала; Т - количество месяцев ожидаемого периода выплаты; Б - фиксированный базовый размер", + "Фонд поддержки стартапов", + "Резервы (фонды), в том числе под обесценение ценных бумаг", + "Лица, не исполнившие обязательства, подлежат административному наказанию.", + "Во вторую очередь уплачивается исполнительский сбор, затем возмещаются расходы по совершению исполнительных действий.", + "Министерство юстиции Российской Федерации" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nЧто обязана создавать кредитная организация в целях обеспечения финансовой надежности, согласно Федеральному ��акону \"О банках и банковской деятельности\" N 395-1, Статье 24?\nA. В течение пятнадцати рабочих дней\nB. Размер определяется из расчета среднемесячного заработка\nC. В течение десяти рабочих дней\nD. Отдел по работе с иностранными инвестициями\nE. Программу лояльности для вкладчиков\nF. Лица освобождаются от ответственности, если нарушение сроков было вызвано форс-мажорными обстоятельствами.\nG. СЧ = ПК / Т + Б, где СЧ - страховая часть трудовой пенсии по старости; ПК - сумма расчетного пенсионного капитала; Т - количество месяцев ожидаемого периода выплаты; Б - фиксированный базовый размер\nH. Фонд поддержки стартапов\nI. Резервы (фонды), в том числе под обесценение ценных бумаг\nJ. Лица, не исполнившие обязательства, подлежат административному наказанию.\nK. Во вторую очередь уплачивается исполнительский сбор, затем возмещаются расходы по совершению исполнительных действий.\nL. Министерство юстиции Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 252, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0032994879875332117, + "B": 0.01081860437989235, + "C": 0.04848562180995941, + "D": 0.5906757712364197, + "E": 0.025952482596039772, + "F": 0.04278841242194176, + "G": 0.1493462324142456, + "H": 0.02021181397140026, + "I": 0.005110346712172031, + "J": 0.02021181397140026, + "K": 0.03776063770055771, + "L": 0.0015585677465423942 + }, + "sample": { + "question": "Согласно Статье 35 Федерального закона 'О концессионных соглашениях' N 115-ФЗ, в течение какого времени после подписания протокола о результатах проведения конкурса конкурсная комиссия обязана опубликовать сообщение о результатах?", + "answerA": "В течение десяти рабочих дней", + "answerB": "В течение пятнадцати рабочих дней", + "answerC": "В течение двадцати рабочих дней", + "answerD": "В течение тридцати рабочих дней", + "correct_answer": "answerB", + "choices": [ + "СЧ = ПК / Т + Б, где СЧ - страховая часть трудовой пенсии по старости; ПК - сумма расчетного пенсионного капитала; Т - количество месяцев ожидаемого периода выплаты; Б - фиксированный базовый размер", + "Во вторую очередь уплачивается исполнительский сбор, затем возмещаются расходы по совершению исполнительных действий.", + "Министерство юстиции Российской Федерации", + "В течение двадцати рабочих дней", + "Размер определяется из расчета среднемесячного заработка", + "Лица, не исполнившие обязательства, подлежат административному наказанию.", + "В течение десяти рабочих дней", + "По инициативе любого гражданина, независимо от наличия у него долга перед банкротом.", + "В первую очередь возмещаются расходы по совершению исполнительных действий, затем уплачивается исполнительский сбор.", + "В течение пятнадцати рабочих дней", + "Лица освобождаются от ответственности, если нарушение сроков было вызвано форс-мажорными обстоятельствами.", + "В течение тридцати рабочих дней" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nСогласно Статье 35 Федерального закона 'О концессионных соглашениях' N 115-ФЗ, в течение какого времени после подписания протокола о результатах проведения конкурса конкурсная комиссия обязана опубликовать сообщение о результатах?\nA. СЧ = ПК / Т + Б, где СЧ - страховая часть трудовой пенсии по старости; ПК - сумма расчетного пенсионного капитала; Т - количество месяцев ожидаемого периода выплаты; Б - фиксированный базовый размер\nB. Во вторую очередь уплачивается исполнительский сбор, затем возмещаются расходы по совершению исполнительных действий.\nC. Министерство юстиции Российской Федерации\nD. В течение двадцати рабочих дней\nE. Размер определяется из расчета среднемесячного заработка\nF. Лица, не исполнившие обязательства, подлежат административному наказанию.\nG. В течение десяти рабочих дней\nH. По инициативе любого гражданина, независимо от наличия у него долга перед банкротом.\nI. В первую очередь возмещаются расходы по совершению исполнительных действий, затем уплачивается исполнительский сбор.\nJ. В течение пятнадцати рабочих дней\nK. Лица освобождаются от ответственности, если нарушение сроков было вызвано форс-мажорными обстоятельствами.\nL. В течение тридцати рабочих дней\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 269, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.017701847478747368, + "B": 0.014675346203148365, + "C": 0.06577034294605255, + "D": 0.031067710369825363, + "E": 0.42887648940086365, + "F": 0.024195557460188866, + "G": 0.027417154982686043, + "H": 0.12287517637014389, + "I": 0.0188435185700655, + "J": 0.012950948439538479, + "K": 0.021352501586079597, + "L": 0.013786212541162968 + }, + "sample": { + "question": "Каковы последствия неисполнения обязательств лицами, предоставившими обеспечение исполнения должником обязательств в соответствии с Федеральным законом \"О несостоятельности (банкротстве)\" N 127-ФЗ, в частности, статьей 91?", + "answerA": "Лица освобождаются от ответственности, если нарушение сроков было вызвано форс-мажорными обстоятельствами.", + "answerB": "Лица, не исполнившие обязательства, подлежат административному наказанию.", + "answerC": "Лица, не исполнившие обязательства, несут ответственность в соответствии с гражданским законодательством.", + "answerD": "Лица могут быть привлечены к уголовной ответственности за неисполнение обязательств.", + "correct_answer": "answerC", + "choices": [ + "Размер определяется из расчета среднемесячного заработка", + "По инициативе любого гражданина, независимо от наличия у него долга перед банкротом.", + "Лица могут быть привлечены к уголовной ответственности за неисполнение обязательств.", + "Лица освобождаются от ответственности, если нарушение сроков было вызвано форс-мажорными обстоятельствами.", + "Лица, не исполнившие обязательства, несут ответственность в соответствии с гражданским законодательством.", + "Формирование рейтингов образовательных программ", + "Лица, не исполнившие обязательства, подлежат административному наказанию.", + "Во вторую очередь уплачивается исполнительский сбор, затем возмещаются расходы по совершению исполнительных действий.", + "Министерство юстиции Российской Федерации", + "СЧ = ПК / Т + Б, где СЧ - страховая часть трудовой пенсии по старости; ПК - сумма расчетного пенсионного капитала; Т - количество месяцев ожидаемого периода выплаты; Б - фиксированный базовый размер", + "Федеральная служба безопасности", + "В первую очередь возмещаются расходы по совершению исполнительных действий, затем уплачивается исполнительский сбор." + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКаковы последствия неисполнения обязательств лицами, предоставившими обеспечение исполнения должником обязательств в соответствии с Федеральным законом \"О несостоятельности (банкротстве)\" N 127-ФЗ, в частности, статьей 91?\nA. Размер определяется из расчета среднемесячного заработка\nB. По инициативе любого гражданина, независимо от наличия у него долга перед банкротом.\nC. Лица могут быть привлечены к уголовной ответственности за неисполнение обязательств.\nD. Лица освобождаются от ответственности, если нарушение сроков было вызвано форс-мажорными обстоятельствами.\nE. Лица, не исполнившие обязательства, несут ответственность в соответствии с гражданским законодательством.\nF. Формирование рейтингов образовательных программ\nG. Лица, не исполнившие обязательства, подлежат административному наказанию.\nH. Во вторую очередь уплачивается исполнительский сбор, затем возмещаются расходы по совершению исполнительных действий.\nI. Министерство юстиции Российской Федерации\nJ. СЧ = ПК / Т + Б, где СЧ - страховая часть трудовой пенсии по старости; ПК - сумма расчетного пенсионного капитала; Т - количество месяцев ожидаемого периода выплаты; Б - фиксированный базовый размер\nK. Федеральная служба безопасности\nL. В первую очередь возмещаются расходы по совершению исполнительных действий, затем уплачивается исполнительский сбор.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 288, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0014541783602908254, + "B": 0.006937496364116669, + "C": 0.004768067039549351, + "D": 0.013796859420835972, + "E": 0.014686680398881435, + "F": 0.00507558137178421, + "G": 0.48635604977607727, + "H": 0.29498985409736633, + "I": 0.002252275589853525, + "J": 0.010093997232615948, + "K": 0.029207950457930565, + "L": 0.051261547952890396 + }, + "sample": { + "question": "Как определяется размер страховой части трудовой пенсии по старости согласно Федеральному закону 'О трудовых пенсиях в Российской Федерации' N 173-ФЗ?", + "answerA": "Размер определяется из расчета среднемесячного заработка", + "answerB": "СЧ = ПК / Т + Б, где СЧ - страховая часть трудовой пенсии по старости; ПК - сумма расчетного пенсионного капитала; Т - количество месяцев ожидаемого периода выплаты; Б - фиксированный базовый размер", + "answerC": "Размер страховой части определяется как процент от Фонда национального благосостояния", + "answerD": "Определяется полностью на усмотрение Пенсионного фонда Российской Федерации", + "correct_answer": "answerB", + "choices": [ + "Федеральная служба безопасности", + "Во вторую очередь уплачивается исполнительский сбор, затем возмещаются расходы по совершению исполнительных действий.", + "Если гражданин полностью выполнил обязательства по плану реструктуризации долгов.", + "В первую очередь возмещаются расходы по совершению исполнительных действий, затем уплачивается исполнительский сбор.", + "Определяется полностью на усмотрение Пенсионного фонда Российской Федерации", + "Министерство юстиции Российской Федерации", + "Размер определяется из расчета среднемесячного заработка", + "СЧ = ПК / Т + Б, где СЧ - страховая часть трудовой пенсии по старости; ПК - сумма расчетного пенсионного капитала; Т - количество месяцев ожидаемого периода выплаты; Б - фиксированный базовый размер", + "Размер страховой части определяется как процент от Фонда национального благосостояния", + "Для привлечения внимания прохожих", + "Формирование рейтингов образовательных программ", + "По инициативе любого гражданина, независимо от наличия у него долга перед банкротом." + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКак определяется размер страховой части трудовой пенсии по старости согласно Федеральному закону 'О трудовых пенсиях в Российской Федерации' N 173-ФЗ?\nA. Федеральная служба безопасности\nB. Во вторую очередь уплачивается исполнительский сбор, затем возмещаются расходы по совершению исполнительных действий.\nC. Если гражданин полностью выполнил обязательства по плану реструктуризации долгов.\nD. В первую очередь возмещаются расходы по совершению исполнительных действий, затем уплачивается исполнительский сбор.\nE. Определяется полностью на усмотрение Пенсионного фонда Российской Федерации\nF. Министерство юстиции Российской Федерации\nG. Размер определяется из расчета среднемесячного заработка\nH. СЧ = ПК / Т + Б, где СЧ - страховая часть трудовой пенсии по старости; ПК - сумма расчетного пенсионного капитала; Т - количество месяцев ожидаемого периода выплаты; Б - фиксированный базовый размер\nI. Размер страховой части определяется как процент от Фонда национального благосостояния\nJ. Для привлечения внимания прохожих\nK. Формирование рейтингов образовательных программ\nL. По инициативе любого гражданина, независимо от наличия у ��его долга перед банкротом.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 252, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.002965334802865982, + "B": 0.0031565825920552015, + "C": 0.822205126285553, + "D": 0.006277613341808319, + "E": 0.059560343623161316, + "F": 0.0011612417874857783, + "G": 0.0015872293151915073, + "H": 0.002309405244886875, + "I": 0.00022866205836180598, + "J": 0.00042719696648418903, + "K": 0.0006616556202061474, + "L": 6.551277328981087e-05 + }, + "sample": { + "question": "Как распределяются денежные средства, поступившие на депозитный счет службы судебных приставов при исполнении содержащихся в исполнительном документе требований неимущественного характера, согласно Статье 110 Федерального закона 'Об исполнительном производстве' N 229-ФЗ?", + "answerA": "Во вторую очередь уплачивается исполнительский сбор, затем возмещаются расходы по совершению исполнительных действий.", + "answerB": "В первую очередь возмещаются расходы по совершению исполнительных действий, затем уплачивается исполнительский сбор.", + "answerC": "Все средства возвращаются должнику без распределения.", + "answerD": "Средства распределяются поровну между взыскателем и должником.", + "correct_answer": "answerB", + "choices": [ + "Студенческий билет", + "Федеральная служба безопасности", + "В первую очередь возмещаются расходы по совершению исполнительных действий, затем уплачивается исполнительский сбор.", + "Средства распределяются поровну между взыскателем и должником.", + "Во вторую очередь уплачивается исполнительский сбор, затем возмещаются расходы по совершению исполнительных действий.", + "Формирование рейтингов образовательных программ", + "Министерство юстиции Российской Федерации", + "Если гражданин полностью выполнил обязательства по плану реструктуризации долгов.", + "Все средства возвращаются должнику без распределения.", + "Приостановление лицензии на осуществление образовательной деятельности", + "Для привлечения внимания прохожих", + "По инициативе любого гражданина, независимо от наличия у него долга перед банкротом." + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКак распределяются денежные средства, поступившие на депозитный счет службы судебных приставов при исполнении содержащихся в исполнительном документе требований неимущественного характера, согласно Статье 110 Федерального закона 'Об исполнительном производстве' N 229-ФЗ?\nA. Студенческий билет\nB. Федеральная служба безопасности\nC. В первую очередь возмещаются расходы по совершению исполнительных действий, затем уплачивается исполнительский сбор.\nD. Средства распределяются поровну между взыскателем и должником.\nE. Во вторую очередь уплачивается исполнительский сбор, затем возмещаются расходы по совершению исполнительных действий.\nF. Формирован��е рейтингов образовательных программ\nG. Министерство юстиции Российской Федерации\nH. Если гражданин полностью выполнил обязательства по плану реструктуризации долгов.\nI. Все средства возвращаются должнику без распределения.\nJ. Приостановление лицензии на осуществление образовательной деятельности\nK. Для привлечения внимания прохожих\nL. По инициативе любого гражданина, независимо от наличия у него долга перед банкротом.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 222, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0020205385517328978, + "B": 0.006625091191381216, + "C": 0.5963716506958008, + "D": 0.31921476125717163, + "E": 0.0022895701695233583, + "F": 0.001783119048923254, + "G": 0.00515962578356266, + "H": 0.0008966085151769221, + "I": 0.00010708461923059076, + "J": 0.0002266981464345008, + "K": 0.0015735969645902514, + "L": 1.748108297761064e-05 + }, + "sample": { + "question": "Какой орган осуществляет контроль (надзор) в сфере противодействия легализации (отмыванию) доходов, полученных преступным путем, финансированию терроризма и финансированию распространения оружия массового уничтожения в отношении адвокатов?", + "answerA": "Министерство юстиции Российской Федерации", + "answerB": "Федеральная служба безопасности", + "answerC": "Нотариальные палаты субъектов Российской Федерации", + "answerD": "Адвокатские палаты субъектов Российской Федерации", + "correct_answer": "Адвокатские палаты субъектов Российской Федерации", + "choices": [ + "Формирование рейтингов образовательных программ", + "Если гражданин полностью выполнил обязательства по плану реструктуризации долгов.", + "Федеральная служба безопасности", + "Министерство юстиции Российской Федерации", + "Нотариальные палаты субъектов Российской Федерации", + "По инициативе любого гражданина, независимо от наличия у него долга перед банкротом.", + "Для пресечения преступлений или административных правонарушений", + "Приостановление лицензии на осуществление образовательной деятельности", + "Утверждение решений о назначении ежегодных корпоративных вечеринок", + "Адвокатские палаты субъектов Российской Федерации", + "Студенческий билет", + "Для привлечения внимания прохожих" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКакой орган осуществляет контроль (надзор) в сфере противодействия легализации (отмыванию) доходов, полученных преступным путем, финансированию терроризма и финансированию распространения оружия массового уничтожения в отношении адвокатов?\nA. Формирование рейтингов образовательных программ\nB. Если гражданин полностью выполнил обязательства по плану реструктуризации долгов.\nC. Федеральная служба безопасности\nD. Министерство юстиции Российской Федерации\nE. Нотариальные палаты субъектов Российской Федерации\nF. По инициат��ве любого гражданина, независимо от наличия у него долга перед банкротом.\nG. Для пресечения преступлений или административных правонарушений\nH. Приостановление лицензии на осуществление образовательной деятельности\nI. Утверждение решений о назначении ежегодных корпоративных вечеринок\nJ. Адвокатские палаты субъектов Российской Федерации\nK. Студенческий билет\nL. Для привлечения внимания прохожих\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 188, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0004213766078464687, + "B": 0.005816924385726452, + "C": 0.0007872350979596376, + "D": 0.004255753010511398, + "E": 0.7618667483329773, + "F": 0.037931110709905624, + "G": 0.010867445729672909, + "H": 0.013954076915979385, + "I": 0.0005082772113382816, + "J": 0.008463575504720211, + "K": 0.0033143837936222553, + "L": 0.0017740617040544748 + }, + "sample": { + "question": "По каким основаниям арбитражный суд может отменить план реструктуризации долгов гражданина согласно статье 213.23 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?", + "answerA": "По инициативе любого гражданина, независимо от наличия у него долга перед банкротом.", + "answerB": "Если гражданин полностью выполнил обязательства по плану реструктуризации долгов.", + "answerC": "В случае наличия недостоверных сведений в плане и прилагаемых документах, неисполнения обязанности гражданином по уведомлению кредиторов о существенных обстоятельствах или неисполнения обязательств перед конкурсным кредитором/уполномоченным органом.", + "answerD": "При изменении экономической ситуации в стране, делающей невозможным выполнение условий плана.", + "correct_answer": "C", + "choices": [ + "Формирование рейтингов образовательных программ", + "Статьи 100 - 105", + "Студенческий билет", + "Для привлечения внимания прохожих", + "При изменении экономической ситуации в стране, делающей невозможным выполнение условий плана.", + "В случае наличия недостоверных сведений в плане и прилагаемых документах, неисполнения обязанности гражданином по уведомлению кредиторов о существенных обстоятельствах или неисполнения обязательств перед конкурсным кредитором/уполномоченным органом.", + "Приостановление лицензии на осуществление образовательной деятельности", + "Если гражданин полностью выполнил обязательства по плану реструктуризации долгов.", + "Паспорт иностранного гражданина", + "Для пресечения преступлений или административных правонарушений", + "По инициативе любого гражданина, независимо от наличия у него долга перед банкротом.", + "Утверждение решений о назначении ежегодных корпоративных вечеринок" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nПо каким основаниям арбитражный суд может отменить план реструктуризации долгов гражданина согласно статье 213.23 Федера��ьного закона 'О несостоятельности (банкротстве)' N 127-ФЗ?\nA. Формирование рейтингов образовательных программ\nB. Статьи 100 - 105\nC. Студенческий билет\nD. Для привлечения внимания прохожих\nE. При изменении экономической ситуации в стране, делающей невозможным выполнение условий плана.\nF. В случае наличия недостоверных сведений в плане и прилагаемых документах, неисполнения обязанности гражданином по уведомлению кредиторов о существенных обстоятельствах или неисполнения обязательств перед конкурсным кредитором/уполномоченным органом.\nG. Приостановление лицензии на осуществление образовательной деятельности\nH. Если гражданин полностью выполнил обязательства по плану реструктуризации долгов.\nI. Паспорт иностранного гражданина\nJ. Для пресечения преступлений или административных правонарушений\nK. По инициативе любого гражданина, независимо от наличия у него долга перед банкротом.\nL. Утверждение решений о назначении ежегодных корпоративных вечеринок\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 239, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.2663354277610779, + "B": 0.026370778679847717, + "C": 0.1110251173377037, + "D": 0.04628215357661247, + "E": 0.08646645396947861, + "F": 0.03180922940373421, + "G": 0.04084385931491852, + "H": 0.01326005905866623, + "I": 0.1258079558610916, + "J": 0.04084385931491852, + "K": 0.019293274730443954, + "L": 0.0066675771959125996 + }, + "sample": { + "question": "Что НЕ является результатом независимой оценки качества образования согласно Федеральному закону \"Об образовании в Российской Федерации\" N 273-ФЗ?", + "answerA": "Формирование рейтингов образовательных программ", + "answerB": "Приостановление лицензии на осуществление образовательной деятельности", + "answerC": "Публикация информации в сети \"Интернет\"", + "answerD": "Обязательное рассмотрение результатов в месячный срок государственными органами", + "correct_answer": "answerB", + "choices": [ + "Утверждение годового отчета и бухгалтерской (финансовой) отчетности общественной организации", + "Приостановление лицензии на осуществление образовательной деятельности", + "Студенческий билет", + "На международных нормах и соглашениях", + "Статьи 100 - 105", + "Утверждение решений о назначении ежегодных корпоративных вечеринок", + "Паспорт иностранного гражданина", + "Формирование рейтингов образовательных программ", + "Для привлечения внимания прохожих", + "Публикация информации в сети \"Интернет\"", + "Для пресечения преступлений или административных правонарушений", + "Обязательное рассмотрение результатов в месячный срок государственными органами" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nЧто НЕ является результатом независимой оценки качества образования согласно Федеральному закону \"Об образовании в Российской Федерации\" N 273-ФЗ?\nA. Утверждение годового отчета и бухгалтерской (финансовой) отчетности общественной организации\nB. Приостановление лицензии на осуществление образовательной деятельности\nC. Студенческий билет\nD. На международных нормах и соглашениях\nE. Статьи 100 - 105\nF. Утверждение решений о назначении ежегодных корпоративных вечеринок\nG. Паспорт иностранного гражданина\nH. Формирование рейтингов образовательных программ\nI. Для привлечения внимания прохожих\nJ. Публикация информации в сети \"Интернет\"\nK. Для пресечения преступлений или административных правонарушений\nL. Обязательное рассмотрение результатов в месячный срок государственными органами\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 183, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.7701575756072998, + "B": 0.033838361501693726, + "C": 0.012448437511920929, + "D": 0.012448437511920929, + "E": 0.012448437511920929, + "F": 0.0017933674389496446, + "G": 0.0011578850680962205, + "H": 0.0017933674389496446, + "I": 0.0005138083943165839, + "J": 0.00024270592257380486, + "K": 0.00018901955627370626, + "L": 2.8987085897824727e-05 + }, + "sample": { + "question": "В соответствии со статьей 14 Федерального закона 'О ведомственной охране' N 77-ФЗ, в каких случаях работники ведомственной охраны имеют право на применение физической силы?", + "answerA": "Для привлечения внимания прохожих", + "answerB": "Для пресечения преступлений или административных правонарушений", + "answerC": "Для самозащиты без наличия угрозы выполнению должностных обязанностей", + "answerD": "Для обучения новых сотрудников", + "correct_answer": "B", + "choices": [ + "Для пресечения преступлений или административных правонарушений", + "Статьи 88 - 95", + "Для обучения новых сотрудников", + "Для самозащиты без наличия угрозы выполнению должностных обязанностей", + "Утверждение годового отчета и бухгалтерской (финансовой) отчетности общественной организации", + "Утверждение решений о назначении ежегодных корпоративных вечеринок", + "Для привлечения внимания прохожих", + "Статьи 100 - 105", + "Студенческий билет", + "На международных нормах и соглашениях", + "Паспорт иностранного гражданина", + "Синей ручкой генеральным директором компании" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nВ соответствии со статьей 14 Федерального закона 'О ведомственной охране' N 77-ФЗ, в каких случаях работники ведомственной охраны имеют право на применение физической силы?\nA. Для пресечения преступлений или административных правонарушений\nB. Статьи 88 - 95\nC. Для обучения новых сотрудников\nD. Для самозащиты без наличия угрозы выполнению должностных обязанностей\nE. Утверждение годового отчета и бухгалтерской (финансовой) отчетности общественной организации\nF. Утверждение решений о назначении ежегодных корпоративных вечеринок\nG. Для привлечения внимания прохожих\nH. Статьи 100 - 105\nI. Студенческий билет\nJ. На международных нормах и соглашениях\nK. Паспорт иностранного гражданина\nL. Синей ручкой генеральным директором компании\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 186, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0009423677693121135, + "B": 0.0024064206518232822, + "C": 0.00032567360904067755, + "D": 0.0030899052508175373, + "E": 0.0016539071220904589, + "F": 0.0006894510006532073, + "G": 0.0024064206518232822, + "H": 0.9708192944526672, + "I": 0.0002536348474677652, + "J": 0.0003690365410875529, + "K": 0.0006476793205365539, + "L": 0.005094392225146294 + }, + "sample": { + "question": "Какой документ удостоверяет личность иностранного гражданина в Российской Федерации согласно Федеральному закону \"О правовом положении иностранных граждан в Российской Федерации\" N 115-ФЗ?", + "answerA": "Студенческий билет", + "answerB": "Паспорт иностранного гражданина", + "answerC": "Водительские права", + "answerD": "Библиотечная карта", + "correct_answer": "Паспорт иностранного гражданина", + "choices": [ + "На федеральных законах и указах президента", + "Статьи 88 - 95", + "Утверждение решений о назначении ежегодных корпоративных вечеринок", + "Статьи 100 - 105", + "Водительские права", + "Синей ручкой генеральным директором компании", + "Утверждение годового отчета и бухгалтерской (финансовой) отчетности общественной организации", + "Паспорт иностранного гражданина", + "Студенческий билет", + "Изображение весов", + "На международных нормах и соглашениях", + "Библиотечная карта" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакой документ удостоверяет личность иностранного гражданина в Российской Федерации согласно Федеральному закону \"О правовом положении иностранных граждан в Российской Федерации\" N 115-ФЗ?\nA. На федеральных законах и указах президента\nB. Статьи 88 - 95\nC. Утверждение решений о назначении ежегодных корпоративных вечеринок\nD. Статьи 100 - 105\nE. Водительские права\nF. Синей ручкой генеральным директором компании\nG. Утверждение годового отчета и бухгалтерской (финансовой) отчетности общественной организации\nH. Паспорт иностранного гражданина\nI. Студенческий билет\nJ. Изображение весов\nK. На международных нормах и соглашениях\nL. Библиотечная карта\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 172, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.01502172276377678, + "B": 0.02185647562146187, + "C": 0.8201582431793213, + "D": 0.03180098533630371, + "E": 0.01502172276377678, + "F": 0.006261985283344984, + "G": 0.01502172276377678, + "H": 0.006261985283344984, + "I": 0.0010222410783171654, + "J": 0.0009603065554983914, + "K": 0.001397237996570766, + "L": 5.4176787671167403e-05 + }, + "sample": { + "question": "Какие полномочия относятся к компетенции постоянно действующего коллегиального руководящего органа общественной организации?", + "answerA": "Утверждение решений о назначении ежегодных корпоративных вечеринок", + "answerB": "Утверждение годового отчета и бухгалтерской (финансовой) отчетности общественной организации", + "answerC": "Назначение ежемесячных собраний членов организации", + "answerD": "Принятие решений о цвете офисного интерьера", + "correct_answer": "B", + "choices": [ + "Назначение ежемесячных собраний членов организации", + "На международных нормах и соглашениях", + "Утверждение годового отчета и бухгалтерской (финансовой) отчетности общественной организации", + "Утверждение решений о назначении ежегодных корпоративных вечеринок", + "На федеральных законах и указах президента", + "Синей ручкой генеральным директором компании", + "Отпечатком пальца индивидуального предпринимателя", + "Принятие решений о цвете офисного интерьера", + "Статьи 100 - 105", + "Изображение весов", + "Статьи 88 - 95", + "Смерть взыскателя-гражданина" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКакие полномочия относятся к компетенции постоянно действующего коллегиального руководящего органа общественной организации?\nA. Назначение ежемесячных собраний членов организации\nB. На международных нормах и соглашениях\nC. Утверждение годового отчета и бухгалтерской (финансовой) отчетности общественной организации\nD. Утверждение решений о назначении ежегодных корпоративных вечеринок\nE. На федеральных законах и указах президента\nF. Синей ручкой генеральным директором компании\nG. Отпечатком пальца индивидуального предпринимателя\nH. Принятие решений о цвете офисного интерьера\nI. Статьи 100 - 105\nJ. Изображение весов\nK. Статьи 88 - 95\nL. Смерть взыскателя-гражданина\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 175, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.03834666684269905, + "B": 0.05579407513141632, + "C": 0.4122655689716339, + "D": 0.13384303450584412, + "E": 0.04923810064792633, + "F": 0.043452467769384384, + "G": 0.0811798945069313, + "H": 0.03384081646800041, + "I": 0.005189657676964998, + "J": 0.014106951653957367, + "K": 0.023258432745933533, + "L": 0.0011579691199585795 + }, + "sample": { + "question": "Какие статьи Федерального закона 'О таможенном регулировании в Российской Федерации' N 311-ФЗ утратили силу с 1 января 2020 года?", + "answerA": "Статьи 100 - 105", + "answerB": "Статьи 88 - 95", + "answerC": "Статьи 76 - 82", + "answerD": "Статьи 120 - 125", + "correct_answer": "Статьи 88 - 95", + "choices": [ + "От 1000 до 1500 рублей", + "На международных нормах и соглашениях", + "Статьи 88 - 95", + "Статьи 100 - 105", + "Синей ручкой генеральным директором компании", + "Смерть взыскателя-гражданина", + "Статьи 76 - 82", + "Изображение весов", + "Государственный герб Российской Федерации", + "Статьи 120 - 125", + "Отпечатком пальца индивидуального предпринимателя", + "На федеральных законах и указах президента" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКакие статьи Федерального закона 'О таможенном регулировании в Российской Федерации' N 311-ФЗ утратили силу с 1 января 2020 года?\nA. От 1000 до 1500 рублей\nB. На международных нормах и соглашениях\nC. Статьи 88 - 95\nD. Статьи 100 - 105\nE. Синей ручкой генеральным директором компании\nF. Смерть взыскателя-гражданина\nG. Статьи 76 - 82\nH. Изображение весов\nI. Государственный герб Российской Федерации\nJ. Статьи 120 - 125\nK. Отпечатком пальца индивидуального предпринимателя\nL. На федеральных законах и указах президента\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 184, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.00040885538328438997, + "B": 0.0012593632563948631, + "C": 0.0011830623261630535, + "D": 0.0032158968970179558, + "E": 0.06459301710128784, + "F": 0.0017213455867022276, + "G": 0.00771453557536006, + "H": 0.891679048538208, + "I": 0.00021884453599341214, + "J": 0.0002810019359458238, + "K": 0.0018323627300560474, + "L": 0.0014270455576479435 + }, + "sample": { + "question": "На чем основывается законодательство Российской Федерации о пожарной безопасности?", + "answerA": "На международных нормах и соглашениях", + "answerB": "На федеральных законах и указах президента", + "answerC": "На Конституции Российской Федерации", + "answerD": "На региональных законах и инициативах", + "correct_answer": "answerC", + "choices": [ + "Отпечатком пальца индивидуального предпринимателя", + "От 1000 до 1500 рублей", + "На Конституции Российской Федерации", + "Утрата возможности исполнения исполнительного документа", + "Синей ручкой генеральным директором компании", + "Государственный герб Российской Федерации", + "На международных нормах и соглашениях", + "На федеральных законах и указах президента", + "Бесплатная перевозка организовывается только для студентов высших учебных заведений.", + "На региональных законах и инициативах", + "Изображение весов", + "Смерть взыскателя-гражданина" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nНа чем основывается законодательство Российской Федерации о пожарной безопасности?\nA. Отпечатком пальца индивидуального предпринимателя\nB. От 1000 до 1500 рублей\nC. На Конституции Российской Федерации\nD. Утрата возможности исполнения исполнительного документа\nE. Синей ручкой генеральным директором компании\nF. Государственный герб Российской Федерации\nG. На международных нормах и соглашениях\nH. На федеральных законах и указах президента\nI. Бесплатная перевозка организовывается только для студентов высших учебных заведений.\nJ. На региональных законах и инициативах\nK. Изображение весов\nL. Смерть взыскателя-гражданина\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 155, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.005750312004238367, + "B": 0.0032764291390776634, + "C": 0.01771220751106739, + "D": 0.025771111249923706, + "E": 0.07005314528942108, + "F": 0.0073835477232933044, + "G": 0.0545574426651001, + "H": 0.012173411436378956, + "I": 0.6646457314491272, + "J": 0.03749674931168556, + "K": 0.005074632354080677, + "L": 0.0007310701184906065 + }, + "sample": { + "question": "Каким образом должно быть подписано решение о выпуске цифровых финансовых активов?", + "answerA": "Синей ручкой генеральным директором компании", + "answerB": "Отпечатком пальца индивидуального предпринимателя", + "answerC": "Усиленной квалифицированной электронной подписью индивидуального предпринимателя или лица (лиц), осуществляющего (осуществляющих) функции единоличного исполнительного органа юридического лица", + "answerD": "Сканированной копией паспорта индивидуального предпринимателя", + "correct_answer": "Усиленной квалифицированной электронной подписью индивидуального предпринимателя или лица (лиц), осуществляющего (осуществляющих) функции единоличного исполнительного органа юридического лица", + "choices": [ + "Бесплатная перевозка организовывается только для студентов высших учебных заведений.", + "Смерть взыскателя-гражданина", + "Государственный герб Российской Федерации", + "Изображение весов", + "Сканированной копией паспорта индивидуального предпринимателя", + "Утрата возможности исполнения исполнительного документа", + "Синей ручкой генеральным директором компании", + "От 1000 до 1500 рублей", + "Усиленной квалифицированной электронной подписью индивидуального предпринимателя или лица (лиц), осуществляющего (осуществляющих) функции единоличного исполнительного органа юридического лица", + "Отпечатком пальца индивидуального предпринимателя", + "От 300 до 500 рублей", + "Осуществлять образовательную деятельность среди населения" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКаким образом должно быть подписано решение о выпуске цифровых финансовых активов?\nA. Бесплатная перевозка организовывается только для студентов высших учебных заведений.\nB. Смерть взыскателя-гражданина\nC. Государственный герб Российской Федерации\nD. Изображение весов\nE. Сканированной копией паспорта индивидуального предпринимателя\nF. Утрата возможности исполнения исполнительного документа\nG. Синей ручкой генеральным директором компании\nH. От 1000 до 1500 рублей\nI. Усиленной квалифицированной электронной подписью индивидуального предпринимателя или лица (лиц), осуществляющего (осуществляющих) функции единоличного исполнительного органа юридического лица\nJ. Отпечатком пальца индивидуального предпринимателя\nK. От 300 до 500 рублей\nL. Осуществлять образовательную деятельность среди населения\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 191, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.04314076155424118, + "B": 0.04888489097356796, + "C": 0.01914360001683235, + "D": 0.03359806165099144, + "E": 0.13288292288780212, + "F": 0.11726876348257065, + "G": 0.11726876348257065, + "H": 0.24825796484947205, + "I": 0.07112710177898407, + "J": 0.03807159513235092, + "K": 0.017983747646212578, + "L": 0.01914360001683235 + }, + "sample": { + "question": "Что изображено на печати органов и организаций прокуратуры Российской Федерации согласно Федеральному закону \"О прокуратуре Российской Федерации\" N 2202-1-ФЗ, Статье 53?", + "answerA": "Изображение весов", + "answerB": "Государственный герб Российской Федерации", + "answerC": "Портрет основателя первой прокуратуры", + "answerD": "Глобус и книга законов", + "correct_answer": "answerB", + "choices": [ + "Организация бесплатной перевозки обучающихся в государственных и муниципальных образовательных организациях, реализующих дополнительные образовательные программы.", + "Государственный герб Российской Федерации", + "Осуществлять образовательную деятельность среди населения", + "с 1 января 2021 года", + "Смерть взыскателя-гражданина", + "Глобус и книга законов", + "Бесплатная перевозка организовывается только для студентов высших учебных заведений.", + "Портрет основателя первой прокуратуры", + "Изображение весов", + "От 1000 до 1500 рублей", + "Утрата возможности исполнения исполнительного документа", + "От 300 до 500 рублей" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nЧто изображено на печати органов и организаций прокуратуры Российской Федерации согласно Федеральному закону \"О прокуратуре Российской Федерации\" N 2202-1-ФЗ, Статье 53?\nA. Организация бесплатной перевозки обучающихся в государственных и муниципальных образовательных организациях, реализующих дополнительные образовательные программы.\nB. Государственный герб Российской Федерации\nC. Осуществлять образовательную деятельность среди населения\nD. с 1 января 2021 года\nE. Смерть взыскателя-гражданина\nF. Глобус и книга законов\nG. Бесплатная перевозка организовывается только для студентов высших учебных заведений.\nH. Портрет основателя первой прокуратуры\nI. Изображение весов\nJ. От 1000 до 1500 рублей\nK. Утрата возможности исполнения исполнительного документа\nL. От 300 до 500 рублей\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 200, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.07999737560749054, + "B": 0.07059743255376816, + "C": 0.16935443878173828, + "D": 0.10271865874528885, + "E": 0.07059743255376816, + "F": 0.06230201944708824, + "G": 0.1163954883813858, + "H": 0.03778808191418648, + "I": 0.03778808191418648, + "J": 0.07999737560749054, + "K": 0.03778808191418648, + "L": 0.016768360510468483 + }, + "sample": { + "question": "Какое событие НЕ является основанием для прекращения ��сполнительного производства согласно Федеральному закону \"Об исполнительном производстве\" N 229-ФЗ?", + "answerA": "Смерть взыскателя-гражданина", + "answerB": "Утрата возможности исполнения исполнительного документа", + "answerC": "Подписание мирового соглашения между взыскателем и должником", + "answerD": "Истечение срока действия исполнительного документа без его реализации", + "correct_answer": "answerD", + "choices": [ + "Утрата возможности исполнения исполнительного документа", + "с 1 января 2021 года", + "Бесплатная перевозка организовывается только для студентов высших учебных заведений.", + "От 1000 до 1500 рублей", + "Подписание мирового соглашения между взыскателем и должником", + "Все технические регламенты принимаются исключительно при общественном обсуждении.", + "Организация бесплатной перевозки обучающихся в государственных и муниципальных образовательных организациях, реализующих дополнительные образовательные программы.", + "Истечение срока действия исполнительного документа без его реализации", + "Принимать участие в международных проектах по защите окружающей среды", + "От 300 до 500 рублей", + "Смерть взыскателя-гражданина", + "Осуществлять образовательную деятельность среди населения" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакое событие НЕ является основанием для прекращения исполнительного производства согласно Федеральному закону \"Об исполнительном производстве\" N 229-ФЗ?\nA. Утрата возможности исполнения исполнительного документа\nB. с 1 января 2021 года\nC. Бесплатная перевозка организовывается только для студентов высших учебных заведений.\nD. От 1000 до 1500 рублей\nE. Подписание мирового соглашения между взыскателем и должником\nF. Все технические регламенты принимаются исключительно при общественном обсуждении.\nG. Организация бесплатной перевозки обучающихся в государственных и муниципальных образовательных организациях, реализующих дополнительные образовательные программы.\nH. Истечение срока действия исполнительного документа без его реализации\nI. Принимать участие в международных проектах по защите окружающей среды\nJ. От 300 до 500 рублей\nK. Смерть взыскателя-гражданина\nL. Осуществлять образовательную деятельность среди населения\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 209, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0735488161444664, + "B": 0.02387780323624611, + "C": 0.012780867516994476, + "D": 0.02387780323624611, + "E": 0.1764344573020935, + "F": 0.03936784341931343, + "G": 0.05727987736463547, + "H": 0.4795985221862793, + "I": 0.003897944698110223, + "J": 0.014482621103525162, + "K": 0.006426624022424221, + "L": 0.01859605312347412 + }, + "sample": { + "question": "Чему равен размер административного штрафа за управление специализированным транспортным средством, пр��дназначенным для перевозок опасных грузов, которое не прошло государственный технический осмотр или технический осмотр, согласно Федеральному закону \"О техническом осмотре транспортных средств\" N 170-ФЗ?", + "answerA": "От 1000 до 1500 рублей", + "answerB": "От 300 до 500 рублей", + "answerC": "От 500 до 800 рублей", + "answerD": "От 2000 до 2500 рублей", + "correct_answer": "От 500 до 800 рублей", + "choices": [ + "От 500 до 800 рублей", + "Организация бесплатной перевозки обучающихся в государственных и муниципальных образовательных организациях, реализующих дополнительные образовательные программы.", + "Принимать участие в международных проектах по защите окружающей среды", + "Осуществлять образовательную деятельность среди населения", + "От 1000 до 1500 рублей", + "с 1 января 2022 года", + "Нежелание служить в армии", + "От 2000 до 2500 рублей", + "с 1 января 2021 года", + "Все технические регламенты принимаются исключительно при общественном обсуждении.", + "Бесплатная перевозка организовывается только для студентов высших учебных заведений.", + "От 300 до 500 рублей" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nЧему равен размер административного штрафа за управление специализированным транспортным средством, предназначенным для перевозок опасных грузов, которое не прошло государственный технический осмотр или технический осмотр, согласно Федеральному закону \"О техническом осмотре транспортных средств\" N 170-ФЗ?\nA. От 500 до 800 рублей\nB. Организация бесплатной перевозки обучающихся в государственных и муниципальных образовательных организациях, реализующих дополнительные образовательные программы.\nC. Принимать участие в международных проектах по защите окружающей среды\nD. Осуществлять образовательную деятельность среди населения\nE. От 1000 до 1500 рублей\nF. с 1 января 2022 года\nG. Нежелание служить в армии\nH. От 2000 до 2500 рублей\nI. с 1 января 2021 года\nJ. Все технические регламенты принимаются исключительно при общественном обсуждении.\nK. Бесплатная перевозка организовывается только для студентов высших учебных заведений.\nL. От 300 до 500 рублей\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 245, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0036959187127649784, + "B": 0.007350212894380093, + "C": 0.002540165325626731, + "D": 0.03732745721936226, + "E": 0.7497420310974121, + "F": 0.03732745721936226, + "G": 0.013732004910707474, + "H": 0.006093540694564581, + "I": 0.0007747066556476057, + "J": 0.0036959187127649784, + "K": 0.002540165325626731, + "L": 0.0009947430808097124 + }, + "sample": { + "question": "В соответствии со Статьей 40 Федерального закона \"Об образовании в Российской Федерации\" №273-ФЗ, как организуется бесплатная перевозка обучающихся?", + "answerA": "Бесплатная перевозка организовывается только для студентов высших учебных заведений.", + "answerB": "Организация бесплатной перевозки обучающихся в государственных и муниципальных образовательных организациях, реализующих дополнительные образовательные программы.", + "answerC": "Организация бесплатной перевозки обучающихся в государственных и муниципальных образовательных организациях, реализующих основные общеобразовательные программы, между поселениями, входящими в состав одного муниципального района, между населенными пунктами в составе муниципального или городского округа.", + "answerD": "Организация бесплатной перевозки обучающихся к местам их временной работы или практики.", + "correct_answer": "Организация бесплатной перевозки обучающихся в государственных и муниципальных образовательных организациях, реализующих основные общеобразовательные программы, между поселениями, входящими в состав одного муниципального района, между населенными пунктами в составе муниципального или городского округа.", + "choices": [ + "с 1 января 2021 года", + "Все технические регламенты принимаются исключительно при общественном обсуждении.", + "Принимать участие в международных проектах по защите окружающей среды", + "Технические регламенты могут приниматься исключительно органами местного самоуправления.", + "Организация бесплатной перевозки обучающихся к местам их временной работы или практики.", + "Организация бесплатной перевозки обучающихся в государственных и муниципальных образовательных организациях, реализующих основные общеобразовательные программы, между поселениями, входящими в состав одного муниципального района, между населенными пунктами в составе муниципального или городского округа.", + "Бесплатная перевозка организовывается только для студентов высших учебных заведений.", + "Осуществлять образовательную деятельность среди населения", + "с 1 января 2022 года", + "Нежелание служить в армии", + "Отношения, касающиеся налогов и сборов, полностью урегулированные законодательством РФ о налогах и сборах.", + "Организация бесплатной перевозки обучающихся в государственных и муниципальных образовательных организациях, реализующих дополнительные образовательные программы." + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nВ соответствии со Статьей 40 Федерального закона \"Об образовании в Российской Федерации\" №273-ФЗ, как организуется бесплатная перевозка обучающихся?\nA. с 1 января 2021 года\nB. Все технические регламенты принимаются исключительно при общественном обсуждении.\nC. Принимать участие в международных проектах по защите окружающей среды\nD. Технические регламенты могут приниматься исключительно органами местного самоуправления.\nE. Организация бесплатной перевозки обучающихся к местам их временной работы или практики.\nF. Организация бесплатной перевозки обучающихся в государственных и муниципальных образовательных организациях, реализующих основные общеобразовательные программы, между поселениями, входящими в состав одного муниципального района, между населенными пунктами в составе муниципального или городского округа.\nG. Бесплатная перевозка организовывается только для студентов высших учебных заведений.\nH. Осуществлять образовательную деятельность среди населения\nI. с 1 января 2022 года\nJ. Нежелание служить в армии\nK. Отношения, касающиеся налогов и сборов, полностью урегулированные законодательством РФ о налогах и сборах.\nL. Организация бесплатной перевозки обучающихся в государственных и муниципальных образовательных организациях, реализующих дополнительные образовательные программы.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 265, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.002788308309391141, + "B": 0.020602963864803314, + "C": 0.019354695454239845, + "D": 0.22150276601314545, + "E": 0.019354695454239845, + "F": 0.6021068692207336, + "G": 0.019354695454239845, + "H": 0.007120193913578987, + "I": 0.0009052310488186777, + "J": 0.008068237453699112, + "K": 0.00973215140402317, + "L": 0.005545212421566248 + }, + "sample": { + "question": "Какие права и обязанности имеет уполномоченный орган по защите прав субъектов персональных данных согласно Федеральному закону \"О персональных данных\" N 152-ФЗ?", + "answerA": "Осуществлять образовательную деятельность среди населения", + "answerB": "Принимать участие в международных проектах по защите окружающей среды", + "answerC": "Запрашивать у физических или юридических лиц информацию, необходимую для реализации своих полномочий", + "answerD": "Разрабатывать национальную космическую программу", + "correct_answer": "Запрашивать у физических или юридических лиц информацию, необходимую для реализации своих полномочий", + "choices": [ + "Отношения, касающиеся налогов и сборов, полностью урегулированные законодательством РФ о налогах и сборах.", + "Разрабатывать национальную космическую программу", + "Технические регламенты могут приниматься исключительно органами местного самоуправления.", + "с 1 января 2021 года", + "Все технические регламенты принимаются исключительно при общественном обсуждении.", + "Запрашивать у физических или юридических лиц информацию, необходимую для реализации своих полномочий", + "Нежелание служить в армии", + "Не менее пяти миллионов рублей", + "Осуществлять образовательную деятельность среди населения", + "с 1 января 2022 года", + "Принимать участие в международных проектах по защите окружающей среды", + "Утрата трудоспособности из-за заболевания или увечья гражданина" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКакие права и обязанности имеет уполномоченный орган по защите прав субъектов персональных данных согласно Федеральному закону \"О персональных данных\" N 152-ФЗ?\nA. Отношения, касающиеся налогов и сборов, полностью урегулированные законодательством РФ о налогах и сборах.\nB. Разрабатывать национальную космическую программу\nC. Технические регламенты могут приниматься исключительно органами местного самоуправления.\nD. с 1 января 2021 года\nE. Все технические регламенты принимаются исключительно при общественном обсуждении.\nF. Запрашивать у физических или юридических лиц информацию, необходимую для реализации своих полномочий\nG. Нежелание служить в армии\nH. Не менее пяти миллионов рублей\nI. Осуществлять образовательную деятельность среди населения\nJ. с 1 января 2022 года\nK. Принимать участие в международных проектах по защите окружающей среды\nL. Утрата трудоспособности из-за заболевания или увечья гражданина\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 214, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.018043028190732002, + "B": 0.026252448558807373, + "C": 0.11052694171667099, + "D": 0.06703796982765198, + "E": 0.07596397399902344, + "F": 0.04066058620810509, + "G": 0.1608157455921173, + "H": 0.38577690720558167, + "I": 0.006235503125935793, + "J": 0.009657736867666245, + "K": 0.023167705163359642, + "L": 0.026252448558807373 + }, + "sample": { + "question": "С какого числа статья 16 Федерального закона 'Об аудиторской деятельности' N 307-ФЗ утратила силу?", + "answerA": "с 1 января 2021 года", + "answerB": "с 1 января 2022 года", + "answerC": "с 1 июля 2021 года", + "answerD": "с 1 июля 2020 года", + "correct_answer": "с 1 января 2022 года", + "choices": [ + "Утрата трудоспособности из-за заболевания или увечья гражданина", + "Технические регламенты могут приниматься исключительно органами местного самоуправления.", + "Отношения, касающиеся налогов и сборов, полностью урегулированные законодательством РФ о налогах и сборах.", + "Не менее пяти миллионов рублей", + "10 лет", + "Все технические регламенты принимаются исключительно при общественном обсуждении.", + "с 1 января 2022 года", + "с 1 января 2021 года", + "с 1 июля 2020 года", + "Отношения, касающиеся порядка фактического пересечения Государственной границы РФ товарами и транспортными средствами.", + "с 1 июля 2021 года", + "Нежелание служить в армии" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nС какого числа статья 16 Федерального закона 'Об аудиторской деятельности' N 307-ФЗ утратила силу?\nA. Утрата трудоспособности из-за заболевания или увечья гражданина\nB. Технические регламенты могут приниматься исключительно органами местного самоуправления.\nC. Отношения, касающиеся налогов и сборов, полностью урегулированные законодательством РФ о налогах и сборах.\nD. Не менее пяти миллионов рублей\nE. 10 лет\nF. Все технические регламенты принимаются исключительно при общественном обсуждении.\nG. с 1 января 2022 года\nH. с 1 января 2021 года\nI. с 1 июля 2020 года\nJ. Отношения, касающиеся порядка фактического пересечения Государственной границы РФ товарами и транспортными средствами.\nK. с 1 июля 2021 года\nL. Нежелание служить в армии\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 211, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.012139461003243923, + "B": 0.009454222396016121, + "C": 0.8510419130325317, + "D": 0.02267949841916561, + "E": 0.009454222396016121, + "F": 0.00506047997623682, + "G": 0.015587377361953259, + "H": 0.005734275560826063, + "I": 0.0006433678790926933, + "J": 0.0009360947296954691, + "K": 0.002390401903539896, + "L": 7.683933654334396e-05 + }, + "sample": { + "question": "Какой особый порядок разработки и принятия технических регламентов установлен Федеральным законом \"О техническом регулировании\" N 184-ФЗ в соответствии со Статьей 10?", + "answerA": "Все технические регламенты принимаются исключительно при общественном обсуждении.", + "answerB": "Технические регламенты могут приниматься исключительно органами местного самоуправления.", + "answerC": "Президент Российской Федерации вправе издать технический регламент без его публичного обсуждения в исключительных случаях.", + "answerD": "Технические регламенты автоматически принимаются после одобрения их экономическими экспертами.", + "correct_answer": "C", + "choices": [ + "Технические регламенты автоматически принимаются после одобрения их экономическими экспертами.", + "Утрата трудоспособности из-за заболевания или увечья гражданина", + "Президент Российской Федерации вправе издать технический регламент без его публичного обсуждения в исключительных случаях.", + "Все технические регламенты принимаются исключительно при общественном обсуждении.", + "10 лет", + "Не менее десяти миллионов рублей", + "Отношения, касающиеся порядка фактического пересечения Государственной границы РФ товарами и транспортными средствами.", + "Нежелание служить в армии", + "Технические регламенты могут приниматься исключительно органами местного самоуправления.", + "Отношения, касающиеся налогов и сборов, полностью урегулированные законодательством РФ о налогах и сборах.", + "Не менее пяти миллионов рублей", + "Государственный орган, управляющий общественными объединениями" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКакой особый порядок разработки и принятия технических регламентов установлен Федеральным законом \"О техническом регулировании\" N 184-ФЗ в соответствии со Статьей 10?\nA. Технические регламенты автоматически принимаются после одобрения их экономическими экспертами.\nB. Утрата трудоспособности из-за заболевания или увечья гражданина\nC. Президент Российской Федерации вправе издать технический регламент без его публичного обсуждения в исключительных случаях.\nD. Все технические регламенты принимаются исключительно при общественном обсуждении.\nE. 10 лет\nF. Не менее десяти миллионов рублей\nG. Отношения, касающиеся порядка фактического пересечения Государственной границы РФ товарами и транспортными средствами.\nH. Нежелание служить в армии\nI. Технические регламенты могут приниматься исключительно органами местного самоуправления.\nJ. Отношения, касающиеся налогов и сборов, полностью урегулированные законодательством РФ о налогах и сборах.\nK. Не менее пяти миллионов рублей\nL. Государственный орган, управляющий общественными объединениями\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 226, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.45263782143592834, + "B": 0.025536078959703445, + "C": 0.11444476246833801, + "D": 0.032788973301649094, + "E": 0.032788973301649094, + "F": 0.02253550849854946, + "G": 0.05405987799167633, + "H": 0.017550671473145485, + "I": 0.01868259534239769, + "J": 0.005352652631700039, + "K": 0.037154775112867355, + "L": 0.00034218362998217344 + }, + "sample": { + "question": "Какие обстоятельства признаются уважительными причинами для неявки гражданина в военный комиссариат согласно Федеральному закону \"О воинской обязанности и военной службе\" N 53-ФЗ?", + "answerA": "Нежелание служить в армии", + "answerB": "Утрата трудоспособности из-за заболевания или увечья гражданина", + "answerC": "Отсутствие прямого рейса к месту вызова военного комиссариата", + "answerD": "Плановый отпуск на работе", + "correct_answer": "B", + "choices": [ + "Утрата трудоспособности из-за заболевания или увечья гражданина", + "Отношения, касающиеся налогов и сборов, полностью урегулированные законодательством РФ о налогах и сборах.", + "Нежелание служить в армии", + "Государственный орган, управляющий общественными объединениями", + "Отношения, касающиеся порядка фактического пересечения Государственной границы РФ товарами и транспортными средствами.", + "Не менее пяти миллионов рублей", + "Если арбитражный управляющий сам по собственному желанию устраняет выявленные несоответствия условиям членства.", + "Не менее десяти миллионов рублей", + "Плановый отпуск на работе", + "10 лет", + "Отсутствие прямого рейса к месту вызова военного комиссариата", + "15 лет" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКакие обстоятельства признаются уважительными причинами для неявки гражданина в военный комиссариат согласно Федеральному закону \"О воинской обязанности и военной службе\" N 53-ФЗ?\nA. Утрата трудоспособности из-за заболевания или увечья гражданина\nB. Отношения, касающиеся налогов и сборов, полностью урегулированные законодательством РФ о налогах и сборах.\nC. Нежелание служить в армии\nD. Государственный орган, управляющий общественными объединениями\nE. Отношения, касающиеся порядка фак��ического пересечения Государственной границы РФ товарами и транспортными средствами.\nF. Не менее пяти миллионов рублей\nG. Если арбитражный управляющий сам по собственному желанию устраняет выявленные несоответствия условиям членства.\nH. Не менее десяти миллионов рублей\nI. Плановый отпуск на работе\nJ. 10 лет\nK. Отсутствие прямого рейса к месту вызова военного комиссариата\nL. 15 лет\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 211, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.17040154337882996, + "B": 0.017960190773010254, + "C": 0.038021720945835114, + "D": 0.5947598218917847, + "E": 0.020351562649011612, + "F": 0.017960190773010254, + "G": 0.023061340674757957, + "H": 0.008483792655169964, + "I": 0.0027542845346033573, + "J": 0.0016705580055713654, + "K": 0.026131924241781235, + "L": 0.0012222062796354294 + }, + "sample": { + "question": "Каков минимальный размер обеспечения исполнения обязанностей юридического лица, осуществляющего деятельность в качестве владельца свободного склада, согласно статье 371 Федерального закона 'О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации' N 289-ФЗ?", + "answerA": "Не менее пяти миллионов рублей", + "answerB": "Не менее десяти миллионов рублей", + "answerC": "Не менее пятнадцати миллионов рублей", + "answerD": "Не менее двадцати миллионов рублей", + "correct_answer": "Не менее десяти миллионов рублей", + "choices": [ + "Не менее десяти миллионов рублей", + "10 лет", + "Министерство юстиции Российской Федерации", + "Не менее пяти миллионов рублей", + "Государственный орган, управляющий общественными объединениями", + "Не имеющее членства общественное объединение, целью которого является совместное решение различных социальных проблем", + "Если арбитражный управляющий выходит из саморегулируемой организации арбитражных управляющих, и данная организация направляет ходатайство в арбитражный суд.", + "Не менее двадцати миллионов рублей", + "Если арбитражный управляющий сам по собственному желанию устраняет выявленные несоответствия условиям членства.", + "15 лет", + "Не менее пятнадцати миллионов рублей", + "Устанавливаются коллективным договором на уровне предприятия." + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКаков минимальный размер обеспечения исполнения обязанностей юридического лица, осуществляющего деятельность в качестве владельца свободного склада, согласно статье 371 Федерального закона 'О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации' N 289-ФЗ?\nA. Не менее десяти миллионов рублей\nB. 10 лет\nC. Министерство юстиции Российской Федерации\nD. Не менее пяти миллионов рублей\nE. Государственный орган, управляющий общественными объединениями\nF. Не имеющее членства общественное объединение, целью которого является совместное решение различных социальных проблем\nG. Если арбитражный управляющий выходит из саморегулируемой организации арбитражных управляющих, и данная организация направляет ходатайство в арбитражный суд.\nH. Не менее двадцати миллионов рублей\nI. Если арбитражный управляющий сам по собственному желанию устраняет выявленные несоответствия условиям членства.\nJ. 15 лет\nK. Не менее пятнадцати миллионов рублей\nL. Устанавливаются коллективным договором на уровне предприятия.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 224, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.004612466786056757, + "B": 0.012537985108792782, + "C": 0.05619135499000549, + "D": 0.775697648525238, + "E": 0.020671643316745758, + "F": 0.011064732447266579, + "G": 0.04958869144320488, + "H": 0.012537985108792782, + "I": 0.001241428661160171, + "J": 0.0033745530527085066, + "K": 0.01609909161925316, + "L": 0.0023192940279841423 + }, + "sample": { + "question": "Каков максимальный срок договора инвестиционного товарищества по Федеральному закону 'Об инвестиционном товариществе' N 335-ФЗ?", + "answerA": "10 лет", + "answerB": "15 лет", + "answerC": "20 лет", + "answerD": "25 лет", + "correct_answer": "B", + "choices": [ + "Государственный орган, управляющий общественными объединениями", + "Исключительно при личной встрече с судебным приставом-исполнителем", + "25 лет", + "Устанавливаются федеральным законом.", + "Если арбитражный управляющий выходит из саморегулируемой организации арбитражных управляющих, и данная организация направляет ходатайство в арбитражный суд.", + "Не имеющее членства общественное объединение, целью которого является совместное решение различных социальных проблем", + "Министерство юстиции Российской Федерации", + "Если арбитражный управляющий сам по собственному желанию устраняет выявленные несоответствия условиям членства.", + "Устанавливаются коллективным договором на уровне предприятия.", + "10 лет", + "15 лет", + "20 лет" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКаков максимальный срок договора инвестиционного товарищества по Федеральному закону 'Об инвестиционном товариществе' N 335-ФЗ?\nA. Государственный орган, управляющий общественными объединениями\nB. Исключительно при личной встрече с судебным приставом-исполнителем\nC. 25 лет\nD. Устанавливаются федеральным законом.\nE. Если арбитражный управляющий выходит из саморегулируемой организации арбитражных управляющих, и данная организация направляет ходатайство в арбитражный суд.\nF. Не имеющее членства общественное объединение, целью которого является совместное решение различных социальных проблем\nG. Министерство юстиции Российской Федерации\nH. Если арбитражный управляющий сам по собственному желанию устраняет выявленные несоответствия условиям членства.\nI. Устанавливаются коллективным договором на уровне предприятия.\nJ. 10 лет\nK. 15 лет\nL. 20 лет\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 199, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0015189661644399166, + "B": 0.0072465818375349045, + "C": 0.004128977656364441, + "D": 0.014411548152565956, + "E": 0.0185047946870327, + "F": 0.006007627584040165, + "G": 0.0185047946870327, + "H": 0.014411548152565956, + "I": 0.07318788021802902, + "J": 0.5407893657684326, + "K": 0.2254345417022705, + "L": 0.003643810050562024 + }, + "sample": { + "question": "Что является органом общественной самодеятельности согласно Федеральному закону \"Об общественных объединениях\" N 82-ФЗ?", + "answerA": "Государственный орган, управляющий общественными объединениями", + "answerB": "Не имеющее членства общественное объединение, целью которого является совместное решение различных социальных проблем", + "answerC": "Любое некоммерческое партнерство с уставной деятельностью в социальной сфере", + "answerD": "Коммерческая организация, занимающаяся благотворительностью", + "correct_answer": "answerB", + "choices": [ + "Устанавливаются коллективным договором на уровне предприятия.", + "Коммерческая организация, занимающаяся благотворительностью", + "Если арбитражный управляющий сам по собственному желанию устраняет выявленные несоответствия условиям членства.", + "Если арбитражный управляющий выходит из саморегулируемой организации арбитражных управляющих, и данная организация направляет ходатайство в арбитражный суд.", + "Любое некоммерческое партнерство с уставной деятельностью в социальной сфере", + "Исключительно при личной встрече с судебным приставом-исполнителем", + "Не реже чем один раз в два года", + "Министерство юстиции Российской Федерации", + "Государственный орган, управляющий общественными объединениями", + "Устанавливаются федеральным законом.", + "Не имеющее членства общественное объединение, целью которого является совместное решение различных социальных проблем", + "Местные органы самоуправления" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nЧто является органом общественной самодеятельности согласно Федеральному закону \"Об общественных объединениях\" N 82-ФЗ?\nA. Устанавливаются коллективным договором на уровне предприятия.\nB. Коммерческая организация, занимающаяся благотворительностью\nC. Если арбитражный управляющий сам по собственному желанию устраняет выявленные несоответствия условиям членства.\nD. Если арбитражный управляющий выходит из саморегулируемой организации арбитражных управляющих, и данная организация направляет ходатайство в арбитражный суд.\nE. Любое некоммерческое партнерство с уставной деятельностью в социальной сфере\nF. Исключительно при личной встрече с судебным приставом-исполнителем\nG. Не реже чем один раз в два года\nH. Министерство юстиции Российской Федерации\nI. Государственный орган, управляющий общественными объединениями\nJ. Устанавливаются федеральным законом.\nK. Не имеющее членства общественное объединение, целью которого является совместное решение различных социальных проблем\nL. Местные органы самоуправления\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 216, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.01010175235569477, + "B": 0.016654973849654198, + "C": 0.009489718824625015, + "D": 0.02138541080057621, + "E": 0.29521647095680237, + "F": 0.12306453287601471, + "G": 0.07464241236448288, + "H": 0.05130092799663544, + "I": 0.045272912830114365, + "J": 0.0845809355378151, + "K": 0.0658717006444931, + "L": 0.03995320573449135 + }, + "sample": { + "question": "В соответствии с Федеральным законом 'О несостоятельности (банкротстве)' N 127-ФЗ, каковы условия для освобождения арбитражного управляющего от исполнения возложенных на него обязанностей в деле о банкротстве?", + "answerA": "Если арбитражный управляющий сам по собственному желанию устраняет выявленные несоответствия условиям членства.", + "answerB": "Если арбитражный управляющий выходит из саморегулируемой организации арбитражных управляющих, и данная организация направляет ходатайство в арбитражный суд.", + "answerC": "Если арбитражный управляющий предоставляет удостоверение о своём образовании.", + "answerD": "Если арбитражный суд принимает решение самостоятельно без ходатайства.", + "correct_answer": "B", + "choices": [ + "Исключительно при личной встрече с судебным приставом-исполнителем", + "Посредством публикации объявления в официальных печатных средствах массовой информации", + "Местные органы самоуправления", + "Создавать, реорганизовывать и ликвидировать подразделения пожарной охраны.", + "Министерство юстиции Российской Федерации", + "Если арбитражный суд принимает решение самостоятельно без ходатайства.", + "Если арбитражный управляющий сам по собственному желанию устраняет выявленные несоответствия условиям членства.", + "Если арбитражный управляющий предоставляет удостоверение о своём образовании.", + "Если арбитражный управляющий выходит из саморегулируемой организации арбитражных управляющих, и данная организация направляет ходатайство в арбитражный суд.", + "Устанавливаются коллективным договором на уровне предприятия.", + "Не реже чем один раз в два года", + "Устанавливаются федеральным законом." + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nВ соответствии с Федеральным законом 'О несостоятельности (банкротстве)' N 127-ФЗ, каковы условия для освобождения арбитражного управляющего от исполнения возложенных на него обязанностей в деле о банкротстве?\nA. Исключительно при личной встрече с судебным приставом-исполнителем\nB. Посредством публикации объявления в официальных печатных средствах массовой информации\nC. Местные органы самоуправления\nD. Создавать, реорганизовывать и ликвидировать подразделения пожарной охраны.\nE. Министерство юстиции Российской Федерации\nF. Если арбитражный суд принимает решение самостоятельно без ходатайства.\nG. Если арбитражный управляющий сам по собственному желанию устраняет выявленные несоответствия условиям членства.\nH. Если арбитражный управляющий предоставляет удостоверение о своём образовании.\nI. Если арбитражный управляющий выходит из саморегулируемой организации арбитражных управляющих, и данная организация направляет ходатайство в арбитражный суд.\nJ. Устанавливаются коллективным договором на уровне предприятия.\nK. Не реже чем один раз в два года\nL. Устанавливаются федеральным законом.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 228, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0015861467691138387, + "B": 0.0024566722568124533, + "C": 0.0009037592099048197, + "D": 0.016019515693187714, + "E": 0.22114259004592896, + "F": 0.0015861467691138387, + "G": 0.003154429839923978, + "H": 0.6811671257019043, + "I": 0.001314961933530867, + "J": 0.0033578728325664997, + "K": 0.001797339878976345, + "L": 0.02330825664103031 + }, + "sample": { + "question": "Как устанавливаются страховые тарифы, дифференцированные по классам профессионального риска, согласно Федеральному закону 'Об обязательном социальном страховании от несчастных случаев на производстве и профессиональных заболеваний' N 125-ФЗ?", + "answerA": "Устанавливаются коллективным договором на уровне предприятия.", + "answerB": "Устанавливаются федеральным законом.", + "answerC": "Определяются исключительно страховыми компаниями.", + "answerD": "Устанавливаются решением региональных органов государственного управления.", + "correct_answer": "Устанавливаются федеральным законом.", + "choices": [ + "Устанавливаются решением региональных органов государственного управления.", + "Создавать, реорганизовывать и ликвидировать подразделения пожарной охраны.", + "Местные органы самоуправления", + "Устанавливаются коллективным договором на уровне предприятия.", + "Не реже чем один раз в два года", + "Не реже чем один раз в пять лет", + "Определяются исключительно страховыми компаниями.", + "Устанавливаются федеральным законом.", + "Посредством публикации объявления в официальных печатных средствах массовой информации", + "Исключительно при личной встрече с судебным приставом-исполнителем", + "Министерство иностранных дел Российской Федерации", + "Министерство юстиции Российской Федерации" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКак устанавливаются страховые тарифы, дифференцированные по классам профессионального риска, согласно Федеральному закону 'Об обязательном социальном страховании от несчастных случаев на производстве и профессиональных заболеваний' N 125-ФЗ?\nA. Устанавливаются решением региональных органов государственного управления.\nB. Создавать, реорганизовывать и ликвидировать подразделения пожарной охраны.\nC. Местные органы самоуправления\nD. Устанавливаются коллективным договором на уровне предприятия.\nE. Не реже чем один раз в два года\nF. Не реже чем один раз в пять лет\nG. Определяются исключительно страховыми компаниями.\nH. Устанавливаются федеральным законом.\nI. Посредством публикации объявления в официальных печатных средствах массовой информации\nJ. Исключительно при личной встрече с судебным приставом-исполнителем\nK. Министерство иностранных дел Российской Федерации\nL. Министерство юстиции Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 195, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0008824248216114938, + "B": 0.00113305589184165, + "C": 0.9676963090896606, + "D": 0.0018680933862924576, + "E": 0.0006872331141494215, + "F": 0.0002528189215809107, + "G": 0.0003915736451745033, + "H": 0.00011218772851862013, + "I": 1.9495304513839073e-05, + "J": 1.9495304513839073e-05, + "K": 0.0002528189215809107, + "L": 4.086437456862768e-06 + }, + "sample": { + "question": "Какой орган осуществляет государственную регистрацию юридических лиц и индивидуальных предпринимателей согласно Федеральному закону 'О государственной регистрации юридических лиц и индивидуальных предпринимателей' N 129-ФЗ?", + "answerA": "Министерство юстиции Российской Федерации", + "answerB": "Местные органы самоуправления", + "answerC": "Регистрирующий орган, уполномоченный Правительством РФ", + "answerD": "Федеральная налоговая служба", + "correct_answer": "Регистрирующий орган, уполномоченный Правительством РФ", + "choices": [ + "Не реже чем один раз в пять лет", + "Местные органы самоуправления", + "Министерство юстиции Российской Федерации", + "Федеральная налоговая служба", + "Право на получение компенсации за время, потраченное на контрольные мероприятия", + "Регистрирующий орган, уполномоченный Правительством РФ", + "Посредством публикации объявления в официальных печатных средствах массовой информации", + "Не реже чем один раз в два года", + "Вносить предложения по обеспечению пожарной безопасности в органы государственной власти и местного самоуправления.", + "Создавать, реорганизовывать и ликвидировать подразделения пожарной охраны.", + "Министерство иностранных дел Российской Федерации", + "Исключительно при личной встрече с судебным приставом-исполнителем" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКакой орган осуществляет государственную регистрацию юридических лиц и индивидуальных предпринимателей согласно Федеральному закону 'О государственной регистрации юридических лиц и индивидуальных предпринимателей' N 129-ФЗ?\nA. Не реже чем один раз в пять лет\nB. Местные органы самоуправления\nC. Министерство юстиции Российской Федерации\nD. Федеральная налоговая служба\nE. Право на получение компенсации за время, потраченное на контрольные мероприятия\nF. Регистрирующий орган, уполномоченный Правительством РФ\nG. Посредством публикации объявления в официальных печатных средствах массовой информации\nH. Не реже чем один раз в два года\nI. Вносить предложения по обеспечению пожарной безопасности в органы государственной власти и местного самоуправления.\nJ. Создавать, реорганизовывать и ликвидировать подразделения пожарной охраны.\nK. Министерство иностранных дел Российской Федерации\nL. Исключительно при личной встрече с судебным приставом-исполнителем\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 200, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.000925117579754442, + "B": 0.0038948901928961277, + "C": 0.011997106485068798, + "D": 0.009343355894088745, + "E": 0.003658910747617483, + "F": 0.0034372287336736917, + "G": 0.006421588361263275, + "H": 0.0019584738183766603, + "I": 0.0007669493206776679, + "J": 0.00322897732257843, + "K": 0.7422347068786621, + "L": 0.0014328500255942345 + }, + "sample": { + "question": "Каким образом лицо, участвующее в исполнительном производстве, может быть извещено о возбуждении исполнительного производства согласно статье 24 Федерального закона \"Об исполнительном производстве\" N 229-ФЗ?", + "answerA": "Исключительно при личной встрече с судебным приставом-исполнителем", + "answerB": "Посредством публикации объявления в официальных печатных средствах массовой информации", + "answerC": "С помощью почтовой, электронной, иных видов связи, а также через инфраструктуру, обеспечивающую информационно-технологическое взаимодействие информационных систем", + "answerD": "Исключительно посредством телевизионного вещания в новостях", + "correct_answer": "С помощью почтовой, электронной, иных видов связи, а также через инфраструктуру, обеспечивающую информационно-технологическое взаимодействие информационных систем", + "choices": [ + "Право на получение компенсации за время, потраченное на контрольные мероприятия", + "Не реже чем один раз в пять лет", + "Не реже чем один раз в два года", + "Исключительно посредством телевизионного вещания в новостях", + "Исключительно при личной встрече с судебным приставом-исполнителем", + "Создавать, реорганизовывать и ликвидировать подразделения пожарной охраны.", + "Министерство иностранных дел Российской Федерации", + "Вносить предложения по обеспечению пожарной безопасности в органы государственной власти и местного с��моуправления.", + "На международных договорах", + "Уполномоченный орган по защите прав субъектов персональных данных", + "Посредством публикации объявления в официальных печатных средствах массовой информации", + "С помощью почтовой, электронной, иных видов связи, а также через инфраструктуру, обеспечивающую информационно-технологическое взаимодействие информационных систем" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКаким образом лицо, участвующее в исполнительном производстве, может быть извещено о возбуждении исполнительного производства согласно статье 24 Федерального закона \"Об исполнительном производстве\" N 229-ФЗ?\nA. Право на получение компенсации за время, потраченное на контрольные мероприятия\nB. Не реже чем один раз в пять лет\nC. Не реже чем один раз в два года\nD. Исключительно посредством телевизионного вещания в новостях\nE. Исключительно при личной встрече с судебным приставом-исполнителем\nF. Создавать, реорганизовывать и ликвидировать подразделения пожарной охраны.\nG. Министерство иностранных дел Российской Федерации\nH. Вносить предложения по обеспечению пожарной безопасности в органы государственной власти и местного самоуправления.\nI. На международных договорах\nJ. Уполномоченный орган по защите прав субъектов персональных данных\nK. Посредством публикации объявления в официальных печатных средствах массовой информации\nL. С помощью почтовой, электронной, иных видов связи, а также через инфраструктуру, обеспечивающую информационно-технологическое взаимодействие информационных систем\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 237, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.33316847681999207, + "B": 0.05109304189682007, + "C": 0.22898313403129578, + "D": 0.05789599567651749, + "E": 0.0954543724656105, + "F": 0.03511570021510124, + "G": 0.030989496037364006, + "H": 0.04508944973349571, + "I": 0.0034769251942634583, + "J": 0.007835372351109982, + "K": 0.018796080723404884, + "L": 0.01140039786696434 + }, + "sample": { + "question": "Как часто проводится пересмотр Таблицы распределения полос частот между радиослужбами Российской Федерации согласно Федеральному закону 'О связи' N 126-ФЗ?", + "answerA": "Не реже чем один раз в два года", + "answerB": "Не реже чем один раз в пять лет", + "answerC": "Не реже чем один раз в четыре года", + "answerD": "Не реже чем один раз в десять лет", + "correct_answer": "answerC", + "choices": [ + "Не реже чем один раз в десять лет", + "Право на получение компенсации за время, потраченное на контрольные мероприятия", + "Не реже чем один раз в четыре года", + "Создавать, реорганизовывать и ликвидировать подразделения пожарной охраны.", + "Право привлекать Уполномоченного по защите прав предпринимателей к участию в контрольных мероприятиях", + "Не реже чем один раз в два года", + "18 лет", + "Уполномоченный орган по защите прав субъектов персональных данных", + "На международных договорах", + "Вносить предложения по обеспечению пожарной безопасности в органы государственной власти и местного самоуправления.", + "Министерство иностранных дел Российской Федерации", + "Не реже чем один раз в пять лет" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКак часто проводится пересмотр Таблицы распределения полос частот между радиослужбами Российской Федерации согласно Федеральному закону 'О связи' N 126-ФЗ?\nA. Не реже чем один раз в десять лет\nB. Право на получение компенсации за время, потраченное на контрольные мероприятия\nC. Не реже чем один раз в четыре года\nD. Создавать, реорганизовывать и ликвидировать подразделения пожарной охраны.\nE. Право привлекать Уполномоченного по защите прав предпринимателей к участию в контрольных мероприятиях\nF. Не реже чем один раз в два года\nG. 18 лет\nH. Уполномоченный орган по защите прав субъектов персональных данных\nI. На международных договорах\nJ. Вносить предложения по обеспечению пожарной безопасности в органы государственной власти и местного самоуправления.\nK. Министерство иностранных дел Российской Федерации\nL. Не реже чем один раз в пять лет\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 203, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.11553751677274704, + "B": 0.05126945674419403, + "C": 0.04524514079093933, + "D": 0.08998070657253265, + "E": 0.1681060791015625, + "F": 0.0794076919555664, + "G": 0.06184278056025505, + "H": 0.04816320165991783, + "I": 0.03992869704961777, + "J": 0.07007703930139542, + "K": 0.031096499413251877, + "L": 0.03750953823328018 + }, + "sample": { + "question": "Какое из перечисленных прав не принадлежит руководителям организации согласно статье 37 Федерального закона 'О пожарной безопасности' N 69-ФЗ?", + "answerA": "Создавать, реорганизовывать и ликвидировать подразделения пожарной охраны.", + "answerB": "Вносить предложения по обеспечению пожарной безопасности в органы государственной власти и местного самоуправления.", + "answerC": "Осуществлять контроль за использованием и расходованием бюджетных средств, выделенных на пожарную безопасность.", + "answerD": "Обеспечивать на безвозмездной основе движимым и недвижимым имуществом подразделения федеральной противопожарной службы.", + "correct_answer": "C", + "choices": [ + "Осуществлять контроль за использованием и расходованием бюджетных средств, выделенных на пожарную безопасность.", + "Право привлекать Уполномоченного по защите прав предпринимателей к участию в контрольных мероприятиях", + "Право на получение компенсации за время, потраченное на контрольные мероприятия", + "На Конституции Российской Федерации", + "Министерство иностранных дел Российской Федерации", + "Обеспечивать на безвозмездной основе движимым и недвижимым имуществом подразделения федеральной противопожарной службы.", + "Вносить предложения по обеспечению пожарной безопасности в органы государственной власти и местного самоуправления.", + "18 лет", + "Создавать, реорганизовывать и ликвидировать подразделения пожарной охраны.", + "Уполномоченный орган по защите прав субъектов персональных данных", + "На международных договорах", + "Только граждане Российской Федерации" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКакое из перечисленных прав не принадлежит руководителям организации согласно статье 37 Федерального закона 'О пожарной безопасности' N 69-ФЗ?\nA. Осуществлять контроль за использованием и расходованием бюджетных средств, выделенных на пожарную безопасность.\nB. Право привлекать Уполномоченного по защите прав предпринимателей к участию в контрольных мероприятиях\nC. Право на получение компенсации за время, потраченное на контрольные мероприятия\nD. На Конституции Российской Федерации\nE. Министерство иностранных дел Российской Федерации\nF. Обеспечивать на безвозмездной основе движимым и недвижимым имуществом подразделения федеральной противопожарной службы.\nG. Вносить предложения по обеспечению пожарной безопасности в органы государственной власти и местного самоуправления.\nH. 18 лет\nI. Создавать, реорганизовывать и ликвидировать подразделения пожарной охраны.\nJ. Уполномоченный орган по защите прав субъектов персональных данных\nK. На международных договорах\nL. Только граждане Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 214, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0026005073450505733, + "B": 0.014058209024369717, + "C": 0.0012283927062526345, + "D": 0.01921529322862625, + "E": 0.005171725992113352, + "F": 0.004858387168496847, + "G": 0.002442950615659356, + "H": 0.006238291971385479, + "I": 0.00039880070835351944, + "J": 0.010285205207765102, + "K": 0.0029467607382684946, + "L": 0.8697506189346313 + }, + "sample": { + "question": "Какой орган уполномочен утверждать перечень иностранных государств, обеспечивающих адекватную защиту прав субъектов персональных данных согласно Федеральному закону 'О персональных данных' N 152-ФЗ, Статья 12?", + "answerA": "Министерство иностранных дел Российской Федерации", + "answerB": "Уполномоченный орган по защите прав субъектов персональных данных", + "answerC": "Федеральная служба по надзору в сфере связи, информационных технологий и массовых коммуникаций", + "answerD": "Роскомнадзор", + "correct_answer": "B", + "choices": [ + "Если документы представляют коммерческую тайну", + "На международных договорах", + "Только граждане Российской Федерации", + "Министерство иностранных дел Российской Федерации", + "Федеральная служба по надзору в сфере связи, информационных технологий и массовых коммуникаций", + "30 лет", + "На Конституции Российской Федерации", + "Право привлекать Уполномоченного по защите прав предпринимателей к участию в контрольных мероприятиях", + "Роскомнадзор", + "18 лет", + "Право на получение компенсации за время, потраченное на контрольные мероприятия", + "Уполномоченный орган по защите прав субъектов персональных данных" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКакой орган уполномочен утверждать перечень иностранных государств, обеспечивающих адекватную защиту прав субъектов персональных данных согласно Федеральному закону 'О персональных данных' N 152-ФЗ, Статья 12?\nA. Если документы представляют коммерческую тайну\nB. На международных договорах\nC. Только граждане Российской Федерации\nD. Министерство иностранных дел Российской Федерации\nE. Федеральная служба по надзору в сфере связи, информационных технологий и массовых коммуникаций\nF. 30 лет\nG. На Конституции Российской Федерации\nH. Право привлекать Уполномоченного по защите прав предпринимателей к участию в контрольных мероприятиях\nI. Роскомнадзор\nJ. 18 лет\nK. Право на получение компенсации за время, потраченное на контрольные мероприятия\nL. Уполномоченный орган по защите прав субъектов персональных данных\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 184, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.03402547538280487, + "B": 0.04368957504630089, + "C": 0.11876057088375092, + "D": 0.1048058494925499, + "E": 0.03402547538280487, + "F": 0.049506768584251404, + "G": 0.284891813993454, + "H": 0.07203193008899689, + "I": 0.017109083011746407, + "J": 0.03855591267347336, + "K": 0.08162286877632141, + "L": 0.006294079590588808 + }, + "sample": { + "question": "Какое из перечисленных прав имеет контролируемое лицо при осуществлении государственного контроля (надзора) и муниципального контроля в РФ согласно Федеральному закону от 31.07.2020 N 248-ФЗ?", + "answerA": "Право на получение компенсации за время, потраченное на контрольные мероприятия", + "answerB": "Право привлекать Уполномоченного по защите прав предпринимателей к участию в контрольных мероприятиях", + "answerC": "Право требовать удаления любых записей о проведенных контрольных мероприятиях", + "answerD": "Право на проведение контрольных мероприятий без уведомления контролирующего органа", + "correct_answer": "Право привлекать Уполномоченного по защите прав предпринимателей к участию в контрольных мероприятиях", + "choices": [ + "С 01.01.2026", + "Право на проведение контрольных мероприятий без уведомления контролирующего органа", + "На Конституции Российской Федерации", + "Право требовать удаления любых записей о проведенных контрольных мероприятиях", + "18 лет", + "30 лет", + "Право на получение компенсации за время, потрач��нное на контрольные мероприятия", + "Право привлекать Уполномоченного по защите прав предпринимателей к участию в контрольных мероприятиях", + "Исключительно юридические лица", + "Только граждане Российской Федерации", + "Если документы представляют коммерческую тайну", + "На международных договорах" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакое из перечисленных прав имеет контролируемое лицо при осуществлении государственного контроля (надзора) и муниципального контроля в РФ согласно Федеральному закону от 31.07.2020 N 248-ФЗ?\nA. С 01.01.2026\nB. Право на проведение контрольных мероприятий без уведомления контролирующего органа\nC. На Конституции Российской Федерации\nD. Право требовать удаления любых записей о проведенных контрольных мероприятиях\nE. 18 лет\nF. 30 лет\nG. Право на получение компенсации за время, потраченное на контрольные мероприятия\nH. Право привлекать Уполномоченного по защите прав предпринимателей к участию в контрольных мероприятиях\nI. Исключительно юридические лица\nJ. Только граждане Российской Федерации\nK. Если документы представляют коммерческую тайну\nL. На международных договорах\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 198, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.042014509439468384, + "B": 0.06113074719905853, + "C": 0.010622930712997913, + "D": 0.03707767277956009, + "E": 0.06927020847797394, + "F": 0.24177679419517517, + "G": 0.047608669847249985, + "H": 0.08894471079111099, + "I": 0.012813701294362545, + "J": 0.03707767277956009, + "K": 0.015456274151802063, + "L": 0.27396899461746216 + }, + "sample": { + "question": "На чем основывается законодательство Российской Федерации о государственных пособиях гражданам, имеющим детей, согласно Федеральному закону 'О государственных пособиях гражданам, имеющим детей' N 81-ФЗ?", + "answerA": "На международных договорах", + "answerB": "На Конституции Российской Федерации", + "answerC": "На решениях местных администраций", + "answerD": "На указах Президента РФ", + "correct_answer": "answerB", + "choices": [ + "Только граждане Российской Федерации", + "С 01.01.2026", + "На международных договорах", + "Если документы представляют коммерческую тайну", + "18 лет", + "На Конституции Российской Федерации", + "На решениях местных администраций", + "На указах Президента РФ", + "Исключительно юридические лица", + "Только находящееся в федеральной собственности имущество", + "30 лет", + "Если документ запрашивается повторно в течение трех лет и первое требование о его предоставлении было надлежащим образом исполнено обществом" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nНа чем основывается законодательство Российской Федерации о государственных пособиях гражданам, имеющим детей, согласно Федеральному закону 'О государственных пособиях гражданам, имеющим детей' N 81-ФЗ?\nA. Только граждане Российской Федерации\nB. С 01.01.2026\nC. На международных договорах\nD. Если документы представляют коммерческую тайну\nE. 18 лет\nF. На Конституции Российской Федерации\nG. На решениях местных администраций\nH. На указах Президента РФ\nI. Исключительно юридические лица\nJ. Только находящееся в федеральной собственности имущество\nK. 30 лет\nL. Если документ запрашивается повторно в течение трех лет и первое требование о его предоставлении было надлежащим образом исполнено обществом\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 176, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.057592689990997314, + "B": 0.01869760826230049, + "C": 0.7016226053237915, + "D": 0.034931730479002, + "E": 0.02400820329785347, + "F": 0.00883212499320507, + "G": 0.034931730479002, + "H": 0.03958284109830856, + "I": 0.0026936458889395, + "J": 0.001272388151846826, + "K": 0.003249157452955842, + "L": 0.0001259834971278906 + }, + "sample": { + "question": "Какой минимальный возраст установлен для назначения на должность Уполномоченного по правам ребенка в Российской Федерации согласно Федеральному закону \"Об уполномоченных по правам ребенка в Российской Федерации\" N 501-ФЗ?", + "answerA": "18 лет", + "answerB": "30 лет", + "answerC": "25 лет", + "answerD": "40 лет", + "correct_answer": "30 лет", + "choices": [ + "с 1 января 2004 года", + "Только граждане Российской Федерации", + "18 лет", + "С 01.01.2026", + "После 01.03.2018", + "40 лет", + "Исключительно юридические лица", + "25 лет", + "Если документы представляют коммерческую тайну", + "Если документ запрашивается повторно в течение трех лет и первое требование о его предоставлении было надлежащим образом исполнено обществом", + "Только находящееся в федеральной собственности имущество", + "30 лет" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКакой минимальный возраст установлен для назначения на должность Уполномоченного по правам ребенка в Российской Федерации согласно Федеральному закону \"Об уполномоченных по правам ребенка в Российской Федерации\" N 501-ФЗ?\nA. с 1 января 2004 года\nB. Только граждане Российской Федерации\nC. 18 лет\nD. С 01.01.2026\nE. После 01.03.2018\nF. 40 лет\nG. Исключительно юридические лица\nH. 25 лет\nI. Если документы представляют коммерческую тайну\nJ. Если документ запрашивается повторно в течение трех лет и первое требование о его предоставлении было надлежащим образом исполнено обществом\nK. Только находящееся в федеральной собственности имущество\nL. 30 лет\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 196, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.011831366457045078, + "B": 0.02076469548046589, + "C": 0.09306089580059052, + "D": 0.10545181483030319, + "E": 0.012594424188137054, + "F": 0.00525013729929924, + "G": 0.026662396267056465, + "H": 0.00674130953848362, + "I": 0.00525013729929924, + "J": 0.018324779346585274, + "K": 0.5355285406112671, + "L": 0.00045875186333432794 + }, + "sample": { + "question": "Кто может быть вкладчиком банка согласно Федеральному закону \"О банках и банковской деятельности\" N 395-1, Статья 37?", + "answerA": "Только граждане Российской Федерации", + "answerB": "Исключительно юридические лица", + "answerC": "Граждане Российской Федерации, иностранные граждане и лица без гражданства", + "answerD": "Только граждане Российской Федерации и иностранные граждане", + "correct_answer": "answerC", + "choices": [ + "Исключительно юридические лица", + "с 1 января 2004 года", + "Только граждане Российской Федерации", + "Только граждане Российской Федерации и иностранные граждане", + "Если документ запрашивается повторно в течение трех лет и первое требование о его предоставлении было надлежащим образом исполнено обществом", + "После 01.03.2018", + "Муниципальная собственность, средства местных бюджетов и имущественные права муниципальных образований", + "Проектирование и строительство должны проводиться с учетом экономических стандартов и трудовых ресурсов.", + "С 01.01.2026", + "Если документы представляют коммерческую тайну", + "Граждане Российской Федерации, иностранные граждане и лица без гражданства", + "Только находящееся в федеральной собственности имущество" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКто может быть вкладчиком банка согласно Федеральному закону \"О банках и банковской деятельности\" N 395-1, Статья 37?\nA. Исключительно юридические лица\nB. с 1 января 2004 года\nC. Только граждане Российской Федерации\nD. Только граждане Российской Федерации и иностранные граждане\nE. Если документ запрашивается повторно в течение трех лет и первое требование о его предоставлении было надлежащим образом исполнено обществом\nF. После 01.03.2018\nG. Муниципальная собственность, средства местных бюджетов и имущественные права муниципальных образований\nH. Проектирование и строительство должны проводиться с учетом экономических стандартов и трудовых ресурсов.\nI. С 01.01.2026\nJ. Если документы представляют коммерческую тайну\nK. Граждане Российской Федерации, иностранные граждане и лица без гражданства\nL. Только находящееся в федеральной собственности имущество\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 211, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.08878803253173828, + "B": 0.037012357264757156, + "C": 0.07835516333580017, + "D": 0.07835516333580017, + "E": 0.07835516333580017, + "F": 0.02543819509446621, + "G": 0.04752480238676071, + "H": 0.032663293182849884, + "I": 0.2734863758087158, + "J": 0.14638672769069672, + "K": 0.01748339831829071, + "L": 0.0012664933456107974 + }, + "sample": { + "question": "В каком случае общество вправе отказать участнику в предоставлении документов согласно статье 50 Федера��ьного закона 'Об обществах с ограниченной ответственностью' (ООО) N 14-ФЗ?", + "answerA": "Если документы представляют коммерческую тайну", + "answerB": "Если документ запрашивается повторно в течение трех лет и первое требование о его предоставлении было надлежащим образом исполнено обществом", + "answerC": "Если документ относится к текущим финансовым операциям", + "answerD": "Если документ связан с личной информацией учредителей", + "correct_answer": "B", + "choices": [ + "Если документ относится к текущим финансовым операциям", + "с 1 января 2010 года", + "с 1 января 2004 года", + "Муниципальная собственность, средства местных бюджетов и имущественные права муниципальных образований", + "Только находящееся в федеральной собственности имущество", + "После 01.03.2018", + "Если документ связан с личной информацией учредителей", + "С 01.01.2026", + "Если документ запрашивается повторно в течение трех лет и первое требование о его предоставлении было надлежащим образом исполнено обществом", + "Несоблюдение обязанностей, предусмотренных абзацами вторым - шестым статьи 409 Кодекса Союза.", + "Если документы представляют коммерческую тайну", + "Проектирование и строительство должны проводиться с учетом экономических стандартов и трудовых ресурсов." + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nВ каком случае общество вправе отказать участнику в предоставлении документов согласно статье 50 Федерального закона 'Об обществах с ограниченной ответственностью' (ООО) N 14-ФЗ?\nA. Если документ относится к текущим финансовым операциям\nB. с 1 января 2010 года\nC. с 1 января 2004 года\nD. Муниципальная собственность, средства местных бюджетов и имущественные права муниципальных образований\nE. Только находящееся в федеральной собственности имущество\nF. После 01.03.2018\nG. Если документ связан с личной информацией учредителей\nH. С 01.01.2026\nI. Если документ запрашивается повторно в течение трех лет и первое требование о его предоставлении было надлежащим образом исполнено обществом\nJ. Несоблюдение обязанностей, предусмотренных абзацами вторым - шестым статьи 409 Кодекса Союза.\nK. Если документы представляют коммерческую тайну\nL. Проектирование и строительство должны проводиться с учетом экономических стандартов и трудовых ресурсов.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 241, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.007689323741942644, + "B": 0.015292047522962093, + "C": 0.23920786380767822, + "D": 0.03237326443195343, + "E": 0.036683712154626846, + "F": 0.03237326443195343, + "G": 0.11299379169940948, + "H": 0.34804537892341614, + "I": 0.009275095537304878, + "J": 0.015292047522962093, + "K": 0.04710282012820244, + "L": 0.003632179694250226 + }, + "sample": { + "question": "С какой даты паспорта сделок, открытые до этой даты, банк признает закрытыми и хран��т в досье валютного контроля согласно Федеральному закону \"О валютном регулировании и валютном контроле\" N 173-ФЗ?", + "answerA": "С 01.01.2026", + "answerB": "После 01.03.2018", + "answerC": "С 01.01.2020", + "answerD": "С 01.04.2017", + "correct_answer": "B", + "choices": [ + "Плательщик таможенных пошлин является членом международной организации", + "Проектирование и строительство должны проводиться с учетом экономических стандартов и трудовых ресурсов.", + "После 01.03.2018", + "Муниципальная собственность, средства местных бюджетов и имущественные права муниципальных образований", + "С 01.01.2020", + "С 01.01.2026", + "Несоблюдение обязанностей, предусмотренных абзацами вторым - шестым статьи 409 Кодекса Союза.", + "с 1 января 2004 года", + "Проекты должны включать разработку новых технологий в области искусственного интеллекта.", + "Только находящееся в федеральной собственности имущество", + "С 01.04.2017", + "с 1 января 2010 года" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nС какой даты паспорта сделок, открытые до этой даты, банк признает закрытыми и хранит в досье валютного контроля согласно Федеральному закону \"О валютном регулировании и валютном контроле\" N 173-ФЗ?\nA. Плательщик таможенных пошлин является членом международной организации\nB. Проектирование и строительство должны проводиться с учетом экономических стандартов и трудовых ресурсов.\nC. После 01.03.2018\nD. Муниципальная собственность, средства местных бюджетов и имущественные права муниципальных образований\nE. С 01.01.2020\nF. С 01.01.2026\nG. Несоблюдение обязанностей, предусмотренных абзацами вторым - шестым статьи 409 Кодекса Союза.\nH. с 1 января 2004 года\nI. Проекты должны включать разработку новых технологий в области искусственного интеллекта.\nJ. Только находящееся в федеральной собственности имущество\nK. С 01.04.2017\nL. с 1 января 2010 года\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 249, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0005788213456980884, + "B": 0.0010813805274665356, + "C": 0.0002734158479142934, + "D": 0.983127236366272, + "E": 0.0007432213169522583, + "F": 0.00012132753909099847, + "G": 0.00025685038417577744, + "H": 4.7512548917438835e-05, + "I": 1.8606180674396455e-05, + "J": 1.8606180674396455e-05, + "K": 0.00025685038417577744, + "L": 6.844831659691408e-06 + }, + "sample": { + "question": "Что составляет экономическую основу местного самоуправления согласно Федеральному закону \"Об общих принципах организации местного самоуправления в РФ\" (закон о МСУ) N 131-ФЗ?", + "answerA": "Только находящееся в федеральной собственности имущество", + "answerB": "Муниципальная собственность, средства местных бюджетов и имущественные права муниципальных образований", + "answerC": "Только доходы от предпринимательской деятельности муниципалитетов", + "answerD": "Только внешние инвестиции и гранты", + "correct_answer": "answerB", + "choices": [ + "Плательщик таможенных пошлин является членом международной организации", + "Министерство финансов Российской Федерации", + "Только доходы от предпринимательской деятельности муниципалитетов", + "Муниципальная собственность, средства местных бюджетов и имущественные права муниципальных образований", + "Только находящееся в федеральной собственности имущество", + "Проекты должны включать разработку новых технологий в области искусственного интеллекта.", + "Проектирование и строительство должны проводиться с учетом экономических стандартов и трудовых ресурсов.", + "с 1 января 2004 года", + "Привлечение к административной ответственности в соответствии с частью 2 статьи 16.23 Кодекса Российской Федерации об административных правонарушениях.", + "Только внешние инвестиции и гранты", + "Несоблюдение обязанностей, предусмотренных абзацами вторым - шестым статьи 409 Кодекса Союза.", + "с 1 января 2010 года" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nЧто составляет экономическую основу местного самоуправления согласно Федеральному закону \"Об общих принципах организации местного самоуправления в РФ\" (закон о МСУ) N 131-ФЗ?\nA. Плательщик таможенных пошлин является членом международной организации\nB. Министерство финансов Российской Федерации\nC. Только доходы от предпринимательской деятельности муниципалитетов\nD. Муниципальная собственность, средства местных бюджетов и имущественные права муниципальных образований\nE. Только находящееся в федеральной собственности имущество\nF. Проекты должны включать разработку новых технологий в области искусственного интеллекта.\nG. Проектирование и строительство должны проводиться с учетом экономических стандартов и трудовых ресурсов.\nH. с 1 января 2004 года\nI. Привлечение к административной ответственности в соответствии с частью 2 статьи 16.23 Кодекса Российской Федерации об административных правонарушениях.\nJ. Только внешние инвестиции и гранты\nK. Несоблюдение обязанностей, предусмотренных абзацами вторым - шестым статьи 409 Кодекса Союза.\nL. с 1 января 2010 года\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 234, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.05512009188532829, + "B": 0.029503658413887024, + "C": 0.247031107544899, + "D": 0.05512009188532829, + "E": 0.0378834493458271, + "F": 0.010853788815438747, + "G": 0.0378834493458271, + "H": 0.10297787934541702, + "I": 0.0033102186862379313, + "J": 0.033432021737098694, + "K": 0.19238801300525665, + "L": 0.06245924159884453 + }, + "sample": { + "question": "Когда вступил в силу Федеральный закон \"О трудовых пенсиях в Российской Федерации\" N 173-ФЗ?", + "answerA": "с 1 января 2004 года", + "answerB": "с 1 января 2010 года", + "answerC": "с 1 января 2002 года", + "answerD": "с 24 июля 2009 года", + "correct_answer": "answerC", + "choices": [ + "с 24 июля 2009 года", + "Несоблюдение обязанностей, предусмотренных абзацами вторым - шестым статьи 409 Кодекса Союза.", + "с 1 января 2002 года", + "Плательщик таможенных пошлин является членом международной организации", + "с 1 января 2010 года", + "Привлечение к административной ответственности в соответствии с частью 2 статьи 16.23 Кодекса Российской Федерации об административных правонарушениях.", + "Проектирование и строительство должны проводиться с учетом экономических стандартов и трудовых ресурсов.", + "Товары, ввозимые в Российскую Федерацию, являются лекарственными средствами", + "Только государственные образовательные учреждения", + "Проекты должны включать разработку новых технологий в области искусственного интеллекта.", + "Министерство финансов Российской Федерации", + "с 1 января 2004 года" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКогда вступил в силу Федеральный закон \"О трудовых пенсиях в Российской Федерации\" N 173-ФЗ?\nA. с 24 июля 2009 года\nB. Несоблюдение обязанностей, предусмотренных абзацами вторым - шестым статьи 409 Кодекса Союза.\nC. с 1 января 2002 года\nD. Плательщик таможенных пошлин является членом международной организации\nE. с 1 января 2010 года\nF. Привлечение к административной ответственности в соответствии с частью 2 статьи 16.23 Кодекса Российской Федерации об административных правонарушениях.\nG. Проектирование и строительство должны проводиться с учетом экономических стандартов и трудовых ресурсов.\nH. Товары, ввозимые в Российскую Федерацию, являются лекарственными средствами\nI. Только государственные образовательные учреждения\nJ. Проекты должны включать разработку новых технологий в области искусственного интеллекта.\nK. Министерство финансов Российской Федерации\nL. с 1 января 2004 года\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 230, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0006237009656615555, + "B": 0.8782363533973694, + "C": 0.0021769304294139147, + "D": 0.003167414804920554, + "E": 0.0009660068899393082, + "F": 0.0010946292895823717, + "G": 0.0014961810084059834, + "H": 0.0008008478907868266, + "I": 5.4498381359735504e-05, + "J": 0.0014055318897590041, + "K": 0.0006639262428507209, + "L": 6.997730815783143e-05 + }, + "sample": { + "question": "Какие требования предъявляются к архитектурно-строительному проектированию, строительству, реконструкции, капитальному ремонту объектов капитального строительства согласно Федеральному закону 'Об охране окружающей среды' N 7-ФЗ?", + "answerA": "Проектирование и строительство должны проводиться с учетом экономических стандартов и трудовых ресурсов.", + "answerB": "Проекты должны включать разработку новых технологий в области искусственного интеллекта.", + "answerC": "Осуществляться в соответствии с требованиями в области охраны окружающей среды, в том числе с требованиями к сохранению и восстановлению природной среды, рациональному использованию природных ресурсов.", + "answerD": "Все проектирование должно соответствовать исключительно современным архитектурным тенденциям без учета экологических стандартов.", + "correct_answer": "Осуществляться в соответствии с требованиями в области охраны окружающей среды, в том числе с требованиями к сохранению и восстановлению природной среды, рациональному использованию природных ресурсов.", + "choices": [ + "Плательщик таможенных пошлин является членом международной организации", + "Осуществляться в соответствии с требованиями в области охраны окружающей среды, в том числе с требованиями к сохранению и восстановлению природной среды, рациональному использованию природных ресурсов.", + "Только государственные образовательные учреждения", + "30 календарных дней", + "Уполномоченный федеральный орган по согласованию с Центральным банком Российской Федерации", + "Все проектирование должно соответствовать исключительно современным архитектурным тенденциям без учета экологических стандартов.", + "Проекты должны включать разработку новых технологий в области искусственного интеллекта.", + "Министерство финансов Российской Федерации", + "Товары, ввозимые в Российскую Федерацию, являются лекарственными средствами", + "Проектирование и строительство должны проводиться с учетом экономических стандартов и трудовых ресурсов.", + "Несоблюдение обязанностей, предусмотренных абзацами вторым - шестым статьи 409 Кодекса Союза.", + "Привлечение к административной ответственности в соответствии с частью 2 статьи 16.23 Кодекса Российской Федерации об административных правонарушениях." + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКакие требования предъявляются к архитектурно-строительному проектированию, строительству, реконструкции, капитальному ремонту объектов капитального строительства согласно Федеральному закону 'Об охране окружающей среды' N 7-ФЗ?\nA. Плательщик таможенных пошлин является членом международной организации\nB. Осуществляться в соответствии с требованиями в области охраны окружающей среды, в том числе с требованиями к сохранению и восстановлению природной среды, рациональному использованию природных ресурсов.\nC. Только государственные образовательные учреждения\nD. 30 календарных дней\nE. Уполномоченный федеральный орган по согласованию с Центральным банком Российской Федерации\nF. Все проектирование должно соответствовать исключительно современным архитектурным тенденциям без учета экологических стандартов.\nG. Проекты должны включать разработку новых технологий в области искусственного интеллекта.\nH. Министерство финансов Российской Федерации\nI. Товары, ввозимые в Российскую Федерацию, являются лекарственными средствами\nJ. Проектирование и строительство должны проводиться с учетом экономических стандартов и трудовых ресурсов.\nK. Несоблюдение обязанностей, предусмотренных абзацами вторым - шестым статьи 409 Кодекса Союза.\nL. Привлечение к административной ответственности в соответствии с частью 2 статьи 16.23 Кодекса Российской Федерации об административных правонарушениях.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 275, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.11322305351495743, + "B": 0.08817820250988007, + "C": 0.06867325305938721, + "D": 0.08817820250988007, + "E": 0.07781699299812317, + "F": 0.06060393527150154, + "G": 0.08817820250988007, + "H": 0.09991899132728577, + "I": 0.026892833411693573, + "J": 0.07781699299812317, + "K": 0.053482785820961, + "L": 0.053482785820961 + }, + "sample": { + "question": "Какое условие НЕ является основанием для исключения таможенного перевозчика из реестра таможенных перевозчиков согласно статье 353 Федерального закона \"О таможенном регулировании в Российской Федерации\" N 289-ФЗ?", + "answerA": "Несоблюдение обязанностей, предусмотренных абзацами вторым - шестым статьи 409 Кодекса Союза.", + "answerB": "Привлечение к административной ответственности в соответствии с частью 2 статьи 16.23 Кодекса Российской Федерации об административных правонарушениях.", + "answerC": "Выполнение более 4 000 автомобильных перевозок за один год.", + "answerD": "Невыполненная обязанность по уплате административного штрафа на основании вступивших в законную силу постановлений.", + "correct_answer": "C", + "choices": [ + "5 дней", + "Только частные образовательные учреждения", + "30 календарных дней", + "Невыполненная обязанность по уплате административного штрафа на основании вступивших в законную силу постановлений.", + "Несоблюдение обязанностей, предусмотренных абзацами вторым - шестым статьи 409 Кодекса Союза.", + "Министерство финансов Российской Федерации", + "Привлечение к административной ответственности в соответствии с частью 2 статьи 16.23 Кодекса Российской Федерации об административных правонарушениях.", + "Только государственные образовательные учреждения", + "Товары, ввозимые в Российскую Федерацию, являются лекарственными средствами", + "Уполномоченный федеральный орган по согласованию с Центральным банком Российской Федерации", + "Выполнение более 4 000 автомобильных перевозок за один год.", + "Плательщик таможенных пошлин является членом международной организации" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКакое условие НЕ является основанием для исключения таможенного перевозчика из реестра таможенных перевозчиков согласно статье 353 Федерального закона \"О таможенном регулировании в Российской Федерации\" N 289-ФЗ?\nA. 5 дней\nB. Только частные образовательные учреждения\nC. 30 календарных дней\nD. Невыполненная обязанность по уплате административного штрафа на основании вступивших в законную силу постановлений.\nE. Несоблюдение обязанностей, предусмотренных абзацами вторым - шестым статьи 409 Кодекса Союза.\nF. Министерство финансов Российской Федерации\nG. Привлечение к административной ответственности в соответствии с частью 2 статьи 16.23 Кодекса Российской Федерации об административных правонарушениях.\nH. Только государственные образовательные учреждения\nI. Товары, ввозимые в Российскую Федерацию, являются лекарственными средствами\nJ. Уполномоченный федеральный орган по согласованию с Центральным банком Российской Федерации\nK. Выполнение более 4 000 автомобильных перевозок за один год.\nL. Плательщик таможенных пошлин является членом международной организации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 251, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.014974280260503292, + "B": 0.067110076546669, + "C": 0.14207202196121216, + "D": 0.3007664680480957, + "E": 0.05922442674636841, + "F": 0.035921432077884674, + "G": 0.18242409825325012, + "H": 0.04070431739091873, + "I": 0.006242209114134312, + "J": 0.014974280260503292, + "K": 0.04070431739091873, + "L": 0.002026548609137535 + }, + "sample": { + "question": "На каком основании может быть предоставлена отсрочка или рассрочка уплаты налогов согласно Федеральному закону \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?", + "answerA": "Плательщик таможенных пошлин является членом международной организации", + "answerB": "Товары, ввозимые в Российскую Федерацию, являются лекарственными средствами", + "answerC": "Причинение плательщику ущерба в результате стихийного бедствия, технологической катастрофы или иных обстоятельств непреодолимой силы", + "answerD": "Плательщик таможенных пошлин не имеет задолженностей по уплате налогов за предыдущий год", + "correct_answer": "C", + "choices": [ + "5 дней", + "30 календарных дней", + "Министерство финансов Российской Федерации", + "Уполномоченный федеральный орган по согласованию с Центральным банком Российской Федерации", + "Плательщик таможенных пошлин является членом международной организации", + "Товары, ввозимые в Российскую Федерацию, являются лекарственными средствами", + "Причинение плательщику ущерба в результате стихийного бедствия, технологической катастрофы или иных обстоятельств непреодолимой силы", + "Строительство общественных зданий", + "45 календарных дней", + "Плательщик таможенных пошлин не имеет задолженностей по уплате налогов за предыдущий год", + "Только государственные образовательные учреждения", + "Только частные образовательные учреждения" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nНа каком основании может быть предоставлена отсрочка или рассрочка уплаты налогов согласно Федеральному закону \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?\nA. 5 дней\nB. 30 календарных дней\nC. Министерство финансов Российской Федерации\nD. Уполномоченный федеральный орган по согласованию с Центральным банком Российской Федерации\nE. Плательщик таможенных пошлин является членом международной организации\nF. Товары, ввозимые в Российскую Федерацию, являются лекарственными средствами\nG. Причинение плательщику ущерба в результате стихийного бедствия, технологической катастрофы или иных обстоятельств непреодолимой силы\nH. Строительство общественных зданий\nI. 45 календарных дней\nJ. Плательщик таможенных пошлин не имеет задолженностей по уплате налогов за предыдущий год\nK. Только государственные образовательные учреждения\nL. Только частные образовательные учреждения\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 221, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.005318820476531982, + "B": 0.02875327318906784, + "C": 0.005661855451762676, + "D": 0.5775249600410461, + "E": 0.025374675169587135, + "F": 0.010577738285064697, + "G": 0.010577738285064697, + "H": 0.007269965950399637, + "I": 0.01638312265276909, + "J": 0.24074821174144745, + "K": 0.02875327318906784, + "L": 0.011259944178164005 + }, + "sample": { + "question": "Кто утверждает программы разработки федеральных стандартов бухгалтерского учета в соответствии с Федеральным законом \"О бухгалтерском учете\" N 402-ФЗ?", + "answerA": "Министерство финансов Российской Федерации", + "answerB": "Уполномоченный федеральный орган по согласованию с Центральным банком Российской Федерации", + "answerC": "Центральный банк Российской Федерации", + "answerD": "Федеральная служба по финансовому мониторингу", + "correct_answer": "answerB", + "choices": [ + "7 дней", + "Строительство общественных зданий", + "Только государственные образовательные учреждения", + "Уполномоченный федеральный орган по согласованию с Центральным банком Российской Федерации", + "45 календарных дней", + "30 календарных дней", + "Центральный банк Российской Федерации", + "Федеральная служба по финансовому мониторингу", + "100 тысяч рублей", + "Министерство финансов Российской Федерации", + "Только частные образовательные учреждения", + "5 дней" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКто утверждает программы разработки федеральных стандартов бухгалтерского учета в соответствии с Федеральным законом \"О бухгалтерском учете\" N 402-ФЗ?\nA. 7 дней\nB. Строительство общественных зданий\nC. Только государственные образовательные учреждения\nD. Уполномоченный федеральный орган по согласованию с Центральным банком Российской Федерации\nE. 45 календарных дней\nF. 30 календарных дней\nG. Центральный банк Российской Федерации\nH. Федеральная служба по финансовому мониторингу\nI. 100 тысяч рублей\nJ. Министерство финансов Российской Федерации\nK. Только частные образовательные учреждения\nL. 5 дней\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 151, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.003314195666462183, + "B": 0.013953284360468388, + "C": 0.004255511332303286, + "D": 0.13238507509231567, + "E": 0.02953910455107689, + "F": 0.6723068952560425, + "G": 0.03792896121740341, + "H": 0.017916372045874596, + "I": 0.0009495329577475786, + "J": 0.013953284360468388, + "K": 0.004529968369752169, + "L": 0.009008917957544327 + }, + "sample": { + "question": "Какие организации вправе осуществлять образовательную деятельность за счет средств физических и (или) юридических лиц согласно Федеральному закону 'Об образовании в Российской Федерации' N 273-ФЗ, Статья 101?", + "answerA": "Только государственные образовательные учреждения", + "answerB": "Только частные образовательные учреждения", + "answerC": "Организации, осуществляющие образовательную деятельность", + "answerD": "Только международные образовательные учреждения", + "correct_answer": "Организации, осуществляющие образовательную деятельность", + "choices": [ + "45 календарных дней", + "Только частные образовательные учреждения", + "Строительство общественных зданий", + "7 дней", + "Не позднее трех месяцев после передачи ребенка на воспитание", + "Организации, осуществляющие образовательную деятельность", + "Только международные образовательные учреждения", + "30 календарных дней", + "Подготовку и проведение муниципальных выборов и другие голосования", + "Только государственные образовательные учреждения", + "100 тысяч рублей", + "5 дней" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКакие организации вправе осуществлять образовательную деятельность за счет средств физических и (или) юридических лиц согласно Федеральному закону 'Об образовании в Российской Федерации' N 273-ФЗ, Статья 101?\nA. 45 календарных дней\nB. Только частные образовательные учреждения\nC. Строительство общественных зданий\nD. 7 дней\nE. Не позднее трех месяцев после передачи ребенка на воспитание\nF. Организации, осуществляющие образовательную деятельность\nG. Только международные образовательные учреждения\nH. 30 календарных дней\nI. Подготовку и проведение муниципальных выборов и другие голосования\nJ. Только государственные образовательные учреждения\nK. 100 тысяч рублей\nL. 5 дней\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 162, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.1851770430803299, + "B": 0.3053053319454193, + "C": 0.1272701919078827, + "D": 0.05305410549044609, + "E": 0.04131858050823212, + "F": 0.08747144043445587, + "G": 0.05305410549044609, + "H": 0.0601181760430336, + "I": 0.004635816439986229, + "J": 0.011837971396744251, + "K": 0.0023310347460210323, + "L": 0.001101102912798524 + }, + "sample": { + "question": "Сколько календарных дней ежегодного оплачиваемого отпуска предоставляется прокурорам, работающим в местностях с тяжелыми и неблагоприятными климатическими условиями, по Федеральному закону 'О прокуратуре Российской Федерации' N 2202-1-ФЗ?", + "answerA": "30 календарных дней", + "answerB": "45 календарных дней", + "answerC": "60 календарных дней", + "answerD": "25 календарных дней", + "correct_answer": "answerB", + "choices": [ + "60 календарных дней", + "45 календарных дней", + "Приостановление исполнения исполнительных документов по имущественным взысканиям", + "Подготовку и проведение муниципальных выборов и другие голосования", + "30 календарных дней", + "25 календарных дней", + "7 дней", + "5 дней", + "Не позднее трех месяцев после передачи ребенка на воспитание", + "100 тысяч рублей", + "500 тысяч рублей", + "Строительство общественных зданий" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nСколько календарных дней ежегодного оплачиваемого отпуска предоставляется прокурорам, работающим в местностях с тяжелыми и неблагоприятными климатическими условиями, по Федеральному закону 'О прокуратуре Российской Федерации' N 2202-1-ФЗ?\nA. 60 календарных дней\nB. 45 календарных дней\nC. Приостановление исполнения исполнительных документов по имущественным взысканиям\nD. Подготовку и проведение муниципальных выборов и другие голосования\nE. 30 календарных дней\nF. 25 календарных дней\nG. 7 дней\nH. 5 дней\nI. Не позднее трех месяцев после передачи ребенка на воспитание\nJ. 100 тысяч рублей\nK. 500 тысяч рублей\nL. Строительство общественных зданий\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 180, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.1464475840330124, + "B": 0.241451233625412, + "C": 0.07838773727416992, + "D": 0.10065184533596039, + "E": 0.1464475840330124, + "F": 0.10065184533596039, + "G": 0.0370277464389801, + "H": 0.05387505516409874, + "I": 0.007291195448487997, + "J": 0.022458462044596672, + "K": 0.00415439810603857, + "L": 0.012021148577332497 + }, + "sample": { + "question": "Какой срок установлен для специализированной организации на размещение информации о реализуемом имуществе должника в информационно-телекоммуникационных сетях общего пользования?", + "answerA": "5 дней", + "answerB": "7 дней", + "answerC": "10 дней", + "answerD": "15 дней", + "correct_answer": "C", + "choices": [ + "Не позднее трех месяцев после передачи ребенка на воспитание", + "15 дней", + "100 тысяч рублей", + "500 тысяч рублей", + "5 дней", + "10 дней", + "Приостановление исполнения исполнительных документов по имущественным взысканиям", + "В любой м��мент до достижения ребенком совершеннолетия", + "Осуществляется перевод ипотеки на новое жилое помещение без согласия банка.", + "Строительство общественных зданий", + "Подготовку и проведение муниципальных выборов и другие голосования", + "7 дней" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКакой срок установлен для специализированной организации на размещение информации о реализуемом имуществе должника в информационно-телекоммуникационных сетях общего пользования?\nA. Не позднее трех месяцев после передачи ребенка на воспитание\nB. 15 дней\nC. 100 тысяч рублей\nD. 500 тысяч рублей\nE. 5 дней\nF. 10 дней\nG. Приостановление исполнения исполнительных документов по имущественным взысканиям\nH. В любой момент до достижения ребенком совершеннолетия\nI. Осуществляется перевод ипотеки на новое жилое помещение без согласия банка.\nJ. Строительство общественных зданий\nK. Подготовку и проведение муниципальных выборов и другие голосования\nL. 7 дней\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 167, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0007869682740420103, + "B": 0.010205558501183987, + "C": 0.0009492648532614112, + "D": 0.016826121136546135, + "E": 0.05182810500264168, + "F": 0.021605167537927628, + "G": 0.009587234817445278, + "H": 0.012310254387557507, + "I": 0.0024240328930318356, + "J": 0.6313955783843994, + "K": 0.1408834010362625, + "L": 0.026060808449983597 + }, + "sample": { + "question": "Что организует избирательная комиссия муниципального образования по закону N 131-ФЗ?", + "answerA": "Строительство общественных зданий", + "answerB": "Подготовку и проведение муниципальных выборов и другие голосования", + "answerC": "Формирование полиции муниципального образования", + "answerD": "Утверждение бюджета муниципального образования", + "correct_answer": "B", + "choices": [ + "Формирование полиции муниципального образования", + "100 тысяч рублей", + "Строительство общественных зданий", + "Не позднее трех месяцев после передачи ребенка на воспитание", + "Приостановление исполнения исполнительных документов по имущественным взысканиям", + "Удовлетворение требований учредителя (участника) должника о выделе доли (пая) в имуществе должника", + "Утверждение бюджета муниципального образования", + "В любой момент до достижения ребенком совершеннолетия", + "Восстановления платежеспособности должника в ходе финансового оздоровления", + "Подготовку и проведение муниципальных выборов и другие голосования", + "Осуществляется перевод ипотеки на новое жилое помещение без согласия банка.", + "500 тысяч рублей" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nЧто организует избирательная комиссия муниципального образования по закону N 131-ФЗ?\nA. Формирование полиции муниципального образования\nB. 100 тысяч рублей\nC. Стро��тельство общественных зданий\nD. Не позднее трех месяцев после передачи ребенка на воспитание\nE. Приостановление исполнения исполнительных документов по имущественным взысканиям\nF. Удовлетворение требований учредителя (участника) должника о выделе доли (пая) в имуществе должника\nG. Утверждение бюджета муниципального образования\nH. В любой момент до достижения ребенком совершеннолетия\nI. Восстановления платежеспособности должника в ходе финансового оздоровления\nJ. Подготовку и проведение муниципальных выборов и другие голосования\nK. Осуществляется перевод ипотеки на новое жилое помещение без согласия банка.\nL. 500 тысяч рублей\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 196, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.09022349864244461, + "B": 0.09022349864244461, + "C": 0.048293162137269974, + "D": 0.10223661363124847, + "E": 0.07026612758636475, + "F": 0.09022349864244461, + "G": 0.07026612758636475, + "H": 0.13127440214157104, + "I": 0.015678493306040764, + "J": 0.09022349864244461, + "K": 0.02929128147661686, + "L": 0.10223661363124847 + }, + "sample": { + "question": "Каков минимальный размер долга, при котором гражданина можно признать банкротом согласно статье 213.3 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?", + "answerA": "100 тысяч рублей", + "answerB": "500 тысяч рублей", + "answerC": "1 миллион рублей", + "answerD": "300 тысяч рублей", + "correct_answer": "B", + "choices": [ + "1 миллион рублей", + "Для разработки видеоигр, посвященных экологии", + "Не позднее трех месяцев после передачи ребенка на воспитание", + "Осуществляется перевод ипотеки на новое жилое помещение без согласия банка.", + "Удовлетворение требований учредителя (участника) должника о выделе доли (пая) в имуществе должника", + "500 тысяч рублей", + "Восстановления платежеспособности должника в ходе финансового оздоровления", + "100 тысяч рублей", + "Приостановление исполнения исполнительных документов по имущественным взысканиям", + "В любой момент до достижения ребенком совершеннолетия", + "Новое жилое помещение автоматически становится предметом ипотеки с сохранением всех условий предыдущего договора.", + "300 тысяч рублей" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКаков минимальный размер долга, при котором гражданина можно признать банкротом согласно статье 213.3 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?\nA. 1 миллион рублей\nB. Для разработки видеоигр, посвященных экологии\nC. Не позднее трех месяцев после передачи ребенка на воспитание\nD. Осуществляется перевод ипотеки на новое жилое помещение без согласия банка.\nE. Удовлетворение требований учредителя (участника) должника о выделе доли (пая) в имуществе должника\nF. 500 тысяч рублей\nG. Восстановления платежеспособности должника в ходе финансового оздоровления\nH. 100 тысяч рублей\nI. Приостановление исполнения исполнительных документов по имущественным взысканиям\nJ. В любой момент до достижения ребенком совершеннолетия\nK. Новое жилое помещение автоматически становится предметом ипотеки с сохранением всех условий предыдущего договора.\nL. 300 тысяч рублей\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 227, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.15090355277061462, + "B": 0.06290595233440399, + "C": 0.3194628059864044, + "D": 0.029714670032262802, + "E": 0.03367113322019577, + "F": 0.029714670032262802, + "G": 0.09152763336896896, + "H": 0.038154393434524536, + "I": 0.012386917136609554, + "J": 0.015905115753412247, + "K": 0.08077284693717957, + "L": 0.0005793438176624477 + }, + "sample": { + "question": "На какой срок подается заявление на получение единовременного пособия при передаче ребенка на воспитание в семью согласно Федеральному закону \"О государственных пособиях гражданам, имеющим детей\" N 81-ФЗ?", + "answerA": "Не позднее трех месяцев после передачи ребенка на воспитание", + "answerB": "В любой момент до достижения ребенком совершеннолетия", + "answerC": "Не позднее шести месяцев после передачи ребенка на воспитание", + "answerD": "Не позднее одного года после передачи ребенка на воспитание", + "correct_answer": "Не позднее шести месяцев после передачи ребенка на воспитание", + "choices": [ + "Не позднее трех месяцев после передачи ребенка на воспитание", + "В любой момент до достижения ребенком совершеннолетия", + "Приостановление исполнения исполнительных документов по имущественным взысканиям", + "Восстановления платежеспособности должника в ходе финансового оздоровления", + "Для разработки видеоигр, посвященных экологии", + "Не позднее шести месяцев после передачи ребенка на воспитание", + "Новое жилое помещение автоматически становится предметом ипотеки с сохранением всех условий предыдущего договора.", + "Только в бумажном виде", + "Удовлетворение требований учредителя (участника) должника о выделе доли (пая) в имуществе должника", + "Осуществляется перевод ипотеки на новое жилое помещение без согласия банка.", + "Не позднее одного года после передачи ребенка на воспитание", + "Восстановления платежеспособности должника в ходе внешнего управления" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nНа какой срок подается заявление на получение единовременного пособия при передаче ребенка на воспитание в семью согласно Федеральному закону \"О государственных пособиях гражданам, имеющим детей\" N 81-ФЗ?\nA. Не позднее трех месяцев после передачи ребенка на воспитание\nB. В любой момент до достижения ребенком совершеннолетия\nC. Приостановление исполнения исполнительных документов по имущественным взысканиям\nD. Восстановления платежеспособности должн��ка в ходе финансового оздоровления\nE. Для разработки видеоигр, посвященных экологии\nF. Не позднее шести месяцев после передачи ребенка на воспитание\nG. Новое жилое помещение автоматически становится предметом ипотеки с сохранением всех условий предыдущего договора.\nH. Только в бумажном виде\nI. Удовлетворение требований учредителя (участника) должника о выделе доли (пая) в имуществе должника\nJ. Осуществляется перевод ипотеки на новое жилое помещение без согласия банка.\nK. Не позднее одного года после передачи ребенка на воспитание\nL. Восстановления платежеспособности должника в ходе внешнего управления\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 243, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.06189315393567085, + "B": 0.06189315393567085, + "C": 0.06588491797447205, + "D": 0.09586198627948761, + "E": 0.045281995087862015, + "F": 0.06189315393567085, + "G": 0.0794723853468895, + "H": 0.04253850132226944, + "I": 0.018876345828175545, + "J": 0.22996096312999725, + "K": 0.08459792286157608, + "L": 0.045281995087862015 + }, + "sample": { + "question": "Какое из следующих действий НЕ допускается после вынесения арбитражным судом определения о введении наблюдения в соответствии со статьёй 63 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?", + "answerA": "Приостановление исполнения исполнительных документов по имущественным взысканиям", + "answerB": "Удовлетворение требований учредителя (участника) должника о выделе доли (пая) в имуществе должника", + "answerC": "Предъявление требований к должнику в порядке, установленном Федеральным законом", + "answerD": "Прекращение денежных обязательств должника путем зачета встречного однородного требования с соблюдением очередности удовлетворения требований кредиторов", + "correct_answer": "B", + "choices": [ + "Предъявление требований к должнику в порядке, установленном Федеральным законом", + "Приостановление исполнения исполнительных документов по имущественным взысканиям", + "Удовлетворение требований учредителя (участника) должника о выделе доли (пая) в имуществе должника", + "Для разработки видеоигр, посвященных экологии", + "Восстановления платежеспособности должника в ходе финансового оздоровления", + "Новое жилое помещение автоматически становится предметом ипотеки с сохранением всех условий предыдущего договора.", + "Осуществляется перевод ипотеки на новое жилое помещение без согласия банка.", + "Прекращение денежных обязательств должника путем зачета встречного однородного требования с соблюдением очередности удовлетворения требований кредиторов", + "Восстановления платежеспособности должника в ходе внешнего управления", + "Для создания научной основы охраны окружающей среды и разработки мероприятий по ее улучшению и восстановлению", + "Тольк�� в бумажном виде", + "Публикация в печатных СМИ" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКакое из следующих действий НЕ допускается после вынесения арбитражным судом определения о введении наблюдения в соответствии со статьёй 63 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?\nA. Предъявление требований к должнику в порядке, установленном Федеральным законом\nB. Приостановление исполнения исполнительных документов по имущественным взысканиям\nC. Удовлетворение требований учредителя (участника) должника о выделе доли (пая) в имуществе должника\nD. Для разработки видеоигр, посвященных экологии\nE. Восстановления платежеспособности должника в ходе финансового оздоровления\nF. Новое жилое помещение автоматически становится предметом ипотеки с сохранением всех условий предыдущего договора.\nG. Осуществляется перевод ипотеки на новое жилое помещение без согласия банка.\nH. Прекращение денежных обязательств должника путем зачета встречного однородного требования с соблюдением очередности удовлетворения требований кредиторов\nI. Восстановления платежеспособности должника в ходе внешнего управления\nJ. Для создания научной основы охраны окружающей среды и разработки мероприятий по ее улучшению и восстановлению\nK. Только в бумажном виде\nL. Публикация в печатных СМИ\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 268, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0910603329539299, + "B": 0.13249200582504272, + "C": 0.05523088946938515, + "D": 0.10318487882614136, + "E": 0.0910603329539299, + "F": 0.07091785967350006, + "G": 0.07091785967350006, + "H": 0.062584787607193, + "I": 0.037959594279527664, + "J": 0.15013310313224792, + "K": 0.03349922597408295, + "L": 0.037959594279527664 + }, + "sample": { + "question": "Каковы последствия перехода права собственности на жилые помещения в многоквартирном доме, включенном в программу реновации жилищного фонда в Москве, согласно Федеральному закону 'Об ипотеке (залоге недвижимости)' N 102-ФЗ?", + "answerA": "Осуществляется перевод ипотеки на новое жилое помещение без согласия банка.", + "answerB": "Новое жилое помещение автоматически становится предметом ипотеки с сохранением всех условий предыдущего договора.", + "answerC": "Залогодержатель обязан оплатить разницу в стоимости между старым и новым жилым помещением.", + "answerD": "Залогодатель и залогодержатель должны заключить новый договор ипотеки.", + "correct_answer": "B", + "choices": [ + "В течение трех дней с момента внесения покупной цены", + "Залогодатель и залогодержатель должны заключить новый договор ипотеки.", + "Только в бумажном виде", + "Для создания научной основы охраны окружающей среды и разработки мероприятий по ее улучшению и восстановлению", + "Восстановления платежеспособности должника в ходе финансового оздоровле��ия", + "Новое жилое помещение автоматически становится предметом ипотеки с сохранением всех условий предыдущего договора.", + "Восстановления платежеспособности должника в ходе внешнего управления", + "Публикация в печатных СМИ", + "Залогодержатель обязан оплатить разницу в стоимости между старым и новым жилым помещением.", + "Для разработки видеоигр, посвященных экологии", + "Осуществляется перевод ипотеки на новое жилое помещение без согласия банка.", + "В форме электронного документа, если иное не установлено контрольным (надзорным) органом" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКаковы последствия перехода права собственности на жилые помещения в многоквартирном доме, включенном в программу реновации жилищного фонда в Москве, согласно Федеральному закону 'Об ипотеке (залоге недвижимости)' N 102-ФЗ?\nA. В течение трех дней с момента внесения покупной цены\nB. Залогодатель и залогодержатель должны заключить новый договор ипотеки.\nC. Только в бумажном виде\nD. Для создания научной основы охраны окружающей среды и разработки мероприятий по ее улучшению и восстановлению\nE. Восстановления платежеспособности должника в ходе финансового оздоровления\nF. Новое жилое помещение автоматически становится предметом ипотеки с сохранением всех условий предыдущего договора.\nG. Восстановления платежеспособности должника в ходе внешнего управления\nH. Публикация в печатных СМИ\nI. Залогодержатель обязан оплатить разницу в стоимости между старым и новым жилым помещением.\nJ. Для разработки видеоигр, посвященных экологии\nK. Осуществляется перевод ипотеки на новое жилое помещение без согласия банка.\nL. В форме электронного документа, если иное не установлено контрольным (надзорным) органом\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 256, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.015751782804727554, + "B": 0.013900897465646267, + "C": 0.025970295071601868, + "D": 0.025970295071601868, + "E": 0.03778655827045441, + "F": 0.025970295071601868, + "G": 0.10271452367305756, + "H": 0.07059458643198013, + "I": 0.10271452367305756, + "J": 0.2792069911956787, + "K": 0.191895991563797, + "L": 0.024396834895014763 + }, + "sample": { + "question": "На каком основании арбитражный суд НЕ прекращает производство по делу о банкротстве?", + "answerA": "Восстановления платежеспособности должника в ходе финансового оздоровления", + "answerB": "Восстановления платежеспособности должника в ходе внешнего управления", + "answerC": "Отказа всех кредиторов от заявленных требований", + "answerD": "Решения суда об обязательстве должника пройти курсы повышения финансовой грамотности", + "correct_answer": "answerD", + "choices": [ + "В течение трех дней с момента внесения покупной цены", + "Решения суда об обязательстве должника пройти курсы повышения финансовой грамотности", + "Для создания научной основы охраны окружающей среды и разработки мероприятий по ее улучшению и восстановлению", + "Публикация в печатных СМИ", + "Для разработки видеоигр, посвященных экологии", + "Только в бумажном виде", + "Восстановления платежеспособности должника в ходе финансового оздоровления", + "Через официальные сайты в информационно-телекоммуникационной сети \"Интернет\" и с использованием федеральной государственной информационной системы состояния окружающей среды в форме открытых данных", + "Статья 101", + "Восстановления платежеспособности должника в ходе внешнего управления", + "Отказа всех кредиторов от заявленных требований", + "В форме электронного документа, если иное не установлено контрольным (надзорным) органом" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nНа каком основании арбитражный суд НЕ прекращает производство по делу о банкротстве?\nA. В течение трех дней с момента внесения покупной цены\nB. Решения суда об обязательстве должника пройти курсы повышения финансовой грамотности\nC. Для создания научной основы охраны окружающей среды и разработки мероприятий по ее улучшению и восстановлению\nD. Публикация в печатных СМИ\nE. Для разработки видеоигр, посвященных экологии\nF. Только в бумажном виде\nG. Восстановления платежеспособности должника в ходе финансового оздоровления\nH. Через официальные сайты в информационно-телекоммуникационной сети \"Интернет\" и с использованием федеральной государственной информационной системы состояния окружающей среды в форме открытых данных\nI. Статья 101\nJ. Восстановления платежеспособности должника в ходе внешнего управления\nK. Отказа всех кредиторов от заявленных требований\nL. В форме электронного документа, если иное не установлено контрольным (надзорным) органом\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 218, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.019259991124272346, + "B": 0.00021395918156486005, + "C": 0.0009008018532767892, + "D": 0.0010207421146333218, + "E": 0.7227258682250977, + "F": 0.0003113087732344866, + "G": 0.0005132613587193191, + "H": 0.00011452408944023773, + "I": 0.0007467909017577767, + "J": 0.00014705184730701149, + "K": 0.0012312501203268766, + "L": 1.6498761397087947e-05 + }, + "sample": { + "question": "В соответствии с Федеральным законом \"Об охране окружающей среды\" N 7-ФЗ, для чего проводятся научные исследования в области охраны окружающей среды?", + "answerA": "Для разработки видеоигр, посвященных экологии", + "answerB": "Для создания научной основы охраны окружающей среды и разработки мероприятий по ее улучшению и восстановлению", + "answerC": "Для проведения маркетинговых исследований в сфере переработки отходов", + "answerD": "Только для мониторинга изменения климата", + "correct_answer": "B", + "choices": [ + "Статья 101", + "Только для мониторинга изменения климата", + "В форме электронного документа, если иное не установлено контрольным (надзорным) органом", + "Для проведения маркетинговых исследований в сфере переработки отходов", + "Для создания научной основы охраны окружающей среды и разработки мероприятий по ее улучшению и восстановлению", + "В течение трех дней с момента внесения покупной цены", + "Через официальные сайты в информационно-телекоммуникационной сети \"Интернет\" и с использованием федеральной государственной информационной системы состояния окружающей среды в форме открытых данных", + "На решениях межгосударственных органов", + "Для разработки видеоигр, посвященных экологии", + "Публикация в печатных СМИ", + "Только в бумажном виде", + "В течение десяти дней после объявления результатов торгов" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nВ соответствии с Федеральным законом \"Об охране окружающей среды\" N 7-ФЗ, для чего проводятся научные исследования в области охраны окружающей среды?\nA. Статья 101\nB. Только для мониторинга изменения климата\nC. В форме электронного документа, если иное не установлено контрольным (надзорным) органом\nD. Для проведения маркетинговых исследований в сфере переработки отходов\nE. Для создания научной основы охраны окружающей среды и разработки мероприятий по ее улучшению и восстановлению\nF. В течение трех дней с момента внесения покупной цены\nG. Через официальные сайты в информационно-телекоммуникационной сети \"Интернет\" и с использованием федеральной государственной информационной системы состояния окружающей среды в форме открытых данных\nH. На решениях межгосударственных органов\nI. Для разработки видеоигр, посвященных экологии\nJ. Публикация в печатных СМИ\nK. Только в бумажном виде\nL. В течение десяти дней после объявления результатов торгов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 206, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0006872187950648367, + "B": 0.001988533418625593, + "C": 0.00026911875465884805, + "D": 0.0018680543871596456, + "E": 0.0014548421604558825, + "F": 0.0005697243614122272, + "G": 0.0014548421604558825, + "H": 0.9676761031150818, + "I": 0.0003455552796367556, + "J": 0.0004168192681390792, + "K": 0.0014548421604558825, + "L": 0.00371506973169744 + }, + "sample": { + "question": "В какой форме могут быть направлены истребуемые документы в контрольный (надзорный) орган согласно Федеральному закону от 31.07.2020 N 248-ФЗ?", + "answerA": "Только в бумажном виде", + "answerB": "В форме электронного документа, если иное не установлено контрольным (надзорным) органом", + "answerC": "По факсу", + "answerD": "Исключительно по почте заказным письмом", + "correct_answer": "В форме электронного документа, если иное не установлено контрольным (надзорным) органом", + "choices": [ + "Статья 187.10", + "Через официальные сайты в информационно-телекоммуникационной сети \"Интернет\" и с использованием федеральной государственной информационной системы состояния окружающей среды в форме открытых данных", + "Только арбитражный управляющий по своей инициативе", + "Публикация в печатных СМИ", + "Исключительно по почте заказным письмом", + "В течение трех дней с момента внесения покупной цены", + "Только в бумажном виде", + "В форме электронного документа, если иное не установлено контрольным (надзорным) органом", + "На решениях межгосударственных органов", + "По факсу", + "Статья 101", + "В течение десяти дней после объявления результатов торгов" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nВ какой форме могут быть направлены истребуемые документы в контрольный (надзорный) орган согласно Федеральному закону от 31.07.2020 N 248-ФЗ?\nA. Статья 187.10\nB. Через официальные сайты в информационно-телекоммуникационной сети \"Интернет\" и с использованием федеральной государственной информационной системы состояния окружающей среды в форме открытых данных\nC. Только арбитражный управляющий по своей инициативе\nD. Публикация в печатных СМИ\nE. Исключительно по почте заказным письмом\nF. В течение трех дней с момента внесения покупной цены\nG. Только в бумажном виде\nH. В форме электронного документа, если иное не установлено контрольным (надзорным) органом\nI. На решениях межгосударственных органов\nJ. По факсу\nK. Статья 101\nL. В течение десяти дней после объявления результатов торгов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 211, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0010081595974043012, + "B": 0.916559100151062, + "C": 0.004244511015713215, + "D": 0.0017693752888590097, + "E": 0.00019851839169859886, + "F": 0.00012817312381230295, + "G": 9.982132178265601e-05, + "H": 5.687646989827044e-05, + "I": 9.883648999675643e-06, + "J": 7.303083111764863e-05, + "K": 2.0923685951856896e-05, + "L": 2.660148311406374e-06 + }, + "sample": { + "question": "Каким образом информация о состоянии окружающей среды должна предоставляться в соответствии со статьей 4.3 Федерального закона \"Об охране окружающей среды\" N 7-ФЗ?", + "answerA": "Публикация в печатных СМИ", + "answerB": "Через официальные сайты в информационно-телекоммуникационной сети \"Интернет\" и с использованием федеральной государственной информационной системы состояния окружающей среды в форме открытых данных", + "answerC": "Исключительно через официальные представительства в социальных сетях", + "answerD": "Оповещение населения с помощью SMS-сообщений", + "correct_answer": "B", + "choices": [ + "Только арбитражный управляющий по своей инициативе", + "Через официальные сайты в информационно-телекоммуникационной сети \"Интернет\" и с использованием федеральной государстве��ной информационной системы состояния окружающей среды в форме открытых данных", + "30 дней", + "Статья 101", + "Публикация в печатных СМИ", + "В течение десяти дней после объявления результатов торгов", + "На Конституции Российской Федерации и международных договорах Российской Федерации", + "Статья 187.10", + "На решениях межгосударственных органов", + "Оповещение населения с помощью SMS-сообщений", + "В течение трех дней с момента внесения покупной цены", + "Исключительно через официальные представительства в социальных сетях" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКаким образом информация о состоянии окружающей среды должна предоставляться в соответствии со статьей 4.3 Федерального закона \"Об охране окружающей среды\" N 7-ФЗ?\nA. Только арбитражный управляющий по своей инициативе\nB. Через официальные сайты в информационно-телекоммуникационной сети \"Интернет\" и с использованием федеральной государственной информационной системы состояния окружающей среды в форме открытых данных\nC. 30 дней\nD. Статья 101\nE. Публикация в печатных СМИ\nF. В течение десяти дней после объявления результатов торгов\nG. На Конституции Российской Федерации и международных договорах Российской Федерации\nH. Статья 187.10\nI. На решениях межгосударственных органов\nJ. Оповещение населения с помощью SMS-сообщений\nK. В течение трех дней с момента внесения покупной цены\nL. Исключительно через официальные представительства в социальных сетях\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 202, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.005816656164824963, + "B": 0.05184329301118851, + "C": 0.2632819414138794, + "D": 0.027749713510274887, + "E": 0.04575154185295105, + "F": 0.021611498668789864, + "G": 0.06656810641288757, + "H": 0.43407854437828064, + "I": 0.0014706809306517243, + "J": 0.0012192374560981989, + "K": 0.002581125358119607, + "L": 0.00024008206673897803 + }, + "sample": { + "question": "Какой срок установлен для организатора публичных торгов на подписание договора купли-продажи с лицом, выигравшим торги?", + "answerA": "В течение трех дней с момента внесения покупной цены", + "answerB": "В течение десяти дней после объявления результатов торгов", + "answerC": "В течение пяти дней с момента внесения покупной цены", + "answerD": "В течение семи дней после подписания протокола о результатах торгов", + "correct_answer": "В течение пяти дней с момента внесения покупной цены", + "choices": [ + "На решениях межгосударственных органов", + "В течение пяти дней с момента внесения покупной цены", + "В течение семи дней после подписания протокола о результатах торгов", + "Осуществлять расчеты исключительно в иностранной валюте.", + "На Конституции Российской Федерации и международных договорах Российской Федерации", + "В течение трех дней с момента внесения покупной цены", + "Статья 187.10", + "В течение десяти дней после объявления результатов торгов", + "30 дней", + "Статья 101", + "Только конкурсные кредиторы", + "Только арбитражный управляющий по своей инициативе" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКакой срок установлен для организатора публичных торгов на подписание договора купли-продажи с лицом, выигравшим торги?\nA. На решениях межгосударственных органов\nB. В течение пяти дней с момента внесения покупной цены\nC. В течение семи дней после подписания протокола о результатах торгов\nD. Осуществлять расчеты исключительно в иностранной валюте.\nE. На Конституции Российской Федерации и международных договорах Российской Федерации\nF. В течение трех дней с момента внесения покупной цены\nG. Статья 187.10\nH. В течение десяти дней после объявления результатов торгов\nI. 30 дней\nJ. Статья 101\nK. Только конкурсные кредиторы\nL. Только арбитражный управляющий по своей инициативе\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 175, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.2569771409034729, + "B": 0.06497400254011154, + "C": 0.10712401568889618, + "D": 0.05733935534954071, + "E": 0.2001340091228485, + "F": 0.03477807715535164, + "G": 0.03477807715535164, + "H": 0.03940872475504875, + "I": 0.02390259876847267, + "J": 0.030691545456647873, + "K": 0.014497660100460052, + "L": 0.004153648857027292 + }, + "sample": { + "question": "Какая статья Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ утратила силу с 1 января 2023 года?", + "answerA": "Статья 101", + "answerB": "Статья 187.10", + "answerC": "Статья 56", + "answerD": "Статья 213.8", + "correct_answer": "Статья 187.10", + "choices": [ + "На решениях межгосударственных органов", + "30 дней", + "Отчет о стоимости имущества финансовой организации, подготовленный оценщиком", + "Только конкурсные кредиторы", + "Статья 213.8", + "Статья 187.10", + "Статья 101", + "Только арбитражный управляющий по своей инициативе", + "На Конституции Российской Федерации и международных договорах Российской Федерации", + "15 дней", + "Статья 56", + "Осуществлять расчеты исключительно в иностранной валюте." + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКакая статья Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ утратила силу с 1 января 2023 года?\nA. На решениях межгосударственных органов\nB. 30 дней\nC. Отчет о стоимости имущества финансовой организации, подготовленный оценщиком\nD. Только конкурсные кредиторы\nE. Статья 213.8\nF. Статья 187.10\nG. Статья 101\nH. Только арбитражный управляющий по своей инициативе\nI. На Конституции Российской Федерации и международных договорах Российской Федерации\nJ. 15 дней\nK. Статья 56\nL. Осуществлять расчеты исключительно в иностранной валюте.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 172, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0003902108292095363, + "B": 0.00783759355545044, + "C": 0.00032349611865356565, + "D": 0.001543313846923411, + "E": 0.003702217247337103, + "F": 0.0012794520007446408, + "G": 0.001748803537338972, + "H": 0.001543313846923411, + "I": 0.0018615915905684233, + "J": 0.9059026837348938, + "K": 0.04510223865509033, + "L": 0.0004421668127179146 + }, + "sample": { + "question": "На чем основывается законодательство Российской Федерации в области персональных данных согласно Федеральному закону \"О персональных данных\" N 152-ФЗ?", + "answerA": "На решениях межгосударственных органов", + "answerB": "На Конституции Российской Федерации и международных договорах Российской Федерации", + "answerC": "Исключительно на положениях Федерального закона \"О персональных данных\" N 152-ФЗ", + "answerD": "На устных решениях уполномоченного органа по защите прав субъектов персональных данных", + "correct_answer": "answerB", + "choices": [ + "Отчет о стоимости имущества финансовой организации, подготовленный оценщиком", + "Осуществлять перечисление средств клиента и зачисление средств на его счет не позже следующего операционного дня после получения соответствующего платежного документа.", + "Только конкурсные кредиторы", + "Только арбитражный управляющий по своей инициативе", + "На Конституции Российской Федерации и международных договорах Российской Федерации", + "15 дней", + "30 дней", + "На устных решениях уполномоченного органа по защите прав субъектов персональных данных", + "Осуществлять расчеты исключительно в иностранной валюте.", + "Исключительно на положениях Федерального закона \"О персональных данных\" N 152-ФЗ", + "На решениях межгосударственных органов", + "Любое юридическое лицо" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nНа чем основывается законодательство Российской Федерации в области персональных данных согласно Федеральному закону \"О персональных данных\" N 152-ФЗ?\nA. Отчет о стоимости имущества финансовой организации, подготовленный оценщиком\nB. Осуществлять перечисление средств клиента и зачисление средств на его счет не позже следующего операционного дня после получения соответствующего платежного документа.\nC. Только конкурсные кредиторы\nD. Только арбитражный управляющий по своей инициативе\nE. На Конституции Российской Федерации и международных договорах Российской Федерации\nF. 15 дней\nG. 30 дней\nH. На устных решениях уполномоченного органа по защите прав субъектов персональных данных\nI. Осуществлять расчеты исключительно в иностранной валюте.\nJ. Исключительно на положениях Федерального закона \"О персональных данных\" N 152-ФЗ\nK. На решениях межгосударственных органов\nL. Любое юридическое лицо\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 208, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.003331425366923213, + "B": 0.0381261445581913, + "C": 0.002289653057232499, + "D": 0.009639798663556576, + "E": 0.03160768747329712, + "F": 0.018009517341852188, + "G": 0.01026151329278946, + "H": 0.0381261445581913, + "I": 0.023124676197767258, + "J": 0.5602595806121826, + "K": 0.026203691959381104, + "L": 0.16051706671714783 + }, + "sample": { + "question": "Кто имеет право на подачу заявления о привлечении к субсидиарной ответственности по Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ, введенное статьей 61.14?", + "answerA": "Только арбитражный управляющий по своей инициативе", + "answerB": "Только конкурсные кредиторы", + "answerC": "Арбитражный управляющий, конкурсные кредиторы, представитель работников должника, работники или бывшие работники должника, или уполномоченные органы", + "answerD": "Только заявитель по делу о банкротстве", + "correct_answer": "C", + "choices": [ + "Любое юридическое лицо", + "Только конкурсные кредиторы", + "30 дней", + "Только к административной ответственности", + "Осуществлять перечисление средств клиента и зачисление средств на его счет не позже следующего операционного дня после получения соответствующего платежного документа.", + "Только арбитражный управляющий по своей инициативе", + "Отчет о стоимости имущества финансовой организации, подготовленный оценщиком", + "Только заявитель по делу о банкротстве", + "15 дней", + "Арбитражный управляющий, конкурсные кредиторы, представитель работников должника, работники или бывшие работники должника, или уполномоченные органы", + "Осуществлять расчеты исключительно в иностранной валюте.", + "Справка об отсутствии задолженности по налогам и взносам" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКто имеет право на подачу заявления о привлечении к субсидиарной ответственности по Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ, введенное статьей 61.14?\nA. Любое юридическое лицо\nB. Только конкурсные кредиторы\nC. 30 дней\nD. Только к административной ответственности\nE. Осуществлять перечисление средств клиента и зачисление средств на его счет не позже следующего операционного дня после получения соответствующего платежного документа.\nF. Только арбитражный управляющий по своей инициативе\nG. Отчет о стоимости имущества финансовой организации, подготовленный оценщиком\nH. Только заявитель по делу о банкротстве\nI. 15 дней\nJ. Арбитражный управляющий, конкурсные кредиторы, представитель работников должника, работники или бывшие работники должника, или уполномоченные органы\nK. Осуществлять расчеты исключительно в иностранной валюте.\nL. Справка об отсутствии задолженности по налогам и взносам\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 224, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0028919843025505543, + "B": 0.013796886429190636, + "C": 0.006517187692224979, + "D": 0.012175709940493107, + "E": 0.04249740019440651, + "F": 0.10194597393274307, + "G": 0.06183335930109024, + "H": 0.06183335930109024, + "I": 0.0793955996632576, + "J": 0.40320414304733276, + "K": 0.03309701010584831, + "L": 0.13090121746063232 + }, + "sample": { + "question": "Какой срок установлен для лица, имеющего намерение подать добровольное или обязательное предложение приобретения ценных бумаг, после представления предварительного уведомления в Банк России, прежде чем такое предложение может быть направлено в публичное общество, если Банк России не направил предписание о приведении предложения в соответствие?", + "answerA": "30 дней", + "answerB": "15 дней", + "answerC": "5 рабочих дней", + "answerD": "7 дней", + "correct_answer": "answerB", + "choices": [ + "Любое юридическое лицо", + "Осуществлять расчеты исключительно в иностранной валюте.", + "Осуществлять перечисление средств клиента и зачисление средств на его счет не позже следующего операционного дня после получения соответствующего платежного документа.", + "Справка об отсутствии задолженности по налогам и взносам", + "Отчет о стоимости имущества финансовой организации, подготовленный оценщиком", + "30 дней", + "Только к административной ответственности", + "Только арбитражный управляющий", + "5 рабочих дней", + "Не позднее 10 рабочих дней со дня следующего за днем получения запроса", + "7 дней", + "15 дней" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКакой срок установлен для лица, имеющего намерение подать добровольное или обязательное предложение приобретения ценных бумаг, после представления предварительного уведомления в Банк России, прежде чем такое предложение может быть направлено в публичное общество, если Банк России не направил предписание о приведении предложения в соответствие?\nA. Любое юридическое лицо\nB. Осуществлять расчеты исключительно в иностранной валюте.\nC. Осуществлять перечисление средств клиента и зачисление средств на его счет не позже следующего операционного дня после получения соответствующего платежного документа.\nD. Справка об отсутствии задолженности по налогам и взносам\nE. Отчет о стоимости имущества финансовой организации, подготовленный оценщиком\nF. 30 дней\nG. Только к административной ответственности\nH. Только арбитражный управляющий\nI. 5 рабочих дней\nJ. Не позднее 10 рабочих дней со дня следующего за днем получения запроса\nK. 7 дней\nL. 15 дней\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 214, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0029108717571944, + "B": 0.024372432380914688, + "C": 0.003978690132498741, + "D": 0.033313166350126266, + "E": 0.11627436429262161, + "F": 0.06223718449473381, + "G": 0.01151272188872099, + "H": 0.014782628044486046, + "I": 0.009544380940496922, + "J": 0.5904899835586548, + "K": 0.020205454900860786, + "L": 0.042774952948093414 + }, + "sample": { + "question": "Каковы обязанности кредитной организации и Банка России при осуществлении расчетов согласно статье 31 Федерального закона 'О банках и банковской деятельности' N 395-1?", + "answerA": "Осуществлять расчеты исключительно в иностранной валюте.", + "answerB": "Осуществлять перечисление средств клиента и зачисление средств на его счет не позже следующего операционного дня после получения соответствующего платежного документа.", + "answerC": "Выполнять все операции без учета ставки рефинансирования Банка России.", + "answerD": "Предоставлять кредиты без проведения кредитных проверок.", + "correct_answer": "B", + "choices": [ + "Осуществлять расчеты исключительно в иностранной валюте.", + "Отчет о стоимости имущества финансовой организации, подготовленный оценщиком", + "Предоставлять кредиты без проведения кредитных проверок.", + "Выполнять все операции без учета ставки рефинансирования Банка России.", + "Не позднее 10 рабочих дней со дня следующего за днем получения запроса", + "Осуществлять перечисление средств клиента и зачисление средств на его счет не позже следующего операционного дня после получения соответствующего платежного документа.", + "Большинством в две трети голосов акционеров - владельцев голосующих акций", + "Только арбитражный управляющий", + "Только к административной ответственности", + "К ответственности в соответствии с законодательством Российской Федерации", + "Справка об отсутствии задолженности по налогам и взносам", + "Любое юридическое лицо" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКаковы обязанности кредитной организации и Банка России при осуществлении расчетов согласно статье 31 Федерального закона 'О банках и банковской деятельности' N 395-1?\nA. Осуществлять расчеты исключительно в иностранной валюте.\nB. Отчет о стоимости имущества финансовой организации, подготовленный оценщиком\nC. Предоставлять кредиты без проведения кредитных проверок.\nD. Выполнять все операции без учета ставки рефинансирования Банка России.\nE. Не позднее 10 рабочих дней со дня следующего за днем получения запроса\nF. Осуществлять перечисление средств клиента и зачисление средств на его счет не позже следующего операционного дня после получения соответствующего платежного документа.\nG. Большинством в две трети голосов акционеров - владельцев голосующих акций\nH. Только арбитражный управляющий\nI. Только к административной ответственности\nJ. К ответственности в соответствии с законодательством Российской Федерации\nK. Справка об отсутствии задолженности по налогам и взносам\nL. Любое юридическое лицо\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 225, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.11115200817584991, + "B": 0.09809129685163498, + "C": 0.12595172226428986, + "D": 0.23530879616737366, + "E": 0.04089053347706795, + "F": 0.04089053347706795, + "G": 0.05949538201093674, + "H": 0.03608577325940132, + "I": 0.013275214470922947, + "J": 0.05949538201093674, + "K": 0.046335045248270035, + "L": 0.012470909394323826 + }, + "sample": { + "question": "Какой документ НЕ требуется прилагать к заявлению временной администрации о признании финансовой организации банкротом согласно статье 183.22 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?", + "answerA": "Отчет о стоимости имущества финансовой организации, подготовленный оценщиком", + "answerB": "Справка об отсутствии задолженности по налогам и взносам", + "answerC": "Бухгалтерский баланс финансовой организации на последнюю отчетную дату", + "answerD": "Учредительные документы финансовой организации, свидетельство о государственной регистрации юридического лица", + "correct_answer": "B", + "choices": [ + "Справка об отсутствии задолженности по налогам и взносам", + "К ответственности в соответствии с законодательством Российской Федерации", + "Взыскание на денежные средства и имущество клиентов управляющей компании паевого инвестиционного фонда возможно до внесения в реестр владельцев инвестиционных паев.", + "Любое юридическое лицо", + "Отчет о стоимости имущества финансовой организации, подготовленный оценщиком", + "Большинством в две трети голосов акционеров - владельцев голосующих акций", + "Учредительные документы финансовой организации, свидетельство о государственной регистрации юридического лица", + "Не позднее 20 рабочих дней со дня следующего за днем получения запроса", + "Не позднее 10 рабочих дней со дня следующего за днем получения запроса", + "Бухгалтерский баланс финансовой организации на последнюю отчетную дату", + "Только к административной ответственности", + "Только арбитражный управляющий" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКакой документ НЕ требуется прилагать к заявлению временной администрации о признании финансовой организации банкротом согласно статье 183.22 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?\nA. Справка об отсутствии задолженности по налогам и взносам\nB. К ответственности в соответствии с законодательством Российской Федерации\nC. Взыскание на денежные средства и имущество клиентов управляющей компании паевого инвестиционного фонда возможно до внесения в реестр владельцев инвестиционных паев.\nD. Любое юридическое лицо\nE. Отчет о стоимости имущества финансовой организации, подготовленный оценщиком\nF. Большинством в две трети голосов акционеров - владельцев голосующих акций\nG. Учредительные документы финансовой организации, свидетельство о го��ударственной регистрации юридического лица\nH. Не позднее 20 рабочих дней со дня следующего за днем получения запроса\nI. Не позднее 10 рабочих дней со дня следующего за днем получения запроса\nJ. Бухгалтерский баланс финансовой организации на последнюю отчетную дату\nK. Только к административной ответственности\nL. Только арбитражный управляющий\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 234, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.21884815394878387, + "B": 0.033561449497938156, + "C": 0.09122948348522186, + "D": 0.4088621735572815, + "E": 0.03803010657429695, + "F": 0.04309375584125519, + "G": 0.029617877677083015, + "H": 0.01796415075659752, + "I": 0.026137683540582657, + "J": 0.008485663682222366, + "K": 0.007034861948341131, + "L": 0.0012224757811054587 + }, + "sample": { + "question": "Кто вправе рассчитаться со всеми кредиторами градообразующей организации до окончания финансового оздоровления или внешнего управления согласно Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ?", + "answerA": "Любое юридическое лицо", + "answerB": "Только арбитражный управляющий", + "answerC": "Российская Федерация, субъект Российской Федерации или муниципальное образование", + "answerD": "Только собственник градообразующей организации", + "correct_answer": "C", + "choices": [ + "Не позднее 10 рабочих дней со дня следующего за днем получения запроса", + "Только собственник градообразующей организации", + "Российская Федерация, субъект Российской Федерации или муниципальное образование", + "К ответственности в соответствии с законодательством Российской Федерации", + "Только к административной ответственности", + "Простым большинством голосов акционеров - владельцев голосующих акций", + "До достижения ребенком возраста одного года", + "Любое юридическое лицо", + "Взыскание на денежные средства и имущество клиентов управляющей компании паевого инвестиционного фонда возможно до внесения в реестр владельцев инвестиционных паев.", + "Не позднее 20 рабочих дней со дня следующего за днем получения запроса", + "Только арбитражный управляющий", + "Большинством в две трети голосов акционеров - владельцев голосующих акций" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКто вправе рассчитаться со всеми кредиторами градообразующей организации до окончания финансового оздоровления или внешнего управления согласно Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ?\nA. Не позднее 10 рабочих дней со дня следующего за днем получения запроса\nB. Только собственник градообразующей организации\nC. Российская Федерация, субъект Российской Федерации или муниципальное образование\nD. К ответственности в соответствии с законодательством Российской Федерации\nE. Только к административной ответственности\nF. Простым бо��ьшинством голосов акционеров - владельцев голосующих акций\nG. До достижения ребенком возраста одного года\nH. Любое юридическое лицо\nI. Взыскание на денежные средства и имущество клиентов управляющей компании паевого инвестиционного фонда возможно до внесения в реестр владельцев инвестиционных паев.\nJ. Не позднее 20 рабочих дней со дня следующего за днем получения запроса\nK. Только арбитражный управляющий\nL. Большинством в две трети голосов акционеров - владельцев голосующих акций\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 216, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.001101845526136458, + "B": 0.010454019531607628, + "C": 0.001101845526136458, + "D": 0.02213115803897381, + "E": 0.06015872210264206, + "F": 0.006340683437883854, + "G": 0.08753043413162231, + "H": 0.0322006456553936, + "I": 0.002995126647874713, + "J": 0.5707700848579407, + "K": 0.12735602259635925, + "L": 0.001035087974742055 + }, + "sample": { + "question": "К какой ответственности подлежит иностранный гражданин, виновный в нарушении законодательства Российской Федерации, согласно Федеральному закону 'О правовом положении иностранных граждан в Российской Федерации' N 115-ФЗ?", + "answerA": "Только к административной ответственности", + "answerB": "К ответственности в соответствии с законодательством Российской Федерации", + "answerC": "Только к уголовной ответственности", + "answerD": "К ответственности только на родине", + "correct_answer": "B", + "choices": [ + "До достижения ребенком возраста одного года", + "Только к уголовной ответственности", + "Только к административной ответственности", + "Не позднее 10 рабочих дней со дня следующего за днем получения запроса", + "Взыскание по долгам профессионального участника рынка ценных бумаг может быть обращено на ценные бумаги его клиентов без ограничений.", + "К ответственности только на родине", + "Взыскание на денежные средства и имущество клиентов управляющей компании паевого инвестиционного фонда возможно до внесения в реестр владельцев инвестиционных паев.", + "Простым большинством голосов акционеров - владельцев голосующих акций", + "Большинством в две трети голосов акционеров - владельцев голосующих акций", + "К ответственности в соответствии с законодательством Российской Федерации", + "Определяются исключительно таможенным органом без учета мнения лица, получающего разрешение на переработку.", + "Не позднее 20 рабочих дней со дня следующего за днем получения запроса" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nК какой ответственности подлежит иностранный гражданин, виновный в нарушении законодательства Российской Федерации, согласно Федеральному закону 'О правовом положении иностранных граждан в Российской Федерации' N 115-ФЗ?\nA. До достижения ребенком возраста одного года\nB. Только к уголовной ответственности\nC. Только к административной ответственности\nD. Не позднее 10 рабочих дней со дня следующего за днем получения запроса\nE. Взыскание по долгам профессионального участника рынка ценных бумаг может быть обращено на ценные бумаги его клиентов без ограничений.\nF. К ответственности только на родине\nG. Взыскание на денежные средства и имущество клиентов управляющей компании паевого инвестиционного фонда возможно до внесения в реестр владельцев инвестиционных паев.\nH. Простым большинством голосов акционеров - владельцев голосующих акций\nI. Большинством в две трети голосов акционеров - владельцев голосующих акций\nJ. К ответственности в соответствии с законодательством Российской Федерации\nK. Определяются исключительно таможенным органом без учета мнения лица, получающего разрешение на переработку.\nL. Не позднее 20 рабочих дней со дня следующего за днем получения запроса\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 238, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.49905484914779663, + "B": 0.040964916348457336, + "C": 0.142981618642807, + "D": 0.01507015060633421, + "E": 0.12618082761764526, + "F": 0.05259999260306358, + "G": 0.009140508249402046, + "H": 0.024846477434039116, + "I": 0.0015883822925388813, + "J": 0.0015883822925388813, + "K": 0.0043176705949008465, + "L": 0.00131681514903903 + }, + "sample": { + "question": "Какой срок установлен для Банка России на предоставление аудиторской организации на финансовом рынке запрошенной информации для проведения аудита по Статье 14.1 Федерального закона 'Об аудиторской деятельности' N 307-ФЗ?", + "answerA": "Не позднее 10 рабочих дней со дня следующего за днем получения запроса", + "answerB": "Не позднее 20 рабочих дней со дня следующего за днем получения запроса", + "answerC": "Не позднее 30 рабочих дней со дня следующего за днем получения запроса", + "answerD": "Информация предоставляется в течение 15 календарных дней", + "correct_answer": "answerB", + "choices": [ + "Не позднее 20 рабочих дней со дня следующего за днем получения запроса", + "На основе показателей эффективности использования ресурсов.", + "Не позднее 10 рабочих дней со дня следующего за днем получения запроса", + "До достижения ребенком возраста одного года", + "До достижения ребенком возраста пяти лет", + "Не позднее 30 рабочих дней со дня следующего за днем получения запроса", + "Взыскание на денежные средства и имущество клиентов управляющей компании паевого инвестиционного фонда возможно до внесения в реестр владельцев инвестиционных паев.", + "Простым большинством голосов акционеров - владельцев голосующих акций", + "Большинством в две трети голосов акционеров - владельцев голосующих акций", + "Определяются исключительно таможенным органом без учета мнения лица, получающего разрешение на переработ��у.", + "Взыскание по долгам профессионального участника рынка ценных бумаг может быть обращено на ценные бумаги его клиентов без ограничений.", + "Информация предоставляется в течение 15 календарных дней" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКакой срок установлен для Банка России на предоставление аудиторской организации на финансовом рынке запрошенной информации для проведения аудита по Статье 14.1 Федерального закона 'Об аудиторской деятельности' N 307-ФЗ?\nA. Не позднее 20 рабочих дней со дня следующего за днем получения запроса\nB. На основе показателей эффективности использования ресурсов.\nC. Не позднее 10 рабочих дней со дня следующего за днем получения запроса\nD. До достижения ребенком возраста одного года\nE. До достижения ребенком возраста пяти лет\nF. Не позднее 30 рабочих дней со дня следующего за днем получения запроса\nG. Взыскание на денежные средства и имущество клиентов управляющей компании паевого инвестиционного фонда возможно до внесения в реестр владельцев инвестиционных паев.\nH. Простым большинством голосов акционеров - владельцев голосующих акций\nI. Большинством в две трети голосов акционеров - владельцев голосующих акций\nJ. Определяются исключительно таможенным органом без учета мнения лица, получающего разрешение на переработку.\nK. Взыскание по долгам профессионального участника рынка ценных бумаг может быть обращено на ценные бумаги его клиентов без ограничений.\nL. Информация предоставляется в течение 15 календарных дней\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 260, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.00958982016891241, + "B": 0.01791614294052124, + "C": 0.033471763134002686, + "D": 0.5933011770248413, + "E": 0.1699836403131485, + "F": 0.02030164934694767, + "G": 0.01791614294052124, + "H": 0.033471763134002686, + "I": 0.004255456384271383, + "J": 0.012313572689890862, + "K": 0.014853004366159439, + "L": 0.006590981036424637 + }, + "sample": { + "question": "Какое решение может принять общее собрание акционеров в непубличном обществе по вопросу освобождения от обязанности раскрывать или предоставлять информацию, предусмотренную законодательством РФ о ценных бумагах, согласно Федеральному закону 'Об акционерных обществах' N 208-ФЗ?", + "answerA": "Большинством в две трети голосов акционеров - владельцев голосующих акций", + "answerB": "Простым большинством голосов акционеров - владельцев голосующих акций", + "answerC": "Большинством в три четверти голосов акционеров - владельцев голосующих акций", + "answerD": "Единогласно всеми акционерами - владельцами голосующих акций", + "correct_answer": "answerC", + "choices": [ + "Определяются исключительно таможенным органом без учета мнения лица, получающего разрешение на переработку.", + "Взыскание по долгам профессионального участника рынка ценных бумаг может быть обр��щено на ценные бумаги его клиентов без ограничений.", + "На основе показателей эффективности использования ресурсов.", + "Простым большинством голосов акционеров - владельцев голосующих акций", + "Большинством в две трети голосов акционеров - владельцев голосующих акций", + "Единогласно всеми акционерами - владельцами голосующих акций", + "В местной администрации по месту жительства заемщика", + "Определяются лицом, получающим разрешение на переработку товаров, исходя из фактических условий переработки, и согласовываются с таможенным органом.", + "До достижения ребенком возраста пяти лет", + "Большинством в три четверти голосов акционеров - владельцев голосующих акций", + "Взыскание на денежные средства и имущество клиентов управляющей компании паевого инвестиционного фонда возможно до внесения в реестр владельцев инвестиционных паев.", + "До достижения ребенком возраста одного года" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКакое решение может принять общее собрание акционеров в непубличном обществе по вопросу освобождения от обязанности раскрывать или предоставлять информацию, предусмотренную законодательством РФ о ценных бумагах, согласно Федеральному закону 'Об акционерных обществах' N 208-ФЗ?\nA. Определяются исключительно таможенным органом без учета мнения лица, получающего разрешение на переработку.\nB. Взыскание по долгам профессионального участника рынка ценных бумаг может быть обращено на ценные бумаги его клиентов без ограничений.\nC. На основе показателей эффективности использования ресурсов.\nD. Простым большинством голосов акционеров - владельцев голосующих акций\nE. Большинством в две трети голосов акционеров - владельцев голосующих акций\nF. Единогласно всеми акционерами - владельцами голосующих акций\nG. В местной администрации по месту жительства заемщика\nH. Определяются лицом, получающим разрешение на переработку товаров, исходя из фактических условий переработки, и согласовываются с таможенным органом.\nI. До достижения ребенком возраста пяти лет\nJ. Большинством в три четверти голосов акционеров - владельцев голосующих акций\nK. Взыскание на денежные средства и имущество клиентов управляющей компании паевого инвестиционного фонда возможно до внесения в реестр владельцев инвестиционных паев.\nL. До достижения ребенком возраста одного года\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 272, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.27791404724121094, + "B": 0.042619504034519196, + "C": 0.0311810914427042, + "D": 0.0702676773071289, + "E": 0.054724518209695816, + "F": 0.04829421639442444, + "G": 0.0702676773071289, + "H": 0.27791404724121094, + "I": 0.010775897651910782, + "J": 0.01669003628194332, + "K": 0.02751721814274788, + "L": 0.013836526311933994 + }, + "sample": { + "question": "Что из перечисленного правильно описывает особенности обращения взыскания на денежные средства и иное имущество профессионального участника рынка ценных бумаг и его клиентов согласно Статье 73 Федерального закона \"Об исполнительном производстве\" N 229-ФЗ?", + "answerA": "Взыскание на денежные средства и имущество клиентов управляющей компании паевого инвестиционного фонда возможно до внесения в реестр владельцев инвестиционных паев.", + "answerB": "Взыскание по долгам профессионального участника рынка ценных бумаг может быть обращено на ценные бумаги его клиентов без ограничений.", + "answerC": "Взыскание на денежные средства или иное имущество клиентов профессионального участника рынка ценных бумаг, находящиеся на специальном счете, запрещено.", + "answerD": "Взыскание по долгам клиента профессионального участника рынка ценных бумаг автоматически распространяется на все ценные бумаги, находящиеся в его владении.", + "correct_answer": "C", + "choices": [ + "Взыскание на денежные средства или иное имущество клиентов профессионального участника рынка ценных бумаг, находящиеся на специальном счете, запрещено.", + "В местной администрации по месту жительства заемщика", + "Взыскание по долгам профессионального участника рынка ценных бумаг может быть обращено на ценные бумаги его клиентов без ограничений.", + "Взыскание по долгам клиента профессионального участника рынка ценных бумаг автоматически распространяется на все ценные бумаги, находящиеся в его владении.", + "Назначать судей Верховного Суда Российской Федерации.", + "Определяются исключительно таможенным органом без учета мнения лица, получающего разрешение на переработку.", + "До достижения ребенком возраста одного года", + "Взыскание на денежные средства и имущество клиентов управляющей компании паевого инвестиционного фонда возможно до внесения в реестр владельцев инвестиционных паев.", + "На основе показателей эффективности использования ресурсов.", + "Определяются лицом, получающим разрешение на переработку товаров, исходя из фактических условий переработки, и согласовываются с таможенным органом.", + "С учетом экономических показателей деятельности объекта.", + "До достижения ребенком возраста пяти лет" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nЧто из перечисленного правильно описывает особенности обращения взыскания на денежные средства и иное имущество профессионального участника рынка ценных бумаг и его клиентов согласно Статье 73 Федерального закона \"Об исполнительном производстве\" N 229-ФЗ?\nA. Взыскание на денежные средства или иное имущество клиентов профессионального участника рынка ценных бумаг, находящиеся на специальном счете, запрещено.\nB. В местной администрации по месту жительства заемщика\nC. Взыскание по долгам профессионального участника рынка ценных бумаг может быть обращено на ценные бумаги его клиентов без ограничений.\nD. Взыскание по долгам клиента профессионального участника рынка ценных бумаг автоматически распространяется на все ценные бумаги, находящиеся в его владении.\nE. Назначать судей Верховного Суда Российской Федерации.\nF. Определяются исключительно таможенным органом без учета мнения лица, получающего разрешение на переработку.\nG. До достижения ребенком возраста одного года\nH. Взыскание на денежные средства и имущество клиентов управляющей компании паевого инвестиционного фонда возможно до внесения в реестр владельцев инвестиционных паев.\nI. На основе показателей эффективности использования ресурсов.\nJ. Определяются лицом, получающим разрешение на переработку товаров, исходя из фактических условий переработки, и согласовываются с таможенным органом.\nK. С учетом экономических показателей деятельности объекта.\nL. До достижения ребенком возраста пяти лет\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 280, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.017130693420767784, + "B": 0.2364819049835205, + "C": 0.017130693420767784, + "D": 0.010390290059149265, + "E": 0.30364876985549927, + "F": 0.017130693420767784, + "G": 0.07677443325519562, + "H": 0.1265796422958374, + "I": 0.0016961683286353946, + "J": 0.013341397047042847, + "K": 0.019411616027355194, + "L": 0.0038223741576075554 + }, + "sample": { + "question": "До какого возраста ребенка осуществляются ежемесячные выплаты в связи с его рождением (усыновлением) согласно Федеральному закону \"О ежемесячных выплатах семьям, имеющим детей\" N 418-ФЗ?", + "answerA": "До достижения ребенком возраста одного года", + "answerB": "До достижения ребенком возраста пяти лет", + "answerC": "До достижения ребенком возраста трех лет", + "answerD": "До достижения ребенком возраста шести лет", + "correct_answer": "До достижения ребенком возраста трех лет", + "choices": [ + "С учетом экономических показателей деятельности объекта.", + "До достижения ребенком возраста трех лет", + "На основе показателей эффективности использования ресурсов.", + "Назначать судей Верховного Суда Российской Федерации.", + "До достижения ребенком возраста шести лет", + "Определяются исключительно таможенным органом без учета мнения лица, получающего разрешение на переработку.", + "Определяются лицом, получающим разрешение на переработку товаров, исходя из фактических условий переработки, и согласовываются с таможенным органом.", + "До достижения ребенком возраста пяти лет", + "В местной администрации по месту жительства заемщика", + "В Едином государственном реестре недвижимости", + "До достижения ребенком возраста одного года", + "Часть 2 статьи 22 вступает в силу со дня официального опубликования закона." + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nДо какого возраста ребенка осуществляются ежемесячные выплаты в связи с его рождением (усыновлением) согласно Федеральному закону \"О ежемесячных выплатах семьям, имеющим детей\" N 418-ФЗ?\nA. С учетом экономических показателей деятельности объекта.\nB. До достижения ребенком возраста трех лет\nC. На основе показателей эффективности использования ресурсов.\nD. Назначать судей Верховного Суда Российской Федерации.\nE. До достижения ребенком возраста шести лет\nF. Определяются исключительно таможенным органом без учета мнения лица, получающего разрешение на переработку.\nG. Определяются лицом, получающим разрешение на переработку товаров, исходя из фактических условий переработки, и согласовываются с таможенным органом.\nH. До достижения ребенком возраста пяти лет\nI. В местной администрации по месту жительства заемщика\nJ. В Едином государственном реестре недвижимости\nK. До достижения ребенком возраста одного года\nL. Часть 2 статьи 22 вступает в силу со дня официального опубликования закона.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 219, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0018910291837528348, + "B": 0.003532907459884882, + "C": 0.5581463575363159, + "D": 0.03568110242486, + "E": 0.012331058271229267, + "F": 0.014874096028506756, + "G": 0.06666107475757599, + "H": 0.003532907459884882, + "I": 0.00047812703996896744, + "J": 0.0010121949017047882, + "K": 0.09699128568172455, + "L": 0.00024041737196967006 + }, + "sample": { + "question": "Каким образом определяются нормы выхода продуктов переработки товаров вне таможенной территории по Федеральному закону 'О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации' N 289-ФЗ, статья 138?", + "answerA": "Определяются исключительно таможенным органом без учета мнения лица, получающего разрешение на переработку.", + "answerB": "Определяются лицом, получающим разрешение на переработку товаров, исходя из фактических условий переработки, и согласовываются с таможенным органом.", + "answerC": "Устанавливаются автоматически в соответствии со стандартными нормами, принятыми на международном уровне.", + "answerD": "Фиксируются исходя из исторических данных о выходе продуктов переработки предыдущих лет без дополнительного согласования.", + "correct_answer": "answerB", + "choices": [ + "В Едином государственном реестре недвижимости", + "Назначать судей Верховного Суда Российской Федерации.", + "Устанавливаются автоматически в соответствии со стандартными нормами, принятыми на международном уровне.", + "Обращаться в Пленум Верховного Суда Российской Федерации с представлениями о даче судам разъяснений по вопросам судебной практики.", + "Фиксируются исходя из исторических данных �� выходе продуктов переработки предыдущих лет без дополнительного согласования.", + "Часть 2 статьи 22 вступает в силу со дня официального опубликования закона.", + "Определяются лицом, получающим разрешение на переработку товаров, исходя из фактических условий переработки, и согласовываются с таможенным органом.", + "В местной администрации по месту жительства заемщика", + "С учетом экономических показателей деятельности объекта.", + "Регуляцию операций с иностранной валютой", + "На основе показателей эффективности использования ресурсов.", + "Определяются исключительно таможенным органом без учета мнения лица, получающего разрешение на переработку." + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКаким образом определяются нормы выхода продуктов переработки товаров вне таможенной территории по Федеральному закону 'О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации' N 289-ФЗ, статья 138?\nA. В Едином государственном реестре недвижимости\nB. Назначать судей Верховного Суда Российской Федерации.\nC. Устанавливаются автоматически в соответствии со стандартными нормами, принятыми на международном уровне.\nD. Обращаться в Пленум Верховного Суда Российской Федерации с представлениями о даче судам разъяснений по вопросам судебной практики.\nE. Фиксируются исходя из исторических данных о выходе продуктов переработки предыдущих лет без дополнительного согласования.\nF. Часть 2 статьи 22 вступает в силу со дня официального опубликования закона.\nG. Определяются лицом, получающим разрешение на переработку товаров, исходя из фактических условий переработки, и согласовываются с таможенным органом.\nH. В местной администрации по месту жительства заемщика\nI. С учетом экономических показателей деятельности объекта.\nJ. Регуляцию операций с иностранной валютой\nK. На основе показателей эффективности использования ресурсов.\nL. Определяются исключительно таможенным органом без учета мнения лица, получающего разрешение на переработку.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 266, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.01442051026970148, + "B": 0.004398006945848465, + "C": 0.8921653628349304, + "D": 0.006011363118886948, + "E": 0.002211456885561347, + "F": 0.001260050106793642, + "G": 0.0030227031093090773, + "H": 0.0018333620391786098, + "I": 0.0009813279611989856, + "J": 0.0002481185947544873, + "K": 0.0014278239104896784, + "L": 1.586169128131587e-05 + }, + "sample": { + "question": "Как устанавливаются технологические нормативы для объектов I категории согласно Федеральному закону 'Об охране окружающей среды' N 7-ФЗ, Статья 23?", + "answerA": "На основе показателей эффективности использования ресурсов.", + "answerB": "С учетом экономических показателей деятельнос��и объекта.", + "answerC": "На основе технологических показателей, не превышающих технологических показателей наилучших доступных технологий.", + "answerD": "По решению местных экологических комитетов.", + "correct_answer": "На основе технологических показателей, не превышающих технологических показателей наилучших доступных технологий.", + "choices": [ + "С 1 июня 2012 года", + "По решению местных экологических комитетов.", + "На основе технологических показателей, не превышающих технологических показателей наилучших доступных технологий.", + "На основе показателей эффективности использования ресурсов.", + "С учетом экономических показателей деятельности объекта.", + "В Едином государственном реестре недвижимости", + "Обращаться в Пленум Верховного Суда Российской Федерации с представлениями о даче судам разъяснений по вопросам судебной практики.", + "В местной администрации по месту жительства заемщика", + "Части 3 статьи 5 и статьи 12 вступают в силу по истечении одного года со дня вступления в силу закона.", + "Назначать судей Верховного Суда Российской Федерации.", + "Часть 2 статьи 22 вступает в силу со дня официального опубликования закона.", + "Регуляцию операций с иностранной валютой" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКак устанавливаются технологические нормативы для объектов I категории согласно Федеральному закону 'Об охране окружающей среды' N 7-ФЗ, Статья 23?\nA. С 1 июня 2012 года\nB. По решению местных экологических комитетов.\nC. На основе технологических показателей, не превышающих технологических показателей наилучших доступных технологий.\nD. На основе показателей эффективности использования ресурсов.\nE. С учетом экономических показателей деятельности объекта.\nF. В Едином государственном реестре недвижимости\nG. Обращаться в Пленум Верховного Суда Российской Федерации с представлениями о даче судам разъяснений по вопросам судебной практики.\nH. В местной администрации по месту жительства заемщика\nI. Части 3 статьи 5 и статьи 12 вступают в силу по истечении одного года со дня вступления в силу закона.\nJ. Назначать судей Верховного Суда Российской Федерации.\nK. Часть 2 статьи 22 вступает в силу со дня официального опубликования закона.\nL. Регуляцию операций с иностранной валютой\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 223, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.004147011321038008, + "B": 0.0174595694988966, + "C": 0.8412491679191589, + "D": 0.0174595694988966, + "E": 0.005002250429242849, + "F": 0.00727823143824935, + "G": 0.025403523817658424, + "H": 0.008247317746281624, + "I": 0.0006769809988327324, + "J": 0.0009253232856281102, + "K": 0.001840225188061595, + "L": 8.085385343292728e-05 + }, + "sample": { + "question": "В соответствии со Статьей 19 Федерального закона 'Об ипотеке (залоге недвижимости)' N 102-ФЗ, где должна производиться государственная регистрация ипотеки?", + "answerA": "В местной администрации по месту жительства заемщика", + "answerB": "В Едином государственном реестре недвижимости", + "answerC": "В Федеральной службе государственной статистики", + "answerD": "На портале государственных услуг", + "correct_answer": "B", + "choices": [ + "Регуляцию операций с иностранной валютой", + "Части 3 статьи 5 и статьи 12 вступают в силу по истечении одного года со дня вступления в силу закона.", + "В Едином государственном реестре недвижимости", + "С 1 июня 2012 года", + "Положения о операторах информационных систем, выпускающих цифровые финансовые активы", + "В местной администрации по месту жительства заемщика", + "Часть 2 статьи 22 вступает в силу со дня официального опубликования закона.", + "Обращаться в Пленум Верховного Суда Российской Федерации с представлениями о даче судам разъяснений по вопросам судебной практики.", + "В Федеральной службе государственной статистики", + "На портале государственных услуг", + "Назначать судей Верховного Суда Российской Федерации.", + "Министерство юстиции Российской Федерации" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nВ соответствии со Статьей 19 Федерального закона 'Об ипотеке (залоге недвижимости)' N 102-ФЗ, где должна производиться государственная регистрация ипотеки?\nA. Регуляцию операций с иностранной валютой\nB. Части 3 статьи 5 и статьи 12 вступают в силу по истечении одного года со дня вступления в силу закона.\nC. В Едином государственном реестре недвижимости\nD. С 1 июня 2012 года\nE. Положения о операторах информационных систем, выпускающих цифровые финансовые активы\nF. В местной администрации по месту жительства заемщика\nG. Часть 2 статьи 22 вступает в силу со дня официального опубликования закона.\nH. Обращаться в Пленум Верховного Суда Российской Федерации с представлениями о даче судам разъяснений по вопросам судебной практики.\nI. В Федеральной службе государственной статистики\nJ. На портале государственных услуг\nK. Назначать судей Верховного Суда Российской Федерации.\nL. Министерство юстиции Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 226, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.11677970737218857, + "B": 0.02952653542160988, + "C": 0.19253718852996826, + "D": 0.05516282841563225, + "E": 0.04296085610985756, + "F": 0.015804415568709373, + "G": 0.16991347074508667, + "H": 0.03791281580924988, + "I": 0.11677970737218857, + "J": 0.06250767409801483, + "K": 0.04296085610985756, + "L": 0.0005756758037023246 + }, + "sample": { + "question": "В соответствии с Федеральным законом 'О прокуратуре Российской Федерации' N 2202-1-ФЗ, какие полномочия имеет Генеральный прокурор Российской Федерации в отношении Верховного Суда Российской Федерации?", + "answerA": "Назначать судей Верховного Суда Российской Федерации.", + "answerB": "Обращаться в Пленум Верховного Суда Российской Федерации с представлениями о даче судам разъяснений по вопросам судебной практики.", + "answerC": "Отменять решения Верховного Суда Российской Федерации.", + "answerD": "Вносить изменения в законы, на основании которых Верховный Суд Российской Федерации принимает решения.", + "correct_answer": "Обращаться в Пленум Верховного Суда Российской Федерации с представлениями о даче судам разъяснений по вопросам судебной практики.", + "choices": [ + "Назначать судей Верховного Суда Российской Федерации.", + "Министерство юстиции Российской Федерации", + "Часть 2 статьи 22 вступает в силу со дня официального опубликования закона.", + "Положения о операторах информационных систем, выпускающих цифровые финансовые активы", + "С 1 июня 2012 года", + "Части 3 статьи 5 и статьи 12 вступают в силу по истечении одного года со дня вступления в силу закона.", + "Отменять решения Верховного Суда Российской Федерации.", + "Регуляцию операций с иностранной валютой", + "Обращаться в Пленум Верховного Суда Российской Федерации с представлениями о даче судам разъяснений по вопросам судебной практики.", + "Вносить изменения в законы, на основании которых Верховный Суд Российской Федерации принимает решения.", + "Право на получение информации о финансовом состоянии эмитента", + "С 1 января 2012 года" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nВ соответствии с Федеральным законом 'О прокуратуре Российской Федерации' N 2202-1-ФЗ, какие полномочия имеет Генеральный прокурор Российской Федерации в отношении Верховного Суда Российской Федерации?\nA. Назначать судей Верховного Суда Российской Федерации.\nB. Министерство юстиции Российской Федерации\nC. Часть 2 статьи 22 вступает в силу со дня официального опубликования закона.\nD. Положения о операторах информационных систем, выпускающих цифровые финансовые активы\nE. С 1 июня 2012 года\nF. Части 3 статьи 5 и статьи 12 вступают в силу по истечении одного года со дня вступления в силу закона.\nG. Отменять решения Верховного Суда Российской Федерации.\nH. Регуляцию операций с иностранной валютой\nI. Обращаться в Пленум Верховного Суда Российской Федерации с представлениями о даче судам разъяснений по вопросам судебной практики.\nJ. Вносить изменения в законы, на основании которых Верховный Суд Российской Федерации принимает решения.\nK. Право на получение информации о финансовом состоянии эмитента\nL. С 1 января 2012 года\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 243, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.06296543776988983, + "B": 0.021760273724794388, + "C": 0.01694691739976406, + "D": 0.014955602586269379, + "E": 0.5272031426429749, + "F": 0.01694691739976406, + "G": 0.04327546805143356, + "H": 0.014049487188458443, + "I": 0.019203374162316322, + "J": 0.06296543776988983, + "K": 0.010278825648128986, + "L": 0.01319827325642109 + }, + "sample": { + "question": "Какое из перечисленных положений НЕ соответствует содержанию Статьи 26 Федерального закона 'О валютном регулировании и валютном контроле' N 173-ФЗ?", + "answerA": "Часть 2 статьи 22 вступает в силу со дня официального опубликования закона.", + "answerB": "Части 3 статьи 5 и статьи 12 вступают в силу по истечении одного года со дня вступления в силу закона.", + "answerC": "Все положения закона вступают в силу одновременно по истечении шести месяцев со дня его официального опубликования.", + "answerD": "Части 3-6 статьи 11 действуют до 1 июля 2006 года.", + "correct_answer": "C", + "choices": [ + "Регуляцию операций с иностранной валютой", + "С 1 января 2012 года", + "Все положения закона вступают в силу одновременно по истечении шести месяцев со дня его официального опубликования.", + "Части 3-6 статьи 11 действуют до 1 июля 2006 года.", + "Строительство и развитие корпоративного кампуса", + "Право на получение информации о финансовом состоянии эмитента", + "Генеральный прокурор Российской Федерации и подчиненные ему прокуроры", + "С 1 июня 2012 года", + "Часть 2 статьи 22 вступает в силу со дня официального опубликования закона.", + "Части 3 статьи 5 и статьи 12 вступают в силу по истечении одного года со дня вступления в силу закона.", + "Министерство юстиции Российской Федерации", + "Положения о операторах информационных систем, выпускающих цифровые финансовые активы" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКакое из перечисленных положений НЕ соответствует содержанию Статьи 26 Федерального закона 'О валютном регулировании и валютном контроле' N 173-ФЗ?\nA. Регуляцию операций с иностранной валютой\nB. С 1 января 2012 года\nC. Все положения закона вступают в силу одновременно по истечении шести месяцев со дня его официального опубликования.\nD. Части 3-6 статьи 11 действуют до 1 июля 2006 года.\nE. Строительство и развитие корпоративного кампуса\nF. Право на получение информации о финансовом состоянии эмитента\nG. Генеральный прокурор Российской Федерации и подчиненные ему прокуроры\nH. С 1 июня 2012 года\nI. Часть 2 статьи 22 вступает в силу со дня официального опубликования закона.\nJ. Части 3 статьи 5 и статьи 12 вступают в силу по истечении одного года со дня вступления в силу закона.\nK. Министерство юстиции Российской Федерации\nL. Положения о операторах информационных систем, выпускающих цифровые финансовые активы\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 244, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.00627146428450942, + "B": 0.01814708299934864, + "C": 0.0020360464695841074, + "D": 0.02188955992460251, + "E": 0.00627146428450942, + "F": 0.007106500212103128, + "G": 0.009713433682918549, + "H": 0.03184911981225014, + "I": 0.003803835017606616, + "J": 0.07640207558870316, + "K": 0.08657488971948624, + "L": 0.6397067308425903 + }, + "sample": { + "question": "Что включает в себя Федеральный закон от 31.07.2020 N 259-ФЗ \"О цифровых финансовых активах, цифровой валюте и о внесении изменений в отдельные законодательные акты Российской Федерации\"?", + "answerA": "Регуляцию операций с иностранной валютой", + "answerB": "Положения о операторах информационных систем, выпускающих цифровые финансовые активы", + "answerC": "Введение налога на транзакции с криптовалютой", + "answerD": "Отмену лицензирования для криптовалютных бирж", + "correct_answer": "B", + "choices": [ + "Генеральный прокурор Российской Федерации и подчиненные ему прокуроры", + "С 1 июня 2012 года", + "Строительство и развитие корпоративного кампуса", + "С 1 января 2012 года", + "Приостанавливается автоматически при достижении предельного возраста службы.", + "Право на получение информации о финансовом состоянии эмитента", + "Право на участие в голосовании по вопросам деятельности эмитента", + "Отмену лицензирования для криптовалютных бирж", + "Введение налога на транзакции с криптовалютой", + "Министерство юстиции Российской Федерации", + "Регуляцию операций с иностранной валютой", + "Положения о операторах информационных систем, выпускающих цифровые финансовые активы" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nЧто включает в себя Федеральный закон от 31.07.2020 N 259-ФЗ \"О цифровых финансовых активах, цифровой валюте и о внесении изменений в отдельные законодательные акты Российской Федерации\"?\nA. Генеральный прокурор Российской Федерации и подчиненные ему прокуроры\nB. С 1 июня 2012 года\nC. Строительство и развитие корпоративного кампуса\nD. С 1 января 2012 года\nE. Приостанавливается автоматически при достижении предельного возраста службы.\nF. Право на получение информации о финансовом состоянии эмитента\nG. Право на участие в голосовании по вопросам деятельности эмитента\nH. Отмену лицензирования для криптовалютных бирж\nI. Введение налога на транзакции с криптовалютой\nJ. Министерство юстиции Российской Федерации\nK. Регуляцию операций с иностранной валютой\nL. Положения о операторах информационных систем, выпускающих цифровые финансовые активы\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 219, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.012492487207055092, + "B": 0.02996791899204254, + "C": 0.049408748745918274, + "D": 0.8757909536361694, + "E": 0.0040557170286774635, + "F": 0.0026185677852481604, + "G": 0.004595729522407055, + "H": 0.0009633171721361578, + "I": 0.00040157034527510405, + "J": 0.00040157034527510405, + "K": 0.0026185677852481604, + "L": 8.417372009716928e-05 + }, + "sample": { + "question": "Когда вступает в силу Федеральный закон 'О внесении изменений в отдельные законодательные акты Российской Федерации в связи с совершенствованием принципов определения цен для целей налогообложения' N 227-ФЗ?", + "answerA": "С 1 июня 2012 года", + "answerB": "С 1 января 2012 года", + "answerC": "С 1 января 2013 года", + "answerD": "Не вступил в силу", + "correct_answer": "B", + "choices": [ + "Министерство юстиции Российской Федерации", + "Не вступил в силу", + "Генеральный прокурор Российской Федерации и подчиненные ему прокуроры", + "С 1 июня 2012 года", + "Право на участие в голосовании по вопросам деятельности эмитента", + "Строительство и развитие корпоративного кампуса", + "С 1 января 2012 года", + "Приостанавливается автоматически при достижении предельного возраста службы.", + "С 1 января 2013 года", + "Право на получение информации о финансовом состоянии эмитента", + "Порядок и основания перевода, отчисления и восстановления обучающихся", + "Только при взыскании задолженности по кредитам" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКогда вступает в силу Федеральный закон 'О внесении изменений в отдельные законодательные акты Российской Федерации в связи с совершенствованием принципов определения цен для целей налогообложения' N 227-ФЗ?\nA. Министерство юстиции Российской Федерации\nB. Не вступил в силу\nC. Генеральный прокурор Российской Федерации и подчиненные ему прокуроры\nD. С 1 июня 2012 года\nE. Право на участие в голосовании по вопросам деятельности эмитента\nF. Строительство и развитие корпоративного кампуса\nG. С 1 января 2012 года\nH. Приостанавливается автоматически при достижении предельного возраста службы.\nI. С 1 января 2013 года\nJ. Право на получение информации о финансовом состоянии эмитента\nK. Порядок и основания перевода, отчисления и восстановления обучающихся\nL. Только при взыскании задолженности по кредитам\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 202, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.004317291080951691, + "B": 0.007577082142233849, + "C": 0.04940878227353096, + "D": 0.016040682792663574, + "E": 0.04940878227353096, + "F": 0.04940878227353096, + "G": 0.46877747774124146, + "H": 0.012492496520280838, + "I": 0.0002149452775483951, + "J": 0.0005842818645760417, + "K": 0.020596645772457123, + "L": 0.0002019224048126489 + }, + "sample": { + "question": "Кто осуществляет надзор за исполнением законов при осуществлении сотрудниками органов принудительного исполнения своих функций согласно Федеральному закону \"О судебных приставах\" N 118-ФЗ?", + "answerA": "Министерство юстиции Российской Федерации", + "answerB": "Генеральный прокурор Российской Федерации и подчиненные ему прокуроры", + "answerC": "Федеральная налоговая служба", + "answerD": "Российская гвардия", + "correct_answer": "B", + "choices": [ + "Документарная проверка", + "Порядок и основания перевода, отчисления и восст��новления обучающихся", + "Только при взыскании задолженности по кредитам", + "Право на участие в голосовании по вопросам деятельности эмитента", + "Российская гвардия", + "Приостанавливается только по инициативе государственного служащего.", + "Генеральный прокурор Российской Федерации и подчиненные ему прокуроры", + "Министерство юстиции Российской Федерации", + "Федеральная налоговая служба", + "Право на получение информации о финансовом состоянии эмитента", + "Приостанавливается автоматически при достижении предельного возраста службы.", + "Строительство и развитие корпоративного кампуса" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКто осуществляет надзор за исполнением законов при осуществлении сотрудниками органов принудительного исполнения своих функций согласно Федеральному закону \"О судебных приставах\" N 118-ФЗ?\nA. Документарная проверка\nB. Порядок и основания перевода, отчисления и восстановления обучающихся\nC. Только при взыскании задолженности по кредитам\nD. Право на участие в голосовании по вопросам деятельности эмитента\nE. Российская гвардия\nF. Приостанавливается только по инициативе государственного служащего.\nG. Генеральный прокурор Российской Федерации и подчиненные ему прокуроры\nH. Министерство юстиции Российской Федерации\nI. Федеральная налоговая служба\nJ. Право на получение информации о финансовом состоянии эмитента\nK. Приостанавливается автоматически при достижении предельного возраста службы.\nL. Строительство и развитие корпоративного кампуса\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 183, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0026738836895674467, + "B": 0.023832065984606743, + "C": 0.0011865287087857723, + "D": 0.0030299071222543716, + "E": 0.00933277141302824, + "F": 0.004141392186284065, + "G": 0.01856043189764023, + "H": 0.8942916989326477, + "I": 0.00071966607356444, + "J": 0.0008154884562827647, + "K": 0.00071966607356444, + "L": 0.0011146406177431345 + }, + "sample": { + "question": "Какие права предоставляет владельцу облигация с обеспечением согласно Федеральному закону 'О рынке ценных бумаг' N 39-ФЗ?", + "answerA": "Право на получение информации о финансовом состоянии эмитента", + "answerB": "Право на участие в голосовании по вопросам деятельности эмитента", + "answerC": "Все права, возникающие из такого обеспечения", + "answerD": "Право на приоритетное приобретение новых выпусков облигаций того же эмитента", + "correct_answer": "C", + "choices": [ + "Только при взыскании задолженности по кредитам", + "Исполнение исполнительных документов, содержащих требования о взыскании периодических платежей", + "Право на приоритетное приобретение новых выпусков облигаций того же эмитента", + "Приостанавливается автоматически при достижении предельного возраста службы.", + "Порядок и основания перевода, отчисления и восстановления обучающихся", + "Документарная проверка", + "На требования о взыскании дебиторской задолженности", + "Все права, возникающие из такого обеспечения", + "Право на участие в голосовании по вопросам деятельности эмитента", + "Право на получение информации о финансовом состоянии эмитента", + "Приостанавливается только по инициативе государственного служащего.", + "Строительство и развитие корпоративного кампуса" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакие права предоставляет владельцу облигация с обеспечением согласно Федеральному закону 'О рынке ценных бумаг' N 39-ФЗ?\nA. Только при взыскании задолженности по кредитам\nB. Исполнение исполнительных документов, содержащих требования о взыскании периодических платежей\nC. Право на приоритетное приобретение новых выпусков облигаций того же эмитента\nD. Приостанавливается автоматически при достижении предельного возраста службы.\nE. Порядок и основания перевода, отчисления и восстановления обучающихся\nF. Документарная проверка\nG. На требования о взыскании дебиторской задолженности\nH. Все права, возникающие из такого обеспечения\nI. Право на участие в голосовании по вопросам деятельности эмитента\nJ. Право на получение информации о финансовом состоянии эмитента\nK. Приостанавливается только по инициативе государственного служащего.\nL. Строительство и развитие корпоративного кампуса\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 200, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.21940362453460693, + "B": 0.026204025372862816, + "C": 0.281719833612442, + "D": 0.023124972358345985, + "E": 0.19362302124500275, + "F": 0.012377905659377575, + "G": 0.026204025372862816, + "H": 0.014026003889739513, + "I": 0.06286019086837769, + "J": 0.009639922529459, + "K": 0.01092346291989088, + "L": 0.0007912931032478809 + }, + "sample": { + "question": "Какие вопросы регулируют локальные нормативные акты образовательной организации согласно Федеральному закону 'Об образовании в Российской Федерации' N 273-ФЗ, Статье 30?", + "answerA": "Строительство и развитие корпоративного кампуса", + "answerB": "Порядок и основания перевода, отчисления и восстановления обучающихся", + "answerC": "Проведение корпоративных мероприятий", + "answerD": "Определение системы мотивации и стимулирования работников образовательной организации", + "correct_answer": "B", + "choices": [ + "Приостанавливается автоматически при достижении предельного возраста службы.", + "На требования о взыскании дебиторской задолженности", + "Определение системы мотивации и стимулирования работников образовательной организации", + "Только при взыскании задолженности по кредитам", + "Порядок и основания перевода, отчисления и восстановления обучающ��хся", + "Министр юстиции Российской Федерации", + "Выездная проверка", + "Проведение корпоративных мероприятий", + "Исполнение исполнительных документов, содержащих требования о взыскании периодических платежей", + "Строительство и развитие корпоративного кампуса", + "Приостанавливается только по инициативе государственного служащего.", + "Документарная проверка" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКакие вопросы регулируют локальные нормативные акты образовательной организации согласно Федеральному закону 'Об образовании в Российской Федерации' N 273-ФЗ, Статье 30?\nA. Приостанавливается автоматически при достижении предельного возраста службы.\nB. На требования о взыскании дебиторской задолженности\nC. Определение системы мотивации и стимулирования работников образовательной организации\nD. Только при взыскании задолженности по кредитам\nE. Порядок и основания перевода, отчисления и восстановления обучающихся\nF. Министр юстиции Российской Федерации\nG. Выездная проверка\nH. Проведение корпоративных мероприятий\nI. Исполнение исполнительных документов, содержащих требования о взыскании периодических платежей\nJ. Строительство и развитие корпоративного кампуса\nK. Приостанавливается только по инициативе государственного служащего.\nL. Документарная проверка\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 189, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.019684704020619392, + "B": 0.12836039066314697, + "C": 0.3079206049442291, + "D": 0.019684704020619392, + "E": 0.09996718168258667, + "F": 0.022305693477392197, + "G": 0.036775872111320496, + "H": 0.04167252033948898, + "I": 0.003018747316673398, + "J": 0.014401638880372047, + "K": 0.060633156448602676, + "L": 0.0003181736101396382 + }, + "sample": { + "question": "Каков порядок приостановления государственной службы согласно Федеральному закону 'О системе государственной службы Российской Федерации' N 58-ФЗ, статье 12.1?", + "answerA": "Приостанавливается автоматически при достижении предельного возраста службы.", + "answerB": "Приостанавливается только по инициативе государственного служащего.", + "answerC": "Приостанавливается в случае призыва на военную службу по мобилизации или заключения контракта о прохождении военной службы.", + "answerD": "Приостанавливается только по инициативе нанимателя.", + "correct_answer": "answerC", + "choices": [ + "Приостанавливается только по инициативе нанимателя.", + "Приостанавливается автоматически при достижении предельного возраста службы.", + "Приостанавливается в случае призыва на военную службу по мобилизации или заключения контракта о прохождении военной службы.", + "Только при взыскании задолженности по кредитам", + "На требования о взыскании задолженности по заработной плате, выплате вознаграждений авторам результатов интеллектуальной деятельности, о возмещении вреда, причиненного жизни или здоровью, о выплате компенсации сверх возмещения вреда", + "Выездная проверка", + "Документарная проверка", + "На требования о взыскании дебиторской задолженности", + "Путем предоставления кредита на покупку жилья под низкий процент", + "Приостанавливается только по инициативе государственного служащего.", + "Исполнение исполнительных документов, содержащих требования о взыскании периодических платежей", + "Министр юстиции Российской Федерации" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКаков порядок приостановления государственной службы согласно Федеральному закону 'О системе государственной службы Российской Федерации' N 58-ФЗ, статье 12.1?\nA. Приостанавливается только по инициативе нанимателя.\nB. Приостанавливается автоматически при достижении предельного возраста службы.\nC. Приостанавливается в случае призыва на военную службу по мобилизации или заключения контракта о прохождении военной службы.\nD. Только при взыскании задолженности по кредитам\nE. На требования о взыскании задолженности по заработной плате, выплате вознаграждений авторам результатов интеллектуальной деятельности, о возмещении вреда, причиненного жизни или здоровью, о выплате компенсации сверх возмещения вреда\nF. Выездная проверка\nG. Документарная проверка\nH. На требования о взыскании дебиторской задолженности\nI. Путем предоставления кредита на покупку жилья под низкий процент\nJ. Приостанавливается только по инициативе государственного служащего.\nK. Исполнение исполнительных документов, содержащих требования о взыскании периодических платежей\nL. Министр юстиции Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 234, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0058344765566289425, + "B": 0.013996181078255177, + "C": 0.009619425050914288, + "D": 0.007491615600883961, + "E": 0.023075800389051437, + "F": 0.007491615600883961, + "G": 0.03357509523630142, + "H": 0.017971452325582504, + "I": 0.03357509523630142, + "J": 0.5951327681541443, + "K": 0.10341855883598328, + "L": 0.003538788529112935 + }, + "sample": { + "question": "В каких случаях судебный пристав-исполнитель обращает взыскание на заработную плату и иные доходы должника-гражданина согласно статье 98 Федерального закона \"Об исполнительном производстве\" N 229-ФЗ?", + "answerA": "Только при взыскании задолженности по кредитам", + "answerB": "Исполнение исполнительных документов, содержащих требования о взыскании периодических платежей", + "answerC": "Только при уклонении должника от уплаты налогов", + "answerD": "Только в случаях взыскания алиментов", + "correct_answer": "B", + "choices": [ + "Президент Российской Федерации", + "Путем предоставления кредита на покупку жилья под низкий процент", + "На требования о взыскании дебиторской задолженности", + "Выездная проверка", + "Исполнение исполнительных документов, содержащих требования о взыскании периодических платежей", + "Документарная проверка", + "Только при взыскании задолженности по кредитам", + "Министр юстиции Российской Федерации", + "Только в случаях взыскания алиментов", + "На требования о взыскании задолженности по заработной плате, выплате вознаграждений авторам результатов интеллектуальной деятельности, о возмещении вреда, причиненного жизни или здоровью, о выплате компенсации сверх возмещения вреда", + "Защита интересов Российской Федерации в политической сфере на международной арене.", + "Только при уклонении должника от уплаты налогов" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nВ каких случаях судебный пристав-исполнитель обращает взыскание на заработную плату и иные доходы должника-гражданина согласно статье 98 Федерального закона \"Об исполнительном производстве\" N 229-ФЗ?\nA. Президент Российской Федерации\nB. Путем предоставления кредита на покупку жилья под низкий процент\nC. На требования о взыскании дебиторской задолженности\nD. Выездная проверка\nE. Исполнение исполнительных документов, содержащих требования о взыскании периодических платежей\nF. Документарная проверка\nG. Только при взыскании задолженности по кредитам\nH. Министр юстиции Российской Федерации\nI. Только в случаях взыскания алиментов\nJ. На требования о взыскании задолженности по заработной плате, выплате вознаграждений авторам результатов интеллектуальной деятельности, о возмещении вреда, причиненного жизни или здоровью, о выплате компенсации сверх возмещения вреда\nK. Защита интересов Российской Федерации в политической сфере на международной арене.\nL. Только при уклонении должника от уплаты налогов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 226, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.06887642294168472, + "B": 0.032534919679164886, + "C": 0.0417756587266922, + "D": 0.07804722338914871, + "E": 0.08843907713890076, + "F": 0.03686688840389252, + "G": 0.07804722338914871, + "H": 0.06887642294168472, + "I": 0.2121543139219284, + "J": 0.14581139385700226, + "K": 0.026972392573952675, + "L": 0.006018355023115873 + }, + "sample": { + "question": "Какой вид контрольной деятельности не относится к мерам федерального государственного контроля (надзора) за качеством и безопасностью медицинской деятельности?", + "answerA": "Документарная проверка", + "answerB": "Выездная проверка", + "answerC": "Контрольная закупка", + "answerD": "Публичные слушания", + "correct_answer": "Публичные слушания", + "choices": [ + "Контрольная закупка", + "Организация учета банков (ведение реестра банков).", + "Выездная проверка", + "Публичные слушания", + "На т��ебования о взыскании дебиторской задолженности", + "На требования о взыскании задолженности по заработной плате, выплате вознаграждений авторам результатов интеллектуальной деятельности, о возмещении вреда, причиненного жизни или здоровью, о выплате компенсации сверх возмещения вреда", + "За счет бюджетных ассигнований федерального бюджета путем предоставления ему служебного жилого помещения или в собственность либо единовременной социальной выплаты на его приобретение", + "Министр юстиции Российской Федерации", + "Защита интересов Российской Федерации в политической сфере на международной арене.", + "Путем предоставления кредита на покупку жилья под низкий процент", + "Документарная проверка", + "Президент Российской Федерации" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКакой вид контрольной деятельности не относится к мерам федерального государственного контроля (надзора) за качеством и безопасностью медицинской деятельности?\nA. Контрольная закупка\nB. Организация учета банков (ведение реестра банков).\nC. Выездная проверка\nD. Публичные слушания\nE. На требования о взыскании дебиторской задолженности\nF. На требования о взыскании задолженности по заработной плате, выплате вознаграждений авторам результатов интеллектуальной деятельности, о возмещении вреда, причиненного жизни или здоровью, о выплате компенсации сверх возмещения вреда\nG. За счет бюджетных ассигнований федерального бюджета путем предоставления ему служебного жилого помещения или в собственность либо единовременной социальной выплаты на его приобретение\nH. Министр юстиции Российской Федерации\nI. Защита интересов Российской Федерации в политической сфере на международной арене.\nJ. Путем предоставления кредита на покупку жилья под низкий процент\nK. Документарная проверка\nL. Президент Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 214, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.16472363471984863, + "B": 0.11321279406547546, + "C": 0.11321279406547546, + "D": 0.0999099388718605, + "E": 0.07780993729829788, + "F": 0.06059844791889191, + "G": 0.0534779354929924, + "H": 0.06866702437400818, + "I": 0.015321685001254082, + "J": 0.03675481304526329, + "K": 0.028624674305319786, + "L": 0.01736174337565899 + }, + "sample": { + "question": "На что не распространяется мораторий на удовлетворение требований кредиторов в соответствии со статьей 95 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?", + "answerA": "На требования о взыскании дебиторской задолженности", + "answerB": "На требования о взыскании задолженности по заработной плате, выплате вознаграждений авторам результатов интеллектуальной деятельности, о возмещении вреда, причиненного жизни или здоровью, о выплате компенсации сверх возмещения вреда", + "answerC": "На требования о выплате процентов по депозитам", + "answerD": "На требования связанные с финансовыми операциями на международных рынках", + "correct_answer": "B", + "choices": [ + "На требования о взыскании задолженности по заработной плате, выплате вознаграждений авторам результатов интеллектуальной деятельности, о возмещении вреда, причиненного жизни или здоровью, о выплате компенсации сверх возмещения вреда", + "Защита интересов Российской Федерации в политической сфере на международной арене.", + "Гарантия пожизненного обслуживания транспортных средств", + "На требования связанные с финансовыми операциями на международных рынках", + "Министр юстиции Российской Федерации", + "Организация учета банков (ведение реестра банков).", + "На требования о выплате процентов по депозитам", + "На требования о взыскании дебиторской задолженности", + "За счет бюджетных ассигнований федерального бюджета путем предоставления ему служебного жилого помещения или в собственность либо единовременной социальной выплаты на его приобретение", + "Президент Российской Федерации", + "Обеспечение экономической безопасности Российской Федерации при осуществлении внешней торговли товарами.", + "Путем предоставления кредита на покупку жилья под низкий процент" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nНа что не распространяется мораторий на удовлетворение требований кредиторов в соответствии со статьей 95 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?\nA. На требования о взыскании задолженности по заработной плате, выплате вознаграждений авторам результатов интеллектуальной деятельности, о возмещении вреда, причиненного жизни или здоровью, о выплате компенсации сверх возмещения вреда\nB. Защита интересов Российской Федерации в политической сфере на международной арене.\nC. Гарантия пожизненного обслуживания транспортных средств\nD. На требования связанные с финансовыми операциями на международных рынках\nE. Министр юстиции Российской Федерации\nF. Организация учета банков (ведение реестра банков).\nG. На требования о выплате процентов по депозитам\nH. На требования о взыскании дебиторской задолженности\nI. За счет бюджетных ассигнований федерального бюджета путем предоставления ему служебного жилого помещения или в собственность либо единовременной социальной выплаты на его приобретение\nJ. Президент Российской Федерации\nK. Обеспечение экономической безопасности Российской Федерации при осуществлении внешней торговли товарами.\nL. Путем предоставления кредита на покупку жилья под низкий процент\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 253, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0027574910782277584, + "B": 0.003124647308140993, + "C": 0.3844529092311859, + "D": 0.18160270154476166, + "E": 0.0074956389144063, + "F": 0.003124647308140993, + "G": 0.11014761030673981, + "H": 0.004839547909796238, + "I": 0.00029063745751045644, + "J": 0.000790034478995949, + "K": 0.03575969114899635, + "L": 0.00010044160444522277 + }, + "sample": { + "question": "Кто утверждает положение о федеральном органе принудительного исполнения и его структуру согласно Федеральному закону \"О судебных приставах\" N 118-ФЗ?", + "answerA": "Министр юстиции Российской Федерации", + "answerB": "Президент Российской Федерации", + "answerC": "Председатель Правительства Российской Федерации", + "answerD": "Генеральный прокурор Российской Федерации", + "correct_answer": "B", + "choices": [ + "Президент Российской Федерации", + "Путем предоставления кредита на покупку жилья под низкий процент", + "Задаток переходит в собственность государства.", + "Председатель Правительства Российской Федерации", + "Защита интересов Российской Федерации в политической сфере на международной арене.", + "Гарантия пожизненного обслуживания транспортных средств", + "Министр юстиции Российской Федерации", + "Организация учета банков (ведение реестра банков).", + "Обеспечение экономической безопасности Российской Федерации при осуществлении внешней торговли товарами.", + "Генеральный прокурор Российской Федерации", + "За счет бюджетных ассигнований федерального бюджета путем предоставления ему служебного жилого помещения или в собственность либо единовременной социальной выплаты на его приобретение", + "Проведение аудита финансовой отчетности банков." + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКто утверждает положение о федеральном органе принудительного исполнения и его структуру согласно Федеральному закону \"О судебных приставах\" N 118-ФЗ?\nA. Президент Российской Федерации\nB. Путем предоставления кредита на покупку жилья под низкий процент\nC. Задаток переходит в собственность государства.\nD. Председатель Правительства Российской Федерации\nE. Защита интересов Российской Федерации в политической сфере на международной арене.\nF. Гарантия пожизненного обслуживания транспортных средств\nG. Министр юстиции Российской Федерации\nH. Организация учета банков (ведение реестра банков).\nI. Обеспечение экономической безопасности Российской Федерации при осуществлении внешней торговли товарами.\nJ. Генеральный прокурор Российской Федерации\nK. За счет бюджетных ассигнований федерального бюджета путем предоставления ему служебного жилого помещения или в собственность либо единовременной социальной выплаты на его приобретение\nL. Проведение аудита финансовой отчетности банков.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 199, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.009097456932067871, + "B": 0.0007015204755589366, + "C": 0.0037923839408904314, + "D": 0.0037923839408904314, + "E": 0.002300197258591652, + "F": 8.918832463677973e-05, + "G": 0.00018881168216466904, + "H": 0.0002924372674897313, + "I": 0.9279657602310181, + "J": 0.0015809009782969952, + "K": 0.0006590174743905663, + "L": 6.52515736874193e-05 + }, + "sample": { + "question": "Каким образом осуществляется обеспечение сотрудника полиции жилым помещением согласно Федеральному закону \"О полиции\" N 3-ФЗ?", + "answerA": "Путем предоставления кредита на покупку жилья под низкий процент", + "answerB": "За счет бюджетных ассигнований федерального бюджета путем предоставления ему служебного жилого помещения или в собственность либо единовременной социальной выплаты на его приобретение", + "answerC": "Через личные средства сотрудника без какой-либо поддержки со стороны государства", + "answerD": "Предоставление жилого помещения происходит исключительно через банковские учреждения на условиях льготного кредитования", + "correct_answer": "B", + "choices": [ + "Решение о приватизации имущественного комплекса", + "Обеспечение экономической безопасности Российской Федерации при осуществлении внешней торговли товарами.", + "Путем предоставления кредита на покупку жилья под низкий процент", + "Организация учета банков (ведение реестра банков).", + "Задаток переходит в собственность государства.", + "Защита интересов Российской Федерации в политической сфере на международной арене.", + "Предоставление жилого помещения происходит исключительно через банковские учреждения на условиях льготного кредитования", + "Проведение аудита финансовой отчетности банков.", + "За счет бюджетных ассигнований федерального бюджета путем предоставления ему служебного жилого помещения или в собственность либо единовременной социальной выплаты на его приобретение", + "Через личные средства сотрудника без какой-либо поддержки со стороны государства", + "Обязательное страхование транспортных средств перед техническим осмотром", + "Гарантия пожизненного обслуживания транспортных средств" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКаким образом осуществляется обеспечение сотрудника полиции жилым помещением согласно Федеральному закону \"О полиции\" N 3-ФЗ?\nA. Решение о приватизации имущественного комплекса\nB. Обеспечение экономической безопасности Российской Федерации при осуществлении внешней торговли товарами.\nC. Путем предоставления кредита на покупку жилья под низкий процент\nD. Организация учета банков (ведение реестра банков).\nE. Задаток переходит в собственность государства.\nF. Защита интересов Российской Федерации в политической сфере на международной арене.\nG. Предоставление жилого помещения происходит исключительно через банковские учреждения на условиях льготного кредитования\nH. Проведение аудита финансовой отчетности банков.\nI. За счет бюджетных ассигнований федерального бюджета путем предоставления ему служебного жилого помещения или в собственность либо единовременной социальной выплаты на его приобретение\nJ. Через личные средства сотрудника без какой-либо поддержки со стороны государства\nK. Обязательное страхование транспортных средств перед техническим осмотром\nL. Гарантия пожизненного обслуживания транспортных средств\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 223, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.012261497788131237, + "B": 0.04020389914512634, + "C": 0.015744075179100037, + "D": 0.06628502160310745, + "E": 0.013894096948206425, + "F": 0.02438489720225334, + "G": 0.029413800686597824, + "H": 0.08511164784431458, + "I": 0.0035129773896187544, + "J": 0.08511164784431458, + "K": 0.05162282660603523, + "L": 0.48978376388549805 + }, + "sample": { + "question": "Какая из перечисленных целей соответствует Федеральному закону \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?", + "answerA": "Защита интересов Российской Федерации в политической сфере на международной арене.", + "answerB": "Обеспечение экономической безопасности Российской Федерации при осуществлении внешней торговли товарами.", + "answerC": "Развитие культурных связей между государствами Евразийского экономического союза.", + "answerD": "Повышение конкурентоспособности отечественной продукции на внутреннем рынке.", + "correct_answer": "B", + "choices": [ + "Организация учета банков (ведение реестра банков).", + "Гарантия пожизненного обслуживания транспортных средств", + "Задаток переходит в собственность государства.", + "Повышение конкурентоспособности отечественной продукции на внутреннем рынке.", + "Развитие культурных связей между государствами Евразийского экономического союза.", + "Новый научно-исследовательский институт", + "Решение о приватизации имущественного комплекса", + "Обязательное страхование транспортных средств перед техническим осмотром", + "Проведение аудита финансовой отчетности банков.", + "Защита интересов Российской Федерации в политической сфере на международной арене.", + "Задаток удерживается в качестве компенсации за участие в конкурсе.", + "Обеспечение экономической безопасности Российской Федерации при осуществлении внешней торговли товарами." + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКакая из перечисленных целей соответствует Федеральному закону \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?\nA. Организация учета банков (ведение реестра банков).\nB. Гарантия пожизненного обслуживания трансп��ртных средств\nC. Задаток переходит в собственность государства.\nD. Повышение конкурентоспособности отечественной продукции на внутреннем рынке.\nE. Развитие культурных связей между государствами Евразийского экономического союза.\nF. Новый научно-исследовательский институт\nG. Решение о приватизации имущественного комплекса\nH. Обязательное страхование транспортных средств перед техническим осмотром\nI. Проведение аудита финансовой отчетности банков.\nJ. Защита интересов Российской Федерации в политической сфере на международной арене.\nK. Задаток удерживается в качестве компенсации за участие в конкурсе.\nL. Обеспечение экономической безопасности Российской Федерации при осуществлении внешней торговли товарами.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 210, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.03315849229693413, + "B": 0.3564873933792114, + "C": 0.10213534533977509, + "D": 0.09013412892818451, + "E": 0.048245321959257126, + "F": 0.037573494017124176, + "G": 0.05466911196708679, + "H": 0.05466911196708679, + "I": 0.001870674081146717, + "J": 0.03315849229693413, + "K": 0.017748462036252022, + "L": 0.02926226705312729 + }, + "sample": { + "question": "Какая из перечисленных функций не относится к полномочиям Агентства по страхованию вкладов согласно Федеральному закону \"О страховании вкладов физических лиц в банках Российской Федерации\" N 177-ФЗ?", + "answerA": "Организация учета банков (ведение реестра банков).", + "answerB": "Проведение аудита финансовой отчетности банков.", + "answerC": "Инвестирование временно свободных средств фонда обязательного страхования вкладов.", + "answerD": "Осуществление мероприятий по учету требований вкладчиков к банку и выплате им возмещения по вкладам.", + "correct_answer": "B", + "choices": [ + "Организация учета банков (ведение реестра банков).", + "Решение о приватизации имущественного комплекса", + "Проведение аудита финансовой отчетности банков.", + "Новый научно-исследовательский институт", + "Свидетельство о праве собственности на имущественный комплекс", + "Задаток удерживается в качестве компенсации за участие в конкурсе.", + "Инвестирование временно свободных средств фонда обязательного страхования вкладов.", + "Обязательное страхование транспортных средств перед техническим осмотром", + "Гарантия пожизненного обслуживания транспортных средств", + "Осуществление мероприятий по учету требований вкладчиков к банку и выплате им возмещения по вкладам.", + "Паспорт и СНИЛС заявителя", + "Задаток переходит в собственность государства." + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКакая из перечисленных функций не относится к полномочиям Агентства по страхованию вкладов согласно Федеральному закону \"О страховании вкладов физических лиц в банках Российск��й Федерации\" N 177-ФЗ?\nA. Организация учета банков (ведение реестра банков).\nB. Решение о приватизации имущественного комплекса\nC. Проведение аудита финансовой отчетности банков.\nD. Новый научно-исследовательский институт\nE. Свидетельство о праве собственности на имущественный комплекс\nF. Задаток удерживается в качестве компенсации за участие в конкурсе.\nG. Инвестирование временно свободных средств фонда обязательного страхования вкладов.\nH. Обязательное страхование транспортных средств перед техническим осмотром\nI. Гарантия пожизненного обслуживания транспортных средств\nJ. Осуществление мероприятий по учету требований вкладчиков к банку и выплате им возмещения по вкладам.\nK. Паспорт и СНИЛС заявителя\nL. Задаток переходит в собственность государства.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 215, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.001323674456216395, + "B": 0.004918047692626715, + "C": 0.44270849227905273, + "D": 0.03633972629904747, + "E": 0.015148651786148548, + "F": 0.1628633737564087, + "G": 0.12683811783790588, + "H": 0.0097807040438056, + "I": 0.0007542070234194398, + "J": 0.0029829463455826044, + "K": 0.06789155304431915, + "L": 0.0005873769405297935 + }, + "sample": { + "question": "Какой из перечисленных принципов является одним из оснований проведения технического осмотра согласно Федеральному закону 'О техническом осмотре транспортных средств и о внесении изменений в отдельные законодательные акты Российской Федерации' N 170-ФЗ?", + "answerA": "Гарантия пожизненного обслуживания транспортных средств", + "answerB": "Обязательное страхование транспортных средств перед техническим осмотром", + "answerC": "Обеспечение достоверности и актуальности сведений, содержащихся в единой автоматизированной информационной системе технического осмотра", + "answerD": "Ежегодная смена оператора технического осмотра", + "correct_answer": "Обеспечение достоверности и актуальности сведений, содержащихся в единой автоматизированной информационной системе технического осмотра", + "choices": [ + "Гарантия пожизненного обслуживания транспортных средств", + "Объект концессионного соглашения", + "Задаток переходит в собственность государства.", + "Свидетельство о праве собственности на имущественный комплекс", + "Решение о приватизации имущественного комплекса", + "Обязательное страхование транспортных средств перед техническим осмотром", + "Обеспечение достоверности и актуальности сведений, содержащихся в единой автоматизированной информационной системе технического осмотра", + "Задаток удерживается в качестве компенсации за участие в конкурсе.", + "Паспорт и СНИЛС заявителя", + "Только разработка системы социальных мер", + "Новый научно-исследовательский институт", + "Ежегодная смена оператора тех��ического осмотра" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКакой из перечисленных принципов является одним из оснований проведения технического осмотра согласно Федеральному закону 'О техническом осмотре транспортных средств и о внесении изменений в отдельные законодательные акты Российской Федерации' N 170-ФЗ?\nA. Гарантия пожизненного обслуживания транспортных средств\nB. Объект концессионного соглашения\nC. Задаток переходит в собственность государства.\nD. Свидетельство о праве собственности на имущественный комплекс\nE. Решение о приватизации имущественного комплекса\nF. Обязательное страхование транспортных средств перед техническим осмотром\nG. Обеспечение достоверности и актуальности сведений, содержащихся в единой автоматизированной информационной системе технического осмотра\nH. Задаток удерживается в качестве компенсации за участие в конкурсе.\nI. Паспорт и СНИЛС заявителя\nJ. Только разработка системы социальных мер\nK. Новый научно-исследовательский институт\nL. Ежегодная смена оператора технического осмотра\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 210, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0018431220669299364, + "B": 0.006433127913624048, + "C": 0.002088530920445919, + "D": 0.004153539426624775, + "E": 0.004706576932221651, + "F": 0.0011179100256413221, + "G": 0.0039018893148750067, + "H": 0.9547608494758606, + "I": 0.000598374055698514, + "J": 0.000598374055698514, + "K": 0.001731452881358564, + "L": 0.003234779927879572 + }, + "sample": { + "question": "Что происходит с задатком заявителя в случае отказа в допуске к участию в конкурсе по Федеральному закону 'О концессионных соглашениях' N 115-ФЗ?", + "answerA": "Задаток переходит в собственность государства.", + "answerB": "Задаток удерживается в качестве компенсации за участие в конкурсе.", + "answerC": "Задаток возвращается заявителю.", + "answerD": "Задаток передается другому участнику конкурса.", + "correct_answer": "Задаток возвращается заявителю.", + "choices": [ + "Задаток удерживается в качестве компенсации за участие в конкурсе.", + "Новый научно-исследовательский институт", + "Только разработка системы социальных мер", + "Свидетельство о праве собственности на имущественный комплекс", + "Решение о приватизации имущественного комплекса", + "Техническое описание, сборочные (монтажные) чертежи (схемы), письма поставщика (производителя), изменения к контракту, упаковочные листы, инвойсы, спецификации, подписанные лицом, их представившим", + "Осуществляют продажу образовательных материалов на территории иностранных государств.", + "Задаток возвращается заявителю.", + "Объект концессионного соглашения", + "Паспорт и СНИЛС заявителя", + "Задаток передается другому участнику конкурса.", + "Задаток переходит в собственность государства." + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nЧто происходит с задатком заявителя в случае отказа в допуске к участию в конкурсе по Федеральному закону 'О концессионных соглашениях' N 115-ФЗ?\nA. Задаток удерживается в качестве компенсации за участие в конкурсе.\nB. Новый научно-исследовательский институт\nC. Только разработка системы социальных мер\nD. Свидетельство о праве собственности на имущественный комплекс\nE. Решение о приватизации имущественного комплекса\nF. Техническое описание, сборочные (монтажные) чертежи (схемы), письма поставщика (производителя), изменения к контракту, упаковочные листы, инвойсы, спецификации, подписанные лицом, их представившим\nG. Осуществляют продажу образовательных материалов на территории иностранных государств.\nH. Задаток возвращается заявителю.\nI. Объект концессионного соглашения\nJ. Паспорт и СНИЛС заявителя\nK. Задаток передается другому участнику конкурса.\nL. Задаток переходит в собственность государства.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 231, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.003642425872385502, + "B": 0.0252834465354681, + "C": 0.0687275305390358, + "D": 0.2718226909637451, + "E": 0.0038773424457758665, + "F": 0.02231256477534771, + "G": 0.09999797493219376, + "H": 0.01194305531680584, + "I": 0.0011108772596344352, + "J": 0.010539708659052849, + "K": 0.39549967646598816, + "L": 0.006005344912409782 + }, + "sample": { + "question": "Какой документ является основанием для государственной регистрации прекращения юридического лица при продаже или внесении его имущественного комплекса в уставный капитал акционерного общества согласно Федеральному закону 'О государственной регистрации юридических лиц и индивидуальных предпринимателей' N 129-ФЗ?", + "answerA": "Решение о приватизации имущественного комплекса", + "answerB": "Свидетельство о праве собственности на имущественный комплекс", + "answerC": "Решение о государственной регистрации, принятое регистрирующим органом", + "answerD": "Договор купли-продажи имущественного комплекса", + "correct_answer": "Решение о государственной регистрации, принятое регистрирующим органом", + "choices": [ + "Паспорт и СНИЛС заявителя", + "Решение о приватизации имущественного комплекса", + "Только иммунопрофилактика в соответствии с национальным календарем профилактических прививок", + "Решение о государственной регистрации, принятое регистрирующим органом", + "Личное решение преподавателя", + "Договор купли-продажи имущественного комплекса", + "Осуществляют продажу образовательных материалов на территории иностранных государств.", + "Техническое описание, сборочные (монтажные) чертежи (схемы), письма поставщика (производителя), изменения к контракту, упаковочные листы, инвойсы, спецификации, подписанные лицом, их представившим", + "Только разработка системы социальных мер", + "Объект концессионного соглашения", + "Свидетельство о праве собственности на имущественный комплекс", + "Новый научно-исследовательский институт" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКакой документ является основанием для государственной регистрации прекращения юридического лица при продаже или внесении его имущественного комплекса в уставный капитал акционерного общества согласно Федеральному закону 'О государственной регистрации юридических лиц и индивидуальных предпринимателей' N 129-ФЗ?\nA. Паспорт и СНИЛС заявителя\nB. Решение о приватизации имущественного комплекса\nC. Только иммунопрофилактика в соответствии с национальным календарем профилактических прививок\nD. Решение о государственной регистрации, принятое регистрирующим органом\nE. Личное решение преподавателя\nF. Договор купли-продажи имущественного комплекса\nG. Осуществляют продажу образовательных материалов на территории иностранных государств.\nH. Техническое описание, сборочные (монтажные) чертежи (схемы), письма поставщика (производителя), изменения к контракту, упаковочные листы, инвойсы, спецификации, подписанные лицом, их представившим\nI. Только разработка системы социальных мер\nJ. Объект концессионного соглашения\nK. Свидетельство о праве собственности на имущественный комплекс\nL. Новый научно-исследовательский институт\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 245, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0010501290671527386, + "B": 0.007289340253919363, + "C": 0.009359697811305523, + "D": 0.005676943808794022, + "E": 0.021092405542731285, + "F": 0.030689269304275513, + "G": 0.014496584422886372, + "H": 0.7914866805076599, + "I": 0.0008705875370651484, + "J": 0.005676943808794022, + "K": 0.004421208519488573, + "L": 0.05059804767370224 + }, + "sample": { + "question": "Что обязуется создать концессионер по концессионному соглашению, объектом которого являются объекты информационных технологий?", + "answerA": "Новый научно-исследовательский институт", + "answerB": "Объект концессионного соглашения", + "answerC": "Филиал концедента в другой стране", + "answerD": "Сеть передачи данных", + "correct_answer": "answerB", + "choices": [ + "Личное решение преподавателя", + "Филиал концедента в другой стране", + "Сеть передачи данных", + "Бесплатный проезд в общественном транспорте", + "Осуществляют продажу образовательных материалов на территории иностранных государств.", + "Техническое описание, сборочные (монтажные) чертежи (схемы), письма поставщика (производителя), изменения к контракту, упаковочные листы, инвойсы, спецификации, подписанные лицом, их представившим", + "Выдают разрешения на работу для иностранных граждан в сфере образования.", + "Объект концессионного соглашения", + "Паспорт и СНИЛС заявителя", + "Только иммунопрофилактика в соответствии с национальным календарем профилактических прививок", + "Только разработка системы социальных мер", + "Новый научно-исследовательский институт" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nЧто обязуется создать концессионер по концессионному соглашению, объектом которого являются объекты информационных технологий?\nA. Личное решение преподавателя\nB. Филиал концедента в другой стране\nC. Сеть передачи данных\nD. Бесплатный проезд в общественном транспорте\nE. Осуществляют продажу образовательных материалов на территории иностранных государств.\nF. Техническое описание, сборочные (монтажные) чертежи (схемы), письма поставщика (производителя), изменения к контракту, упаковочные листы, инвойсы, спецификации, подписанные лицом, их представившим\nG. Выдают разрешения на работу для иностранных граждан в сфере образования.\nH. Объект концессионного соглашения\nI. Паспорт и СНИЛС заявителя\nJ. Только иммунопрофилактика в соответствии с национальным календарем профилактических прививок\nK. Только разработка системы социальных мер\nL. Новый научно-исследовательский институт\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 214, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0005152474623173475, + "B": 0.001236014417372644, + "C": 0.016028879210352898, + "D": 0.014145435765385628, + "E": 0.002785401651635766, + "F": 0.00261664274148643, + "G": 0.0013157305074855685, + "H": 0.0009626090177334845, + "I": 0.0004840301990043372, + "J": 0.0006215071189217269, + "K": 0.6815652847290039, + "L": 0.0019143767422065139 + }, + "sample": { + "question": "Какие документы должен представить заявитель при внесении изменений в решение о классификации товара согласно Федеральному закону 'О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации' N 289-ФЗ?", + "answerA": "Паспорт и СНИЛС заявителя", + "answerB": "Техническое описание, сборочные (монтажные) чертежи (схемы), письма поставщика (производителя), изменения к контракту, упаковочные листы, инвойсы, спецификации, подписанные лицом, их представившим", + "answerC": "Финансовую отчетность за последний квартал", + "answerD": "Справку о состоянии здоровья заявителя", + "correct_answer": "answerB", + "choices": [ + "Бесплатный проезд в общественном транспорте", + "Только разработка системы социальных мер", + "Осуществляют продажу образовательных материалов на территории иностранных государств.", + "Номер и дату выданного специального разрешения на проведение опечатывания", + "Личное решение преподавателя", + "Паспорт и СНИЛС заявителя", + "Финансовую отчетность за последний квартал", + "Только иммунопрофилактика в соответствии с национальным календарем профилактических прививок", + "Распорядительный акт организации об обучении или договор об образовании в случае с индивидуальным предпринимателем", + "Выдают разрешения на работу для иностранных граждан в сфере образования.", + "Техническое описание, сборочные (монтажные) чертежи (схемы), письма поставщика (производителя), изменения к контракту, упаковочные листы, инвойсы, спецификации, подписанные лицом, их представившим", + "Справку о состоянии здоровья заявителя" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКакие документы должен представить заявитель при внесении изменений в решение о классификации товара согласно Федеральному закону 'О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации' N 289-ФЗ?\nA. Бесплатный проезд в общественном транспорте\nB. Только разработка системы социальных мер\nC. Осуществляют продажу образовательных материалов на территории иностранных государств.\nD. Номер и дату выданного специального разрешения на проведение опечатывания\nE. Личное решение преподавателя\nF. Паспорт и СНИЛС заявителя\nG. Финансовую отчетность за последний квартал\nH. Только иммунопрофилактика в соответствии с национальным календарем профилактических прививок\nI. Распорядительный акт организации об обучении или договор об образовании в случае с индивидуальным предпринимателем\nJ. Выдают разрешения на работу для иностранных граждан в сфере образования.\nK. Техническое описание, сборочные (монтажные) чертежи (схемы), письма поставщика (производителя), изменения к контракту, упаковочные листы, инвойсы, спецификации, подписанные лицом, их представившим\nL. Справку о состоянии здоровья заявителя\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 265, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0012839320115745068, + "B": 0.012181608006358147, + "C": 0.0008289688266813755, + "D": 0.0028933854773640633, + "E": 0.003079992951825261, + "F": 0.0016486014937981963, + "G": 0.0050780498422682285, + "H": 0.012181608006358147, + "I": 0.0005027949810028076, + "J": 0.04251798987388611, + "K": 0.1484023630619049, + "L": 0.586942732334137 + }, + "sample": { + "question": "Какие меры включает профилактика инфекционных заболеваний согласно Федеральному закону \"Об основах охраны здоровья граждан в Российской Федерации\" N 323-ФЗ?", + "answerA": "Только разработка системы социальных мер", + "answerB": "Только иммунопрофилактика в соответствии с национальным календарем профилактических прививок", + "answerC": "Разработка и реализация системы правовых, экономических и социальных мер, включая программы иммунопрофилактики", + "answerD": "Проведение массовых мероприятий без использования медицинских методов", + "correct_answer": "Разработка и реализация системы правовых, экономических и социальных мер, включая программы иммунопрофилактики", + "choices": [ + "Только разработка системы социальных мер", + "Распорядительный акт организации об обучении или договор об образовании в случае с индивидуальным предпринимателем", + "Номер и дату выданного специального разрешения на проведение опечатывания", + "Личное решение преподавателя", + "Только иммунопрофилактика в соответствии с национальным календарем профилактических прививок", + "Осуществляют продажу образовательных материалов на территории иностранных государств.", + "Проведение массовых мероприятий без использования медицинских методов", + "Право создавать общественные объединения только с разрешения органов государственной власти", + "Бесплатный проезд в общественном транспорте", + "Выдают разрешения на работу для иностранных граждан в сфере образования.", + "Предоставление жилья", + "Разработка и реализация системы правовых, экономических и социальных мер, включая программы иммунопрофилактики" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКакие меры включает профилактика инфекционных заболеваний согласно Федеральному закону \"Об основах охраны здоровья граждан в Российской Федерации\" N 323-ФЗ?\nA. Только разработка системы социальных мер\nB. Распорядительный акт организации об обучении или договор об образовании в случае с индивидуальным предпринимателем\nC. Номер и дату выданного специального разрешения на проведение опечатывания\nD. Личное решение преподавателя\nE. Только иммунопрофилактика в соответствии с национальным календарем профилактических прививок\nF. Осуществляют продажу образовательных материалов на территории иностранных государств.\nG. Проведение массовых мероприятий без использования медицинских методов\nH. Право создавать общественные объединения только с разрешения органов государственной власти\nI. Бесплатный проезд в общественном транспорте\nJ. Выдают разрешения на работу для иностранных граждан в сфере образования.\nK. Предоставление жилья\nL. Разработка и реализация системы правовых, экономических и социальных мер, включая программы иммунопрофилактики\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 216, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.04101157560944557, + "B": 0.2082739919424057, + "C": 0.16220393776893616, + "D": 0.05967149883508682, + "E": 0.0464722104370594, + "F": 0.05967149883508682, + "G": 0.08682151138782501, + "H": 0.04101157560944557, + "I": 0.004060696344822645, + "J": 0.04101157560944557, + "K": 0.06761666387319565, + "L": 0.0059082782827317715 + }, + "sample": { + "question": "Какие действия осуществляют загранучреждения Министерства иностранных дел Российской Федерации в соответствии со Статьей 88 Федерального закона \"Об образовании в Российской Федерации\"?", + "answerA": "Осуществляют продажу об��азовательных материалов на территории иностранных государств.", + "answerB": "Выдают разрешения на работу для иностранных граждан в сфере образования.", + "answerC": "Обеспечивают получение общего образования на общедоступной и бесплатной основе для детей сотрудников.", + "answerD": "Организуют обучение иностранного языка для всех желающих граждан Российской Федерации.", + "correct_answer": "Обеспечивают получение общего образования на общедоступной и бесплатной основе для детей сотрудников.", + "choices": [ + "Документы, выданные до вступления в силу данного закона, теряют свою юридическую силу.", + "Номер и дату выданного специального разрешения на проведение опечатывания", + "Должность, фамилию, имя, отчество (при наличии) должностного лица таможенного органа, которым произведено опечатывание", + "Организуют обучение иностранного языка для всех желающих граждан Российской Федерации.", + "Личное решение преподавателя", + "Выдают разрешения на работу для иностранных граждан в сфере образования.", + "Право создавать общественные объединения только с разрешения органов государственной власти", + "Бесплатный проезд в общественном транспорте", + "Предоставление жилья", + "Осуществляют продажу образовательных материалов на территории иностранных государств.", + "Обеспечивают получение общего образования на общедоступной и бесплатной основе для детей сотрудников.", + "Распорядительный акт организации об обучении или договор об образовании в случае с индивидуальным предпринимателем" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКакие действия осуществляют загранучреждения Министерства иностранных дел Российской Федерации в соответствии со Статьей 88 Федерального закона \"Об образовании в Российской Федерации\"?\nA. Документы, выданные до вступления в силу данного закона, теряют свою юридическую силу.\nB. Номер и дату выданного специального разрешения на проведение опечатывания\nC. Должность, фамилию, имя, отчество (при наличии) должностного лица таможенного органа, которым произведено опечатывание\nD. Организуют обучение иностранного языка для всех желающих граждан Российской Федерации.\nE. Личное решение преподавателя\nF. Выдают разрешения на работу для иностранных граждан в сфере образования.\nG. Право создавать общественные объединения только с разрешения органов государственной власти\nH. Бесплатный проезд в общественном транспорте\nI. Предоставление жилья\nJ. Осуществляют продажу образовательных материалов на территории иностранных государств.\nK. Обеспечивают получение общего образования на общедоступной и бесплатной основе для детей сотрудников.\nL. Распорядительный акт организации об обучении или договор об образовании в случае с индивидуальным предпринимателем\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 236, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.09902854263782501, + "B": 0.017208581790328026, + "C": 0.04677777364850044, + "D": 0.07712351530790329, + "E": 0.053006161004304886, + "F": 0.00921109039336443, + "G": 0.019499877467751503, + "H": 0.017208581790328026, + "I": 0.50290846824646, + "J": 0.03643057122826576, + "K": 0.017208581790328026, + "L": 0.0010334555990993977 + }, + "sample": { + "question": "Что является основанием возникновения образовательных отношений согласно Федеральному закону \"Об образовании в Российской Федерации\" N 273-ФЗ, Статья 53?", + "answerA": "Личное решение преподавателя", + "answerB": "Распорядительный акт организации об обучении или договор об образовании в случае с индивидуальным предпринимателем", + "answerC": "Общее собрание обучающихся", + "answerD": "Одобрение Министерства образования", + "correct_answer": "B", + "choices": [ + "Общее собрание обучающихся", + "Должность, фамилию, имя, отчество (при наличии) должностного лица таможенного органа, которым произведено опечатывание", + "Предоставление жилья", + "Одобрение Министерства образования", + "В течение 24 часов с момента прибытия", + "Номер и дату выданного специального разрешения на проведение опечатывания", + "Документы, выданные до вступления в силу данного закона, теряют свою юридическую силу.", + "Бесплатный проезд в общественном транспорте", + "Распорядительный акт организации об обучении или договор об образовании в случае с индивидуальным предпринимателем", + "Право создавать общественные объединения на добровольной основе для защиты общих интересов и достижения общих целей", + "Личное решение преподавателя", + "Право создавать общественные объединения только с разрешения органов государственной власти" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nЧто является основанием возникновения образовательных отношений согласно Федеральному закону \"Об образовании в Российской Федерации\" N 273-ФЗ, Статья 53?\nA. Общее собрание обучающихся\nB. Должность, фамилию, имя, отчество (при наличии) должностного лица таможенного органа, которым произведено опечатывание\nC. Предоставление жилья\nD. Одобрение Министерства образования\nE. В течение 24 часов с момента прибытия\nF. Номер и дату выданного специального разрешения на проведение опечатывания\nG. Документы, выданные до вступления в силу данного закона, теряют свою юридическую силу.\nH. Бесплатный проезд в общественном транспорте\nI. Распорядительный акт организации об обучении или договор об образовании в случае с индивидуальным предпринимателем\nJ. Право создавать общественные объединения на добровольной основе для защиты общих интересов и достижения общих целей\nK. Личное решение преподавателя\nL. Право создавать общественные объединения только с разрешения органов государственной власти\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 218, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.012131113559007645, + "B": 0.054367877542972565, + "C": 0.002881392138078809, + "D": 0.00833758432418108, + "E": 0.06980973482131958, + "F": 0.02733788639307022, + "G": 0.035102538764476776, + "H": 0.5158280730247498, + "I": 0.015576657839119434, + "J": 0.02266390435397625, + "K": 0.00833758432418108, + "L": 0.13042175769805908 + }, + "sample": { + "question": "Какие меры социальной поддержки предоставляются вдовам ветеранов боевых действий согласно Федеральному закону 'О ветеранах' N 5-ФЗ?", + "answerA": "Бесплатный проезд в общественном транспорте", + "answerB": "Предоставление жилья", + "answerC": "Ежемесячное денежное пособие", + "answerD": "Компенсация расходов на оплату жилых помещений и коммунальных услуг", + "correct_answer": "D", + "choices": [ + "Право создавать общественные объединения только с разрешения органов государственной власти", + "Предоставление жилья", + "Должность, фамилию, имя, отчество (при наличии) должностного лица таможенного органа, которым произведено опечатывание", + "Статья 42 предписывает новые правила оформления документов о гражданстве.", + "Устав общества", + "Документы, выданные до вступления в силу данного закона, теряют свою юридическую силу.", + "Номер и дату выданного специального разрешения на проведение опечатывания", + "Право создавать общественные объединения на добровольной основе для защиты общих интересов и достижения общих целей", + "Компенсация расходов на оплату жилых помещений и коммунальных услуг", + "Бесплатный проезд в общественном транспорте", + "В течение 24 часов с момента прибытия", + "Ежемесячное денежное пособие" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКакие меры социальной поддержки предоставляются вдовам ветеранов боевых действий согласно Федеральному закону 'О ветеранах' N 5-ФЗ?\nA. Право создавать общественные объединения только с разрешения органов государственной власти\nB. Предоставление жилья\nC. Должность, фамилию, имя, отчество (при наличии) должностного лица таможенного органа, которым произведено опечатывание\nD. Статья 42 предписывает новые правила оформления документов о гражданстве.\nE. Устав общества\nF. Документы, выданные до вступления в силу данного закона, теряют свою юридическую силу.\nG. Номер и дату выданного специального разрешения на проведение опечатывания\nH. Право создавать общественные объединения на добровольной основе для защиты общих интересов и достижения общих целей\nI. Компенсация расходов на оплату жилых помещений и коммунальных услуг\nJ. Бесплатный проезд в общественном транспорте\nK. В течение 24 часов с момента прибытия\nL. Ежемесячное денежное пособие\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 221, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.14716358482837677, + "B": 0.017576182261109352, + "C": 0.2749377489089966, + "D": 0.042163070291280746, + "E": 0.01651129499077797, + "F": 0.014571166597306728, + "G": 0.017576182261109352, + "H": 0.006882932037115097, + "I": 0.022568264976143837, + "J": 0.0030542826279997826, + "K": 0.07877098768949509, + "L": 0.00023552097263745964 + }, + "sample": { + "question": "Что должно содержать акт опечатывания помещений, складов, архивов и иных мест нахождения (хранения) документов и товаров в соответствии с Федеральным законом \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?", + "answerA": "Номер и дату выданного специального разрешения на проведение опечатывания", + "answerB": "Должность, фамилию, имя, отчество (при наличии) должностного лица таможенного органа, которым произведено опечатывание", + "answerC": "Письменное согласие проверяемого лица на проведение опечатывания", + "answerD": "Фотографии помещения до и после опечатывания", + "correct_answer": "B", + "choices": [ + "Номер и дату выданного специального разрешения на проведение опечатывания", + "Статья 42 предписывает новые правила оформления документов о гражданстве.", + "Фотографии помещения до и после опечатывания", + "Если акт изменяет сроки проведения таможенных операций, не обусловленные законом", + "Не позднее 12 часов с момента прибытия", + "Письменное согласие проверяемого лица на проведение опечатывания", + "Устав общества", + "Право создавать общественные объединения на добровольной основе для защиты общих интересов и достижения общих целей", + "В течение 24 часов с момента прибытия", + "Документы, выданные до вступления в силу данного закона, теряют свою юридическую силу.", + "Должность, фамилию, имя, отчество (при наличии) должностного лица таможенного органа, которым произведено опечатывание", + "Право создавать общественные объединения только с разрешения органов государственной власти" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nЧто должно содержать акт опечатывания помещений, складов, архивов и иных мест нахождения (хранения) документов и товаров в соответствии с Федеральным законом \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?\nA. Номер и дату выданного специального разрешения на проведение опечатывания\nB. Статья 42 предписывает новые правила оформления документов о гражданстве.\nC. Фотографии помещения до и после опечатывания\nD. Если акт изменяет сроки проведения таможенных операций, не обусловленные законом\nE. Не позднее 12 часов с момента прибытия\nF. Письменное согласие проверяемого лица на проведение опечатыван��я\nG. Устав общества\nH. Право создавать общественные объединения на добровольной основе для защиты общих интересов и достижения общих целей\nI. В течение 24 часов с момента прибытия\nJ. Документы, выданные до вступления в силу данного закона, теряют свою юридическую силу.\nK. Должность, фамилию, имя, отчество (при наличии) должностного лица таможенного органа, которым произведено опечатывание\nL. Право создавать общественные объединения только с разрешения органов государственной власти\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 262, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.004024469293653965, + "B": 0.8690432906150818, + "C": 0.006635226774960756, + "D": 0.010939640924334526, + "E": 0.0009558951132930815, + "F": 0.0003516541619319469, + "G": 0.0011530296178534627, + "H": 0.000511653779540211, + "I": 3.945450589526445e-05, + "J": 0.0003984763752669096, + "K": 0.00012936633720528334, + "L": 1.0619035492709372e-05 + }, + "sample": { + "question": "Что включает в себя право граждан на объединение согласно Федеральному закону \"Об общественных объединениях\" N 82-ФЗ, Статье 3?", + "answerA": "Право создавать общественные объединения только с разрешения органов государственной власти", + "answerB": "Право создавать общественные объединения на добровольной основе для защиты общих интересов и достижения общих целей", + "answerC": "Обязанность вступать в существующие общественные объединения", + "answerD": "Право создавать общественные объединения только с целью получения прибыли", + "correct_answer": "B", + "choices": [ + "Если акт изменяет сроки проведения таможенных операций, не обусловленные законом", + "Право создавать общественные объединения на добровольной основе для защиты общих интересов и достижения общих целей", + "Годовой отчет общества", + "Документы, выданные до вступления в силу данного закона, теряют свою юридическую силу.", + "Только для противодействия преступности.", + "Обязанность вступать в существующие общественные объединения", + "Право создавать общественные объединения только с разрешения органов государственной власти", + "Не позднее 12 часов с момента прибытия", + "В течение 24 часов с момента прибытия", + "Право создавать общественные объединения только с целью получения прибыли", + "Устав общества", + "Статья 42 предписывает новые правила оформления документов о гражданстве." + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nЧто включает в себя право граждан на объединение согласно Федеральному закону \"Об общественных объединениях\" N 82-ФЗ, Статье 3?\nA. Если акт изменяет сроки проведения таможенных операций, не обусловленные законом\nB. Право создавать общественные объединения на добровольной основе для защиты общих интересов и достижения общих целей\nC. Годовой отчет общества\nD. Документы, выданные до всту��ления в силу данного закона, теряют свою юридическую силу.\nE. Только для противодействия преступности.\nF. Обязанность вступать в существующие общественные объединения\nG. Право создавать общественные объединения только с разрешения органов государственной власти\nH. Не позднее 12 часов с момента прибытия\nI. В течение 24 часов с момента прибытия\nJ. Право создавать общественные объединения только с целью получения прибыли\nK. Устав общества\nL. Статья 42 предписывает новые правила оформления документов о гражданстве.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 196, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.007105353754013777, + "B": 0.06741372495889664, + "C": 0.024800119921565056, + "D": 0.06741372495889664, + "E": 0.0865609273314476, + "F": 0.0980863869190216, + "G": 0.14271484315395355, + "H": 0.06741372495889664, + "I": 0.006270452868193388, + "J": 0.0980863869190216, + "K": 0.12594540417194366, + "L": 0.0980863869190216 + }, + "sample": { + "question": "Какое утверждение верно в связи со статьей 42 Федерального закона \"О гражданстве Российской Федерации\" N 62-ФЗ?", + "answerA": "Документы, выданные до вступления в силу данного закона, теряют свою юридическую силу.", + "answerB": "Статья 42 предписывает новые правила оформления документов о гражданстве.", + "answerC": "Документы, оформленные в соответствии с ранее действовавшим законодательством о гражданстве, сохраняют свою юридическую силу и считаются действительными на день вступления в силу настоящего закона.", + "answerD": "Все документы о гражданстве должны быть повторно оформлены в соответствии с новым законом.", + "correct_answer": "Документы, оформленные в соответствии с ранее действовавшим законодательством о гражданстве, сохраняют свою юридическую силу и считаются действительными на день вступления в силу настоящего закона.", + "choices": [ + "Только для противодействия преступности.", + "Все документы о гражданстве должны быть повторно оформлены в соответствии с новым законом.", + "Если акт противоречит правилам внешней торговли, установленным ВТО", + "Документы, выданные до вступления в силу данного закона, теряют свою юридическую силу.", + "Статья 42 предписывает новые правила оформления документов о гражданстве.", + "Документы, оформленные в соответствии с ранее действовавшим законодательством о гражданстве, сохраняют свою юридическую силу и считаются действительными на день вступления в силу настоящего закона.", + "Годовой отчет общества", + "Не позднее 12 часов с момента прибытия", + "Устав общества", + "Один месяц", + "В течение 24 часов с момента прибытия", + "Если акт изменяет сроки проведения таможенных операций, не обусловленные законом" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКакое утверждение верно в связи со статьей 42 Федерального закона \"О гражданстве Российской Федерации\" N 62-ФЗ?\nA. Только для противодействия преступности.\nB. Все документы о гражданстве должны быть повторно оформлены в соответствии с новым законом.\nC. Если акт противоречит правилам внешней торговли, установленным ВТО\nD. Документы, выданные до вступления в силу данного закона, теряют свою юридическую силу.\nE. Статья 42 предписывает новые правила оформления документов о гражданстве.\nF. Документы, оформленные в соответствии с ранее действовавшим законодательством о гражданстве, сохраняют свою юридическую силу и считаются действительными на день вступления в силу настоящего закона.\nG. Годовой отчет общества\nH. Не позднее 12 часов с момента прибытия\nI. Устав общества\nJ. Один месяц\nK. В течение 24 часов с момента прибытия\nL. Если акт изменяет сроки проведения таможенных операций, не обусловленные законом\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 211, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.003068253630772233, + "B": 0.029110783711075783, + "C": 0.0329868383705616, + "D": 0.016586825251579285, + "E": 0.4018619656562805, + "F": 0.08966752886772156, + "G": 0.037378985434770584, + "H": 0.10160661488771439, + "I": 0.020007528364658356, + "J": 0.13046547770500183, + "K": 0.006101951468735933, + "L": 0.016586825251579285 + }, + "sample": { + "question": "Согласно Федеральному закону \"О таможенном регулировании в Российской Федерации...\" N 289-ФЗ, какой срок установлен для представления документов в отношении товаров, перевозимых с использованием железнодорожного транспорта, после их прибытия в место доставки?", + "answerA": "В течение 24 часов с момента прибытия", + "answerB": "Не позднее 12 часов с момента прибытия", + "answerC": "В течение трех часов с момента прибытия", + "answerD": "В течение 48 часов с момента прибытия", + "correct_answer": "answerB", + "choices": [ + "Годовой отчет общества", + "Только для противодействия преступности.", + "Один месяц", + "Только для охраны государственных объектов.", + "Не позднее 12 часов с момента прибытия", + "В течение 48 часов с момента прибытия", + "Если акт изменяет сроки проведения таможенных операций, не обусловленные законом", + "Если акт противоречит правилам внешней торговли, установленным ВТО", + "В течение трех часов с момента прибытия", + "В течение 24 часов с момента прибытия", + "Устав общества", + "Программу обучения для начинающих предпринимателей" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nСогласно Федеральному закону \"О таможенном регулировании в Российской Федерации...\" N 289-ФЗ, какой срок установлен для представления документов в отношении товаров, перевозимых с использованием железнодорожного транспорта, после их прибытия в место доставки?\nA. Годовой отчет общества\nB. Только для противодействия преступности.\nC. Один месяц\nD. Только для охран�� государственных объектов.\nE. Не позднее 12 часов с момента прибытия\nF. В течение 48 часов с момента прибытия\nG. Если акт изменяет сроки проведения таможенных операций, не обусловленные законом\nH. Если акт противоречит правилам внешней торговли, установленным ВТО\nI. В течение трех часов с момента прибытия\nJ. В течение 24 часов с момента прибытия\nK. Устав общества\nL. Программу обучения для начинающих предпринимателей\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 183, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0033077511470764875, + "B": 0.917147696018219, + "C": 0.004247236996889114, + "D": 0.00374817312695086, + "E": 0.0007380590541288257, + "F": 0.0006118724122643471, + "G": 0.0010088070994243026, + "H": 0.00025506637757644057, + "I": 1.6305850294884294e-05, + "J": 0.00014533243665937334, + "K": 4.7182536945911124e-05, + "L": 1.1929612810490653e-05 + }, + "sample": { + "question": "Какой документ подтверждает права акционера на акции согласно статье 46 Федерального закона 'Об акционерных обществах' (АО) N 208-ФЗ?", + "answerA": "Устав общества", + "answerB": "Годовой отчет общества", + "answerC": "Выписка из реестра акционеров общества", + "answerD": "Лицензия на право ведения деятельности", + "correct_answer": "answerC", + "choices": [ + "Только для охраны государственных объектов.", + "Выписка из реестра акционеров общества", + "Если акт противоречит правилам внешней торговли, установленным ВТО", + "Имущество должно обладать статусом дипломатической почты.", + "Если акт изменяет сроки проведения таможенных операций, не обусловленные законом", + "Устав общества", + "Три месяца", + "Лицензия на право ведения деятельности", + "Программу обучения для начинающих предпринимателей", + "Только для противодействия преступности.", + "Один месяц", + "Годовой отчет общества" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКакой документ подтверждает права акционера на акции согласно статье 46 Федерального закона 'Об акционерных обществах' (АО) N 208-ФЗ?\nA. Только для охраны государственных объектов.\nB. Выписка из реестра акционеров общества\nC. Если акт противоречит правилам внешней торговли, установленным ВТО\nD. Имущество должно обладать статусом дипломатической почты.\nE. Если акт изменяет сроки проведения таможенных операций, не обусловленные законом\nF. Устав общества\nG. Три месяца\nH. Лицензия на право ведения деятельности\nI. Программу обучения для начинающих предпринимателей\nJ. Только для противодействия преступности.\nK. Один месяц\nL. Годовой отчет общества\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 160, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.005984487012028694, + "B": 0.009268955327570438, + "C": 0.003629775019362569, + "D": 0.034438345581293106, + "E": 0.01843351684510708, + "F": 0.009866750799119473, + "G": 0.039023756980895996, + "H": 0.034438345581293106, + "I": 0.37024709582328796, + "J": 0.2883487343788147, + "K": 0.09361312538385391, + "L": 0.012669159099459648 + }, + "sample": { + "question": "В соответствии со Статьей 8 Федерального закона N 289-ФЗ 'О таможенном регулировании в Российской Федерации', на что указывает признание нормативного правового акта несоответствующим данному закону?", + "answerA": "Если акт изменяет сроки проведения таможенных операций, не обусловленные законом", + "answerB": "Если акт противоречит правилам внешней торговли, установленным ВТО", + "answerC": "Если акт издан с нарушением установленного порядка или ограничивает права, установленные международными договорами", + "answerD": "Если акт устанавливает новые таможенные тарифы без уведомления ФТС", + "correct_answer": "C", + "choices": [ + "Только для охраны государственных объектов.", + "Федеральные законы", + "Только для противодействия преступности.", + "Имущество должно обладать статусом дипломатической почты.", + "Один месяц", + "Три месяца", + "Изменена в последнем обновлении", + "Если акт изменяет сроки проведения таможенных операций, не обусловленные законом", + "Если акт издан с нарушением установленного порядка или ограничивает права, установленные международными договорами", + "Программу обучения для начинающих предпринимателей", + "Если акт устанавливает новые таможенные тарифы без уведомления ФТС", + "Если акт противоречит правилам внешней торговли, установленным ВТО" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nВ соответствии со Статьей 8 Федерального закона N 289-ФЗ 'О таможенном регулировании в Российской Федерации', на что указывает признание нормативного правового акта несоответствующим данному закону?\nA. Только для охраны государственных объектов.\nB. Федеральные законы\nC. Только для противодействия преступности.\nD. Имущество должно обладать статусом дипломатической почты.\nE. Один месяц\nF. Три месяца\nG. Изменена в последнем обновлении\nH. Если акт изменяет сроки проведения таможенных операций, не обусловленные законом\nI. Если акт издан с нарушением установленного порядка или ограничивает права, установленные международными договорами\nJ. Программу обучения для начинающих предпринимателей\nK. Если акт устанавливает новые таможенные тарифы без уведомления ФТС\nL. Если акт противоречит правилам внешней торговли, установленным ВТО\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 183, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.00044458539923653007, + "B": 0.0006885873153805733, + "C": 0.00289906095713377, + "D": 0.9696031808853149, + "E": 0.00011240879393881187, + "F": 2.6699430236476474e-05, + "G": 1.723844798107166e-05, + "H": 1.045564658852527e-05, + "I": 5.596503797278274e-06, + "J": 1.41501789130416e-06, + "K": 3.220565486117266e-05, + "L": 1.0352491699450184e-06 + }, + "sample": { + "question": "Для чего предназначена полиция согласно Федеральному закону \"О полиции\" N 3-ФЗ, Статья 1?", + "answerA": "Только для противодействия преступности.", + "answerB": "Только для охраны государственных объектов.", + "answerC": "Для защиты жизни, здоровья, прав и свобод граждан, противодействия преступности, охраны общественного порядка, собственности и обеспечения общественной безопасности.", + "answerD": "Только для регулирования дорожного движения.", + "correct_answer": "Для защиты жизни, здоровья, прав и свобод граждан, противодействия преступности, охраны общественного порядка, собственности и обеспечения общественной безопасности.", + "choices": [ + "Три месяца", + "Программу обучения для начинающих предпринимателей", + "Только для противодействия преступности.", + "Для защиты жизни, здоровья, прав и свобод граждан, противодействия преступности, охраны общественного порядка, собственности и обеспечения общественной безопасности.", + "Один месяц", + "Только для охраны государственных объектов.", + "Федеральные законы", + "Имущество должно обладать статусом дипломатической почты.", + "Только для регулирования дорожного движения.", + "Положение о порядке прохождения военной службы", + "Изменена в последнем обновлении", + "Имущество должно находиться в дипломатическом представительстве иностранного государства." + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nДля чего предназначена полиция согласно Федеральному закону \"О полиции\" N 3-ФЗ, Статья 1?\nA. Три месяца\nB. Программу обучения для начинающих предпринимателей\nC. Только для противодействия преступности.\nD. Для защиты жизни, здоровья, прав и свобод граждан, противодействия преступности, охраны общественного порядка, собственности и обеспечения общественной безопасности.\nE. Один месяц\nF. Только для охраны государственных объектов.\nG. Федеральные законы\nH. Имущество должно обладать статусом дипломатической почты.\nI. Только для регулирования дорожного движения.\nJ. Положение о порядке прохождения военной службы\nK. Изменена в последнем обновлении\nL. Имущество должно находиться в дипломатическом представительстве иностранного государства.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 160, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.319087952375412, + "B": 0.07119815051555634, + "C": 0.07119815051555634, + "D": 0.11738590896129608, + "E": 0.15072648227214813, + "F": 0.0489337258040905, + "G": 0.023114655166864395, + "H": 0.014019746333360672, + "I": 0.014019746333360672, + "J": 0.03363162279129028, + "K": 0.010918589308857918, + "L": 0.002938698511570692 + }, + "sample": { + "question": "Какой срок установлен для иностранной некоммерческой неправительственной организации для уведомления о создании на территории Российской Федерации филиала ��ли представительства согласно Федеральному закону 'О некоммерческих организациях' N 7-ФЗ?", + "answerA": "Один месяц", + "answerB": "Три месяца", + "answerC": "Шесть месяцев", + "answerD": "Двенадцать месяцев", + "correct_answer": "B", + "choices": [ + "Двенадцать месяцев", + "Федеральные законы", + "Один месяц", + "Не реже одного раза", + "Шесть месяцев", + "Программу обучения для начинающих предпринимателей", + "Имущество должно обладать статусом дипломатической почты.", + "Положение о порядке прохождения военной службы", + "Три месяца", + "Утратила силу с 1 января 2016 года.", + "Изменена в последнем обновлении", + "Имущество должно находиться в дипломатическом представительстве иностранного государства." + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКакой срок установлен для иностранной некоммерческой неправительственной организации для уведомления о создании на территории Российской Федерации филиала или представительства согласно Федеральному закону 'О некоммерческих организациях' N 7-ФЗ?\nA. Двенадцать месяцев\nB. Федеральные законы\nC. Один месяц\nD. Не реже одного раза\nE. Шесть месяцев\nF. Программу обучения для начинающих предпринимателей\nG. Имущество должно обладать статусом дипломатической почты.\nH. Положение о порядке прохождения военной службы\nI. Три месяца\nJ. Утратила силу с 1 января 2016 года.\nK. Изменена в последнем обновлении\nL. Имущество должно находиться в дипломатическом представительстве иностранного государства.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 169, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.08079776167869568, + "B": 0.11756003648042679, + "C": 0.043247923254966736, + "D": 0.10374638438224792, + "E": 0.28201186656951904, + "F": 0.09155584871768951, + "G": 0.01591002196073532, + "H": 0.018028415739536285, + "I": 0.0027647472452372313, + "J": 0.020428873598575592, + "K": 0.01591002196073532, + "L": 0.010272282175719738 + }, + "sample": { + "question": "Что вправе разрабатывать национальное объединение саморегулируемых организаций арбитражных управляющих?", + "answerA": "Программу обучения для начинающих предпринимателей", + "answerB": "Федеральные законы", + "answerC": "Федеральные стандарты", + "answerD": "Учебные материалы для школ", + "correct_answer": "Федеральные стандарты", + "choices": [ + "Утратила силу с 1 января 2016 года.", + "Изменена в последнем обновлении", + "Закон о воинской обязанности и военной службе", + "Положение о порядке прохождения военной службы", + "Не реже одного раза", + "Федеральные законы", + "Имущество должно обладать статусом дипломатической почты.", + "Федеральные стандарты", + "Программу обучения для начинающих предпринимателей", + "Учебные материалы для школ", + "Доклады о техническом регулировании", + "Имущество должно находи��ься в дипломатическом представительстве иностранного государства." + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nЧто вправе разрабатывать национальное объединение саморегулируемых организаций арбитражных управляющих?\nA. Утратила силу с 1 января 2016 года.\nB. Изменена в последнем обновлении\nC. Закон о воинской обязанности и военной службе\nD. Положение о порядке прохождения военной службы\nE. Не реже одного раза\nF. Федеральные законы\nG. Имущество должно обладать статусом дипломатической почты.\nH. Федеральные стандарты\nI. Программу обучения для начинающих предпринимателей\nJ. Учебные материалы для школ\nK. Доклады о техническом регулировании\nL. Имущество должно находиться в дипломатическом представительстве иностранного государства.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 153, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.001704254886135459, + "B": 0.01616952195763588, + "C": 0.0005197683349251747, + "D": 0.004351967480033636, + "E": 0.0038405980449169874, + "F": 0.013405002653598785, + "G": 0.01616952195763588, + "H": 0.012592834420502186, + "I": 0.002479676390066743, + "J": 0.8293381929397583, + "K": 0.060077060014009476, + "L": 0.007175181061029434 + }, + "sample": { + "question": "Каково требование для ареста имущества должника - иностранного государства, согласно Федеральному закону 'Об исполнительном производстве' N 229-ФЗ, статья 104.4?", + "answerA": "Имущество должно обладать статусом дипломатической почты.", + "answerB": "Имущество должно находиться в дипломатическом представительстве иностранного государства.", + "answerC": "Имущество должно находиться на территории Российской Федерации и не пользоваться иммунитетом от исполнения решения суда.", + "answerD": "Имущество должно участвовать в международных выставках на территории РФ.", + "correct_answer": "C", + "choices": [ + "Имущество должно обладать статусом дипломатической почты.", + "Не реже одного раза", + "Доклады о техническом регулировании", + "Имущество должно участвовать в международных выставках на территории РФ.", + "Имущество должно находиться в дипломатическом представительстве иностранного государства.", + "Положение о порядке прохождения военной службы", + "Изменена в последнем обновлении", + "Не менее двух раз", + "Если заложенное имущество не имеет необходимой документации", + "Имущество должно находиться на территории Российской Федерации и не пользоваться иммунитетом от исполнения решения суда.", + "Закон о воинской обязанности и военной службе", + "Утратила силу с 1 января 2016 года." + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКаково требование для ареста имущества должника - иностранного государства, согласно Федеральному закону 'Об исполнительном производстве' N 229-ФЗ, статья 104.4?\nA. Имущество должно обладать статусом дипломатической почты.\nB. Не реже одного раза\nC. Доклады о техническом регулировании\nD. Имущество должно участвовать в международных выставках на территории РФ.\nE. Имущество должно находиться в дипломатическом представительстве иностранного государства.\nF. Положение о порядке прохождения военной службы\nG. Изменена в последнем обновлении\nH. Не менее двух раз\nI. Если заложенное имущество не имеет необходимой документации\nJ. Имущество должно находиться на территории Российской Федерации и не пользоваться иммунитетом от исполнения решения суда.\nK. Закон о воинской обязанности и военной службе\nL. Утратила силу с 1 января 2016 года.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 195, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.018173113465309143, + "B": 0.10457906126976013, + "C": 0.015066041611135006, + "D": 0.02996239997446537, + "E": 0.2213938683271408, + "F": 0.36501675844192505, + "G": 0.02996239997446537, + "H": 0.05597713589668274, + "I": 0.0020389670971781015, + "J": 0.020592838525772095, + "K": 0.010354729369282722, + "L": 0.07187605649232864 + }, + "sample": { + "question": "Какой статус имеет Статья 7 в Федеральном законе \"О системе государственной службы Российской Федерации\" N 58-ФЗ?", + "answerA": "Изменена в последнем обновлении", + "answerB": "Утратила силу с 1 января 2016 года.", + "answerC": "Не подлежит применению на территории РФ", + "answerD": "Является актуальной в текущей редакции", + "correct_answer": "B", + "choices": [ + "Изменена в последнем обновлении", + "Положение о порядке прохождения военной службы", + "Документы о подтверждении квалификации специалистов", + "Доклады о техническом регулировании", + "Не подлежит применению на территории РФ", + "Является актуальной в текущей редакции", + "Не менее двух раз", + "Утратила силу с 1 января 2016 года.", + "3 года", + "Не реже одного раза", + "Если заложенное имущество не имеет необходимой документации", + "Закон о воинской обязанности и военной службе" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакой статус имеет Статья 7 в Федеральном законе \"О системе государственной службы Российской Федерации\" N 58-ФЗ?\nA. Изменена в последнем обновлении\nB. Положение о порядке прохождения военной службы\nC. Документы о подтверждении квалификации специалистов\nD. Доклады о техническом регулировании\nE. Не подлежит применению на территории РФ\nF. Является актуальной в текущей редакции\nG. Не менее двух раз\nH. Утратила силу с 1 января 2016 года.\nI. 3 года\nJ. Не реже одного раза\nK. Если заложенное имущество не имеет необходимой документации\nL. Закон о воинской обязанности и военной службе\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 160, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0011434186017140746, + "B": 0.0033085912000387907, + "C": 0.03786482289433479, + "D": 0.0229661762714386, + "E": 0.14975829422473907, + "F": 0.005806758534163237, + "G": 0.042906466871500015, + "H": 0.005806758534163237, + "I": 0.0011434186017140746, + "J": 0.020267579704523087, + "K": 0.27978530526161194, + "L": 0.0002715857117436826 + }, + "sample": { + "question": "Какой документ определяет порядок выезда военнослужащих за пределы территории Российской Федерации согласно Федеральному закону \"О статусе военнослужащих\" N 76-ФЗ?", + "answerA": "Положение о порядке прохождения военной службы", + "answerB": "Закон о воинской обязанности и военной службе", + "answerC": "Федеральные законы и иные нормативные правовые акты Российской Федерации", + "answerD": "Правила внутреннего распорядка воинских частей", + "correct_answer": "C", + "choices": [ + "Договор купли-продажи акций", + "Документы о подтверждении квалификации специалистов", + "Правила внутреннего распорядка воинских частей", + "Положение о порядке прохождения военной службы", + "Федеральные законы и иные нормативные правовые акты Российской Федерации", + "Не менее двух раз", + "Не реже одного раза", + "3 года", + "Если на публичные торги явилось менее двух покупателей", + "Если заложенное имущество не имеет необходимой документации", + "Закон о воинской обязанности и военной службе", + "Доклады о техническом регулировании" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКакой документ определяет порядок выезда военнослужащих за пределы территории Российской Федерации согласно Федеральному закону \"О статусе военнослужащих\" N 76-ФЗ?\nA. Договор купли-продажи акций\nB. Документы о подтверждении квалификации специалистов\nC. Правила внутреннего распорядка воинских частей\nD. Положение о порядке прохождения военной службы\nE. Федеральные законы и иные нормативные правовые акты Российской Федерации\nF. Не менее двух раз\nG. Не реже одного раза\nH. 3 года\nI. Если на публичные торги явилось менее двух покупателей\nJ. Если заложенное имущество не имеет необходимой документации\nK. Закон о воинской обязанности и военной службе\nL. Доклады о техническом регулировании\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 165, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.041257619857788086, + "B": 0.7313087582588196, + "C": 0.032131463289260864, + "D": 0.025024009868502617, + "E": 0.007169499062001705, + "F": 0.00408505741506815, + "G": 0.00812410656362772, + "H": 0.0046289763413369656, + "I": 0.00037996951141394675, + "J": 0.0024777124635875225, + "K": 0.001326223835349083, + "L": 0.00017948490858543664 + }, + "sample": { + "question": "Какие сведения должны подписываться усиленной квалифицированной электронной подписью в соответствии с Федеральным законом 'О техническом регулировании' N 184-ФЗ, Статьей 23?", + "answerA": "Доклады о техническом регулировании", + "answerB": "Документы о подтверждении квалификации специалистов", + "answerC": "Све��ения, вносимые в реестр сертификатов соответствия и деклараций о соответствии", + "answerD": "Заявления о начале предпринимательской деятельности", + "correct_answer": "Сведения, вносимые в реестр сертификатов соответствия и деклараций о соответствии", + "choices": [ + "Заявления о начале предпринимательской деятельности", + "Сведения, вносимые в реестр сертификатов соответствия и деклараций о соответствии", + "Независимая гарантия уплаты денежных сумм", + "Взаимодействие происходит исключительно через электронные каналы связи без подписания каких-либо соглашений.", + "Доклады о техническом регулировании", + "Региональные картографические платформы", + "Документы о подтверждении квалификации специалистов", + "Если на публичные торги явилось менее двух покупателей", + "3 года", + "Договор купли-продажи акций", + "2 года", + "Если заложенное имущество не имеет необходимой документации" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКакие сведения должны подписываться усиленной квалифицированной электронной подписью в соответствии с Федеральным законом 'О техническом регулировании' N 184-ФЗ, Статьей 23?\nA. Заявления о начале предпринимательской деятельности\nB. Сведения, вносимые в реестр сертификатов соответствия и деклараций о соответствии\nC. Независимая гарантия уплаты денежных сумм\nD. Взаимодействие происходит исключительно через электронные каналы связи без подписания каких-либо соглашений.\nE. Доклады о техническом регулировании\nF. Региональные картографические платформы\nG. Документы о подтверждении квалификации специалистов\nH. Если на публичные торги явилось менее двух покупателей\nI. 3 года\nJ. Договор купли-продажи акций\nK. 2 года\nL. Если заложенное имущество не имеет необходимой документации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 192, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.008534831926226616, + "B": 0.021794455125927925, + "C": 0.34092265367507935, + "D": 0.07607012987136841, + "E": 0.021794455125927925, + "F": 0.027984635904431343, + "G": 0.12541845440864563, + "H": 0.0671316459774971, + "I": 0.003787308931350708, + "J": 0.01407155953347683, + "K": 0.12541845440864563, + "L": 0.009671231731772423 + }, + "sample": { + "question": "В каких случаях организатор публичных торгов объявляет их несостоявшимися в соответствии со статьей 58 Федерального закона \"Об ипотеке (залоге недвижимости)\" N 102-ФЗ?", + "answerA": "Если заложенное имущество не имеет необходимой документации", + "answerB": "Если на публичные торги явилось менее двух покупателей", + "answerC": "Если все покупатели предложили одинаковую цену", + "answerD": "Если имущество повреждено перед проведением торгов", + "correct_answer": "B", + "choices": [ + "Договор купли-продажи акций", + "2 года", + "Если на публичные торги явилось менее двух покупателей", + "Таможенные органы и уполномоченные экономические операторы взаимодействуют исключительно путем личных встреч.", + "В течение трех рабочих дней с даты подписания акта", + "Независимая гарантия уплаты денежных сумм", + "Региональные картографические платформы", + "Взаимодействие происходит исключительно через электронные каналы связи без подписания каких-либо соглашений.", + "Если все покупатели предложили одинаковую цену", + "3 года", + "Если заложенное имущество не имеет необходимой документации", + "Если имущество повреждено перед проведением торгов" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nВ каких случаях организатор публичных торгов объявляет их несостоявшимися в соответствии со статьей 58 Федерального закона \"Об ипотеке (залоге недвижимости)\" N 102-ФЗ?\nA. Договор купли-продажи акций\nB. 2 года\nC. Если на публичные торги явилось менее двух покупателей\nD. Таможенные органы и уполномоченные экономические операторы взаимодействуют исключительно путем личных встреч.\nE. В течение трех рабочих дней с даты подписания акта\nF. Независимая гарантия уплаты денежных сумм\nG. Региональные картографические платформы\nH. Взаимодействие происходит исключительно через электронные каналы связи без подписания каких-либо соглашений.\nI. Если все покупатели предложили одинаковую цену\nJ. 3 года\nK. Если заложенное имущество не имеет необходимой документации\nL. Если имущество повреждено перед проведением торгов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 191, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.4071935713291168, + "B": 0.08018116652965546, + "C": 0.2798597812652588, + "D": 0.048632338643074036, + "E": 0.08018116652965546, + "F": 0.005808304063975811, + "G": 0.00745801068842411, + "H": 0.005808304063975811, + "I": 0.0007860685582272708, + "J": 0.0010744283208623528, + "K": 0.0014685693895444274, + "L": 0.00016476892051286995 + }, + "sample": { + "question": "На какой срок выдается предварительное решение о классификации товара согласно Федеральному закону \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?", + "answerA": "3 года", + "answerB": "2 года", + "answerC": "5 лет", + "answerD": "1 год", + "correct_answer": "answerC", + "choices": [ + "В течение трех рабочих дней с даты подписания акта", + "1 год", + "3 года", + "2 года", + "Таможенные органы и уполномоченные экономические операторы взаимодействуют исключительно путем личных встреч.", + "Договор купли-продажи акций", + "Взаимодействие происходит исключительно через электронные каналы связи без подписания каких-либо соглашений.", + "Независимая гарантия уплаты денежных сумм", + "Не реже одного раза в три месяца", + "Региональные картографически�� платформы", + "Государственные геодезические сети и геодезические сети специального назначения", + "5 лет" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nНа какой срок выдается предварительное решение о классификации товара согласно Федеральному закону \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?\nA. В течение трех рабочих дней с даты подписания акта\nB. 1 год\nC. 3 года\nD. 2 года\nE. Таможенные органы и уполномоченные экономические операторы взаимодействуют исключительно путем личных встреч.\nF. Договор купли-продажи акций\nG. Взаимодействие происходит исключительно через электронные каналы связи без подписания каких-либо соглашений.\nH. Независимая гарантия уплаты денежных сумм\nI. Не реже одного раза в три месяца\nJ. Региональные картографические платформы\nK. Государственные геодезические сети и геодезические сети специального назначения\nL. 5 лет\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 195, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0036997038405388594, + "B": 0.05107283964753151, + "C": 0.012913236394524574, + "D": 0.045071616768836975, + "E": 0.02129032462835312, + "F": 0.17826171219348907, + "G": 0.06557882577180862, + "H": 0.05787310749292374, + "I": 0.003264977131038904, + "J": 0.17826171219348907, + "K": 0.09541662037372589, + "L": 0.22889257967472076 + }, + "sample": { + "question": "Какой документ является подтверждением финансового обеспечения реализации мероприятий, предусмотренных планом мероприятий согласно Федеральному закону 'Об охране окружающей среды' N 7-ФЗ?", + "answerA": "Договор купли-продажи акций", + "answerB": "Независимая гарантия уплаты денежных сумм", + "answerC": "Справка о наличии счета в иностранном банке", + "answerD": "Договор аренды оборудования", + "correct_answer": "answerB", + "choices": [ + "Взаимодействие происходит исключительно через электронные каналы связи без подписания каких-либо соглашений.", + "В течение трех рабочих дней с даты подписания акта", + "Договор аренды оборудования", + "В течение пяти рабочих дней с даты подписания акта", + "Не реже одного раза в три месяца", + "Усиленной квалифицированной электронной подписью", + "Таможенные органы и уполномоченные экономические операторы взаимодействуют исключительно путем личных встреч.", + "Справка о наличии счета в иностранном банке", + "Региональные картографические платформы", + "Договор купли-продажи акций", + "Государственные геодезические сети и геодезические сети специального назначения", + "Независимая гарантия уплаты денежных сумм" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКакой документ является подтверждением финансового обеспечения реализации мероприятий, предусмотренных планом мероприятий согласно Федеральному закону 'Об охране окружающей среды' N 7-ФЗ?\nA. Взаимодействие происходит исключительно через электронные каналы связи без подписания каких-либо соглашений.\nB. В течение трех рабочих дней с даты подписания акта\nC. Договор аренды оборудования\nD. В течение пяти рабочих дней с даты подписания акта\nE. Не реже одного раза в три месяца\nF. Усиленной квалифицированной электронной подписью\nG. Таможенные органы и уполномоченные экономические операторы взаимодействуют исключительно путем личных встреч.\nH. Справка о наличии счета в иностранном банке\nI. Региональные картографические платформы\nJ. Договор купли-продажи акций\nK. Государственные геодезические сети и геодезические сети специального назначения\nL. Независимая гарантия уплаты денежных сумм\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 195, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.00643972959369421, + "B": 0.004425956401973963, + "C": 0.001436897786334157, + "D": 0.015448108315467834, + "E": 0.0506523922085762, + "F": 0.007297168951481581, + "G": 0.01363290660083294, + "H": 0.6170724630355835, + "I": 0.0034469389356672764, + "J": 0.0039058930706232786, + "K": 0.009369750507175922, + "L": 0.22700829803943634 + }, + "sample": { + "question": "Какие особенности взаимодействия между таможенными органами и уполномоченными экономическими операторами указаны в Статье 386 Федерального закона \"О таможенном регулировании в Российской Федерации\" N 289-ФЗ?", + "answerA": "Взаимодействие происходит исключительно через электронные каналы связи без подписания каких-либо соглашений.", + "answerB": "Таможенные органы и уполномоченные экономические операторы взаимодействуют исключительно путем личных встреч.", + "answerC": "Порядок взаимодействия, включая регламент информационного обмена и состав данных, устанавливается в соглашении о взаимодействии.", + "answerD": "Уполномоченные экономические операторы обязаны предоставлять таможенным органам ежемесячный отчёт о своей деятельности в письменной форме.", + "correct_answer": "answerC", + "choices": [ + "Уполномоченные экономические операторы обязаны предоставлять таможенным органам ежемесячный отчёт о своей деятельности в письменной форме.", + "Наличие задолженности перед одним кредитором более 1 миллион рублей.", + "Региональные картографические платформы", + "В течение пяти рабочих дней с даты подписания акта", + "Государственные геодезические сети и геодезические сети специального назначения", + "Взаимодействие происходит исключительно через электронные каналы связи без подписания каких-либо соглашений.", + "Усиленной квалифицированной электронной подписью", + "Порядок взаимодействия, включая регламент информационного обмена и состав данных, устанавливается в соглашении о взаимодействии.", + "Таможенные органы и уполно��оченные экономические операторы взаимодействуют исключительно путем личных встреч.", + "Не реже одного раза в два года", + "В течение трех рабочих дней с даты подписания акта", + "Не реже одного раза в три месяца" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакие особенности взаимодействия между таможенными органами и уполномоченными экономическими операторами указаны в Статье 386 Федерального закона \"О таможенном регулировании в Российской Федерации\" N 289-ФЗ?\nA. Уполномоченные экономические операторы обязаны предоставлять таможенным органам ежемесячный отчёт о своей деятельности в письменной форме.\nB. Наличие задолженности перед одним кредитором более 1 миллион рублей.\nC. Региональные картографические платформы\nD. В течение пяти рабочих дней с даты подписания акта\nE. Государственные геодезические сети и геодезические сети специального назначения\nF. Взаимодействие происходит исключительно через электронные каналы связи без подписания каких-либо соглашений.\nG. Усиленной квалифицированной электронной подписью\nH. Порядок взаимодействия, включая регламент информационного обмена и состав данных, устанавливается в соглашении о взаимодействии.\nI. Таможенные органы и уполномоченные экономические операторы взаимодействуют исключительно путем личных встреч.\nJ. Не реже одного раза в два года\nK. В течение трех рабочих дней с даты подписания акта\nL. Не реже одного раза в три месяца\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 245, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.008071744814515114, + "B": 0.07658258080482483, + "C": 0.8233403563499451, + "D": 0.013308056630194187, + "E": 0.0020408567506819963, + "F": 0.0012378421379253268, + "G": 0.0019172073807567358, + "H": 0.0011628450592979789, + "I": 0.0001304675970459357, + "J": 0.0005847152206115425, + "K": 0.001317676156759262, + "L": 3.737959559657611e-05 + }, + "sample": { + "question": "Что является геодезической основой Единого государственного реестра недвижимости согласно Федеральному закону 'О государственной регистрации недвижимости' N 218-ФЗ, статья 6?", + "answerA": "Региональные картографические платформы", + "answerB": "Государственные геодезические сети и геодезические сети специального назначения", + "answerC": "Спутниковые снимки территории Российской Федерации", + "answerD": "Интернет-ресурсы общедоступных карт", + "correct_answer": "B", + "choices": [ + "Наличие задолженности перед одним кредитором более 1 миллион рублей.", + "Усиленной квалифицированной электронной подписью", + "Государственные геодезические сети и геодезические сети специального назначения", + "Интернет-ресурсы общедоступных карт", + "Не реже одного раза в три месяца", + "В течение трех рабочих дней с даты подписания акта", + "Спутниковые снимки территории Российской Федерации", + "Не ��еже одного раза в два года", + "Почтовые отправления", + "Неквалифицированной электронной подписью", + "В течение пяти рабочих дней с даты подписания акта", + "Региональные картографические платформы" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nЧто является геодезической основой Единого государственного реестра недвижимости согласно Федеральному закону 'О государственной регистрации недвижимости' N 218-ФЗ, статья 6?\nA. Наличие задолженности перед одним кредитором более 1 миллион рублей.\nB. Усиленной квалифицированной электронной подписью\nC. Государственные геодезические сети и геодезические сети специального назначения\nD. Интернет-ресурсы общедоступных карт\nE. Не реже одного раза в три месяца\nF. В течение трех рабочих дней с даты подписания акта\nG. Спутниковые снимки территории Российской Федерации\nH. Не реже одного раза в два года\nI. Почтовые отправления\nJ. Неквалифицированной электронной подписью\nK. В течение пяти рабочих дней с даты подписания акта\nL. Региональные картографические платформы\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 188, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0036616288125514984, + "B": 0.012006019242107868, + "C": 0.4232267439365387, + "D": 0.2567000091075897, + "E": 0.021071217954158783, + "F": 0.07354577630758286, + "G": 0.13740161061286926, + "H": 0.016410281881690025, + "I": 0.0038977833464741707, + "J": 0.00285167945548892, + "K": 0.006840823218226433, + "L": 0.0016248379833996296 + }, + "sample": { + "question": "Какой срок установлен для вручения акта проверки лицу, в отношении которого проводилась проверка, согласно статье 26.19 Федерального закона \"Об обязательном социальном страховании от несчастных случаев на производстве и профессиональных заболеваний\" N 125-ФЗ?", + "answerA": "В течение трех рабочих дней с даты подписания акта", + "answerB": "В течение пяти рабочих дней с даты подписания акта", + "answerC": "В течение семи рабочих дней с даты подписания акта", + "answerD": "В течение десяти рабочих дней с даты подписания акта", + "correct_answer": "B", + "choices": [ + "Продажа билетов на киносеансы онлайн", + "Невыплата зарплаты сотрудникам в течение 6 месяцев.", + "В течение семи рабочих дней с даты подписания акта", + "В течение десяти рабочих дней с даты подписания акта", + "Наличие задолженности перед одним кредитором более 1 миллион рублей.", + "Почтовые отправления", + "В течение трех рабочих дней с даты подписания акта", + "Не реже одного раза в два года", + "Усиленной квалифицированной электронной подписью", + "Неквалифицированной электронной подписью", + "Не реже одного раза в три месяца", + "В течение пяти рабочих дней с даты подписания акта" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКакой срок установлен для вручения акта проверки лицу, в отнош��нии которого проводилась проверка, согласно статье 26.19 Федерального закона \"Об обязательном социальном страховании от несчастных случаев на производстве и профессиональных заболеваний\" N 125-ФЗ?\nA. Продажа билетов на киносеансы онлайн\nB. Невыплата зарплаты сотрудникам в течение 6 месяцев.\nC. В течение семи рабочих дней с даты подписания акта\nD. В течение десяти рабочих дней с даты подписания акта\nE. Наличие задолженности перед одним кредитором более 1 миллион рублей.\nF. Почтовые отправления\nG. В течение трех рабочих дней с даты подписания акта\nH. Не реже одного раза в два года\nI. Усиленной квалифицированной электронной подписью\nJ. Неквалифицированной электронной подписью\nK. Не реже одного раза в три месяца\nL. В течение пяти рабочих дней с даты подписания акта\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 207, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0025125890970230103, + "B": 0.015391474589705467, + "C": 0.008769798092544079, + "D": 0.8403460383415222, + "E": 0.025376250967383385, + "F": 0.04740907996892929, + "G": 0.022394463419914246, + "H": 0.009335401467978954, + "I": 0.0006352820200845599, + "J": 0.00236035929992795, + "K": 0.004409731365740299, + "L": 0.0012634091544896364 + }, + "sample": { + "question": "Как часто юридическое лицо обязано обновлять информацию о своих бенефициарных владельцах согласно статье 6.1 Федерального закона \"О противодействии легализации (отмыванию) доходов, полученных преступным путем, и финансированию терроризма\" N 115-ФЗ?", + "answerA": "Не реже одного раза в три месяца", + "answerB": "Не реже одного раза в два года", + "answerC": "Не реже одного раза в год", + "answerD": "Не реже одного раза в пять лет", + "correct_answer": "Не реже одного раза в год", + "choices": [ + "Наличие задолженности перед одним кредитором более 1 миллион рублей.", + "Неквалифицированной электронной подписью", + "Продажа билетов на киносеансы онлайн", + "Не реже одного раза в пять лет", + "Не реже одного раза в три месяца", + "Не реже одного раза в два года", + "Ограничение скорости движения в населенных пунктах", + "Не реже одного раза в год", + "Усиленной квалифицированной электронной подписью", + "Почтовые отправления", + "Личный кабинет", + "Невыплата зарплаты сотрудникам в течение 6 месяцев." + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКак часто юридическое лицо обязано обновлять информацию о своих бенефициарных владельцах согласно статье 6.1 Федерального закона \"О противодействии легализации (отмыванию) доходов, полученных преступным путем, и финансированию терроризма\" N 115-ФЗ?\nA. Наличие задолженности перед одним кредитором более 1 миллион рублей.\nB. Неквалифицированной электронной подписью\nC. Продажа билетов на киносеансы онлайн\nD. Не реже одного раза в пять лет\nE. Не реже одного раза в три месяца\nF. Не реже одного ра��а в два года\nG. Ограничение скорости движения в населенных пунктах\nH. Не реже одного раза в год\nI. Усиленной квалифицированной электронной подписью\nJ. Почтовые отправления\nK. Личный кабинет\nL. Невыплата зарплаты сотрудникам в течение 6 месяцев.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 196, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.033603131771087646, + "B": 0.0021481765434145927, + "C": 0.0022867219522595406, + "D": 0.003541744314134121, + "E": 0.7648037672042847, + "F": 0.006616848986595869, + "G": 0.00484099006280303, + "H": 0.017986461520195007, + "I": 0.00962745863944292, + "J": 0.00849620345979929, + "K": 0.0033271608408540487, + "L": 0.00013732831575907767 + }, + "sample": { + "question": "Что является условием для признания кредитной организации банкротом согласно Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ, статье 189.64?", + "answerA": "Наличие задолженности перед одним кредитором более 1 миллион рублей.", + "answerB": "Невыплата зарплаты сотрудникам в течение 6 месяцев.", + "answerC": "Сумма требований к кредитной организации составляет не менее ста тысяч рублей и требования не исполнены в 14 дней.", + "answerD": "Полное отсутствие денежных средств на счетах кредитной организации.", + "correct_answer": "C", + "choices": [ + "Полное отсутствие денежных средств на счетах кредитной организации.", + "Прерывание рекламой демонстрации фильма", + "Обязанность владельцев транспортных средств осуществлять обязательное страхование своей гражданской ответственности", + "За участие в международных финансовых операциях без специального разрешения", + "Сумма требований к кредитной организации составляет не менее ста тысяч рублей и требования не исполнены в 14 дней.", + "Почтовые отправления", + "Продажа билетов на киносеансы онлайн", + "По усмотрению государственных контрольных органов и служб", + "Наличие задолженности перед одним кредитором более 1 миллион рублей.", + "Невыплата зарплаты сотрудникам в течение 6 месяцев.", + "Ограничение скорости движения в населенных пунктах", + "Личный кабинет" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nЧто является условием для признания кредитной организации банкротом согласно Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ, статье 189.64?\nA. Полное отсутствие денежных средств на счетах кредитной организации.\nB. Прерывание рекламой демонстрации фильма\nC. Обязанность владельцев транспортных средств осуществлять обязательное страхование своей гражданской ответственности\nD. За участие в международных финансовых операциях без специального разрешения\nE. Сумма требований к кредитной организации составляет не менее ста тысяч рублей и требования не исполнены в 14 дней.\nF. Почтовые отправления\nG. Продажа билетов на киносеансы онлайн\nH. По усмотрению государственных контрольных органов и служб\nI. Наличие задолженности перед одним кредитором более 1 миллион рублей.\nJ. Невыплата зарплаты сотрудникам в течение 6 месяцев.\nK. Ограничение скорости движения в населенных пунктах\nL. Личный кабинет\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 211, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.12462758272886276, + "B": 0.01686650700867176, + "C": 0.33877286314964294, + "D": 0.027808168902993202, + "E": 0.10998344421386719, + "F": 0.03151078149676323, + "G": 0.08565519005060196, + "H": 0.01686650700867176, + "I": 0.019112257286906242, + "J": 0.04584791883826256, + "K": 0.021657023578882217, + "L": 0.001892369706183672 + }, + "sample": { + "question": "Через какие способы осуществляется обмен документами и (или) сведениями в электронной форме между таможенными органами и заинтересованными лицами в соответствии со Статьей 282 Федерального закона \"О таможенном регулировании в Российской Федерации\"?", + "answerA": "Почтовые отправления", + "answerB": "Личный кабинет", + "answerC": "Информационные стенды", + "answerD": "Телеграммы", + "correct_answer": "B", + "choices": [ + "Почтовые отправления", + "Прерывание рекламой демонстрации фильма", + "Личный кабинет", + "Ограничение скорости движения в населенных пунктах", + "Время работы определяется начальником таможенного органа в соответствии с законодательством Российской Федерации.", + "По усмотрению государственных контрольных органов и служб", + "Продажа билетов на киносеансы онлайн", + "За участие в международных финансовых операциях без специального разрешения", + "Только путем изменения юридического адреса организации", + "Телеграммы", + "Информационные стенды", + "Обязанность владельцев транспортных средств осуществлять обязательное страхование своей гражданской ответственности" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nЧерез какие способы осуществляется обмен документами и (или) сведениями в электронной форме между таможенными органами и заинтересованными лицами в соответствии со Статьей 282 Федерального закона \"О таможенном регулировании в Российской Федерации\"?\nA. Почтовые отправления\nB. Прерывание рекламой демонстрации фильма\nC. Личный кабинет\nD. Ограничение скорости движения в населенных пунктах\nE. Время работы определяется начальником таможенного органа в соответствии с законодательством Российской Федерации.\nF. По усмотрению государственных контрольных органов и служб\nG. Продажа билетов на киносеансы онлайн\nH. За участие в международных финансовых операциях без специального разрешения\nI. Только путем изменения юридического адреса организации\nJ. Телеграммы\nK. Информационные стенды\nL. Обязанность владельцев транспортных средств осуществлять обязательное страхование своей гражданской ответственности\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 195, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.030756132677197456, + "B": 0.05746002495288849, + "C": 0.15619254112243652, + "D": 0.0737801343202591, + "E": 0.03273973613977432, + "F": 0.0447499118745327, + "G": 0.09473557025194168, + "H": 0.022501667961478233, + "I": 0.009985055774450302, + "J": 0.09473557025194168, + "K": 0.17698934674263, + "L": 0.0030452697537839413 + }, + "sample": { + "question": "Что не допускается при кино- и видеообслуживании согласно Статье 17 Федерального закона \"О рекламе\" N 38-ФЗ?", + "answerA": "Продажа билетов на киносеансы онлайн", + "answerB": "Прерывание рекламой демонстрации фильма", + "answerC": "Показ рекламы до начала кинопоказа", + "answerD": "Предоставление скидок на попкорн при покупке билета", + "correct_answer": "Прерывание рекламой демонстрации фильма", + "choices": [ + "Предоставление скидок на попкорн при покупке билета", + "Обязанность владельцев транспортных средств осуществлять обязательное страхование своей гражданской ответственности", + "Показ рекламы до начала кинопоказа", + "Продажа билетов на киносеансы онлайн", + "Только путем изменения юридического адреса организации", + "По усмотрению государственных контрольных органов и служб", + "Ограничение скорости движения в населенных пунктах", + "Деятельность по учету ценных бумаг", + "Время работы определяется начальником таможенного органа в соответствии с законодательством Российской Федерации.", + "Прерывание рекламой демонстрации фильма", + "В случае неоднократного нарушения в течение одного года требований нормативных актов Банка России, изданных в соответствии с Федеральным законом 'О специальных экономических мерах и принудительных мерах'", + "За участие в международных финансовых операциях без специального разрешения" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nЧто не допускается при кино- и видеообслуживании согласно Статье 17 Федерального закона \"О рекламе\" N 38-ФЗ?\nA. Предоставление скидок на попкорн при покупке билета\nB. Обязанность владельцев транспортных средств осуществлять обязательное страхование своей гражданской ответственности\nC. Показ рекламы до начала кинопоказа\nD. Продажа билетов на киносеансы онлайн\nE. Только путем изменения юридического адреса организации\nF. По усмотрению государственных контрольных органов и служб\nG. Ограничение скорости движения в населенных пунктах\nH. Деятельность по учету ценных бумаг\nI. Время работы определяется начальником таможенного органа в соответствии с законодательством Российской Федерации.\nJ. Прерывание рекламой демонстрации фильма\nK. В случае неоднократного нарушения в течение одного года требований нормативных актов Банка России, изданных в соответствии с Федеральным законом 'О специальных эко��омических мерах и принудительных мерах'\nL. За участие в международных финансовых операциях без специального разрешения\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 224, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0038456711918115616, + "B": 0.028415881097316742, + "C": 0.003188173286616802, + "D": 0.00982026569545269, + "E": 0.023557592183351517, + "F": 0.020789504051208496, + "G": 0.03648671507835388, + "H": 0.020789504051208496, + "I": 0.05308785289525986, + "J": 0.6467424631118774, + "K": 0.0991811752319336, + "L": 0.006749363616108894 + }, + "sample": { + "question": "Какое основное изменение вносится статьей 25 Федерального закона N 170-ФЗ \"О техническом осмотре транспортных средств и о внесении изменений в отдельные законодательные акты Российской Федерации\" в Федеральный закон \"О безопасности дорожного движения\"?", + "answerA": "Ограничение скорости движения в населенных пунктах", + "answerB": "Обязанность владельцев транспортных средств осуществлять обязательное страхование своей гражданской ответственности", + "answerC": "Введение новых правил парковки транспортных средств", + "answerD": "Запрет на использование тонированных стекол без разрешения", + "correct_answer": "answerB", + "choices": [ + "За участие в международных финансовых операциях без специального разрешения", + "В случае неоднократного нарушения в течение одного года требований нормативных актов Банка России, изданных в соответствии с Федеральным законом 'О специальных экономических мерах и принудительных мерах'", + "Введение новых правил парковки транспортных средств", + "Деятельность по учету ценных бумаг", + "Запрет на использование тонированных стекол без разрешения", + "Ограничение скорости движения в населенных пунктах", + "Только путем изменения юридического адреса организации", + "По усмотрению государственных контрольных органов и служб", + "Путем изменения состава и численности работников финансовой организации", + "Обязанность владельцев транспортных средств осуществлять обязательное страхование своей гражданской ответственности", + "Время работы определяется начальником таможенного органа в соответствии с законодательством Российской Федерации.", + "С 1 января 2015 года" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКакое основное изменение вносится статьей 25 Федерального закона N 170-ФЗ \"О техническом осмотре транспортных средств и о внесении изменений в отдельные законодательные акты Российской Федерации\" в Федеральный закон \"О безопасности дорожного движения\"?\nA. За участие в международных финансовых операциях без специального разрешения\nB. В случае неоднократного нарушения в течение одного года требований нормативных актов Банка России, изданных в соответствии с Федеральным законом 'О специальных экономических мерах и принудительных мерах'\nC. Введение новых правил парковки транспортных средств\nD. Деятельность по учету ценных бумаг\nE. Запрет на использование тонированных стекол без разрешения\nF. Ограничение скорости движения в населенных пунктах\nG. Только путем изменения юридического адреса организации\nH. По усмотрению государственных контрольных органов и служб\nI. Путем изменения состава и численности работников финансовой организации\nJ. Обязанность владельцев транспортных средств осуществлять обязательное страхование своей гражданской ответственности\nK. Время работы определяется начальником таможенного органа в соответствии с законодательством Российской Федерации.\nL. С 1 января 2015 года\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 239, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.002356118056923151, + "B": 0.008754040114581585, + "C": 0.08841267973184586, + "D": 0.017409488558769226, + "E": 0.004987902007997036, + "F": 0.006817653309553862, + "G": 0.5765230655670166, + "H": 0.006404593121260405, + "I": 0.00040943193016573787, + "J": 0.0015212241560220718, + "K": 0.14576786756515503, + "L": 0.00020587528706528246 + }, + "sample": { + "question": "Как определяется время работы таможенного органа согласно Федеральному закону \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?", + "answerA": "По усмотрению государственных контрольных органов и служб", + "answerB": "Время работы определяется начальником таможенного органа в соответствии с законодательством Российской Федерации.", + "answerC": "Следует за режимом работы пунктов пропуска сопредельных государств", + "answerD": "Стандартное время работы с 9 до 18 без выходных", + "correct_answer": "answerB", + "choices": [ + "Следует за режимом работы пунктов пропуска сопредельных государств", + "В случае неоднократного нарушения в течение одного года требований нормативных актов Банка России, изданных в соответствии с Федеральным законом 'О специальных экономических мерах и принудительных мерах'", + "Женщины, занимающие руководящие должности в коммерческих организациях.", + "Путем изменения состава и численности работников финансовой организации", + "С 1 января 2015 года", + "Стандартное время работы с 9 до 18 без выходных", + "Время работы определяется начальником таможенного органа в соответствии с законодательством Российской Федерации.", + "Деятельность по учету ценных бумаг", + "Деятельность по исполнению поручений клиента на совершение гражданско-правовых сделок с ценными бумагами и/или на заключение договоров, являющихся производными финансовыми инструментами", + "По усмотрению государственных контрольных органов и служб", + "За участие в международных финансовых операциях без специально��о разрешения", + "Только путем изменения юридического адреса организации" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКак определяется время работы таможенного органа согласно Федеральному закону \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?\nA. Следует за режимом работы пунктов пропуска сопредельных государств\nB. В случае неоднократного нарушения в течение одного года требований нормативных актов Банка России, изданных в соответствии с Федеральным законом 'О специальных экономических мерах и принудительных мерах'\nC. Женщины, занимающие руководящие должности в коммерческих организациях.\nD. Путем изменения состава и численности работников финансовой организации\nE. С 1 января 2015 года\nF. Стандартное время работы с 9 до 18 без выходных\nG. Время работы определяется начальником таможенного органа в соответствии с законодательством Российской Федерации.\nH. Деятельность по учету ценных бумаг\nI. Деятельность по исполнению поручений клиента на совершение гражданско-правовых сделок с ценными бумагами и/или на заключение договоров, являющихся производными финансовыми инструментами\nJ. По усмотрению государственных контрольных органов и служб\nK. За участие в международных финансовых операциях без специального разрешения\nL. Только путем изменения юридического адреса организации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 262, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.13521869480609894, + "B": 0.011099426075816154, + "C": 0.014251945540308952, + "D": 0.01257729809731245, + "E": 0.5348002910614014, + "F": 0.002476616995409131, + "G": 0.0040832506492733955, + "H": 0.011099426075816154, + "I": 0.0043465979397296906, + "J": 0.0063242618925869465, + "K": 0.0031800386495888233, + "L": 0.0009698570356704295 + }, + "sample": { + "question": "По какой причине Банк России может аннулировать лицензию на осуществление профессиональной деятельности на рынке ценных бумаг, согласно статье 39.1 Федерального закона 'О рынке ценных бумаг' N 39-ФЗ?", + "answerA": "За участие в международных финансовых операциях без специального разрешения", + "answerB": "В случае неоднократного нарушения в течение одного года требований нормативных актов Банка России, изданных в соответствии с Федеральным законом 'О специальных экономических мерах и принудительных мерах'", + "answerC": "За нарушение условий конфиденциальности информации клиентов", + "answerD": "В случае совершения банкротства профессионального участника рынка ценных бумаг", + "correct_answer": "B", + "choices": [ + "В случае совершения банкротства профессионального участника рынка ценных бумаг", + "За нарушение условий конфиденциальности информации клиентов", + "С 1 января 2018 года", + "С 1 января 2012 года", + "В случае неоднократного нарушения в течение одного года требований нормативных актов Банка России, изданных в соответствии с Федеральным законом 'О специальных экономических мерах и принудительных мерах'", + "С 1 января 2015 года", + "За участие в международных финансовых операциях без специального разрешения", + "Деятельность по исполнению поручений клиента на совершение гражданско-правовых сделок с ценными бумагами и/или на заключение договоров, являющихся производными финансовыми инструментами", + "Путем изменения состава и численности работников финансовой организации", + "Деятельность по учету ценных бумаг", + "Женщины, занимающие руководящие должности в коммерческих организациях.", + "Только путем изменения юридического адреса организации" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nПо какой причине Банк России может аннулировать лицензию на осуществление профессиональной деятельности на рынке ценных бумаг, согласно статье 39.1 Федерального закона 'О рынке ценных бумаг' N 39-ФЗ?\nA. В случае совершения банкротства профессионального участника рынка ценных бумаг\nB. За нарушение условий конфиденциальности информации клиентов\nC. С 1 января 2018 года\nD. С 1 января 2012 года\nE. В случае неоднократного нарушения в течение одного года требований нормативных актов Банка России, изданных в соответствии с Федеральным законом 'О специальных экономических мерах и принудительных мерах'\nF. С 1 января 2015 года\nG. За участие в международных финансовых операциях без специального разрешения\nH. Деятельность по исполнению поручений клиента на совершение гражданско-правовых сделок с ценными бумагами и/или на заключение договоров, являющихся производными финансовыми инструментами\nI. Путем изменения состава и численности работников финансовой организации\nJ. Деятельность по учету ценных бумаг\nK. Женщины, занимающие руководящие должности в коммерческих организациях.\nL. Только путем изменения юридического адреса организации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 250, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.07162803411483765, + "B": 0.049229178577661514, + "C": 0.091972216963768, + "D": 0.08116520196199417, + "E": 0.04344460368156433, + "F": 0.06321152299642563, + "G": 0.11809466779232025, + "H": 0.11809466779232025, + "I": 0.023254217579960823, + "J": 0.091972216963768, + "K": 0.11809466779232025, + "L": 0.03833972290158272 + }, + "sample": { + "question": "Каким образом может осуществляться изменение организационной структуры финансовой организации согласно статье 183.4 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?", + "answerA": "Только путем изменения юридического адреса организации", + "answerB": "Путем изменения состава и численности работников финансовой организации", + "answerC": "Заключением новых договоров с третьими ��торонами, не затрагивая структуру организации", + "answerD": "Исключительно путем изменения названия финансовой организации", + "correct_answer": "answerB", + "choices": [ + "С 1 января 2018 года", + "Деятельность по исполнению поручений клиента на совершение гражданско-правовых сделок с ценными бумагами и/или на заключение договоров, являющихся производными финансовыми инструментами", + "После проведения аукциона о праве на строительство.", + "Исключительно путем изменения названия финансовой организации", + "Заключением новых договоров с третьими сторонами, не затрагивая структуру организации", + "Только путем изменения юридического адреса организации", + "Путем изменения состава и численности работников финансовой организации", + "Женщины, занимающие руководящие должности в коммерческих организациях.", + "Женщины, подлежащие обязательному социальному страхованию, в т.ч. уволенные в связи с ликвидацией организаций или прекращением деятельности как ИП.", + "Деятельность по учету ценных бумаг", + "С 1 января 2015 года", + "С 1 января 2012 года" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКаким образом может осуществляться изменение организационной структуры финансовой организации согласно статье 183.4 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?\nA. С 1 января 2018 года\nB. Деятельность по исполнению поручений клиента на совершение гражданско-правовых сделок с ценными бумагами и/или на заключение договоров, являющихся производными финансовыми инструментами\nC. После проведения аукциона о праве на строительство.\nD. Исключительно путем изменения названия финансовой организации\nE. Заключением новых договоров с третьими сторонами, не затрагивая структуру организации\nF. Только путем изменения юридического адреса организации\nG. Путем изменения состава и численности работников финансовой организации\nH. Женщины, занимающие руководящие должности в коммерческих организациях.\nI. Женщины, подлежащие обязательному социальному страхованию, в т.ч. уволенные в связи с ликвидацией организаций или прекращением деятельности как ИП.\nJ. Деятельность по учету ценных бумаг\nK. С 1 января 2015 года\nL. С 1 января 2012 года\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 247, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.004353004042059183, + "B": 0.939987063407898, + "C": 0.005589366890490055, + "D": 0.004353004042059183, + "E": 0.0009124390780925751, + "F": 0.00026141820126213133, + "G": 0.0009712863829918206, + "H": 0.00020359267364256084, + "I": 1.3854655662726145e-05, + "J": 0.00013992706954013556, + "K": 4.8357505875173956e-05, + "L": 1.0790017768158577e-05 + }, + "sample": { + "question": "Какова основная суть брокерской деятельности, согласно Федеральному закону 'О рынке ценных бумаг' N 39-ФЗ?", + "answerA": "Деятельность по учету ценных бумаг", + "answerB": "Деятельность по исполнению поручений клиента на совершение гражданско-правовых сделок с ценными бумагами и/или на заключение договоров, являющихся производными финансовыми инструментами", + "answerC": "Деятельность по консультации клиентов по вопросам налогообложения доходов от операций с ценными бумагами", + "answerD": "Деятельность по предоставлению клиентам информации о состоянии рынка ценных бумаг", + "correct_answer": "Деятельность по исполнению поручений клиента на совершение гражданско-правовых сделок с ценными бумагами и/или на заключение договоров, являющихся производными финансовыми инструментами", + "choices": [ + "С 1 января 2015 года", + "Деятельность по исполнению поручений клиента на совершение гражданско-правовых сделок с ценными бумагами и/или на заключение договоров, являющихся производными финансовыми инструментами", + "Женщины, занимающие руководящие должности в коммерческих организациях.", + "С 1 января 2018 года", + "Федеральный закон от 21 ноября 2011 года N 323-ФЗ \"Об основах охраны здоровья граждан в Российской Федерации\"", + "Женщины, подлежащие обязательному социальному страхованию, в т.ч. уволенные в связи с ликвидацией организаций или прекращением деятельности как ИП.", + "С 1 января 2012 года", + "Деятельность по предоставлению клиентам информации о состоянии рынка ценных бумаг", + "С 1 сентября 2011 года", + "Деятельность по консультации клиентов по вопросам налогообложения доходов от операций с ценными бумагами", + "Деятельность по учету ценных бумаг", + "После проведения аукциона о праве на строительство." + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКакова основная суть брокерской деятельности, согласно Федеральному закону 'О рынке ценных бумаг' N 39-ФЗ?\nA. С 1 января 2015 года\nB. Деятельность по исполнению поручений клиента на совершение гражданско-правовых сделок с ценными бумагами и/или на заключение договоров, являющихся производными финансовыми инструментами\nC. Женщины, занимающие руководящие должности в коммерческих организациях.\nD. С 1 января 2018 года\nE. Федеральный закон от 21 ноября 2011 года N 323-ФЗ \"Об основах охраны здоровья граждан в Российской Федерации\"\nF. Женщины, подлежащие обязательному социальному страхованию, в т.ч. уволенные в связи с ликвидацией организаций или прекращением деятельности как ИП.\nG. С 1 января 2012 года\nH. Деятельность по предоставлению клиентам информации о состоянии рынка ценных бумаг\nI. С 1 сентября 2011 года\nJ. Деятельность по консультации клиентов по вопросам налогообложения доходов от операций с ценными бумагами\nK. Деятельность по учету ценных бумаг\nL. После проведения аукциона о праве на строительство.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 264, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.17165254056453705, + "B": 0.07155542820692062, + "C": 0.05572741851210594, + "D": 0.2830072045326233, + "E": 0.0918789878487587, + "F": 0.043400563299655914, + "G": 0.029828738421201706, + "H": 0.029828738421201706, + "I": 0.026323769241571426, + "J": 0.06314744055271149, + "K": 0.043400563299655914, + "L": 0.029828738421201706 + }, + "sample": { + "question": "С какой даты возникает право на получение ежемесячной выплаты в связи с рождением (усыновлением) первого ребенка согласно Федеральному закону \"О ежемесячных выплатах семьям, имеющим детей\" N 418-ФЗ?", + "answerA": "С 1 января 2015 года", + "answerB": "С 1 января 2018 года", + "answerC": "С 1 июля 2020 года", + "answerD": "С 1 января 2023 года", + "correct_answer": "С 1 января 2018 года", + "choices": [ + "С 1 сентября 2011 года", + "С 1 июля 2020 года", + "Женщины, занимающие руководящие должности в коммерческих организациях.", + "С 1 июня 2012 года", + "С 1 января 2023 года", + "С 1 января 2015 года", + "Женщины, подлежащие обязательному социальному страхованию, в т.ч. уволенные в связи с ликвидацией организаций или прекращением деятельности как ИП.", + "После проведения аукциона о праве на строительство.", + "В связи с созданием объектов недвижимости, если предусмотрена эксплуатация как единого недвижимого комплекса.", + "С 1 января 2018 года", + "Федеральный закон от 21 ноября 2011 года N 323-ФЗ \"Об основах охраны здоровья граждан в Российской Федерации\"", + "С 1 января 2012 года" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nС какой даты возникает право на получение ежемесячной выплаты в связи с рождением (усыновлением) первого ребенка согласно Федеральному закону \"О ежемесячных выплатах семьям, имеющим детей\" N 418-ФЗ?\nA. С 1 сентября 2011 года\nB. С 1 июля 2020 года\nC. Женщины, занимающие руководящие должности в коммерческих организациях.\nD. С 1 июня 2012 года\nE. С 1 января 2023 года\nF. С 1 января 2015 года\nG. Женщины, подлежащие обязательному социальному страхованию, в т.ч. уволенные в связи с ликвидацией организаций или прекращением деятельности как ИП.\nH. После проведения аукциона о праве на строительство.\nI. В связи с созданием объектов недвижимости, если предусмотрена эксплуатация как единого недвижимого комплекса.\nJ. С 1 января 2018 года\nK. Федеральный закон от 21 ноября 2011 года N 323-ФЗ \"Об основах охраны здоровья граждан в Российской Федерации\"\nL. С 1 января 2012 года\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 269, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.06863533705472946, + "B": 0.05345325544476509, + "C": 0.5746766328811646, + "D": 0.04717233404517174, + "E": 0.022282632067799568, + "F": 0.013515099883079529, + "G": 0.032421041280031204, + "H": 0.013515099883079529, + "I": 0.004670694004744291, + "J": 0.004971927031874657, + "K": 0.04162943735718727, + "L": 0.0018290699226781726 + }, + "sample": { + "question": "Какие категории женщин имеют право на пособие по беременности и родам в соответствии с Федеральным законом 'О государственных пособиях гражданам, имеющим детей' N 81-ФЗ?", + "answerA": "Женщины, занимающие руководящие должности в коммерческих организациях.", + "answerB": "Женщины, подлежащие обязательному социальному страхованию, в т.ч. уволенные в связи с ликвидацией организаций или прекращением деятельности как ИП.", + "answerC": "Женщины, работающие исключительно удаленно на зарубежные компании без формального оформления.", + "answerD": "Все женщины автоматически, независимо от их социального и трудового статуса.", + "correct_answer": "answerB", + "choices": [ + "С 1 июня 2012 года", + "С 1 января 2012 года", + "Женщины, подлежащие обязательному социальному страхованию, в т.ч. уволенные в связи с ликвидацией организаций или прекращением деятельности как ИП.", + "Женщины, работающие исключительно удаленно на зарубежные компании без формального оформления.", + "Женщины, занимающие руководящие должности в коммерческих организациях.", + "Федеральный закон от 21 ноября 2011 года N 323-ФЗ \"Об основах охраны здоровья граждан в Российской Федерации\"", + "С 1 сентября 2011 года", + "Федеральный закон от 20 июля 1995 года N 115-ФЗ \"О государственном прогнозировании и программах социально-экономического развития Российской Федерации\"", + "За 30 дней", + "После проведения аукциона о праве на строительство.", + "Все женщины автоматически, независимо от их социального и трудового статуса.", + "В связи с созданием объектов недвижимости, если предусмотрена эксплуатация как единого недвижимого комплекса." + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКакие категории женщин имеют право на пособие по беременности и родам в соответствии с Федеральным законом 'О государственных пособиях гражданам, имеющим детей' N 81-ФЗ?\nA. С 1 июня 2012 года\nB. С 1 января 2012 года\nC. Женщины, подлежащие обязательному социальному страхованию, в т.ч. уволенные в связи с ликвидацией организаций или прекращением деятельности как ИП.\nD. Женщины, работающие исключительно удаленно на зарубежные компании без формального оформления.\nE. Женщины, занимающие руководящие должности в коммерческих организациях.\nF. Федеральный закон от 21 ноября 2011 года N 323-ФЗ \"Об основах охраны здоровья граждан в Российской Федерации\"\nG. С 1 сентября 2011 года\nH. Федеральный закон от 20 июля 1995 года N 115-ФЗ \"О государственном прогнозировании и программах социально-экономического развития Российской Федерации\"\nI. За 30 дней\nJ. После проведения аукциона о праве на строительство.\nK. Все женщины автоматически, независимо от их социального и трудового статуса.\nL. В связи с созданием объектов недвижимости, если предусмотрена эксплуатация как единого недвижимого комплекса.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 278, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.35380420088768005, + "B": 0.10136660933494568, + "C": 0.10136660933494568, + "D": 0.14748753607273102, + "E": 0.047882191836833954, + "F": 0.03729068860411644, + "G": 0.03290891647338867, + "H": 0.05425763502717018, + "I": 0.005372233223170042, + "J": 0.025629492476582527, + "K": 0.01137301791459322, + "L": 0.013718477450311184 + }, + "sample": { + "question": "С какой даты нормативные правовые акты РФ и нормативные документы федеральных органов исполнительной власти, содержащие требования к продукции и не опубликованные в установленном порядке, могут применяться только на добровольной основе, согласно Федеральному закону 'О техническом регулировании' N 184-ФЗ?", + "answerA": "С 1 января 2012 года", + "answerB": "С 1 сентября 2011 года", + "answerC": "С 1 июля 2010 года", + "answerD": "С 1 мая 2007 года", + "correct_answer": "С 1 сентября 2011 года", + "choices": [ + "С 1 сентября 2011 года", + "За 30 дней", + "Федеральный закон от 20 июля 1995 года N 115-ФЗ \"О государственном прогнозировании и программах социально-экономического развития Российской Федерации\"", + "С 1 мая 2007 года", + "Федеральный закон от 21 ноября 2011 года N 323-ФЗ \"Об основах охраны здоровья граждан в Российской Федерации\"", + "С 1 июня 2012 года", + "Федеральный закон \"О митингах, митингах, демонстрациях, шествиях и пикетированиях\"", + "С 1 июля 2010 года", + "После проведения аукциона о праве на строительство.", + "С 1 января 2012 года", + "В связи с созданием объектов недвижимости, если предусмотрена эксплуатация как единого недвижимого комплекса.", + "С 1 сентября 2013 года" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nС какой даты нормативные правовые акты РФ и нормативные документы федеральных органов исполнительной власти, содержащие требования к продукции и не опубликованные в установленном порядке, могут применяться только на добровольной основе, согласно Федеральному закону 'О техническом регулировании' N 184-ФЗ?\nA. С 1 сентября 2011 года\nB. За 30 дней\nC. Федеральный закон от 20 июля 1995 года N 115-ФЗ \"О государственном прогнозировании и программах социально-экономического развития Российской Федерации\"\nD. С 1 мая 2007 года\nE. Федеральный закон от 21 ноября 2011 года N 323-ФЗ \"Об основах охраны здоровья граждан в Российской Федерации\"\nF. С 1 июня 2012 года\nG. Федеральный закон \"О митингах, митингах, демонстрациях, шествиях и пикетированиях\"\nH. С 1 июля 2010 года\nI. После проведения аукциона о праве на строительство.\nJ. С 1 января 2012 года\nK. В связи с созданием объектов недвижимости, если предусмотрена эксплуатация как единого недвижимого комплекса.\nL. С 1 сентября 2013 года\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 285, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0005717434105463326, + "B": 0.0021242843940854073, + "C": 0.016708791255950928, + "D": 0.0061468202620744705, + "E": 0.00100344093516469, + "F": 0.002562376204878092, + "G": 0.0013715411769226193, + "H": 0.002562376204878092, + "I": 0.0004739919095300138, + "J": 0.0054245502687990665, + "K": 0.8050746321678162, + "L": 0.0015541596803814173 + }, + "sample": { + "question": "Как осуществляется государственный кадастровый учет и регистрация права собственности на единый недвижимый комплекс согласно статье 46 Федерального закона \"О государственной регистрации недвижимости\" N 218-ФЗ?", + "answerA": "После проведения аукциона о праве на строительство.", + "answerB": "В связи с созданием объектов недвижимости, если предусмотрена эксплуатация как единого недвижимого комплекса.", + "answerC": "После согласования в муниципальных органах.", + "answerD": "Только после полной оплаты всех налогов связанных с недвижимостью.", + "correct_answer": "B", + "choices": [ + "Федеральный закон от 21 ноября 2011 года N 323-ФЗ \"Об основах охраны здоровья граждан в Российской Федерации\"", + "За 60 дней", + "После проведения аукциона о праве на строительство.", + "Только после полной оплаты всех налогов связанных с недвижимостью.", + "За 30 дней", + "С 1 сентября 2013 года", + "Федеральный закон \"О митингах, митингах, демонстрациях, шествиях и пикетированиях\"", + "После согласования в муниципальных органах.", + "Федеральный закон от 20 июля 1995 года N 115-ФЗ \"О государственном прогнозировании и программах социально-экономического развития Российской Федерации\"", + "С 1 июня 2012 года", + "В связи с созданием объектов недвижимости, если предусмотрена эксплуатация как единого недвижимого комплекса.", + "Немедленно приступить к применению мер без предварительных предупреждений" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКак осуществляется государственный кадастровый учет и регистрация права собственности на единый недвижимый комплекс согласно статье 46 Федерального закона \"О государственной регистрации недвижимости\" N 218-ФЗ?\nA. Федеральный закон от 21 ноября 2011 года N 323-ФЗ \"Об основах охраны здоровья граждан в Российской Федерации\"\nB. За 60 дней\nC. После проведения аукциона о праве на строительство.\nD. Только после полной оплаты всех налогов связанных с недвижимостью.\nE. За 30 дней\nF. С 1 сентября 2013 года\nG. Федеральный закон \"О митингах, митингах, демонстрациях, шествиях и пикетированиях\"\nH. После согласования в муниципальных органах.\nI. Федеральный закон от 20 июля 1995 года N 115-ФЗ \"О государственном прогнозировании и программах социально-экономического развития Российской Федерации\"\nJ. С 1 июня 2012 года\nK. В связи с созданием объектов недвижимости, если предусмотрена эксплуатация как единого недвижимого комплекса.\nL. Немедленно приступить к применению мер без предварительных предупреждений\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 257, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.09932530671358109, + "B": 0.07735463231801987, + "C": 0.1637597382068634, + "D": 0.1637597382068634, + "E": 0.046917952597141266, + "F": 0.028457174077630043, + "G": 0.07735463231801987, + "H": 0.06826521456241608, + "I": 0.011862716637551785, + "J": 0.046917952597141266, + "K": 0.07735463231801987, + "L": 0.025113370269536972 + }, + "sample": { + "question": "Какой Федеральный закон признан утратившим силу в соответствии с Федеральным законом \"О стратегическом планировании в Российской Федерации\" N 172-ФЗ?", + "answerA": "Федеральный закон от 21 ноября 2011 года N 323-ФЗ \"Об основах охраны здоровья граждан в Российской Федерации\"", + "answerB": "Федеральный закон от 20 июля 1995 года N 115-ФЗ \"О государственном прогнозировании и программах социально-экономического развития Российской Федерации\"", + "answerC": "Федеральный закон от 29 декабря 2012 года N 273-ФЗ \"Об образовании в Российской Федерации\"", + "answerD": "Федеральный закон от 7 февраля 2011 года N 3-ФЗ \"О полиции\"", + "correct_answer": "Федеральный закон от 20 июля 1995 года N 115-ФЗ \"О государственном прогнозировании и программах социально-экономического развития Российской Федерации\"", + "choices": [ + "С 1 сентября 2013 года", + "Федеральный закон \"О митингах, митингах, демонстрациях, шествиях и пикетированиях\"", + "За 60 дней", + "Федеральный закон от 29 декабря 2012 года N 273-ФЗ \"Об образовании в Российской Федерации\"", + "Полномочия внешнего управляющего прекращаются с момента назначения арбитражным судом нового внешнего управляющего.", + "За 30 дней", + "С 1 июня 2012 года", + "Федеральный закон от 7 февраля 2011 года N 3-ФЗ \"О полиции\"", + "Немедленно приступить к применению мер без предварительных предупреждений", + "Федеральный закон от 21 ноября 2011 года N 323-ФЗ \"Об основах охраны здоровья граждан в Российской Федерации\"", + "Федеральный закон \"О некоммерческих организациях\"", + "Федеральный закон от 20 июля 1995 года N 115-ФЗ \"О государственном прогнозировании и программах социально-экономического развития Российской Федерации\"" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКакой Федеральный закон признан утратившим силу в соответствии с Федеральным законом \"О стратегическом планировании в Российской Федерации\" N 172-ФЗ?\nA. С 1 сентября 2013 года\nB. Федеральный закон \"О митингах, митингах, демонстрациях, шествиях и пикетированиях\"\nC. За 60 дней\nD. Федеральный закон от 29 декабря 2012 года N 273-ФЗ \"Об образовании в Российской Федерации\"\nE. Полномочия внешнего управляющего прекращаются с момента назначения арбитражным судом нового внешнего управляющего.\nF. За 30 дней\nG. С 1 июня 2012 года\nH. Федеральный закон от 7 февраля 2011 года N 3-ФЗ \"О полиции\"\nI. Немедленно приступить к применению мер без предварительных предупреждений\nJ. Федеральный закон от 21 ноября 2011 года N 323-ФЗ \"Об основах охраны здоровья граждан в Российской Федерации\"\nK. Федеральный закон \"О некоммерческих организациях\"\nL. Федеральный закон от 20 июля 1995 года N 115-ФЗ \"О государственном прогнозировании и программах социально-экономического развития Российской Федерации\"\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 285, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.07121327519416809, + "B": 0.17083176970481873, + "C": 0.319155752658844, + "D": 0.09143965691328049, + "E": 0.05546094849705696, + "F": 0.04894411936402321, + "G": 0.09143965691328049, + "H": 0.0431930348277092, + "I": 0.01025924552232027, + "J": 0.020402943715453148, + "K": 0.014022725634276867, + "L": 0.0024367840960621834 + }, + "sample": { + "question": "Когда утратила силу статья 72 Федерального закона 'Об охране окружающей среды' N 7-ФЗ?", + "answerA": "С 1 июня 2012 года", + "answerB": "С 1 сентября 2013 года", + "answerC": "С 1 января 2014 года", + "answerD": "С 1 июля 2015 года", + "correct_answer": "С 1 сентября 2013 года", + "choices": [ + "Федеральный закон \"О митингах, митингах, демонстрациях, шествиях и пикетированиях\"", + "С 1 июня 2012 года", + "С 1 сентября 2013 года", + "Федеральный закон \"О некоммерческих организациях\"", + "Право на получение дополнительного образования за счет организации", + "Немедленно приступить к применению мер без предварительных предупреждений", + "Полномочия внешнего управляющего прекращаются с момента назначения арбитражным судом нового внешнего управляющего.", + "За 30 дней", + "С 1 июля 2015 года", + "Получить письменное разрешение от старшего судебного пристава", + "С 1 января 2014 года", + "За 60 дней" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКогда утратила силу статья 72 Федерального закона 'Об охране окружающей среды' N 7-ФЗ?\nA. Федеральный закон \"О митингах, митингах, демонстрациях, шествиях и пикетированиях\"\nB. С 1 июня 2012 года\nC. С 1 сентября 2013 года\nD. Федеральный закон \"О некоммерческих организациях\"\nE. Право на получение дополнительного образования за счет организации\nF. Немедленно приступить к применению мер без предварительных предупреждений\nG. Полномочия внешнего управляющего прекращаются с момента назначения арбитражным судом нового внешнего управляющего.\nH. За 30 дней\nI. С 1 июля 2015 года\nJ. Получить письменное разрешение от старшего судебного пристава\nK. С 1 января 2014 года\nL. За 60 дней\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 204, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.005044842604547739, + "B": 0.14743192493915558, + "C": 0.032896507531404495, + "D": 0.037276625633239746, + "E": 0.05423716828227043, + "F": 0.06964191049337387, + "G": 0.032896507531404495, + "H": 0.14743192493915558, + "I": 0.0011256566504016519, + "J": 0.037276625633239746, + "K": 0.019952738657593727, + "L": 0.31211337447166443 + }, + "sample": { + "question": "Согласно Федеральному закону \"О связи\" N 126-ФЗ, какой срок установлен для извещения абонента о замене абонентского номера?", + "answerA": "За 30 дней", + "answerB": "За 60 дней", + "answerC": "За 15 дней", + "answerD": "Без предварительного уведомления", + "correct_answer": "За 60 дней", + "choices": [ + "Федеральный закон \"О некоммерческих организациях\"", + "Немедленно приступить к применению мер без предварительных предупреждений", + "Полномочия внешнего управляющего прекращаются с момента назначения арбитражным судом нового внешнего управляющего.", + "За 30 дней", + "За 60 дней", + "Полномочия внешнего управляющего прекращаются после полного погашения долгов должника вне зависимости от решений арбитражного суда.", + "За 15 дней", + "Получить письменное разрешение от старшего судебного пристава", + "Федеральный закон \"О митингах, митингах, демонстрациях, шествиях и пикетированиях\"", + "Право на получение дополнительного образования за счет организации", + "В пределах срока, установленного пунктом 3 статьи 181 Кодекса Союза, и согласованного с таможенным органом", + "Без предварительного уведомления" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nСогласно Федеральному закону \"О связи\" N 126-ФЗ, какой срок установлен для извещения абонента о замене абонентского номера?\nA. Федеральный закон \"О некоммерческих организациях\"\nB. Немедленно приступить к применению мер без предварительных предупреждений\nC. Полномочия внешнего управляющего прекращаются с момента назначения арбитражным судом нового внешнего управляющего.\nD. За 30 дней\nE. За 60 дней\nF. Полномочия внешнего управляющего прекращаются после полного погашения долгов должника вне зависимости от решений арбитражного суда.\nG. За 15 дней\nH. Получить письменное разрешение от старшего судебного пристава\nI. Федеральный закон \"О митингах, митингах, демонстрациях, шествиях и пикетированиях\"\nJ. Право на получение дополнительного образования за счет организации\nK. В пределах срока, установленного пунктом 3 статьи 181 Кодекса Союза, и согласованного с таможенным органом\nL. Без предварительного уведомления\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 225, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.017681287601590157, + "B": 0.008352049626410007, + "C": 0.004199673887342215, + "D": 0.3551381826400757, + "E": 0.08979298919439316, + "F": 0.03303299471735954, + "G": 0.079242043197155, + "H": 0.03743128851056099, + "I": 0.013770201243460178, + "J": 0.27658188343048096, + "K": 0.022703222930431366, + "L": 0.0005683641065843403 + }, + "sample": { + "question": "Какой федеральный закон регулирует порядок создания, деятельности, реорганизации и (или) ликвидации политических партий в России?", + "answerA": "Федеральный закон \"О митингах, митингах, демонстрациях, шествиях и пикетированиях\"", + "answerB": "Федеральный закон \"О некоммерческих организациях\"", + "answerC": "Специальный федеральный закон", + "answerD": "Федеральный ��акон \"Об информации, информационных технологиях и о защите информации\"", + "correct_answer": "Специальный федеральный закон", + "choices": [ + "Полномочия внешнего управляющего прекращаются с момента назначения арбитражным судом нового внешнего управляющего.", + "Немедленно приступить к применению мер без предварительных предупреждений", + "Право на получение дополнительного образования за счет организации", + "Специальный федеральный закон", + "В пределах срока, установленного пунктом 3 статьи 181 Кодекса Союза, и согласованного с таможенным органом", + "Полномочия внешнего управляющего прекращаются после полного погашения долгов должника вне зависимости от решений арбитражного суда.", + "в течение пяти рабочих дней", + "Получить письменное разрешение от старшего судебного пристава", + "Федеральный закон \"О некоммерческих организациях\"", + "Федеральный закон \"О митингах, митингах, демонстрациях, шествиях и пикетированиях\"", + "Федеральный закон \"Об информации, информационных технологиях и о защите информации\"", + "Право на объединение в профессиональные союзы (ассоциации)" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКакой федеральный закон регулирует порядок создания, деятельности, реорганизации и (или) ликвидации политических партий в России?\nA. Полномочия внешнего управляющего прекращаются с момента назначения арбитражным судом нового внешнего управляющего.\nB. Немедленно приступить к применению мер без предварительных предупреждений\nC. Право на получение дополнительного образования за счет организации\nD. Специальный федеральный закон\nE. В пределах срока, установленного пунктом 3 статьи 181 Кодекса Союза, и согласованного с таможенным органом\nF. Полномочия внешнего управляющего прекращаются после полного погашения долгов должника вне зависимости от решений арбитражного суда.\nG. в течение пяти рабочих дней\nH. Получить письменное разрешение от старшего судебного пристава\nI. Федеральный закон \"О некоммерческих организациях\"\nJ. Федеральный закон \"О митингах, митингах, демонстрациях, шествиях и пикетированиях\"\nK. Федеральный закон \"Об информации, информационных технологиях и о защите информации\"\nL. Право на объединение в профессиональные союзы (ассоциации)\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 229, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.003610657062381506, + "B": 0.6072191596031189, + "C": 0.034256964921951294, + "D": 0.043986812233924866, + "E": 0.023544441908597946, + "F": 0.13548891246318817, + "G": 0.020777897909283638, + "H": 0.018336430191993713, + "I": 0.0004312315140850842, + "J": 0.023544441908597946, + "K": 0.018336430191993713, + "L": 0.0004590435710269958 + }, + "sample": { + "question": "Что обязан сделать судебный пристав перед применением физической силы, специальных средств и огнестрельного оружия согласно Федеральному закону \"О судебных приставах\" N 118-ФЗ?", + "answerA": "Немедленно приступить к применению мер без предварительных предупреждений", + "answerB": "Получить письменное разрешение от старшего судебного пристава", + "answerC": "Предупредить о намерении применить их, предоставив достаточно времени для выполнения своих требований", + "answerD": "Записать видеообращение с предупреждением и разместить его в сети Интернет", + "correct_answer": "C", + "choices": [ + "Немедленно приступить к применению мер без предварительных предупреждений", + "Предупредить о намерении применить их, предоставив достаточно времени для выполнения своих требований", + "в течение пяти рабочих дней", + "Полномочия внешнего управляющего прекращаются после полного погашения долгов должника вне зависимости от решений арбитражного суда.", + "По географическому расположению объекта", + "В течение десяти рабочих дней", + "Получить письменное разрешение от старшего судебного пристава", + "Право на объединение в профессиональные союзы (ассоциации)", + "В пределах срока, установленного пунктом 3 статьи 181 Кодекса Союза, и согласованного с таможенным органом", + "Записать видеообращение с предупреждением и разместить его в сети Интернет", + "Право на получение дополнительного образования за счет организации", + "Полномочия внешнего управляющего прекращаются с момента назначения арбитражным судом нового внешнего управляющего." + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nЧто обязан сделать судебный пристав перед применением физической силы, специальных средств и огнестрельного оружия согласно Федеральному закону \"О судебных приставах\" N 118-ФЗ?\nA. Немедленно приступить к применению мер без предварительных предупреждений\nB. Предупредить о намерении применить их, предоставив достаточно времени для выполнения своих требований\nC. в течение пяти рабочих дней\nD. Полномочия внешнего управляющего прекращаются после полного погашения долгов должника вне зависимости от решений арбитражного суда.\nE. По географическому расположению объекта\nF. В течение десяти рабочих дней\nG. Получить письменное разрешение от старшего судебного пристава\nH. Право на объединение в профессиональные союзы (ассоциации)\nI. В пределах срока, установленного пунктом 3 статьи 181 Кодекса Союза, и согласованного с таможенным органом\nJ. Записать видеообращение с предупреждением и разместить его в сети Интернет\nK. Право на получение дополнительного образования за счет организации\nL. Полномочия внешнего управляющего прекращаются с момента назначения арбитражным судом нового внешнего управляющего.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 237, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0009999459143728018, + "B": 0.07462278008460999, + "C": 0.0030800502281636, + "D": 0.01380382664501667, + "E": 0.020084450021386147, + "F": 0.8022705316543579, + "G": 0.004770474508404732, + "H": 0.009487221948802471, + "I": 0.00011219082080060616, + "J": 0.0039548627100884914, + "K": 0.001988629810512066, + "L": 0.00271813478320837 + }, + "sample": { + "question": "Каков порядок прекращения полномочий внешнего управляющего согласно Статье 123 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?", + "answerA": "Полномочия внешнего управляющего прекращаются с момента назначения арбитражным судом нового внешнего управляющего.", + "answerB": "Полномочия внешнего управляющего прекращаются после полного погашения долгов должника вне зависимости от решений арбитражного суда.", + "answerC": "Полномочия внешнего управляющего прекращаются с прекращением производства по делу о банкротстве или с принятием арбитражным судом решения о признании должника банкротом и об открытии конкурсного производства.", + "answerD": "Полномочия внешнего управляющего прекращаются только после утверждения собранием кредиторов.", + "correct_answer": "C", + "choices": [ + "в течение одного рабочего дня", + "Полномочия внешнего управляющего прекращаются с момента назначения арбитражным судом нового внешнего управляющего.", + "По географическому расположению объекта", + "Полномочия внешнего управляющего прекращаются только после утверждения собранием кредиторов.", + "в течение пяти рабочих дней", + "Полномочия внешнего управляющего прекращаются с прекращением производства по делу о банкротстве или с принятием арбитражным судом решения о признании должника банкротом и об открытии конкурсного производства.", + "Полномочия внешнего управляющего прекращаются после полного погашения долгов должника вне зависимости от решений арбитражного суда.", + "В течение десяти рабочих дней", + "Право на объединение в профессиональные союзы (ассоциации)", + "с 1 января 2012 года", + "В пределах срока, установленного пунктом 3 статьи 181 Кодекса Союза, и согласованного с таможенным органом", + "Право на получение дополнительного образования за счет организации" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКаков порядок прекращения полномочий внешнего управляющего согласно Статье 123 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?\nA. в течение одного рабочего дня\nB. Полномочия внешнего управляющего прекращаются с момента назначения арбитражным судом нового внешнего управляющего.\nC. По географическому расположению объекта\nD. Полномочия внешнего управляющего прекращаются только после утверждения собранием кредиторов.\nE. в течение пяти рабочих дней\nF. Полномочия внешнего управляющего прекращаются с прекращением производства по делу о банкротстве или с принятием арбитражным судом решения о признании должника банкротом и об открытии конкурсного производства.\nG. Полномочия внешнего управляющего прекращаются после полного погашения долгов должника вне зависимости от решений арбитражного суда.\nH. В течение десяти рабочих дней\nI. Право на объединение в профессиональные союзы (ассоциации)\nJ. с 1 января 2012 года\nK. В пределах срока, установленного пунктом 3 статьи 181 Кодекса Союза, и согласованного с таможенным органом\nL. Право на получение дополнительного образования за счет организации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 253, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.15453147888183594, + "B": 0.08271474391222, + "C": 0.07299550622701645, + "D": 0.09372808039188385, + "E": 0.10620783269405365, + "F": 0.09372808039188385, + "G": 0.05684896185994148, + "H": 0.04427401348948479, + "I": 0.12034924328327179, + "J": 0.06441830098628998, + "K": 0.014373666606843472, + "L": 0.010515999048948288 + }, + "sample": { + "question": "Какое право предоставляется работникам ведомственной охраны согласно статье 21 Федерального закона \"О ведомственной охране\" N 77-ФЗ?", + "answerA": "Право на получение дополнительного образования за счет организации", + "answerB": "Право на объединение в профессиональные союзы (ассоциации)", + "answerC": "Право на льготное пенсионное обеспечение", + "answerD": "Право на использование служебного транспорта для личных нужд", + "correct_answer": "B", + "choices": [ + "в течение одного рабочего дня", + "Право на получение дополнительного образования за счет организации", + "Регистрировать покупку имущества в военном комиссариате.", + "В течение десяти рабочих дней", + "По географическому расположению объекта", + "Право на объединение в профессиональные союзы (ассоциации)", + "Право на использование служебного транспорта для личных нужд", + "По количеству сотрудников, работающих на объекте", + "В пределах срока, установленного пунктом 3 статьи 181 Кодекса Союза, и согласованного с таможенным органом", + "с 1 января 2012 года", + "Право на льготное пенсионное обеспечение", + "в течение пяти рабочих дней" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКакое право предоставляется работникам ведомственной охраны согласно статье 21 Федерального закона \"О ведомственной охране\" N 77-ФЗ?\nA. в течение одного рабочего дня\nB. Право на получение дополнительного образования за счет организации\nC. Регистрировать покупку имущества в военном комиссариате.\nD. В течение десяти рабочих дней\nE. По географическому расположению объекта\nF. Право на объединение в профессиональные союзы (ассоциации)\nG. Право на использование служебного транспорта для личных нужд\nH. По количеству сотрудников, работающих на объекте\nI. В пределах срока, установленного пунктом 3 статьи 181 Кодекса Союза, и согласованного с таможенным органом\nJ. с 1 января 2012 года\nK. Право на льготное пенсионное обеспечение\nL. в течение пяти рабочих дней\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 189, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.008565791882574558, + "B": 0.4676763713359833, + "C": 0.36422672867774963, + "D": 0.05585597828030586, + "E": 0.010998694226145744, + "F": 0.008565791882574558, + "G": 0.018133779987692833, + "H": 0.010998694226145744, + "I": 0.0003120089240837842, + "J": 0.0024541402235627174, + "K": 0.0038010471034795046, + "L": 0.002960258163511753 + }, + "sample": { + "question": "В течение какого срока органы государственной власти и органы местного самоуправления должны направить документы в орган регистрации прав после получения запроса, согласно статье 33 Федерального закона 'О государственной регистрации недвижимости' N 218-ФЗ?", + "answerA": "в течение пяти рабочих дней", + "answerB": "в течение одного рабочего дня", + "answerC": "в течение трех рабочих дней", + "answerD": "в течение семи рабочих дней", + "correct_answer": "в течение трех рабочих дней", + "choices": [ + "с 1 января 2012 года", + "в течение пяти рабочих дней", + "в течение семи рабочих дней", + "Регистрировать покупку имущества в военном комиссариате.", + "По географическому расположению объекта", + "Подавать в военный комиссариат сведения об изменении места жительства.", + "в течение одного рабочего дня", + "По количеству сотрудников, работающих на объекте", + "Дело о банкротстве подготавливается исключительно в порядке, установленном Гражданским кодексом РФ.", + "Разработка федерального бюджета", + "с 1 января 2013 года", + "в течение трех рабочих дней" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nВ течение какого срока органы государственной власти и органы местного самоуправления должны направить документы в орган регистрации прав после получения запроса, согласно статье 33 Федерального закона 'О государственной регистрации недвижимости' N 218-ФЗ?\nA. с 1 января 2012 года\nB. в течение пяти рабочих дней\nC. в течение семи рабочих дней\nD. Регистрировать покупку имущества в военном комиссариате.\nE. По географическому расположению объекта\nF. Подавать в военный комиссариат сведения об изменении места жительства.\nG. в течение одного рабочего дня\nH. По количеству сотрудников, работающих на объекте\nI. Дело о банкротстве подготавливается исключительно в порядке, установленном Гражданским кодексом РФ.\nJ. Разработка федерального бюджета\nK. с 1 января 2013 года\nL. в течение трех рабочих дней\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 192, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.004103257320821285, + "B": 0.001104376744478941, + "C": 0.0028201246168464422, + "D": 0.00984320230782032, + "E": 0.014321774244308472, + "F": 0.0006698382785543799, + "G": 0.000629254849627614, + "H": 0.0015095040434971452, + "I": 0.8860567808151245, + "J": 0.0072014410980045795, + "K": 0.0014180477010086179, + "L": 0.0002464197459630668 + }, + "sample": { + "question": "На основании каких критериев осуществляется отнесение объектов к соответствующей категории НВОС по Федеральному закону 'Об охране окружающей среды' N 7-ФЗ?", + "answerA": "По географическому расположению объекта", + "answerB": "По количеству сотрудников, работающих на объекте", + "answerC": "По уровням воздействия на окружающую среду, токсичности, канцерогенные и мутагенные свойства, классам опасности отходов", + "answerD": "По годовому доходу предприятия", + "correct_answer": "answerC", + "choices": [ + "Только кредитные организации и Банк России", + "Разработка федерального бюджета", + "По количеству сотрудников, работающих на объекте", + "По географическому расположению объекта", + "Подавать в военный комиссариат сведения об изменении места жительства.", + "с 1 января 2013 года", + "По годовому доходу предприятия", + "с 1 января 2012 года", + "По уровням воздействия на окружающую среду, токсичности, канцерогенные и мутагенные свойства, классам опасности отходов", + "Дело о банкротстве подготавливается исключительно в порядке, установленном Гражданским кодексом РФ.", + "Регистрировать покупку имущества в военном комиссариате.", + "Установление стандартов потребления энергоресурсов" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nНа основании каких критериев осуществляется отнесение объектов к соответствующей категории НВОС по Федеральному закону 'Об охране окружающей среды' N 7-ФЗ?\nA. Только кредитные организации и Банк России\nB. Разработка федерального бюджета\nC. По количеству сотрудников, работающих на объекте\nD. По географическому расположению объекта\nE. Подавать в военный комиссариат сведения об изменении места жительства.\nF. с 1 января 2013 года\nG. По годовому доходу предприятия\nH. с 1 января 2012 года\nI. По уровням воздействия на окружающую среду, токсичности, канцерогенные и мутагенные свойства, классам опасности отходов\nJ. Дело о банкротстве подготавливается исключительно в порядке, установленном Гражданским кодексом РФ.\nK. Регистрировать покупку имущества в военном комиссариате.\nL. Установление стандартов потребления энергоресурсов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 206, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.04690451920032501, + "B": 0.03652928024530411, + "C": 0.21021148562431335, + "D": 0.14447610080242157, + "E": 0.07733248174190521, + "F": 0.02215612679719925, + "G": 0.2382008284330368, + "H": 0.028449032455682755, + "I": 0.011859320104122162, + "J": 0.02510618232190609, + "K": 0.060226600617170334, + "L": 0.0014163937885314226 + }, + "sample": { + "question": "Когда утратила силу статья 9 Федерального закона 'О рынке ценных бумаг' N 39-ФЗ?", + "answerA": "с 1 января 2012 года", + "answerB": "с 1 января 2013 года", + "answerC": "с 1 января 2014 года", + "answerD": "с 1 января 2015 года", + "correct_answer": "с 1 января 2014 года", + "choices": [ + "Только кредитные организации и Банк России", + "Дело о банкротстве подготавливается исключительно в порядке, установленном Гражданским кодексом РФ.", + "Подавать в военный комиссариат сведения об изменении места жительства.", + "Подготовка проводится судьей арбитражного суда в порядке, предусмотренном Арбитражным процессуальным кодексом РФ с особенностями, установленными настоящим Федеральным законом.", + "с 1 января 2015 года", + "Создавать общественные объединения и иные некоммерческие организации, осуществляющие деятельность в области охраны окружающей среды.", + "с 1 января 2013 года", + "Регистрировать покупку имущества в военном комиссариате.", + "с 1 января 2012 года", + "Разработка федерального бюджета", + "с 1 января 2014 года", + "Установление стандартов потребления энергоресурсов" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКогда утратила силу статья 9 Федерального закона 'О рынке ценных бумаг' N 39-ФЗ?\nA. Только кредитные организации и Банк России\nB. Дело о банкротстве подготавливается исключительно в порядке, установленном Гражданским кодексом РФ.\nC. Подавать в военный комиссариат сведения об изменении места жительства.\nD. Подготовка проводится судьей арбитражного суда в порядке, предусмотренном Арбитражным процессуальным кодексом РФ с особенностями, установленными настоящим Федеральным законом.\nE. с 1 января 2015 года\nF. Создавать общественные объединения и иные некоммерческие организации, осуществляющие деятельность в области охраны окружающей среды.\nG. с 1 января 2013 года\nH. Регистрировать покупку имущества в военном комиссариате.\nI. с 1 января 2012 года\nJ. Разработка федерального бюджета\nK. с 1 января 2014 года\nL. Установление стандартов потребления энергоресурсов\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 221, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.44153520464897156, + "B": 0.0031669142190366983, + "C": 0.38965344429016113, + "D": 0.002794792177155614, + "E": 0.0024663954973220825, + "F": 0.0005858202348463237, + "G": 0.0010281465947628021, + "H": 0.0059165749698877335, + "I": 0.00013914451119489968, + "J": 6.174500595079735e-05, + "K": 0.0003782339917961508, + "L": 8.356277248822153e-06 + }, + "sample": { + "question": "Какое из перечисленных действий является обязанностью граждан РФ по воинскому учету согласно Федеральному закону 'О воинской обязанности и военной службе' N 53-ФЗ, Статья 10?", + "answerA": "Регистрировать покупку имущества в военном комиссариате.", + "answerB": "Подавать в военный комиссариат сведения об изменении места жительства.", + "answerC": "Получать разрешение в военном комиссариате на выезд за границу.", + "answerD": "Сообщать в военный комиссариат об изменении места работы.", + "correct_answer": "answerD", + "choices": [ + "Сообщать в военный комиссариат об изменении места работы.", + "Создавать общественные объединения и иные некоммерческие организации, осуществляющие деятельность в области охраны окружающей среды.", + "Подавать в военный комиссариат сведения об изменении места жительства.", + "Только кредитные организации и Банк России", + "Дело о банкротстве подготавливается исключительно в порядке, установленном Гражданским кодексом РФ.", + "Регистрировать покупку имущества в военном комиссариате.", + "Подготовка проводится судьей арбитражного суда в порядке, предусмотренном Арбитражным процессуальным кодексом РФ с особенностями, установленными настоящим Федеральным законом.", + "Получать разрешение в военном комиссариате на выезд за границу.", + "Установление стандартов потребления энергоресурсов", + "Банк России, кредитные организации и страховые компании", + "Позитивная оценка работы уполномоченного", + "Разработка федерального бюджета" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКакое из перечисленных действий является обязанностью граждан РФ по воинскому учету согласно Федеральному закону 'О воинской обязанности и военной службе' N 53-ФЗ, Статья 10?\nA. Сообщать в военный комиссариат об изменении места работы.\nB. Создавать общественные объединения и иные некоммерческие организации, осуществляющие деятельность в области охраны окружающей среды.\nC. Подавать в военный комиссариат сведения об изменении места жительства.\nD. Только кредитные организации и Банк России\nE. Дело о банкротстве подготавливается исключительно в порядке, установленном Гражданским кодексом РФ.\nF. Регистрировать покупку имущества в военном комиссариате.\nG. Подготовка проводится судьей арбитражного суда в порядке, предусмотренном Арбитражным процессуальным кодексом РФ с особенностями, установленными настоящим Федеральным законом.\nH. Получать разрешение в военном комиссариате на выезд за границу.\nI. Установление стандартов потребления энергоресурсов\nJ. Банк России, кредитные организации и страховые компании\nK. Позитивная оценка работы уполномоченного\nL. Разработка федерального бюджета\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 237, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0028534915763884783, + "B": 0.017479753121733665, + "C": 0.032656479626894, + "D": 0.06101033836603165, + "E": 0.012788461521267891, + "F": 0.01642071083188057, + "G": 0.03700464218854904, + "H": 0.013613245449960232, + "I": 0.0018423525616526604, + "J": 0.07833882421255112, + "K": 0.5108332633972168, + "L": 0.00303752557374537 + }, + "sample": { + "question": "Какое из перечисленных полномочий входит в компетенцию органов государственной власти Росси��ской Федерации согласно статье 4 Федерального закона \"О стратегическом планировании в Российской Федерации\" N 172-ФЗ?", + "answerA": "Разработка федерального бюджета", + "answerB": "Установление стандартов потребления энергоресурсов", + "answerC": "Определение приоритетов социально-экономической политики и целей социально-экономического развития", + "answerD": "Осуществление внешней политики Российской Федерации", + "correct_answer": "Определение приоритетов социально-экономической политики и целей социально-экономического развития", + "choices": [ + "Установление стандартов потребления энергоресурсов", + "Дело о банкротстве подготавливается исключительно в порядке, установленном Гражданским кодексом РФ.", + "Принимать участие в собраниях, митингах, демонстрациях, шествиях и пикетировании по вопросам охраны окружающей среды.", + "Банк России, кредитные организации и страховые компании", + "Подготовка проводится судьей арбитражного суда в порядке, предусмотренном Арбитражным процессуальным кодексом РФ с особенностями, установленными настоящим Федеральным законом.", + "Позитивная оценка работы уполномоченного", + "Создавать общественные объединения и иные некоммерческие организации, осуществляющие деятельность в области охраны окружающей среды.", + "Осуществление внешней политики Российской Федерации", + "Только кредитные организации и Банк России", + "Разработка федерального бюджета", + "Определение приоритетов социально-экономической политики и целей социально-экономического развития", + "Исключительно на муниципальных выборах" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКакое из перечисленных полномочий входит в компетенцию органов государственной власти Российской Федерации согласно статье 4 Федерального закона \"О стратегическом планировании в Российской Федерации\" N 172-ФЗ?\nA. Установление стандартов потребления энергоресурсов\nB. Дело о банкротстве подготавливается исключительно в порядке, установленном Гражданским кодексом РФ.\nC. Принимать участие в собраниях, митингах, демонстрациях, шествиях и пикетировании по вопросам охраны окружающей среды.\nD. Банк России, кредитные организации и страховые компании\nE. Подготовка проводится судьей арбитражного суда в порядке, предусмотренном Арбитражным процессуальным кодексом РФ с особенностями, установленными настоящим Федеральным законом.\nF. Позитивная оценка работы уполномоченного\nG. Создавать общественные объединения и иные некоммерческие организации, осуществляющие деятельность в области охраны окружающей среды.\nH. Осуществление внешней политики Российской Федерации\nI. Только кредитные организации и Банк России\nJ. Разработка федерального бюджета\nK. Определение приоритетов социально-экономической политики и целей соц��ально-экономического развития\nL. Исключительно на муниципальных выборах\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 243, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0009168913820758462, + "B": 0.0006301696412265301, + "C": 0.0026531133335083723, + "D": 0.0007140756933949888, + "E": 0.6910648941993713, + "F": 0.0009168913820758462, + "G": 0.0006301696412265301, + "H": 0.0007140756933949888, + "I": 0.0002976710384245962, + "J": 0.0012532419059425592, + "K": 0.0007140756933949888, + "L": 3.784462751355022e-05 + }, + "sample": { + "question": "Какая процедура предусмотрена Федеральным законом \"О несостоятельности (банкротстве)\" N 127-ФЗ при подготовке дела о банкротстве к судебному разбирательству?", + "answerA": "Дело о банкротстве подготавливается исключительно в порядке, установленном Гражданским кодексом РФ.", + "answerB": "Подготовка проводится судьей арбитражного суда в порядке, предусмотренном Арбитражным процессуальным кодексом РФ с особенностями, установленными настоящим Федеральным законом.", + "answerC": "Дело о банкротстве подготавливается исключительно на основе директив Верховного Суда РФ.", + "answerD": "Арбитражный судья проводит лишь первичную оценку документов, а детальная подготовка делегируется внешнему управляющему.", + "correct_answer": "B", + "choices": [ + "Награда от государственных органов", + "Позитивная оценка работы уполномоченного", + "Дело о банкротстве подготавливается исключительно на основе директив Верховного Суда РФ.", + "Принимать участие в собраниях, митингах, демонстрациях, шествиях и пикетировании по вопросам охраны окружающей среды.", + "Подготовка проводится судьей арбитражного суда в порядке, предусмотренном Арбитражным процессуальным кодексом РФ с особенностями, установленными настоящим Федеральным законом.", + "Только кредитные организации и Банк России", + "Создавать общественные объединения и иные некоммерческие организации, осуществляющие деятельность в области охраны окружающей среды.", + "Дело о банкротстве подготавливается исключительно в порядке, установленном Гражданским кодексом РФ.", + "Арбитражный судья проводит лишь первичную оценку документов, а детальная подготовка делегируется внешнему управляющему.", + "Исключительно на муниципальных выборах", + "Банк России, кредитные организации и страховые компании", + "Для проведения городских праздников" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКакая процедура предусмотрена Федеральным законом \"О несостоятельности (банкротстве)\" N 127-ФЗ при подготовке дела о банкротстве к судебному разбирательству?\nA. Награда от государственных органов\nB. Позитивная оценка работы уполномоченного\nC. Дело о банкротстве подготавливается исключительно на основе директив Верховного Суда РФ.\nD. Принимать участие в собрания��, митингах, демонстрациях, шествиях и пикетировании по вопросам охраны окружающей среды.\nE. Подготовка проводится судьей арбитражного суда в порядке, предусмотренном Арбитражным процессуальным кодексом РФ с особенностями, установленными настоящим Федеральным законом.\nF. Только кредитные организации и Банк России\nG. Создавать общественные объединения и иные некоммерческие организации, осуществляющие деятельность в области охраны окружающей среды.\nH. Дело о банкротстве подготавливается исключительно в порядке, установленном Гражданским кодексом РФ.\nI. Арбитражный судья проводит лишь первичную оценку документов, а детальная подготовка делегируется внешнему управляющему.\nJ. Исключительно на муниципальных выборах\nK. Банк России, кредитные организации и страховые компании\nL. Для проведения городских праздников\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 251, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.010683662258088589, + "B": 0.0007739218417555094, + "C": 0.9617125391960144, + "D": 0.0023838472552597523, + "E": 0.0021037377882748842, + "F": 0.00023603285080753267, + "G": 0.0004996815114282072, + "H": 0.00016222283011302352, + "I": 0.000414250505855307, + "J": 4.947516936226748e-05, + "K": 0.0001956780906766653, + "L": 4.601907676260453e-06 + }, + "sample": { + "question": "Что включает в себя банковская система Российской Федерации согласно Федеральному закону 'О банках и банковской деятельности' N 395-1?", + "answerA": "Только кредитные организации и Банк России", + "answerB": "Банк России, кредитные организации и страховые компании", + "answerC": "Банк России, кредитные организации, а также представительства иностранных банков", + "answerD": "Только Банк России", + "correct_answer": "Банк России, кредитные организации, а также представительства иностранных банков", + "choices": [ + "Только кредитные организации и Банк России", + "Назначается Президентом Российской Федерации", + "Банк России, кредитные организации, а также представительства иностранных банков", + "Награда от государственных органов", + "Принимать участие в собраниях, митингах, демонстрациях, шествиях и пикетировании по вопросам охраны окружающей среды.", + "Исключительно на муниципальных выборах", + "Для проведения городских праздников", + "До достижения ребенком трех лет.", + "Банк России, кредитные организации и страховые компании", + "Создавать общественные объединения и иные некоммерческие организации, осуществляющие деятельность в области охраны окружающей среды.", + "Только Банк России", + "Позитивная оценка работы уполномоченного" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nЧто включает в себя банковская система Российской Федерации согласно Федеральному закону 'О банках и банковской деятельности' N 395-1?\nA. Только кредитные организации и Банк России\nB. Назначается Президентом Российской Федерации\nC. Банк России, кредитные организации, а также представительства иностранных банков\nD. Награда от государственных органов\nE. Принимать участие в собраниях, митингах, демонстрациях, шествиях и пикетировании по вопросам охраны окружающей среды.\nF. Исключительно на муниципальных выборах\nG. Для проведения городских праздников\nH. До достижения ребенком трех лет.\nI. Банк России, кредитные организации и страховые компании\nJ. Создавать общественные объединения и иные некоммерческие организации, осуществляющие деятельность в области охраны окружающей среды.\nK. Только Банк России\nL. Позитивная оценка работы уполномоченного\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 198, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.050260428339242935, + "B": 0.5403505563735962, + "C": 0.13662201166152954, + "D": 0.08286543935537338, + "E": 0.01439985353499651, + "F": 0.009297244250774384, + "G": 0.011937897652387619, + "H": 0.00770768616348505, + "I": 0.0005943529540672898, + "J": 0.009896865114569664, + "K": 0.00301837339065969, + "L": 0.00023275196144822985 + }, + "sample": { + "question": "Какое из перечисленных прав граждан не соответствует положениям Федерального закона \"Об охране окружающей среды\" N 7-ФЗ, Статья 11?", + "answerA": "Создавать общественные объединения и иные некоммерческие организации, осуществляющие деятельность в области охраны окружающей среды.", + "answerB": "Принимать участие в собраниях, митингах, демонстрациях, шествиях и пикетировании по вопросам охраны окружающей среды.", + "answerC": "Получать финансирование от государства на личные нужды под предлогом охраны окружающей среды.", + "answerD": "Осуществлять другие предусмотренные законодательством права.", + "correct_answer": "C", + "choices": [ + "Награда от государственных органов", + "Получать финансирование от государства на личные нужды под предлогом охраны окружающей среды.", + "Если товары были перемещены через границу без уплаты пошлин", + "Для проведения городских праздников", + "Позитивная оценка работы уполномоченного", + "Назначается Президентом Российской Федерации", + "Исключительно на муниципальных выборах", + "До достижения ребенком трех лет.", + "Создавать общественные объединения и иные некоммерческие организации, осуществляющие деятельность в области охраны окружающей среды.", + "Принимать участие в собраниях, митингах, демонстрациях, шествиях и пикетировании по вопросам охраны окружающей среды.", + "При розыске лиц, совершивших побег из-под стражи", + "Осуществлять другие предусмотренные законодательством права." + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКакое из перечисленных прав граждан не соответствует положениям Федерального закона \"Об охране окружающей среды\" N 7-ФЗ, Статья 11?\nA. Награда от государственных органов\nB. Получать финансирование от государства на личные нужды под предлогом охраны окружающей среды.\nC. Если товары были перемещены через границу без уплаты пошлин\nD. Для проведения городских праздников\nE. Позитивная оценка работы уполномоченного\nF. Назначается Президентом Российской Федерации\nG. Исключительно на муниципальных выборах\nH. До достижения ребенком трех лет.\nI. Создавать общественные объединения и иные некоммерческие организации, осуществляющие деятельность в области охраны окружающей среды.\nJ. Принимать участие в собраниях, митингах, демонстрациях, шествиях и пикетировании по вопросам охраны окружающей среды.\nK. При розыске лиц, совершивших побег из-под стражи\nL. Осуществлять другие предусмотренные законодательством права.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 211, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.1623051017522812, + "B": 0.6419291496276855, + "C": 0.024890294298529625, + "D": 0.01332281343638897, + "E": 0.01332281343638897, + "F": 0.0038170500192791224, + "G": 0.006699131801724434, + "H": 0.015096726827323437, + "I": 0.0014042143011465669, + "J": 0.004325284622609615, + "K": 0.0018030469072982669, + "L": 0.0007060832576826215 + }, + "sample": { + "question": "Каковы последствия вмешательства в деятельность уполномоченного по правам ребенка согласно Федеральному закону \"Об уполномоченных по правам ребенка в Российской Федерации\" N 501-ФЗ?", + "answerA": "Позитивная оценка работы уполномоченного", + "answerB": "Награда от государственных органов", + "answerC": "Ответственность, установленная законодательством Российской Федерации", + "answerD": "Повышение в должности", + "correct_answer": "Ответственность, установленная законодательством Российской Федерации", + "choices": [ + "До достижения ребенком трех лет.", + "Ответственность, установленная законодательством Российской Федерации", + "Назначается Президентом Российской Федерации", + "Повышение в должности", + "При розыске лиц, совершивших побег из-под стражи", + "Награда от государственных органов", + "Для проведения городских праздников", + "Позитивная оценка работы уполномоченного", + "До достижения ребенком полутора лет.", + "Если товары были перемещены через границу без уплаты пошлин", + "Исключительно на муниципальных выборах", + "На основании задатка от застройщика" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКаковы последствия вмешательства в деятельность уполномоченного по правам ребенка согласно Федеральному закону \"Об уполномоченных по правам ребенка в Российской Федерации\" N 501-ФЗ?\nA. До достижения ребенком трех лет.\nB. Ответственность, установленная законодательством Российской Федерации\nC. Назначается Президентом Российской Федерации\nD. Повышение в должности\nE. При розыске лиц, совершивших побег из-под стражи\nF. Награда от государственных органов\nG. Для проведения городских праздников\nH. Позитивная оценка работы уполномоченного\nI. До достижения ребенком полутора лет.\nJ. Если товары были перемещены через границу без уплаты пошлин\nK. Исключительно на муниципальных выборах\nL. На основании задатка от застройщика\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 181, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0007094524917192757, + "B": 0.0005525221931748092, + "C": 0.0009109550155699253, + "D": 0.003179545747116208, + "E": 0.6865906715393066, + "F": 0.0004580569511745125, + "G": 0.001032247208058834, + "H": 0.0011696895817294717, + "I": 0.0011696895817294717, + "J": 0.0012451278744265437, + "K": 0.0006664689281024039, + "L": 9.019676508614793e-05 + }, + "sample": { + "question": "Каким образом глава муниципального образования может быть избран в соответствии с Федеральным законом 'Об общих принципах организации местного самоуправления в РФ' (закон о МСУ) N 131-ФЗ, Статьей 36?", + "answerA": "Исключительно на муниципальных выборах", + "answerB": "Назначается Президентом Российской Федерации", + "answerC": "Представительным органом муниципального образования из числа кандидатов, представленных конкурсной комиссией по результатам конкурса", + "answerD": "Путем жребия среди всех жителей муниципального образования", + "correct_answer": "Представительным органом муниципального образования из числа кандидатов, представленных конкурсной комиссией по результатам конкурса", + "choices": [ + "Для проведения городских праздников", + "Любое лицо, независимо от наличия лицензии", + "До достижения ребенком трех лет.", + "До достижения ребенком полутора лет.", + "Представительным органом муниципального образования из числа кандидатов, представленных конкурсной комиссией по результатам конкурса", + "Исключительно на муниципальных выборах", + "На основании задатка от застройщика", + "Путем жребия среди всех жителей муниципального образования", + "Если товары были перемещены через границу без уплаты пошлин", + "При розыске лиц, совершивших побег из-под стражи", + "Назначается Президентом Российской Федерации", + "Если не соблюдаются условия использования товаров в соответствии с таможенной процедурой переработки на таможенной территории" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКаким образом глава муниципального образования может быть избран в соответствии с Федеральным законом 'Об общих принципах организации местного самоуправления в РФ' (закон о МСУ) N 131-ФЗ, Статьей 36?\nA. Для проведения городских праздников\nB. Любое лицо, независимо от наличия лицензии\nC. До достижения ребенком трех лет.\nD. До достижения ребенком полутора лет.\nE. Представительным органом муниципального образования из числа кандидатов, представленных конкурсной комиссией по результатам конкурса\nF. Исключительно на муниципальных выборах\nG. На основании задатка от застройщика\nH. Путем жребия среди всех жителей муниципального образования\nI. Если товары были перемещены через границу без уплаты пошлин\nJ. При розыске лиц, совершивших побег из-под стражи\nK. Назначается Президентом Российской Федерации\nL. Если не соблюдаются условия использования товаров в соответствии с таможенной процедурой переработки на таможенной территории\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 212, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.004744215402752161, + "B": 0.01138078048825264, + "C": 0.009434998966753483, + "D": 0.016558939591050148, + "E": 0.030936168506741524, + "F": 0.10797785222530365, + "G": 0.02263338677585125, + "H": 0.039722830057144165, + "I": 0.002241008449345827, + "J": 0.030936168506741524, + "K": 0.293514221906662, + "L": 0.293514221906662 + }, + "sample": { + "question": "В каких случаях полиция имеет право проводить оцепление (блокирование) территорий, жилых помещений, строений и других объектов согласно Федеральному закону \"О полиции\" N 3-ФЗ, Статье 16?", + "answerA": "Для проведения городских праздников", + "answerB": "При розыске лиц, совершивших побег из-под стражи", + "answerC": "Для организации торговых ярмарок", + "answerD": "Для контроля за соблюдением правил парковки", + "correct_answer": "При розыске лиц, совершивших побег из-под стражи", + "choices": [ + "На основании задатка от застройщика", + "Любое лицо, независимо от наличия лицензии", + "Федеральный закон \"О техническом регулировании\" N 184-ФЗ", + "До достижения ребенком трех лет.", + "Для организации торговых ярмарок", + "На основании разрешения на строительство такого объекта и правоустанавливающего документа на земельный участок", + "При розыске лиц, совершивших побег из-под стражи", + "Если не соблюдаются условия использования товаров в соответствии с таможенной процедурой переработки на таможенной территории", + "Если товары были перемещены через границу без уплаты пошлин", + "До достижения ребенком полутора лет.", + "Для контроля за соблюдением правил парковки", + "Для проведения городских праздников" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nВ каких случаях полиция имеет право проводить оцепление (блокирование) территорий, жилых помещений, строений и других объектов согласно Федеральному закону \"О полиции\" N 3-ФЗ, Статье 16?\nA. На основании задатка от застройщика\nB. Любое лицо, независимо от наличия лицензии\nC. Федеральный закон \"О техническом регулировании\" N 184-ФЗ\nD. До достижения ребенком трех лет.\nE. Для организации торговых ярмарок\nF. На основании разрешения на строительство такого объекта и правоустанавливающего документа на земельный участок\nG. При розыске л��ц, совершивших побег из-под стражи\nH. Если не соблюдаются условия использования товаров в соответствии с таможенной процедурой переработки на таможенной территории\nI. Если товары были перемещены через границу без уплаты пошлин\nJ. До достижения ребенком полутора лет.\nK. Для контроля за соблюдением правил парковки\nL. Для проведения городских праздников\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 214, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.003285447834059596, + "B": 0.008930773474276066, + "C": 0.5525274276733398, + "D": 0.33512482047080994, + "E": 0.004490675404667854, + "F": 0.018906448036432266, + "G": 0.03532189503312111, + "H": 0.004218598362058401, + "I": 0.00021003167785238475, + "J": 0.0008842663955874741, + "K": 0.001871991902589798, + "L": 3.220939834136516e-05 + }, + "sample": { + "question": "До какого возраста выплачивается ежемесячное пособие по уходу за ребенком согласно Федеральному закону 'О государственных пособиях гражданам, имеющим детей' N 81-ФЗ?", + "answerA": "До достижения ребенком трех лет.", + "answerB": "До достижения ребенком полутора лет.", + "answerC": "До достижения ребенком двух лет.", + "answerD": "До школьного возраста.", + "correct_answer": "B", + "choices": [ + "На основании задатка от застройщика", + "Только государственные органы", + "До достижения ребенком двух лет.", + "До достижения ребенком трех лет.", + "Федеральный закон \"О техническом регулировании\" N 184-ФЗ", + "На основании разрешения на строительство такого объекта и правоустанавливающего документа на земельный участок", + "До школьного возраста.", + "Если товары были перемещены через границу без уплаты пошлин", + "Если не соблюдаются условия использования товаров в соответствии с таможенной процедурой переработки на таможенной территории", + "До достижения ребенком полутора лет.", + "Наличие высшего образования в области культурологии", + "Любое лицо, независимо от наличия лицензии" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nДо какого возраста выплачивается ежемесячное пособие по уходу за ребенком согласно Федеральному закону 'О государственных пособиях гражданам, имеющим детей' N 81-ФЗ?\nA. На основании задатка от застройщика\nB. Только государственные органы\nC. До достижения ребенком двух лет.\nD. До достижения ребенком трех лет.\nE. Федеральный закон \"О техническом регулировании\" N 184-ФЗ\nF. На основании разрешения на строительство такого объекта и правоустанавливающего документа на земельный участок\nG. До школьного возраста.\nH. Если товары были перемещены через границу без уплаты пошлин\nI. Если не соблюдаются условия использования товаров в соответствии с таможенной процедурой переработки на таможенной территории\nJ. До достижения ребенком полутора лет.\nK. Наличие высшего образования в области культурологии\nL. Любое лицо, независимо от наличия лицензии\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 196, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.1962493360042572, + "B": 0.012545798905193806, + "C": 0.01421625167131424, + "D": 0.03009580820798874, + "E": 0.08180888742208481, + "F": 0.01421625167131424, + "G": 0.01421625167131424, + "H": 0.008100176230072975, + "I": 0.5334609150886536, + "J": 0.02068452537059784, + "K": 0.009770678356289864, + "L": 0.0008020260720513761 + }, + "sample": { + "question": "По какой причине может быть аннулировано разрешение на переработку товаров на таможенной территории?", + "answerA": "Если товары были перемещены через границу без уплаты пошлин", + "answerB": "Если не соблюдаются условия использования товаров в соответствии с таможенной процедурой переработки на таможенной территории", + "answerC": "По желанию декларанта без каких-либо нарушений", + "answerD": "Если товары были использованы для личных, не коммерческих целей", + "correct_answer": "B", + "choices": [ + "Если товары были использованы для личных, не коммерческих целей", + "На основании задатка от застройщика", + "Наличие высшего образования в области культурологии", + "Федеральный закон \"О высокотехнологичных научно-технологических комплексах\"", + "Федеральный закон \"О техническом регулировании\" N 184-ФЗ", + "Любое лицо, независимо от наличия лицензии", + "На основании разрешения на строительство такого объекта и правоустанавливающего документа на земельный участок", + "Если товары были перемещены через границу без уплаты пошлин", + "Если не соблюдаются условия использования товаров в соответствии с таможенной процедурой переработки на таможенной территории", + "По желанию декларанта без каких-либо нарушений", + "Только государственные органы", + "По желанию владельца товара" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nПо какой причине может быть аннулировано разрешение на переработку товаров на таможенной территории?\nA. Если товары были использованы для личных, не коммерческих целей\nB. На основании задатка от застройщика\nC. Наличие высшего образования в области культурологии\nD. Федеральный закон \"О высокотехнологичных научно-технологических комплексах\"\nE. Федеральный закон \"О техническом регулировании\" N 184-ФЗ\nF. Любое лицо, независимо от наличия лицензии\nG. На основании разрешения на строительство такого объекта и правоустанавливающего документа на земельный участок\nH. Если товары были перемещены через границу без уплаты пошлин\nI. Если не соблюдаются условия использования товаров в соответствии с таможенной процедурой переработки на таможенной территории\nJ. По желанию декларанта без каких-либо нарушений\nK. Только государственные органы\nL. По желанию владельца товара\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 198, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.01448407769203186, + "B": 0.0023644608445465565, + "C": 0.011280211620032787, + "D": 0.007752768229693174, + "E": 0.016412610188126564, + "F": 0.0009259360958822072, + "G": 0.0009856538381427526, + "H": 0.0020866291597485542, + "I": 0.8960981965065002, + "J": 0.002679285127669573, + "K": 0.0023644608445465565, + "L": 0.0001712809462333098 + }, + "sample": { + "question": "Как зарегистрировать право собственности на объект незавершенного строительства в соответствии со статьей 40 Федерального закона \"О государственной регистрации недвижимости\" N 218-ФЗ?", + "answerA": "На основании задатка от застройщика", + "answerB": "На основании разрешения на строительство такого объекта и правоустанавливающего документа на земельный участок", + "answerC": "Посредством декларации от владельца участка без предоставления каких-либо документов", + "answerD": "На основании устного согласия органов местного самоуправления", + "correct_answer": "B", + "choices": [ + "На основании устного согласия органов местного самоуправления", + "Любое лицо, независимо от наличия лицензии", + "Только государственные органы", + "Федеральный закон \"О высокотехнологичных научно-технологических комплексах\"", + "Федеральный закон \"О техническом регулировании\" N 184-ФЗ", + "По желанию владельца товара", + "По решению суда о признании финансовой организации банкротом.", + "На основании задатка от застройщика", + "На основании разрешения на строительство такого объекта и правоустанавливающего документа на земельный участок", + "Посредством декларации от владельца участка без предоставления каких-либо документов", + "Наличие высшего образования в области культурологии", + "Не иметь дисквалификации или лишения права занимать руководящие должности" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКак зарегистрировать право собственности на объект незавершенного строительства в соответствии со статьей 40 Федерального закона \"О государственной регистрации недвижимости\" N 218-ФЗ?\nA. На основании устного согласия органов местного самоуправления\nB. Любое лицо, независимо от наличия лицензии\nC. Только государственные органы\nD. Федеральный закон \"О высокотехнологичных научно-технологических комплексах\"\nE. Федеральный закон \"О техническом регулировании\" N 184-ФЗ\nF. По желанию владельца товара\nG. По решению суда о признании финансовой организации банкротом.\nH. На основании задатка от застройщика\nI. На основании разрешения на строительство такого объекта и правоустанавливающего документа на земельный участок\nJ. Посредством декларации от владельца участка без предоставления каких-либо документов\nK. Наличие высшего образования в области культурологии\nL. Не иметь дисквалификации или лишения права занимать руководящие должности\n\nОтвет�� одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 207, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0003812382637988776, + "B": 0.0020609546918421984, + "C": 0.0008070814074017107, + "D": 0.01046639122068882, + "E": 0.002335367491468787, + "F": 0.0009735259809531271, + "G": 0.006348187103867531, + "H": 0.9421544671058655, + "I": 0.0009735259809531271, + "J": 0.000489519617985934, + "K": 0.00675760954618454, + "L": 0.0059635695070028305 + }, + "sample": { + "question": "Кто должен производить расчет нормативов допустимых выбросов и нормативов допустимых сбросов согласно Федеральному закону 'Об охране окружающей среды' N 7-ФЗ?", + "answerA": "Любое лицо, независимо от наличия лицензии", + "answerB": "Только государственные органы", + "answerC": "Юридические лица и индивидуальные предприниматели, планирующие строительство объектов I и II категорий, а также осуществляющие хозяйственную и (или) иную деятельность на объектах II категории", + "answerD": "Только уполномоченные Правительством Российской Федерации федеральные органы исполнительной власти", + "correct_answer": "Юридические лица и индивидуальные предприниматели, планирующие строительство объектов I и II категорий, а также осуществляющие хозяйственную и (или) иную деятельность на объектах II категории", + "choices": [ + "Федеральный закон \"О высокотехнологичных научно-технологических комплексах\"", + "До истечения срока действия таможенной процедуры, при наступлении обстоятельств, предусмотренных пунктом 1 статьи 161 Кодекса Союза, и при наступлении обстоятельств, определенных Правительством РФ", + "Наличие высшего образования в области культурологии", + "Не иметь дисквалификации или лишения права занимать руководящие должности", + "По решению суда о признании финансовой организации банкротом.", + "По желанию владельца товара", + "Федеральный закон \"О техническом регулировании\" N 184-ФЗ", + "Только уполномоченные Правительством Российской Федерации федеральные органы исполнительной власти", + "5 миллионов рублей", + "Любое лицо, независимо от наличия лицензии", + "Юридические лица и индивидуальные предприниматели, планирующие строительство объектов I и II категорий, а также осуществляющие хозяйственную и (или) иную деятельность на объектах II категории", + "Только государственные органы" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКто должен производить расчет нормативов допустимых выбросов и нормативов допустимых сбросов согласно Федеральному закону 'Об охране окружающей среды' N 7-ФЗ?\nA. Федеральный закон \"О высокотехнологичных научно-технологических комплексах\"\nB. До истечения срока действия таможенной процедуры, при наступлении обстоятельств, предусмотренных пунктом 1 статьи 161 Кодекса Союза, и при наступлении обстоятельств, определенных Правительством РФ\nC. Наличие высшего образования в области культурологии\nD. Не иметь дисквалификации или лишения права занимать руководящие должности\nE. По решению суда о признании финансовой организации банкротом.\nF. По желанию владельца товара\nG. Федеральный закон \"О техническом регулировании\" N 184-ФЗ\nH. Только уполномоченные Правительством Российской Федерации федеральные органы исполнительной власти\nI. 5 миллионов рублей\nJ. Любое лицо, независимо от наличия лицензии\nK. Юридические лица и индивидуальные предприниматели, планирующие строительство объектов I и II категорий, а также осуществляющие хозяйственную и (или) иную деятельность на объектах II категории\nL. Только государственные органы\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 244, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0019906060770154, + "B": 0.020104410126805305, + "C": 0.001368122291751206, + "D": 0.0065269460901618, + "E": 0.05817403644323349, + "F": 0.0065269460901618, + "G": 0.018886344507336617, + "H": 0.03314656764268875, + "I": 0.0022556523326784372, + "J": 0.15813343226909637, + "K": 0.035284336656332016, + "L": 0.5519399046897888 + }, + "sample": { + "question": "Какой федеральный закон устанавливает особенности технического регулирования в области обеспечения безопасности продукции и процессов, применяемых на территориях инновационных научно-технологических центров?", + "answerA": "Федеральный закон \"О техническом регулировании\" N 184-ФЗ", + "answerB": "Федеральный закон \"О высокотехнологичных научно-технологических комплексах\"", + "answerC": "Федеральный закон \"Об инновационных научно-технологических центрах и о внесении изменений в отдельные законодательные акты Российской Федерации\"", + "answerD": "Федеральный закон \"О научной и государственной научно-технической политике\"", + "correct_answer": "C", + "choices": [ + "По желанию владельца товара", + "Федеральный закон \"О научной и государственной научно-технической политике\"", + "5 миллионов рублей", + "Наличие высшего образования в области культурологии", + "При отсутствии уведомления финансовой организацией контрольного органа о наличии обстоятельств, указанных в подпунктах 1 и 2 пункта 1 статьи 183.2 Федерального закона.", + "До истечения срока действия таможенной процедуры, при наступлении обстоятельств, предусмотренных пунктом 1 статьи 161 Кодекса Союза, и при наступлении обстоятельств, определенных Правительством РФ", + "Федеральный закон \"О высокотехнологичных научно-технологических комплексах\"", + "Федеральный закон \"Об инновационных научно-технологических центрах и о внесении изменений в отдельные законодательные акты Российской Федерации\"", + "Не иметь дисквалификации или лишения права занимать руководящие должности", + "Федеральный закон \"О техническом регулировании\" N 184-ФЗ", + "По решению суда о призн��нии финансовой организации банкротом.", + "Право на участие в общем собрании акционеров с правом голоса" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакой федеральный закон устанавливает особенности технического регулирования в области обеспечения безопасности продукции и процессов, применяемых на территориях инновационных научно-технологических центров?\nA. По желанию владельца товара\nB. Федеральный закон \"О научной и государственной научно-технической политике\"\nC. 5 миллионов рублей\nD. Наличие высшего образования в области культурологии\nE. При отсутствии уведомления финансовой организацией контрольного органа о наличии обстоятельств, указанных в подпунктах 1 и 2 пункта 1 статьи 183.2 Федерального закона.\nF. До истечения срока действия таможенной процедуры, при наступлении обстоятельств, предусмотренных пунктом 1 статьи 161 Кодекса Союза, и при наступлении обстоятельств, определенных Правительством РФ\nG. Федеральный закон \"О высокотехнологичных научно-технологических комплексах\"\nH. Федеральный закон \"Об инновационных научно-технологических центрах и о внесении изменений в отдельные законодательные акты Российской Федерации\"\nI. Не иметь дисквалификации или лишения права занимать руководящие должности\nJ. Федеральный закон \"О техническом регулировании\" N 184-ФЗ\nK. По решению суда о признании финансовой организации банкротом.\nL. Право на участие в общем собрании акционеров с правом голоса\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 259, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0015105843776836991, + "B": 0.011881665326654911, + "C": 0.0036237032618373632, + "D": 0.00597447669133544, + "E": 0.00869281217455864, + "F": 0.009850246831774712, + "G": 0.15408378839492798, + "H": 0.6905556321144104, + "I": 0.002064723987132311, + "J": 0.002064723987132311, + "K": 0.01433202438056469, + "L": 0.001419062609784305 + }, + "sample": { + "question": "Какие обстоятельства приводят к завершению действия таможенной процедуры таможенного склада согласно Федеральному закону \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?", + "answerA": "По желанию владельца товара", + "answerB": "До истечения срока действия таможенной процедуры, при наступлении обстоятельств, предусмотренных пунктом 1 статьи 161 Кодекса Союза, и при наступлении обстоятельств, определенных Правительством РФ", + "answerC": "По требованию региональных таможенных органов", + "answerD": "Автоматически по истечении трех лет с момента помещения товаров на склад", + "correct_answer": "answerB", + "choices": [ + "Право на участие в общем собрании акционеров с правом голоса", + "По решению суда о признании финансовой организации банкротом.", + "При отсутствии уведомления финансовой организацией контрольного органа о наличии обстоятельств, указанных в подпунктах 1 и 2 пункта 1 статьи 183.2 Федерального закона.", + "Статья 167 Кодекса Союза", + "Право на получение дивидендов", + "По требованию региональных таможенных органов", + "Автоматически по истечении трех лет с момента помещения товаров на склад", + "До истечения срока действия таможенной процедуры, при наступлении обстоятельств, предусмотренных пунктом 1 статьи 161 Кодекса Союза, и при наступлении обстоятельств, определенных Правительством РФ", + "Статья 30", + "По желанию владельца товара", + "20 миллионов рублей", + "5 миллионов рублей" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакие обстоятельства приводят к завершению действия таможенной процедуры таможенного склада согласно Федеральному закону \"О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации\" N 289-ФЗ?\nA. Право на участие в общем собрании акционеров с правом голоса\nB. По решению суда о признании финансовой организации банкротом.\nC. При отсутствии уведомления финансовой организацией контрольного органа о наличии обстоятельств, указанных в подпунктах 1 и 2 пункта 1 статьи 183.2 Федерального закона.\nD. Статья 167 Кодекса Союза\nE. Право на получение дивидендов\nF. По требованию региональных таможенных органов\nG. Автоматически по истечении трех лет с момента помещения товаров на склад\nH. До истечения срока действия таможенной процедуры, при наступлении обстоятельств, предусмотренных пунктом 1 статьи 161 Кодекса Союза, и при наступлении обстоятельств, определенных Правительством РФ\nI. Статья 30\nJ. По желанию владельца товара\nK. 20 миллионов рублей\nL. 5 миллионов рублей\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 237, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.08648572862148285, + "B": 0.14259086549282074, + "C": 0.01929757371544838, + "D": 0.021867016330361366, + "E": 0.3018648624420166, + "F": 0.013263016007840633, + "G": 0.09800116717815399, + "H": 0.05944070965051651, + "I": 0.015028965659439564, + "J": 0.03605261445045471, + "K": 0.009703430347144604, + "L": 0.0004831053374800831 + }, + "sample": { + "question": "По каким основаниям контрольный орган может назначить временную администрацию финансовой организации согласно статье 183.5 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?", + "answerA": "По решению суда о признании финансовой организации банкротом.", + "answerB": "При отсутствии уведомления финансовой организацией контрольного органа о наличии обстоятельств, указанных в подпунктах 1 и 2 пункта 1 статьи 183.2 Федерального закона.", + "answerC": "По инициативе исполнительных органов финансовой организации для реализации плана восстановления ее платежеспособности.", + "answerD": "По требованию большинства кредиторов финансовой организации.", + "correct_answer": "B", + "choices": [ + "По требованию большинства кредиторов финансовой организации.", + "По решению суда о признании финансовой организации банкротом.", + "Право на получение дивидендов", + "20 миллионов рублей", + "При отсутствии уведомления финансовой организацией контрольного органа о наличии обстоятельств, указанных в подпунктах 1 и 2 пункта 1 статьи 183.2 Федерального закона.", + "Право на участие в общем собрании акционеров с правом голоса", + "По инициативе исполнительных органов финансовой организации для реализации плана восстановления ее платежеспособности.", + "5 миллионов рублей", + "Статья 167 Кодекса Союза", + "Только через выкуп обществом собственных акций для их последующей продажи", + "Статья 234 Федерального закона", + "Статья 30" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nПо каким основаниям контрольный орган может назначить временную администрацию финансовой организации согласно статье 183.5 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?\nA. По требованию большинства кредиторов финансовой организации.\nB. По решению суда о признании финансовой организации банкротом.\nC. Право на получение дивидендов\nD. 20 миллионов рублей\nE. При отсутствии уведомления финансовой организацией контрольного органа о наличии обстоятельств, указанных в подпунктах 1 и 2 пункта 1 статьи 183.2 Федерального закона.\nF. Право на участие в общем собрании акционеров с правом голоса\nG. По инициативе исполнительных органов финансовой организации для реализации плана восстановления ее платежеспособности.\nH. 5 миллионов рублей\nI. Статья 167 Кодекса Союза\nJ. Только через выкуп обществом собственных акций для их последующей продажи\nK. Статья 234 Федерального закона\nL. Статья 30\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 213, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.24646392464637756, + "B": 0.11642131209373474, + "C": 0.2792802155017853, + "D": 0.062315840274095535, + "E": 0.08001512289047241, + "F": 0.025977104902267456, + "G": 0.037796467542648315, + "H": 0.054993532598018646, + "I": 0.002737967064604163, + "J": 0.005115195643156767, + "K": 0.006568041164427996, + "L": 0.0029145507141947746 + }, + "sample": { + "question": "Какой штраф обязан уплатить заявитель в случае признания исполнения обязательств кредитной организации за счет предоставленных средств несостоявшимся?", + "answerA": "5 миллионов рублей", + "answerB": "20 миллионов рублей", + "answerC": "10 миллионов рублей", + "answerD": "15 миллионов рублей", + "correct_answer": "C", + "choices": [ + "10 миллионов рублей", + "Статья 167 Кодекса Союза", + "20 миллионов рублей", + "Право на участие в общем собрании акционеров с правом голоса", + "Статья 234 Федерального закона", + "Только через выкуп обществом собственных акций для их последующе�� продажи", + "Статья 42", + "5 миллионов рублей", + "Статья 30", + "Право на получение дивидендов", + "Исключительно обязательное подтверждение в форме обязательной сертификации", + "15 миллионов рублей" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКакой штраф обязан уплатить заявитель в случае признания исполнения обязательств кредитной организации за счет предоставленных средств несостоявшимся?\nA. 10 миллионов рублей\nB. Статья 167 Кодекса Союза\nC. 20 миллионов рублей\nD. Право на участие в общем собрании акционеров с правом голоса\nE. Статья 234 Федерального закона\nF. Только через выкуп обществом собственных акций для их последующей продажи\nG. Статья 42\nH. 5 миллионов рублей\nI. Статья 30\nJ. Право на получение дивидендов\nK. Исключительно обязательное подтверждение в форме обязательной сертификации\nL. 15 миллионов рублей\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 156, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.10732147097587585, + "B": 0.07376089692115784, + "C": 0.2005028873682022, + "D": 0.2005028873682022, + "E": 0.04473824426531792, + "F": 0.0650937557220459, + "G": 0.07376089692115784, + "H": 0.05069506913423538, + "I": 0.010626263916492462, + "J": 0.034842174500226974, + "K": 0.02713511511683464, + "L": 0.008275743573904037 + }, + "sample": { + "question": "Какое право НЕ предоставляют обыкновенные акции их владельцам согласно Федеральному закону \"Об акционерных обществах\" (АО) N 208-ФЗ?", + "answerA": "Право на участие в общем собрании акционеров с правом голоса", + "answerB": "Право на получение дивидендов", + "answerC": "Конвертация обыкновенных акций в привилегированные акции", + "answerD": "Право на получение части имущества общества в случае его ликвидации", + "correct_answer": "answerC", + "choices": [ + "Статья 167 Кодекса Союза", + "Право на получение дивидендов", + "Статья 30", + "Только через выкуп обществом собственных акций для их последующей продажи", + "Сумма определяется на основании доходов отрасли", + "Конвертация обыкновенных акций в привилегированные акции", + "Исключительно обязательное подтверждение в форме обязательной сертификации", + "Статья 42", + "Статья 234 Федерального закона", + "Право на получение части имущества общества в случае его ликвидации", + "Путем увеличения номинальной стоимости акций", + "Право на участие в общем собрании акционеров с правом голоса" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКакое право НЕ предоставляют обыкновенные акции их владельцам согласно Федеральному закону \"Об акционерных обществах\" (АО) N 208-ФЗ?\nA. Статья 167 Кодекса Союза\nB. Право на получение дивидендов\nC. Статья 30\nD. Только через выкуп обществом собственных акций для их последующей продажи\nE. Сумма определяется на основании доходов отрасли\nF. Конвертация обыкновенных акций в п��ивилегированные акции\nG. Исключительно обязательное подтверждение в форме обязательной сертификации\nH. Статья 42\nI. Статья 234 Федерального закона\nJ. Право на получение части имущества общества в случае его ликвидации\nK. Путем увеличения номинальной стоимости акций\nL. Право на участие в общем собрании акционеров с правом голоса\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 177, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.039263442158699036, + "B": 0.06473448127508163, + "C": 0.034649867564439774, + "D": 0.22594551742076874, + "E": 0.10672911256551743, + "F": 0.057127974927425385, + "G": 0.07335376739501953, + "H": 0.1552899330854416, + "I": 0.05041526257991791, + "J": 0.057127974927425385, + "K": 0.023814482614398003, + "L": 0.05041526257991791 + }, + "sample": { + "question": "В соответствии с какой статьей Кодекса Союза осуществляется идентификация товаров, документов, транспортных средств, а также помещений и других мест по Федеральному закону 'О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации' N 289-ФЗ?", + "answerA": "Статья 167 Кодекса Союза", + "answerB": "Статья 234 Федерального закона", + "answerC": "Статья 341 Кодекса Союза", + "answerD": "Статья 192 Кодекса Союза", + "correct_answer": "Статья 341 Кодекса Союза", + "choices": [ + "Предоставление медицинских услуг населению", + "Статья 30", + "Сумма определяется на основании доходов отрасли", + "Статья 341 Кодекса Союза", + "Статья 234 Федерального закона", + "Статья 42", + "Только добровольное подтверждение в форме добровольной сертификации", + "Статья 167 Кодекса Союза", + "Исключительно обязательное подтверждение в форме обязательной сертификации", + "Путем увеличения номинальной стоимости акций", + "Только через выкуп обществом собственных акций для их последующей продажи", + "Статья 192 Кодекса Союза" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nВ соответствии с какой статьей Кодекса Союза осуществляется идентификация товаров, документов, транспортных средств, а также помещений и других мест по Федеральному закону 'О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации' N 289-ФЗ?\nA. Предоставление медицинских услуг населению\nB. Статья 30\nC. Сумма определяется на основании доходов отрасли\nD. Статья 341 Кодекса Союза\nE. Статья 234 Федерального закона\nF. Статья 42\nG. Только добровольное подтверждение в форме добровольной сертификации\nH. Статья 167 Кодекса Союза\nI. Исключительно обязательное подтверждение в форме обязательной сертификации\nJ. Путем увеличения номинальной стоимости акций\nK. Только через выкуп обществом собственных акций для их последующей продажи\nL. Статья 192 Кодекса Союза\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтве��:", + "info": { + "prompt_len": 197, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.002202387200668454, + "B": 0.013491257093846798, + "C": 0.0009773034835234284, + "D": 0.0046624536626040936, + "E": 0.007687086705118418, + "F": 0.016273563727736473, + "G": 0.02683056890964508, + "H": 0.050126105546951294, + "I": 0.007687086705118418, + "J": 0.5062556862831116, + "K": 0.23913827538490295, + "L": 0.07763683050870895 + }, + "sample": { + "question": "Согласно Федеральному закону \"Об акционерных обществах\" (АО) N 208-ФЗ, каким образом может быть уменьшен уставный капитал общества?", + "answerA": "Только через выкуп обществом собственных акций для их последующей продажи", + "answerB": "Путем увеличения номинальной стоимости акций", + "answerC": "Путем уменьшения номинальной стоимости акций или сокращения их общего количества", + "answerD": "Исключительно путем слияния с другим обществом", + "correct_answer": "answerC", + "choices": [ + "Исключительно обязательное подтверждение в форме обязательной сертификации", + "Только добровольное подтверждение в форме добровольной сертификации", + "Исключительно путем слияния с другим обществом", + "Сделка, совершенная должником без нотариального удостоверения.", + "Сумма определяется на основании доходов отрасли", + "Размер микрозайма не регламентируется и оставлен на усмотрение микрофинансовых организаций", + "Осуществление деятельности в сфере образования", + "Предоставление медицинских услуг населению", + "Истечение срока полномочий временной администрации", + "Путем уменьшения номинальной стоимости акций или сокращения их общего количества", + "Путем увеличения номинальной стоимости акций", + "Только через выкуп обществом собственных акций для их последующей продажи" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nСогласно Федеральному закону \"Об акционерных обществах\" (АО) N 208-ФЗ, каким образом может быть уменьшен уставный капитал общества?\nA. Исключительно обязательное подтверждение в форме обязательной сертификации\nB. Только добровольное подтверждение в форме добровольной сертификации\nC. Исключительно путем слияния с другим обществом\nD. Сделка, совершенная должником без нотариального удостоверения.\nE. Сумма определяется на основании доходов отрасли\nF. Размер микрозайма не регламентируется и оставлен на усмотрение микрофинансовых организаций\nG. Осуществление деятельности в сфере образования\nH. Предоставление медицинских услуг населению\nI. Истечение срока полномочий временной администрации\nJ. Путем уменьшения номинальной стоимости акций или сокращения их общего количества\nK. Путем увеличения номинальной стоимости акций\nL. Только через выкуп обществом собственных акций для их последующей продажи\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 198, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.001257658819667995, + "B": 0.0009201229549944401, + "C": 0.0005580827128142118, + "D": 0.0032115441281348467, + "E": 0.5400987267494202, + "F": 0.0008120055426843464, + "G": 0.004672769457101822, + "H": 0.0004626668232958764, + "I": 0.0016148659633472562, + "J": 0.004123704507946968, + "K": 0.00341867096722126, + "L": 5.19097811775282e-05 + }, + "sample": { + "question": "Какие формы подтверждения соответствия установлены Федеральным законом \"О техническом регулировании\" N 184-ФЗ в соответствии со статьей 20?", + "answerA": "Исключительно обязательное подтверждение в форме обязательной сертификации", + "answerB": "Только добровольное подтверждение в форме добровольной сертификации", + "answerC": "Обязательное подтверждение в формах принятия декларации о соответствии и обязательной сертификации, а также добровольное подтверждение", + "answerD": "Только принятие экспертного заключения", + "correct_answer": "answerC", + "choices": [ + "Истечение срока полномочий временной администрации", + "Предоставление медицинских услуг населению", + "Размер микрозайма не регламентируется и оставлен на усмотрение микрофинансовых организаций", + "До 1 января 1992 года", + "Обязательное подтверждение в формах принятия декларации о соответствии и обязательной сертификации, а также добровольное подтверждение", + "Сделка, совершенная должником без нотариального удостоверения.", + "Осуществление деятельности в сфере образования", + "Только принятие экспертного заключения", + "Сумма определяется на основании доходов отрасли", + "Исключительно обязательное подтверждение в форме обязательной сертификации", + "Продажа имущества, выполнение работы, оказание услуги осуществляются по ценам выше государственно регулируемых.", + "Только добровольное подтверждение в форме добровольной сертификации" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКакие формы подтверждения соответствия установлены Федеральным законом \"О техническом регулировании\" N 184-ФЗ в соответствии со статьей 20?\nA. Истечение срока полномочий временной администрации\nB. Предоставление медицинских услуг населению\nC. Размер микрозайма не регламентируется и оставлен на усмотрение микрофинансовых организаций\nD. До 1 января 1992 года\nE. Обязательное подтверждение в формах принятия декларации о соответствии и обязательной сертификации, а также добровольное подтверждение\nF. Сделка, совершенная должником без нотариального удостоверения.\nG. Осуществление деятельности в сфере образования\nH. Только принятие экспертного заключения\nI. Сумма определяется на основании доходов отрасли\nJ. Исключительно обязательное подтверждение в форме обязательной сертификации\nK. Продажа имущества, выполнение работы, оказание услуги осуществляются по ценам выше государственно регулируемых.\nL. Только добровол��ное подтверждение в форме добровольной сертификации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 213, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.003681265050545335, + "B": 0.014559685252606869, + "C": 0.010652093216776848, + "D": 0.4529385268688202, + "E": 0.02720107138156891, + "F": 0.01756233163177967, + "G": 0.042129844427108765, + "H": 0.014559685252606869, + "I": 0.002376803196966648, + "J": 0.04773936793208122, + "K": 0.21395301818847656, + "L": 0.07870890945196152 + }, + "sample": { + "question": "Какой максимальный размер микрозайма и требования к структуре портфеля микрозаймов государственными (муниципальными) микрофинансовыми организациями устанавливаются?", + "answerA": "Сумма определяется на основании доходов отрасли", + "answerB": "Размер микрозайма не регламентируется и оставлен на усмотрение микрофинансовых организаций", + "answerC": "Максимальный размер микрозайма и срок его предоставления, а также требования к структуре портфеля микрозаймов", + "answerD": "Порядок и условия определяются исключительно федеральными законами без учета мнения самих микрофинансовых организаций", + "correct_answer": "C", + "choices": [ + "Продажа имущества, выполнение работы, оказание услуги осуществляются по ценам выше государственно регулируемых.", + "Порядок и условия определяются исключительно федеральными законами без учета мнения самих микрофинансовых организаций", + "Истечение срока полномочий временной администрации", + "Максимальный размер микрозайма и срок его предоставления, а также требования к структуре портфеля микрозаймов", + "Сумма определяется на основании доходов отрасли", + "Осуществление деятельности в сфере образования", + "Размер микрозайма не регламентируется и оставлен на усмотрение микрофинансовых организаций", + "Подача в арбитражный суд заявления о признании финансовой организации банкротом", + "До 1 января 1992 года", + "Сделка, совершенная должником без нотариального удостоверения.", + "Предоставление медицинских услуг населению", + "Не может превышать пятьдесят рабочих дней с даты вынесения арбитражным судом соответствующего определения." + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКакой максимальный размер микрозайма и требования к структуре портфеля микрозаймов государственными (муниципальными) микрофинансовыми организациями устанавливаются?\nA. Продажа имущества, выполнение работы, оказание услуги осуществляются по ценам выше государственно регулируемых.\nB. Порядок и условия определяются исключительно федеральными законами без учета мнения самих микрофинансовых организаций\nC. Истечение срока полномочий временной администрации\nD. Максимальный размер микрозайма и срок его предоставления, а также требования к структуре портфеля микрозаймов\nE. Сумма определяет��я на основании доходов отрасли\nF. Осуществление деятельности в сфере образования\nG. Размер микрозайма не регламентируется и оставлен на усмотрение микрофинансовых организаций\nH. Подача в арбитражный суд заявления о признании финансовой организации банкротом\nI. До 1 января 1992 года\nJ. Сделка, совершенная должником без нотариального удостоверения.\nK. Предоставление медицинских услуг населению\nL. Не может превышать пятьдесят рабочих дней с даты вынесения арбитражным судом соответствующего определения.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 239, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0031080807093530893, + "B": 0.014827823266386986, + "C": 0.006579806562513113, + "D": 0.033415015786886215, + "E": 0.010191003791987896, + "F": 0.0054548513144254684, + "G": 0.011547920294106007, + "H": 0.8617846369743347, + "I": 0.0012171418638899922, + "J": 0.0022739204578101635, + "K": 0.0025766894686967134, + "L": 0.014827823266386986 + }, + "sample": { + "question": "Какие виды деятельности может осуществлять специализированное финансовое общество в соответствии с Федеральным законом 'О рынке ценных бумаг' N 39-ФЗ?", + "answerA": "Предоставление медицинских услуг населению", + "answerB": "Осуществление деятельности в сфере образования", + "answerC": "Приобретение имущественных прав требований и эмиссия облигаций, обеспеченных залогом денежных требований", + "answerD": "Разработка и производство программного обеспечения", + "correct_answer": "C", + "choices": [ + "Разработка и производство программного обеспечения", + "Не может превышать пятьдесят рабочих дней с даты вынесения арбитражным судом соответствующего определения.", + "Подача в арбитражный суд заявления о признании финансовой организации банкротом", + "Продажа имущества, выполнение работы, оказание услуги осуществляются по ценам выше государственно регулируемых.", + "Перед Министерством финансов РФ", + "Истечение срока полномочий временной администрации", + "Осуществление деятельности в сфере образования", + "Приобретение имущественных прав требований и эмиссия облигаций, обеспеченных залогом денежных требований", + "До 1 июня 1994 года", + "До 1 января 1992 года", + "Сделка, совершенная должником без нотариального удостоверения.", + "Предоставление медицинских услуг населению" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакие виды деятельности может осуществлять специализированное финансовое общество в соответствии с Федеральным законом 'О рынке ценных бумаг' N 39-ФЗ?\nA. Разработка и производство программного обеспечения\nB. Не может превышать пятьдесят рабочих дней с даты вынесения арбитражным судом соответствующего определения.\nC. Подача в арбитражный суд заявления о признании финансовой организации банкротом\nD. Продажа имущества, выполнение работы, оказание услуги осуществляются по ценам выше государственно регулируемых.\nE. Перед Министерством финансов РФ\nF. Истечение срока полномочий временной администрации\nG. Осуществление деятельности в сфере образования\nH. Приобретение имущественных прав требований и эмиссия облигаций, обеспеченных залогом денежных требований\nI. До 1 июня 1994 года\nJ. До 1 января 1992 года\nK. Сделка, совершенная должником без нотариального удостоверения.\nL. Предоставление медицинских услуг населению\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 212, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.10265041142702103, + "B": 0.07994421571493149, + "C": 0.31618553400039673, + "D": 0.07055053114891052, + "E": 0.029409833252429962, + "F": 0.018988415598869324, + "G": 0.07055053114891052, + "H": 0.03776297718286514, + "I": 0.006562220863997936, + "J": 0.014788194559514523, + "K": 0.029409833252429962, + "L": 0.0013755162945017219 + }, + "sample": { + "question": "Какие условия делают сделку подозрительной в контексте Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?", + "answerA": "Сделка, совершенная должником без нотариального удостоверения.", + "answerB": "Продажа имущества, выполнение работы, оказание услуги осуществляются по ценам выше государственно регулируемых.", + "answerC": "Сделка, совершенная должником в течение одного года до принятия заявления о признании банкротом при неравноценном встречном исполнении обязательств.", + "answerD": "Любая сделка, заключенная должником без предварительного уведомления кредиторов.", + "correct_answer": "answerC", + "choices": [ + "Подача в арбитражный суд заявления о признании финансовой организации банкротом", + "Продажа имущества, выполнение работы, оказание услуги осуществляются по ценам выше государственно регулируемых.", + "Сделка, совершенная должником в течение одного года до принятия заявления о признании банкротом при неравноценном встречном исполнении обязательств.", + "Не может превышать пятьдесят рабочих дней с даты вынесения арбитражным судом соответствующего определения.", + "Сделка, совершенная должником без нотариального удостоверения.", + "Перед Министерством финансов РФ", + "До 1 июня 1994 года", + "Истечение срока полномочий временной администрации", + "До 1 января 1992 года", + "Исполнительные документы о взыскании штрафов и пеней", + "Не может превышать сорок рабочих дней с даты вынесения арбитражным судом соответствующего определения.", + "Любая сделка, заключенная должником без предварительного уведомления кредиторов." + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКакие условия делают сделку подозрительной в контексте Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?\nA. Подача в арбитражный суд заявления о признании финансовой организации банкротом\nB. Продажа имущества, выполнение работы, оказание услуги осуществляются по ценам выше государственно регулируемых.\nC. Сделка, совершенная должником в течение одного года до принятия заявления о признании банкротом при неравноценном встречном исполнении обязательств.\nD. Не может превышать пятьдесят рабочих дней с даты вынесения арбитражным судом соответствующего определения.\nE. Сделка, совершенная должником без нотариального удостоверения.\nF. Перед Министерством финансов РФ\nG. До 1 июня 1994 года\nH. Истечение срока полномочий временной администрации\nI. До 1 января 1992 года\nJ. Исполнительные документы о взыскании штрафов и пеней\nK. Не может превышать сорок рабочих дней с даты вынесения арбитражным судом соответствующего определения.\nL. Любая сделка, заключенная должником без предварительного уведомления кредиторов.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 240, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.12451761215925217, + "B": 0.07094798982143402, + "C": 0.0755237489938736, + "D": 0.08557961881160736, + "E": 0.07094798982143402, + "F": 0.048761796206235886, + "G": 0.07094798982143402, + "H": 0.06664947420358658, + "I": 0.02957552671432495, + "J": 0.12451761215925217, + "K": 0.07094798982143402, + "L": 0.048761796206235886 + }, + "sample": { + "question": "Какое из нижеперечисленных действий НЕ является основанием для прекращения деятельности временной администрации в соответствии с Федеральным законом \"О несостоятельности (банкротстве)\" N 127-ФЗ?", + "answerA": "Истечение срока полномочий временной администрации", + "answerB": "Подача в арбитражный суд заявления о признании финансовой организации банкротом", + "answerC": "Приостановление производства по делу о банкротстве арбитражным судом", + "answerD": "Достижение целей назначения временной администрации и решение поставленных задач", + "correct_answer": "Приостановление производства по делу о банкротстве арбитражным судом", + "choices": [ + "Перед Министерством финансов РФ", + "Истечение срока полномочий временной администрации", + "Не может превышать пятьдесят рабочих дней с даты вынесения арбитражным судом соответствующего определения.", + "Подача в арбитражный суд заявления о признании финансовой организации банкротом", + "Перед Федеральной налоговой службой", + "До 1 января 1992 года", + "До 1 июня 1994 года", + "Статья 15. Обязанности уполномоченных банков", + "Не может превышать сорок рабочих дней с даты вынесения арбитражным судом соответствующего определения.", + "Достижение целей назначения временной администрации и решение поставленных задач", + "Исполнительные документы о взыскании штрафов и пеней", + "Приостановление производства по делу о банкротстве арбитражным судом" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКакое из нижеперечисленных действий НЕ является основанием для прекращения деятельности временной администрации в соответствии с Федеральным законом \"О несостоятельности (банкротстве)\" N 127-ФЗ?\nA. Перед Министерством финансов РФ\nB. Истечение срока полномочий временной администрации\nC. Не может превышать пятьдесят рабочих дней с даты вынесения арбитражным судом соответствующего определения.\nD. Подача в арбитражный суд заявления о признании финансовой организации банкротом\nE. Перед Федеральной налоговой службой\nF. До 1 января 1992 года\nG. До 1 июня 1994 года\nH. Статья 15. Обязанности уполномоченных банков\nI. Не может превышать сорок рабочих дней с даты вынесения арбитражным судом соответствующего определения.\nJ. Достижение целей назначения временной администрации и решение поставленных задач\nK. Исполнительные документы о взыскании штрафов и пеней\nL. Приостановление производства по делу о банкротстве арбитражным судом\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 221, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.005124164279550314, + "B": 0.015783535316586494, + "C": 0.0801554024219513, + "D": 0.0801554024219513, + "E": 0.016801487654447556, + "F": 0.022964907810091972, + "G": 0.029487526044249535, + "H": 0.016801487654447556, + "I": 0.010190616361796856, + "J": 0.062425095587968826, + "K": 0.4612625241279602, + "L": 0.012292229570448399 + }, + "sample": { + "question": "Согласно Федеральному закону \"О воинской обязанности и военной службе\" N 53-ФЗ и его Статье 61, до какой даты срок действительной военной службы военнослужащего включается в общую продолжительность его военной службы?", + "answerA": "До 1 января 1992 года", + "answerB": "До 1 июня 1994 года", + "answerC": "До 1 марта 1993 года", + "answerD": "До 1 сентября 1995 года", + "correct_answer": "answerC", + "choices": [ + "До 1 января 1992 года", + "Перед Министерством финансов РФ", + "До 1 марта 1993 года", + "До 1 июня 1994 года", + "Статья 15. Обязанности уполномоченных банков", + "Исполнительные документы о взыскании штрафов и пеней", + "До 1 сентября 1995 года", + "Перед Федеральной налоговой службой", + "Исполнительные документы о взыскании задолженности по заработной плате и текущим платежам", + "Не позднее пяти рабочих дней после дня принятия решения об обращении взыскания на товары", + "Не может превышать сорок рабочих дней с даты вынесения арбитражным судом соответствующего определения.", + "Не может превышать пятьдесят рабочих дней с даты вынесения арбитражным судом соответствующего определения." + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nСогласно Федеральному закону \"О воинской обязанности и военной службе\" N 53-ФЗ и его Статье 61, до какой даты срок действительной военной службы военнослужащего включается в общую продолжительность его военной службы?\nA. До 1 января 1992 года\nB. Перед Министерством финансов РФ\nC. До 1 марта 1993 года\nD. До 1 июня 1994 года\nE. Статья 15. Обязанности уполномоченных банков\nF. Исполнительные документы о взыскании штрафов и пеней\nG. До 1 сентября 1995 года\nH. Перед Федеральной налоговой службой\nI. Исполнительные документы о взыскании задолженности по заработной плате и текущим платежам\nJ. Не позднее пяти рабочих дней после дня принятия решения об обращении взыскания на товары\nK. Не может превышать сорок рабочих дней с даты вынесения арбитражным судом соответствующего определения.\nL. Не может превышать пятьдесят рабочих дней с даты вынесения арбитражным судом соответствующего определения.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 234, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.003541550599038601, + "B": 0.013158457353711128, + "C": 0.03156549856066704, + "D": 0.3845464885234833, + "E": 0.024583233520388603, + "F": 0.06682415306568146, + "G": 0.16030283272266388, + "H": 0.03156549856066704, + "I": 0.005152926314622164, + "J": 0.03156549856066704, + "K": 0.1816469132900238, + "L": 0.003769961418583989 + }, + "sample": { + "question": "Какой срок установлен для погашения требований к должнику об уплате обязательных платежей в ходе финансового оздоровления, согласно статье 85.1 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?", + "answerA": "Не может превышать пятьдесят рабочих дней с даты вынесения арбитражным судом соответствующего определения.", + "answerB": "Не может превышать сорок рабочих дней с даты вынесения арбитражным судом соответствующего определения.", + "answerC": "Не может превышать тридцать рабочих дней с даты вынесения арбитражным судом соответствующего определения.", + "answerD": "Не имеет ограничения по сроку и определяется согласованием сторон.", + "correct_answer": "answerC", + "choices": [ + "Исполнительные документы о взыскании задолженности по заработной плате и текущим платежам", + "Статья 18. Предварительная регистрация", + "Исполнительные документы о взыскании штрафов и пеней", + "Не может превышать тридцать рабочих дней с даты вынесения арбитражным судом соответствующего определения.", + "Перед Федеральной налоговой службой", + "Статья 15. Обязанности уполномоченных банков", + "Не может превышать сорок рабочих дней с даты вынесения арбитражным судом соответствующего определения.", + "Представить информацию о выпуске ценных бумаг исключительно в электронном виде", + "Перед Министерством финансов РФ", + "Не имеет ограничения по сроку и определяется согласованием сторон.", + "Не может превышать пятьдесят рабочих дней с даты вынесения арбитражным судом соответствующего определения.", + "Не позднее пяти рабочих дней после дня принятия решения об обращении взыскания на товары" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКакой срок установлен для погашения требований к должнику об уплате обязательных платежей в ходе финансового оздоровления, согласно статье 85.1 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?\nA. Исполнительные документы о взыскании задолженности по заработной плате и текущим платежам\nB. Статья 18. Предварительная регистрация\nC. Исполнительные документы о взыскании штрафов и пеней\nD. Не может превышать тридцать рабочих дней с даты вынесения арбитражным судом соответствующего определения.\nE. Перед Федеральной налоговой службой\nF. Статья 15. Обязанности уполномоченных банков\nG. Не может превышать сорок рабочих дней с даты вынесения арбитражным судом соответствующего определения.\nH. Представить информацию о выпуске ценных бумаг исключительно в электронном виде\nI. Перед Министерством финансов РФ\nJ. Не имеет ограничения по сроку и определяется согласованием сторон.\nK. Не может превышать пятьдесят рабочих дней с даты вынесения арбитражным судом соответствующего определения.\nL. Не позднее пяти рабочих дней после дня принятия решения об обращении взыскания на товары\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 246, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0759168490767479, + "B": 0.09747917205095291, + "C": 0.046045899391174316, + "D": 0.05912410467863083, + "E": 0.09747917205095291, + "F": 0.18211506307125092, + "G": 0.046045899391174316, + "H": 0.1104583665728569, + "I": 0.021750543266534805, + "J": 0.12516573071479797, + "K": 0.03164685145020485, + "L": 0.020432742312550545 + }, + "sample": { + "question": "Перед кем временная администрация по управлению кредитной организацией отчитывается по статье 189.42 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?", + "answerA": "Перед Министерством финансов РФ", + "answerB": "Перед Федеральной налоговой службой", + "answerC": "Перед Банком России", + "answerD": "Перед Государственной думой", + "correct_answer": "C", + "choices": [ + "Декларация", + "Перед Федеральной налоговой службой", + "Перед Министерством финансов РФ", + "Представить информацию о выпуске ценных бумаг исключительно в электронном виде", + "Перед Государственной думой", + "Статья 15. Обязанности уполномоченных банков", + "Статья 18. Предварительная регистрация", + "Исполнительные документы о взыскании задолженности по заработной плате и текущим платежам", + "Не позднее пяти рабочих дней после дня принятия решения об обращении взыскания на товары", + "Перед Банком России", + "Исполнительные документы о взыскании штрафов и пеней", + "Не позднее семи рабочих дней после дня принятия решения об обращении взыскания на товары" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nПеред кем временная администрация по управлению кредитной организацией отчитывается по статье 189.42 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?\nA. Деклара��ия\nB. Перед Федеральной налоговой службой\nC. Перед Министерством финансов РФ\nD. Представить информацию о выпуске ценных бумаг исключительно в электронном виде\nE. Перед Государственной думой\nF. Статья 15. Обязанности уполномоченных банков\nG. Статья 18. Предварительная регистрация\nH. Исполнительные документы о взыскании задолженности по заработной плате и текущим платежам\nI. Не позднее пяти рабочих дней после дня принятия решения об обращении взыскания на товары\nJ. Перед Банком России\nK. Исполнительные документы о взыскании штрафов и пеней\nL. Не позднее семи рабочих дней после дня принятия решения об обращении взыскания на товары\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 205, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " F" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.14785195887088776, + "B": 0.05439169704914093, + "C": 0.2437666803598404, + "D": 0.06984032690525055, + "E": 0.018797267228364944, + "F": 0.014639326371252537, + "G": 0.16753822565078735, + "H": 0.0373828299343586, + "I": 0.0030685695819556713, + "J": 0.003477144753560424, + "K": 0.04800049960613251, + "L": 0.00047058038762770593 + }, + "sample": { + "question": "Какие исполнительные документы приостанавливаются судебным приставом-исполнителем на основании определения арбитражного суда о введении процедур наблюдения, финансового оздоровления или внешнего управления?", + "answerA": "Исполнительные документы о взыскании штрафов и пеней", + "answerB": "Исполнительные документы о взыскании задолженности по заработной плате и текущим платежам", + "answerC": "Исполнительные документы о признании права собственности", + "answerD": "Исполнительные документы, выданные на основании вступивших в законную силу до даты введения указанных процедур судебных актов", + "correct_answer": "answerD", + "choices": [ + "Исполнительные документы о признании права собственности", + "Исполнительные документы о взыскании штрафов и пеней", + "Обеспечить информацию о выпуске ценных бумаг в соответствии со статьей 30 настоящего Федерального закона", + "Не позднее пяти рабочих дней после дня принятия решения об обращении взыскания на товары", + "Представить информацию о выпуске ценных бумаг исключительно в электронном виде", + "Не позднее семи рабочих дней после дня принятия решения об обращении взыскания на товары", + "Исполнительные документы, выданные на основании вступивших в законную силу до даты введения указанных процедур судебных актов", + "Статья 15. Обязанности уполномоченных банков", + "Исполнительные документы о взыскании задолженности по заработной плате и текущим платежам", + "Добровольную передачу имущества государственным органам.", + "Статья 18. Предварительная регистрация", + "Декларация" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКакие исполнительные документы приостанавливаются судебным приставо��-исполнителем на основании определения арбитражного суда о введении процедур наблюдения, финансового оздоровления или внешнего управления?\nA. Исполнительные документы о признании права собственности\nB. Исполнительные документы о взыскании штрафов и пеней\nC. Обеспечить информацию о выпуске ценных бумаг в соответствии со статьей 30 настоящего Федерального закона\nD. Не позднее пяти рабочих дней после дня принятия решения об обращении взыскания на товары\nE. Представить информацию о выпуске ценных бумаг исключительно в электронном виде\nF. Не позднее семи рабочих дней после дня принятия решения об обращении взыскания на товары\nG. Исполнительные документы, выданные на основании вступивших в законную силу до даты введения указанных процедур судебных актов\nH. Статья 15. Обязанности уполномоченных банков\nI. Исполнительные документы о взыскании задолженности по заработной плате и текущим платежам\nJ. Добровольную передачу имущества государственным органам.\nK. Статья 18. Предварительная регистрация\nL. Декларация\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 239, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.2744496464729309, + "B": 0.14690232276916504, + "C": 0.07863114774227142, + "D": 0.08910075575113297, + "E": 0.06939174234867096, + "F": 0.10096439719200134, + "G": 0.04208821803331375, + "H": 0.06939174234867096, + "I": 0.010641567409038544, + "J": 0.01988106779754162, + "K": 0.010641567409038544, + "L": 0.0060633826069533825 + }, + "sample": { + "question": "Какая норма Федерального закона 'О валютном регулировании и валютном контроле' N 173-ФЗ прекратила своё действие до 1 января 2007 года?", + "answerA": "Статья 15. Обязанности уполномоченных банков", + "answerB": "Статья 18. Предварительная регистрация", + "answerC": "Статья 22. Валютный контроль", + "answerD": "Статья 30. Резиденты и нерезиденты", + "correct_answer": "Статья 18. Предварительная регистрация", + "choices": [ + "Статья 30. Резиденты и нерезиденты", + "Статья 22. Валютный контроль", + "Представить информацию о выпуске ценных бумаг исключительно в электронном виде", + "Не позднее пяти рабочих дней после дня принятия решения об обращении взыскания на товары", + "Постановление", + "Статья 18. Предварительная регистрация", + "Декларация", + "Статья 15. Обязанности уполномоченных банков", + "Потребности частных компаний в товарах, работах и услугах за счет средств федерального бюджета.", + "Не позднее семи рабочих дней после дня принятия решения об обращении взыскания на товары", + "Добровольную передачу имущества государственным органам.", + "Обеспечить информацию о выпуске ценных бумаг в соответствии со статьей 30 настоящего Федерального закона" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКакая норма Федерального закона 'О валютном регулировании и валютном контроле' N 173-ФЗ прекратила своё действие до 1 января 2007 года?\nA. Статья 30. Резиденты и нерезиденты\nB. Статья 22. Валютный контроль\nC. Представить информацию о выпуске ценных бумаг исключительно в электронном виде\nD. Не позднее пяти рабочих дней после дня принятия решения об обращении взыскания на товары\nE. Постановление\nF. Статья 18. Предварительная регистрация\nG. Декларация\nH. Статья 15. Обязанности уполномоченных банков\nI. Потребности частных компаний в товарах, работах и услугах за счет средств федерального бюджета.\nJ. Не позднее семи рабочих дней после дня принятия решения об обращении взыскания на товары\nK. Добровольную передачу имущества государственным органам.\nL. Обеспечить информацию о выпуске ценных бумаг в соответствии со статьей 30 настоящего Федерального закона\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 224, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.4651978611946106, + "B": 0.01803767867386341, + "C": 0.21974392235279083, + "D": 0.08083926141262054, + "E": 0.03369882330298424, + "F": 0.006635691039264202, + "G": 0.026244670152664185, + "H": 0.006635691039264202, + "I": 0.08083926141262054, + "J": 0.0022932335268706083, + "K": 0.0022932335268706083, + "L": 0.00012153691204730421 + }, + "sample": { + "question": "Каков срок, в течение которого таможенный орган должен подать заявление в суд об обращении взыскания на товары, если эти товары не были переданы таможенным органам в качестве предмета залога?", + "answerA": "Не позднее пяти рабочих дней после дня принятия решения об обращении взыскания на товары", + "answerB": "Не позднее семи рабочих дней после дня принятия решения об обращении взыскания на товары", + "answerC": "Не позднее десяти рабочих дней после дня принятия решения об обращении взыскания на товары", + "answerD": "Не позднее двадцати рабочих дней после дня принятия решения об обращении взыскания на товары", + "correct_answer": "Не позднее десяти рабочих дней после дня принятия решения об обращении взыскания на товары", + "choices": [ + "Не позднее десяти рабочих дней после дня принятия решения об обращении взыскания на товары", + "Потребности частных компаний в товарах, работах и услугах за счет средств федерального бюджета.", + "Не позднее пяти рабочих дней после дня принятия решения об обращении взыскания на товары", + "Не позднее двадцати рабочих дней после дня принятия решения об обращении взыскания на товары", + "Обеспечить информацию о выпуске ценных бумаг в соответствии со статьей 30 настоящего Федерального закона", + "Любой гражданин Российской Федерации", + "Представить информацию о выпуске ценных бумаг исключительно в электронном виде", + "Добровольную передачу имущества государственным органам.", + "Не позднее семи рабочих дней после дня принятия решения об обращении взыскания на товары", + "Принудительное безвоз��ездное изъятие указанного в исполнительном документе имущества и передачу его государственным органам или организациям.", + "Декларация", + "Постановление" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКаков срок, в течение которого таможенный орган должен подать заявление в суд об обращении взыскания на товары, если эти товары не были переданы таможенным органам в качестве предмета залога?\nA. Не позднее десяти рабочих дней после дня принятия решения об обращении взыскания на товары\nB. Потребности частных компаний в товарах, работах и услугах за счет средств федерального бюджета.\nC. Не позднее пяти рабочих дней после дня принятия решения об обращении взыскания на товары\nD. Не позднее двадцати рабочих дней после дня принятия решения об обращении взыскания на товары\nE. Обеспечить информацию о выпуске ценных бумаг в соответствии со статьей 30 настоящего Федерального закона\nF. Любой гражданин Российской Федерации\nG. Представить информацию о выпуске ценных бумаг исключительно в электронном виде\nH. Добровольную передачу имущества государственным органам.\nI. Не позднее семи рабочих дней после дня принятия решения об обращении взыскания на товары\nJ. Принудительное безвозмездное изъятие указанного в исполнительном документе имущества и передачу его государственным органам или организациям.\nK. Декларация\nL. Постановление\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 232, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.5916135311126709, + "B": 0.08006618916988373, + "C": 0.010835780762135983, + "D": 0.015765966847538948, + "E": 0.037820588797330856, + "F": 0.037820588797330856, + "G": 0.007927626371383667, + "H": 0.009562542662024498, + "I": 0.00898317713290453, + "J": 0.10280700773000717, + "K": 0.007447315379977226, + "L": 0.0013776147970929742 + }, + "sample": { + "question": "Что обязан сделать эмитент в случае регистрации проспекта ценных бумаг согласно Федеральному закону \"О рынке ценных бумаг\" N 39-ФЗ?", + "answerA": "Представить информацию о выпуске ценных бумаг исключительно в электронном виде", + "answerB": "Обеспечить информацию о выпуске ценных бумаг в соответствии со статьей 30 настоящего Федерального закона", + "answerC": "Раскрывать информацию о размещаемых ценных бумагах, включая рекламу, в полном соответствии с проспектом ценных бумаг", + "answerD": "Сообщить информацию о выпуске ценных бумаг исключительно акционерам компании", + "correct_answer": "C", + "choices": [ + "Обеспечить информацию о выпуске ценных бумаг в соответствии со статьей 30 настоящего Федерального закона", + "Добровольную передачу имущества государственным органам.", + "Декларация", + "Только из указов Президента Российской Федерации", + "Принудительное безвозмездное изъятие указанного в исполнительном документе имущества и передачу его государственным органам или организациям.", + "Потребности Российской Федерации и государственных заказчиков в товарах, работах, услугах, необходимых для осуществления функций и полномочий Российской Федерации и государственных заказчиков.", + "Потребности частных компаний в товарах, работах и услугах за счет средств федерального бюджета.", + "Постановление", + "Представить информацию о выпуске ценных бумаг исключительно в электронном виде", + "Раскрывать информацию о размещаемых ценных бумагах, включая рекламу, в полном соответствии с проспектом ценных бумаг", + "Любой гражданин Российской Федерации", + "Сообщить информацию о выпуске ценных бумаг исключительно акционерам компании" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nЧто обязан сделать эмитент в случае регистрации проспекта ценных бумаг согласно Федеральному закону \"О рынке ценных бумаг\" N 39-ФЗ?\nA. Обеспечить информацию о выпуске ценных бумаг в соответствии со статьей 30 настоящего Федерального закона\nB. Добровольную передачу имущества государственным органам.\nC. Декларация\nD. Только из указов Президента Российской Федерации\nE. Принудительное безвозмездное изъятие указанного в исполнительном документе имущества и передачу его государственным органам или организациям.\nF. Потребности Российской Федерации и государственных заказчиков в товарах, работах, услугах, необходимых для осуществления функций и полномочий Российской Федерации и государственных заказчиков.\nG. Потребности частных компаний в товарах, работах и услугах за счет средств федерального бюджета.\nH. Постановление\nI. Представить информацию о выпуске ценных бумаг исключительно в электронном виде\nJ. Раскрывать информацию о размещаемых ценных бумагах, включая рекламу, в полном соответствии с проспектом ценных бумаг\nK. Любой гражданин Российской Федерации\nL. Сообщить информацию о выпуске ценных бумаг исключительно акционерам компании\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 239, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.014837011694908142, + "B": 0.18075181543827057, + "C": 0.011555076576769352, + "D": 0.014837011694908142, + "E": 0.23208992183208466, + "F": 0.04570121318101883, + "G": 0.06649486720561981, + "H": 0.3376888334751129, + "I": 0.0015638096956536174, + "J": 0.005458231549710035, + "K": 0.003993327263742685, + "L": 0.024462098255753517 + }, + "sample": { + "question": "Какой документ должностное лицо службы судебных приставов принимает по жалобе?", + "answerA": "Декларация", + "answerB": "Постановление", + "answerC": "Справка", + "answerD": "Уведомление", + "correct_answer": "B", + "choices": [ + "Любой гражданин Российской Федерации", + "Уведомление", + "Добровольную передачу имущества государственным органам.", + "Только из указов Президента Российской Федерации", + "Потребности Российской Федерации и государственных заказчиков в товарах, работах, услугах, необходимых для осуществления функций и полномочий Российской Федерации и государственных заказчиков.", + "Министерство экономического развития", + "Принудительное безвозмездное изъятие указанного в исполнительном документе имущества и передачу его государственным органам или организациям.", + "Постановление", + "Декларация", + "Справка", + "2 года", + "Потребности частных компаний в товарах, работах и услугах за счет средств федерального бюджета." + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакой документ должностное лицо службы судебных приставов принимает по жалобе?\nA. Любой гражданин Российской Федерации\nB. Уведомление\nC. Добровольную передачу имущества государственным органам.\nD. Только из указов Президента Российской Федерации\nE. Потребности Российской Федерации и государственных заказчиков в товарах, работах, услугах, необходимых для осуществления функций и полномочий Российской Федерации и государственных заказчиков.\nF. Министерство экономического развития\nG. Принудительное безвозмездное изъятие указанного в исполнительном документе имущества и передачу его государственным органам или организациям.\nH. Постановление\nI. Декларация\nJ. Справка\nK. 2 года\nL. Потребности частных компаний в товарах, работах и услугах за счет средств федерального бюджета.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 169, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.33231258392333984, + "B": 0.008855830878019333, + "C": 0.15697336196899414, + "D": 0.016544869169592857, + "E": 0.03502548858523369, + "F": 0.001856283051893115, + "G": 0.006479064468294382, + "H": 0.0034679933451116085, + "I": 0.33231258392333984, + "J": 0.0027008759789168835, + "K": 0.002537237713113427, + "L": 0.00012632163998205215 + }, + "sample": { + "question": "Что включает в себя процесс конфискации имущества согласно Федеральному закону 'Об исполнительном производстве' N 229-ФЗ, Статья 104?", + "answerA": "Добровольную передачу имущества государственным органам.", + "answerB": "Принудительное безвозмездное изъятие указанного в исполнительном документе имущества и передачу его государственным органам или организациям.", + "answerC": "Перечисление всех финансовых активов должника на счета судебных приставов.", + "answerD": "Замораживание всех банковских счетов должника без перечисления средств.", + "correct_answer": "answerB", + "choices": [ + "Добровольную передачу имущества государственным органам.", + "Только из указов Президента Российской Федерации", + "Перечисление всех финансовых активов должника на счета судебных приставов.", + "2 года", + "Замораживание всех банковских счетов должника без перечисления средств.", + "Любой гражданин Российской Федерации", + "Министерство экономического развития", + "Только из Федерального закона и законов субъектов Российской Федерации", + "Принудительное безвозмездное изъятие указанного в исполнительном документе имущества и передачу его государственным органам или организациям.", + "Оказывать психологическую поддержку и содействие в трудоустройстве", + "Потребности Российской Федерации и государственных заказчиков в товарах, работах, услугах, необходимых для осуществления функций и полномочий Российской Федерации и государственных заказчиков.", + "Потребности частных компаний в товарах, работах и услугах за счет средств федерального бюджета." + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nЧто включает в себя процесс конфискации имущества согласно Федеральному закону 'Об исполнительном производстве' N 229-ФЗ, Статья 104?\nA. Добровольную передачу имущества государственным органам.\nB. Только из указов Президента Российской Федерации\nC. Перечисление всех финансовых активов должника на счета судебных приставов.\nD. 2 года\nE. Замораживание всех банковских счетов должника без перечисления средств.\nF. Любой гражданин Российской Федерации\nG. Министерство экономического развития\nH. Только из Федерального закона и законов субъектов Российской Федерации\nI. Принудительное безвозмездное изъятие указанного в исполнительном документе имущества и передачу его государственным органам или организациям.\nJ. Оказывать психологическую поддержку и содействие в трудоустройстве\nK. Потребности Российской Федерации и государственных заказчиков в товарах, работах, услугах, необходимых для осуществления функций и полномочий Российской Федерации и государственных заказчиков.\nL. Потребности частных компаний в товарах, работах и услугах за счет средств федерального бюджета.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 227, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0005467036971822381, + "B": 0.001581939635798335, + "C": 0.04343005642294884, + "D": 0.02051490545272827, + "E": 0.002031250623986125, + "F": 0.0010872500715777278, + "G": 0.5995334386825562, + "H": 0.0019081835635006428, + "I": 0.00010765234037535265, + "J": 0.00025824454496614635, + "K": 0.11805512011051178, + "L": 0.00010113001917488873 + }, + "sample": { + "question": "Что понимается под государственными нуждами согласно Федеральному закону 'О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд' N 44-ФЗ?", + "answerA": "Потребности частных компаний в товарах, работах и услугах за счет средств федерального бюджета.", + "answerB": "Потребности Российской Федерации и государственных заказчиков в товарах, работах, услугах, необходимых для осуществления функций и полномочий Российской Федерации и государственных заказчиков.", + "answerC": "Потребности исключительно в во��нной технике и оборудовании для оборонной отрасли.", + "answerD": "Потребности муниципальных бюджетных учреждений в товарах и услугах за счет средств федерального бюджета.", + "correct_answer": "answerB", + "choices": [ + "Министерство экономического развития", + "Министерство обороны Российской Федерации", + "Оказывать психологическую поддержку и содействие в трудоустройстве", + "Потребности исключительно в военной технике и оборудовании для оборонной отрасли.", + "Потребности муниципальных бюджетных учреждений в товарах и услугах за счет средств федерального бюджета.", + "Только из указов Президента Российской Федерации", + "Потребности Российской Федерации и государственных заказчиков в товарах, работах, услугах, необходимых для осуществления функций и полномочий Российской Федерации и государственных заказчиков.", + "3 года", + "Потребности частных компаний в товарах, работах и услугах за счет средств федерального бюджета.", + "Любой гражданин Российской Федерации", + "Только из Федерального закона и законов субъектов Российской Федерации", + "2 года" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nЧто понимается под государственными нуждами согласно Федеральному закону 'О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд' N 44-ФЗ?\nA. Министерство экономического развития\nB. Министерство обороны Российской Федерации\nC. Оказывать психологическую поддержку и содействие в трудоустройстве\nD. Потребности исключительно в военной технике и оборудовании для оборонной отрасли.\nE. Потребности муниципальных бюджетных учреждений в товарах и услугах за счет средств федерального бюджета.\nF. Только из указов Президента Российской Федерации\nG. Потребности Российской Федерации и государственных заказчиков в товарах, работах, услугах, необходимых для осуществления функций и полномочий Российской Федерации и государственных заказчиков.\nH. 3 года\nI. Потребности частных компаний в товарах, работах и услугах за счет средств федерального бюджета.\nJ. Любой гражданин Российской Федерации\nK. Только из Федерального закона и законов субъектов Российской Федерации\nL. 2 года\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 213, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.013019943609833717, + "B": 0.040104251354932785, + "C": 0.027563221752643585, + "D": 0.3357887864112854, + "E": 0.035391874611377716, + "F": 0.12352979928255081, + "G": 0.10901465266942978, + "H": 0.06612072885036469, + "I": 0.006546839140355587, + "J": 0.09620510041713715, + "K": 0.05149487778544426, + "L": 0.010139942169189453 + }, + "sample": { + "question": "Кто имеет право обратиться к собранию кредиторов с ходатайством об утверждении внесенных в график погашения задолженности изменений в соответс��вии с Федеральным законом 'О несостоятельности (банкротстве)' N 127-ФЗ, Статья 85?", + "answerA": "Любой гражданин Российской Федерации", + "answerB": "Министерство экономического развития", + "answerC": "Учредители (участники) должника, собственник имущества должника - унитарного предприятия, третьи лица, предоставившие обеспечение", + "answerD": "Представители средств массовой информации", + "correct_answer": "C", + "choices": [ + "Только из Федерального закона и законов субъектов Российской Федерации", + "2 года", + "Только из указов Президента Российской Федерации", + "Любой гражданин Российской Федерации", + "3 года", + "Учредители (участники) должника, собственник имущества должника - унитарного предприятия, третьи лица, предоставившие обеспечение", + "24 месяца", + "Оказывать психологическую поддержку и содействие в трудоустройстве", + "Представители средств массовой информации", + "Осуществлять контроль за выполнением ими обязанностей по временному пребыванию", + "Министерство обороны Российской Федерации", + "Министерство экономического развития" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКто имеет право обратиться к собранию кредиторов с ходатайством об утверждении внесенных в график погашения задолженности изменений в соответствии с Федеральным законом 'О несостоятельности (банкротстве)' N 127-ФЗ, Статья 85?\nA. Только из Федерального закона и законов субъектов Российской Федерации\nB. 2 года\nC. Только из указов Президента Российской Федерации\nD. Любой гражданин Российской Федерации\nE. 3 года\nF. Учредители (участники) должника, собственник имущества должника - унитарного предприятия, третьи лица, предоставившие обеспечение\nG. 24 месяца\nH. Оказывать психологическую поддержку и содействие в трудоустройстве\nI. Представители средств массовой информации\nJ. Осуществлять контроль за выполнением ими обязанностей по временному пребыванию\nK. Министерство обороны Российской Федерации\nL. Министерство экономического развития\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 196, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0004780426388606429, + "B": 0.0005416932981461287, + "C": 0.00032855357858352363, + "D": 0.002142438432201743, + "E": 0.7165475487709045, + "F": 0.1245172843337059, + "G": 0.002280613873153925, + "H": 0.0090200025588274, + "I": 0.0003497434954624623, + "J": 0.0010772856185212731, + "K": 0.0006534067797474563, + "L": 0.0006955479038879275 + }, + "sample": { + "question": "Из чего состоит законодательство о государственном регулировании производства и оборота этилового спирта, алкогольной и спиртосодержащей продукции и об ограничении потребления (распития) алкогольной продукции по Федеральному закону N 171-ФЗ?", + "answerA": "Только из указов Президента Российской Федерации", + "answerB": "Только из Федерального за��она и законов субъектов Российской Федерации", + "answerC": "Из настоящего Федерального закона, иных федеральных законов, нормативных правовых актов Российской Федерации и принимаемых в соответствии с ними законов и иных нормативных правовых актов субъектов Российской Федерации", + "answerD": "Только из постановлений Правительства Российской Федерации", + "correct_answer": "answerC", + "choices": [ + "Министерство обороны Российской Федерации", + "2 года", + "Только из указов Президента Российской Федерации", + "Оказывать психологическую поддержку и содействие в трудоустройстве", + "3 года", + "Из настоящего Федерального закона, иных федеральных законов, нормативных правовых актов Российской Федерации и принимаемых в соответствии с ними законов и иных нормативных правовых актов субъектов Российской Федерации", + "24 месяца", + "Осуществлять контроль за выполнением ими обязанностей по временному пребыванию", + "Президент Российской Федерации", + "Только из Федерального закона и законов субъектов Российской Федерации", + "До 1 февраля", + "Только из постановлений Правительства Российской Федерации" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nИз чего состоит законодательство о государственном регулировании производства и оборота этилового спирта, алкогольной и спиртосодержащей продукции и об ограничении потребления (распития) алкогольной продукции по Федеральному закону N 171-ФЗ?\nA. Министерство обороны Российской Федерации\nB. 2 года\nC. Только из указов Президента Российской Федерации\nD. Оказывать психологическую поддержку и содействие в трудоустройстве\nE. 3 года\nF. Из настоящего Федерального закона, иных федеральных законов, нормативных правовых актов Российской Федерации и принимаемых в соответствии с ними законов и иных нормативных правовых актов субъектов Российской Федерации\nG. 24 месяца\nH. Осуществлять контроль за выполнением ими обязанностей по временному пребыванию\nI. Президент Российской Федерации\nJ. Только из Федерального закона и законов субъектов Российской Федерации\nK. До 1 февраля\nL. Только из постановлений Правительства Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 211, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0237471591681242, + "B": 0.2892996072769165, + "C": 0.09392183274030685, + "D": 0.3278194069862366, + "E": 0.026909055188298225, + "F": 0.0828857272863388, + "G": 0.03049195371568203, + "H": 0.03049195371568203, + "I": 0.001616014284081757, + "J": 0.01849430613219738, + "K": 0.010537737980484962, + "L": 0.0043927826918661594 + }, + "sample": { + "question": "Сколько лет составляет срок давности привлечения к ответственности за совершение правонарушения согласно статье 26.27 Федерального закона 'Об обязательном социальном страховании от несчастных случаев н�� производстве и профессиональных заболеваний' N 125-ФЗ?", + "answerA": "2 года", + "answerB": "3 года", + "answerC": "5 лет", + "answerD": "1 год", + "correct_answer": "answerB", + "choices": [ + "Министерство обороны Российской Федерации", + "5 лет", + "Президент Российской Федерации", + "2 года", + "Справка о наличии необходимого количества активов", + "24 месяца", + "До 1 февраля", + "6 месяцев", + "Осуществлять контроль за выполнением ими обязанностей по временному пребыванию", + "3 года", + "1 год", + "Оказывать психологическую поддержку и содействие в трудоустройстве" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nСколько лет составляет срок давности привлечения к ответственности за совершение правонарушения согласно статье 26.27 Федерального закона 'Об обязательном социальном страховании от несчастных случаев на производстве и профессиональных заболеваний' N 125-ФЗ?\nA. Министерство обороны Российской Федерации\nB. 5 лет\nC. Президент Российской Федерации\nD. 2 года\nE. Справка о наличии необходимого количества активов\nF. 24 месяца\nG. До 1 февраля\nH. 6 месяцев\nI. Осуществлять контроль за выполнением ими обязанностей по временному пребыванию\nJ. 3 года\nK. 1 год\nL. Оказывать психологическую поддержку и содействие в трудоустройстве\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 167, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.004046745132654905, + "B": 0.015035482123494148, + "C": 0.0027812845073640347, + "D": 0.026388093829154968, + "E": 0.029901625588536263, + "F": 0.01703743264079094, + "G": 0.01326876599341631, + "H": 0.8209095001220703, + "I": 0.004046745132654905, + "J": 0.005531244445592165, + "K": 0.0062677208334207535, + "L": 0.029901625588536263 + }, + "sample": { + "question": "Какие меры предусмотрены для полиции Федеральным законом \"О полиции\" N 3-ФЗ в отношении иностранных граждан и лиц без гражданства, самовольно оставивших специальные учреждения, предназначенные для содержания иностранных граждан и лиц без гражданства, подлежащих административному выдворению за пределы Российской Федерации?", + "answerA": "Оказывать психологическую поддержку и содействие в трудоустройстве", + "answerB": "Осуществлять контроль за выполнением ими обязанностей по временному пребыванию", + "answerC": "Проводить розыск и выдворение за пределы Российской Федерации", + "answerD": "Обеспечить прохождение обязательных курсов русского языка", + "correct_answer": "C", + "choices": [ + "Президент Российской Федерации", + "До 31 декабря", + "Справка о наличии необходимого количества активов", + "Только источник финансирования заказа и предмет контракта", + "Министерство обороны Российской Федерации", + "24 месяца", + "До 1 февраля", + "Проводить розыск и выдворение за пределы Российской Федерации", + "Обеспечить прохождение обязательных кур��ов русского языка", + "6 месяцев", + "Оказывать психологическую поддержку и содействие в трудоустройстве", + "Осуществлять контроль за выполнением ими обязанностей по временному пребыванию" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакие меры предусмотрены для полиции Федеральным законом \"О полиции\" N 3-ФЗ в отношении иностранных граждан и лиц без гражданства, самовольно оставивших специальные учреждения, предназначенные для содержания иностранных граждан и лиц без гражданства, подлежащих административному выдворению за пределы Российской Федерации?\nA. Президент Российской Федерации\nB. До 31 декабря\nC. Справка о наличии необходимого количества активов\nD. Только источник финансирования заказа и предмет контракта\nE. Министерство обороны Российской Федерации\nF. 24 месяца\nG. До 1 февраля\nH. Проводить розыск и выдворение за пределы Российской Федерации\nI. Обеспечить прохождение обязательных курсов русского языка\nJ. 6 месяцев\nK. Оказывать психологическую поддержку и содействие в трудоустройстве\nL. Осуществлять контроль за выполнением ими обязанностей по временному пребыванию\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 196, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.010316593572497368, + "B": 0.10419389605522156, + "C": 0.004873214289546013, + "D": 0.033826809376478195, + "E": 0.017009187489748, + "F": 0.038330793380737305, + "G": 0.06319679319858551, + "H": 0.038330793380737305, + "I": 0.004873214289546013, + "J": 0.5995945334434509, + "K": 0.02985205315053463, + "L": 0.006257330533117056 + }, + "sample": { + "question": "Кто утверждает военную форму одежды и знаки различия по воинским званиям военнослужащих Вооруженных Сил Российской Федерации?", + "answerA": "Министерство обороны Российской Федерации", + "answerB": "Президент Российской Федерации", + "answerC": "Федеральное Собрание Российской Федерации", + "answerD": "Правительство Российской Федерации", + "correct_answer": "answerB", + "choices": [ + "Не более чем один раз в месяц", + "Правительство Российской Федерации", + "24 месяца", + "Президент Российской Федерации", + "Справка о наличии необходимого количества активов", + "6 месяцев", + "Федеральное Собрание Российской Федерации", + "До 1 февраля", + "До 31 декабря", + "Министерство обороны Российской Федерации", + "Только источник финансирования заказа и предмет контракта", + "Согласие всех акционеров банка" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nКто утверждает военную форму одежды и знаки различия по воинским званиям военнослужащих Вооруженных Сил Российской Федерации?\nA. Не более чем один раз в месяц\nB. Правительство Российской Федерации\nC. 24 месяца\nD. Президент Российской Федерации\nE. Справка о наличии необходимого количества активов\nF. 6 месяцев\nG. Федеральное Собрание Российской Федерации\nH. До 1 февраля\nI. До 31 декабря\nJ. Министерство обороны Российской Федерации\nK. Только источник финансирования заказа и предмет контракта\nL. Согласие всех акционеров банка\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 131, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.04766112565994263, + "B": 0.07857990264892578, + "C": 0.042060792446136475, + "D": 0.08904270082712173, + "E": 0.07857990264892578, + "F": 0.04766112565994263, + "G": 0.06119808927178383, + "H": 0.11433310061693192, + "I": 0.012050618417561054, + "J": 0.037118520587682724, + "K": 0.012050618417561054, + "L": 0.310789555311203 + }, + "sample": { + "question": "Сколько месяцев составляет периодичность технического осмотра для легковых такси с года их изготовления, прошло не более пяти лет?", + "answerA": "24 месяца", + "answerB": "6 месяцев", + "answerC": "12 месяцев", + "answerD": "Желаемый срок владельца", + "correct_answer": "12 месяцев", + "choices": [ + "24 месяца", + "До 1 февраля", + "Только источник финансирования заказа и предмет контракта", + "До 31 декабря", + "6 месяцев", + "Не более чем один раз в месяц", + "Учреждение, занимающееся только военными делами Российской Федерации", + "Согласие всех акционеров банка", + "Наименование и место нахождения заказчика, адрес электронной почты, требования к участникам размещения заказа", + "Справка о наличии необходимого количества активов", + "Желаемый срок владельца", + "12 месяцев" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nСколько месяцев составляет периодичность технического осмотра для легковых такси с года их изготовления, прошло не более пяти лет?\nA. 24 месяца\nB. До 1 февраля\nC. Только источник финансирования заказа и предмет контракта\nD. До 31 декабря\nE. 6 месяцев\nF. Не более чем один раз в месяц\nG. Учреждение, занимающееся только военными делами Российской Федерации\nH. Согласие всех акционеров банка\nI. Наименование и место нахождения заказчика, адрес электронной почты, требования к участникам размещения заказа\nJ. Справка о наличии необходимого количества активов\nK. Желаемый срок владельца\nL. 12 месяцев\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 156, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.02956784889101982, + "B": 0.1701512485742569, + "C": 0.46251899003982544, + "D": 0.1169431135058403, + "E": 0.02956784889101982, + "F": 0.026093536987900734, + "G": 0.04874914139509201, + "H": 0.023027464747428894, + "I": 0.0012204109225422144, + "J": 0.009599274955689907, + "K": 0.010877404361963272, + "L": 0.0012204109225422144 + }, + "sample": { + "question": "Какая дата является крайним сроком для глав муниципальных образований, чтобы направить перечень соглашений об осуществлении международных и внешнеэкономических связей в уполномоченный орган государственной власти субъекта РФ?", + "answerA": "До 1 февраля", + "answerB": "До 31 декабря", + "answerC": "До 15 января", + "answerD": "До 1 марта", + "correct_answer": "До 15 января", + "choices": [ + "Наименование и место нахождения заказчика, адрес электронной почты, требования к участникам размещения заказа", + "До 1 марта", + "До 15 января", + "Не более чем один раз в шесть месяцев", + "С 1 января 2010 года", + "Учреждение, занимающееся только военными делами Российской Федерации", + "Справка о наличии необходимого количества активов", + "Только источник финансирования заказа и предмет контракта", + "Не более чем один раз в месяц", + "До 1 февраля", + "До 31 декабря", + "Согласие всех акционеров банка" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКакая дата является крайним сроком для глав муниципальных образований, чтобы направить перечень соглашений об осуществлении международных и внешнеэкономических связей в уполномоченный орган государственной власти субъекта РФ?\nA. Наименование и место нахождения заказчика, адрес электронной почты, требования к участникам размещения заказа\nB. До 1 марта\nC. До 15 января\nD. Не более чем один раз в шесть месяцев\nE. С 1 января 2010 года\nF. Учреждение, занимающееся только военными делами Российской Федерации\nG. Справка о наличии необходимого количества активов\nH. Только источник финансирования заказа и предмет контракта\nI. Не более чем один раз в месяц\nJ. До 1 февраля\nK. До 31 декабря\nL. Согласие всех акционеров банка\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 178, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0011457714717835188, + "B": 0.0037568400148302317, + "C": 0.0006528408848680556, + "D": 0.0029258299618959427, + "E": 0.009593427181243896, + "F": 0.0037568400148302317, + "G": 0.0074713691137731075, + "H": 0.012318204157054424, + "I": 0.0260776374489069, + "J": 0.7621002793312073, + "K": 0.11687187105417252, + "L": 0.010870777070522308 + }, + "sample": { + "question": "Что необходимо для государственной регистрации изменений в устав банка в контексте изменения его статуса согласно Федеральному закону 'О банках и банковской деятельности' N 395-1, Статья 11.4?", + "answerA": "Справка о наличии необходимого количества активов", + "answerB": "Согласие всех акционеров банка", + "answerC": "Документы, предусмотренные статьей 17 Федерального закона 'О государственной регистрации юридических лиц и индивидуальных предпринимателей', и бизнес-план банка", + "answerD": "Уведомление Центрального банка другой страны", + "correct_answer": "Документы, предусмотренные статьей 17 Федерального закона 'О государственной регистрации юридических лиц и индивидуальных предпринимателей', и бизнес-план банка", + "choices": [ + "Не более чем один раз в месяц", + "Иностранное государственное учреждение", + "Учреждение, занимающееся только военными делами Российской Федерации", + "Орган, отвечающий за обеспечение работы президента Российской Федерации", + "Справка о наличии необходимого количества активов", + "С 1 января 2010 года", + "Наименование и место нахождения заказчика, адрес электронной почты, требования к участникам размещения заказа", + "Согласие всех акционеров банка", + "Только источник финансирования заказа и предмет контракта", + "Документы, предусмотренные статьей 17 Федерального закона 'О государственной регистрации юридических лиц и индивидуальных предпринимателей', и бизнес-план банка", + "Не более чем один раз в шесть месяцев", + "Уведомление Центрального банка другой страны" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nЧто необходимо для государственной регистрации изменений в устав банка в контексте изменения его статуса согласно Федеральному закону 'О банках и банковской деятельности' N 395-1, Статья 11.4?\nA. Не более чем один раз в месяц\nB. Иностранное государственное учреждение\nC. Учреждение, занимающееся только военными делами Российской Федерации\nD. Орган, отвечающий за обеспечение работы президента Российской Федерации\nE. Справка о наличии необходимого количества активов\nF. С 1 января 2010 года\nG. Наименование и место нахождения заказчика, адрес электронной почты, требования к участникам размещения заказа\nH. Согласие всех акционеров банка\nI. Только источник финансирования заказа и предмет контракта\nJ. Документы, предусмотренные статьей 17 Федерального закона 'О государственной регистрации юридических лиц и индивидуальных предпринимателей', и бизнес-план банка\nK. Не более чем один раз в шесть месяцев\nL. Уведомление Центрального банка другой страны\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 216, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.003669244237244129, + "B": 0.06923355907201767, + "C": 0.00729716382920742, + "D": 0.02247684635221958, + "E": 0.01544809527695179, + "F": 0.013632896356284618, + "G": 0.01983574591577053, + "H": 0.053919147700071335, + "I": 0.0028576103504747152, + "J": 0.08889765292406082, + "K": 0.032703619450330734, + "L": 0.5796855092048645 + }, + "sample": { + "question": "Согласно Федеральному закону \"О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд\" N 44-ФЗ, статье 49, какая информация обязательно должна быть указана в извещении о проведении предварительного отбора?", + "answerA": "Только источник финансирования заказа и предмет контракта", + "answerB": "Наименование и место нахождения заказчика, адрес электронной почты, требования к участникам размещения заказа", + "answerC": "Только дата и время проведения предварительного отбора", + "answerD": "Только списка утративших силу положений Федерального закона", + "correct_answer": "answerB", + "choices": [ + "Только источник финансирования заказа и предмет контракта", + "С 1 января 2010 года", + "Иностранное государственное учреждение", + "Орган, отвечающий за обеспечение работы президента Российской Федерации", + "С 1 января 2012 года", + "Не более чем один раз в шесть месяцев", + "Только списка утративших силу положений Федерального закона", + "Только дата и время проведения предварительного отбора", + "Изменение гражданства детей, родившихся в этом браке", + "Учреждение, занимающееся только военными делами Российской Федерации", + "Не более чем один раз в месяц", + "Наименование и место нахождения заказчика, адрес электронной почты, требования к участникам размещения заказа" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nСогласно Федеральному закону \"О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд\" N 44-ФЗ, статье 49, какая информация обязательно должна быть указана в извещении о проведении предварительного отбора?\nA. Только источник финансирования заказа и предмет контракта\nB. С 1 января 2010 года\nC. Иностранное государственное учреждение\nD. Орган, отвечающий за обеспечение работы президента Российской Федерации\nE. С 1 января 2012 года\nF. Не более чем один раз в шесть месяцев\nG. Только списка утративших силу положений Федерального закона\nH. Только дата и время проведения предварительного отбора\nI. Изменение гражданства детей, родившихся в этом браке\nJ. Учреждение, занимающееся только военными делами Российской Федерации\nK. Не более чем один раз в месяц\nL. Наименование и место нахождения заказчика, адрес электронной почты, требования к участникам размещения заказа\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 218, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0556899793446064, + "B": 0.02048720046877861, + "C": 0.2828170657157898, + "D": 0.043371401727199554, + "E": 0.24958518147468567, + "F": 0.03827512636780739, + "G": 0.03377768024802208, + "H": 0.10404258966445923, + "I": 0.0631050169467926, + "J": 0.006248242687433958, + "K": 0.006248242687433958, + "L": 0.0026046549901366234 + }, + "sample": { + "question": "Как часто могут проводиться плановые проверки в отношении одного заказчика согласно Федеральному закону 'О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд' N 44-ФЗ?", + "answerA": "Не более чем один раз в месяц", + "answerB": "Не более чем один раз в шесть месяцев", + "answerC": "Не более чем один раз в три месяца", + "answerD": "Не более чем один раз в год", + "correct_answer": "Не более чем один раз в шесть месяцев", + "choices": [ + "С 1 января 2012 года", + "Изменение гражданства детей, родившихся в этом браке", + "Не более чем один раз в три месяца", + "Орган, отвечающий за обеспечение работы президента Российской Федерации", + "Иностранное государственное учреждение", + "Не более чем один раз в шесть месяцев", + "Только внесение записей в Единый государственный реестр недвижимости.", + "Не более чем один раз в год", + "Не более чем один раз в месяц", + "Учреждение, занимающееся только военными делами Российской Федерации", + "Российская Федерация, от имени которой выступает Правительство РФ или уполномоченный орган", + "С 1 января 2010 года" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКак часто могут проводиться плановые проверки в отношении одного заказчика согласно Федеральному закону 'О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд' N 44-ФЗ?\nA. С 1 января 2012 года\nB. Изменение гражданства детей, родившихся в этом браке\nC. Не более чем один раз в три месяца\nD. Орган, отвечающий за обеспечение работы президента Российской Федерации\nE. Иностранное государственное учреждение\nF. Не более чем один раз в шесть месяцев\nG. Только внесение записей в Единый государственный реестр недвижимости.\nH. Не более чем один раз в год\nI. Не более чем один раз в месяц\nJ. Учреждение, занимающееся только военными делами Российской Федерации\nK. Российская Федерация, от имени которой выступает Правительство РФ или уполномоченный орган\nL. С 1 января 2010 года\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 206, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0006039500003680587, + "B": 0.002706716535612941, + "C": 0.9636577367782593, + "D": 0.0018602971686050296, + "E": 0.00030368517036549747, + "F": 0.0002221807953901589, + "G": 0.0005006921710446477, + "H": 0.00017303458298556507, + "I": 3.200817809556611e-05, + "J": 1.8237711628898978e-05, + "K": 0.00019607387366704643, + "L": 3.822831786237657e-06 + }, + "sample": { + "question": "Что такое Федеральная государственная служба согласно Федеральному закону \"О системе государственной службы Российской Федерации\" N 58-ФЗ?", + "answerA": "Учреждение, занимающееся только военными делами Российской Федерации", + "answerB": "Орган, отвечающий за обеспечение работы президента Российской Федерации", + "answerC": "Профессиональная служебная деятельность граждан по обеспечению исполнения полномочий Российской Федерации, федеральных территорий, а также полномочий федеральных государственных органов, органов публичной власти федеральных территорий, иных органов федеральных территорий и лиц, замещающих государственные должности Российской Федерации", + "answerD": "Коммерческая организация, работающая на территории Российской Федерации", + "correct_answer": "answerC", + "choices": [ + "Коммерческая организация, работающая на территории Российской Федерации", + "Орган, отвечающий за обеспечение работы президента Российской Федерации", + "Профессиональная служебная деятельность граждан по обеспечению исполнения пол��омочий Российской Федерации, федеральных территорий, а также полномочий федеральных государственных органов, органов публичной власти федеральных территорий, иных органов федеральных территорий и лиц, замещающих государственные должности Российской Федерации", + "Только внесение записей в Единый государственный реестр недвижимости.", + "Изменение гражданства детей, родившихся в этом браке", + "Иностранное государственное учреждение", + "Подготовка кадрового состава в сфере стандартизации", + "С 1 января 2010 года", + "Автоматическое получение гражданства РФ иностранным супругом", + "Учреждение, занимающееся только военными делами Российской Федерации", + "С 1 января 2012 года", + "Российская Федерация, от имени которой выступает Правительство РФ или уполномоченный орган" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nЧто такое Федеральная государственная служба согласно Федеральному закону \"О системе государственной службы Российской Федерации\" N 58-ФЗ?\nA. Коммерческая организация, работающая на территории Российской Федерации\nB. Орган, отвечающий за обеспечение работы президента Российской Федерации\nC. Профессиональная служебная деятельность граждан по обеспечению исполнения полномочий Российской Федерации, федеральных территорий, а также полномочий федеральных государственных органов, органов публичной власти федеральных территорий, иных органов федеральных территорий и лиц, замещающих государственные должности Российской Федерации\nD. Только внесение записей в Единый государственный реестр недвижимости.\nE. Изменение гражданства детей, родившихся в этом браке\nF. Иностранное государственное учреждение\nG. Подготовка кадрового состава в сфере стандартизации\nH. С 1 января 2010 года\nI. Автоматическое получение гражданства РФ иностранным супругом\nJ. Учреждение, занимающееся только военными делами Российской Федерации\nK. С 1 января 2012 года\nL. Российская Федерация, от имени которой выступает Правительство РФ или уполномоченный орган\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 235, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.16882675886154175, + "B": 0.07037745416164398, + "C": 0.06210789456963539, + "D": 0.054810021072626114, + "E": 0.054810021072626114, + "F": 0.025890421122312546, + "G": 0.09036645293235779, + "H": 0.40499433875083923, + "I": 0.003291598055511713, + "J": 0.002728830324485898, + "K": 0.0037298686802387238, + "L": 0.0008859215304255486 + }, + "sample": { + "question": "Когда утратила силу Статья 39 Федерального закона 'О полиции' N 3-ФЗ?", + "answerA": "С 1 января 2010 года", + "answerB": "С 1 января 2012 года", + "answerC": "С 1 января 2015 года", + "answerD": "С 1 января 2020 года", + "correct_answer": "B", + "choices": [ + "Российская Федерация, от имени которой выступает Правительство РФ или уполномоченный орган", + "С 1 января 2010 года", + "С 1 января 2012 года", + "Подготовка кадрового состава в сфере стандартизации", + "С 1 января 2020 года", + "Только внесение записей в Единый государственный реестр недвижимости.", + "Иностранное государственное учреждение", + "С 1 января 2015 года", + "Только внеплановые проверки организаций", + "Изменение гражданства детей, родившихся в этом браке", + "Автоматическое получение гражданства РФ иностранным супругом", + "Только выдачу документов о государственной регистрации." + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКогда утратила силу Статья 39 Федерального закона 'О полиции' N 3-ФЗ?\nA. Российская Федерация, от имени которой выступает Правительство РФ или уполномоченный орган\nB. С 1 января 2010 года\nC. С 1 января 2012 года\nD. Подготовка кадрового состава в сфере стандартизации\nE. С 1 января 2020 года\nF. Только внесение записей в Единый государственный реестр недвижимости.\nG. Иностранное государственное учреждение\nH. С 1 января 2015 года\nI. Только внеплановые проверки организаций\nJ. Изменение гражданства детей, родившихся в этом браке\nK. Автоматическое получение гражданства РФ иностранным супругом\nL. Только выдачу документов о государственной регистрации.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 185, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0011253224220126867, + "B": 0.004181079566478729, + "C": 0.021233275532722473, + "D": 0.008851345628499985, + "E": 0.0017429334111511707, + "F": 0.0010571425082162023, + "G": 0.002699508098885417, + "H": 0.0018553428817540407, + "I": 0.00041398295434191823, + "J": 0.0014449424343183637, + "K": 0.7031494975090027, + "L": 0.0019750024657696486 + }, + "sample": { + "question": "Кто является концедентом в рамках Федерального закона 'О концессионных соглашениях' N 115-ФЗ?", + "answerA": "Иностранное государственное учреждение", + "answerB": "Российская Федерация, от имени которой выступает Правительство РФ или уполномоченный орган", + "answerC": "Частное предприятие, аккредитованное Министерством экономического развития", + "answerD": "Некоммерческая организация, имеющая грант от федерального бюджета", + "correct_answer": "answerB", + "choices": [ + "Подготовка кадрового состава в сфере стандартизации", + "Мировое соглашение признается недействительным с момента его подписания.", + "Содействие экономической интеграции, в том числе с государствами - членами Содружества Независимых Государств и Евразийского экономического союза", + "Изменение гражданства детей, родившихся в этом браке", + "Автоматическое получение гражданства РФ иностранным супругом", + "Некоммерческая организация, имеющая грант от федерального бюджета", + "Частное предприятие, аккредитованное Министерством экономического развития", + "Только внеплановые проверки организаций", + "Только внесение записей в Единый государственный реестр недвижимости.", + "Иностранное государственное учреждение", + "Российская Федерация, от имени которой выступает Правительство РФ или уполномоченный орган", + "Только выдачу документов о государственной регистрации." + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКто является концедентом в рамках Федерального закона 'О концессионных соглашениях' N 115-ФЗ?\nA. Подготовка кадрового состава в сфере стандартизации\nB. Мировое соглашение признается недействительным с момента его подписания.\nC. Содействие экономической интеграции, в том числе с государствами - членами Содружества Независимых Государств и Евразийского экономического союза\nD. Изменение гражданства детей, родившихся в этом браке\nE. Автоматическое получение гражданства РФ иностранным супругом\nF. Некоммерческая организация, имеющая грант от федерального бюджета\nG. Частное предприятие, аккредитованное Министерством экономического развития\nH. Только внеплановые проверки организаций\nI. Только внесение записей в Единый государственный реестр недвижимости.\nJ. Иностранное государственное учреждение\nK. Российская Федерация, от имени которой выступает Правительство РФ или уполномоченный орган\nL. Только выдачу документов о государственной регистрации.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 209, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.2599046528339386, + "B": 0.09561358392238617, + "C": 0.07446392625570297, + "D": 0.06571418792009354, + "E": 0.084378682076931, + "F": 0.03985767066478729, + "G": 0.04516465216875076, + "H": 0.09561358392238617, + "I": 0.021334271878004074, + "J": 0.051178254187107086, + "K": 0.024174897000193596, + "L": 0.012939889915287495 + }, + "sample": { + "question": "Что НЕ происходит при заключении или расторжении брака согласно Федеральному закону 'О гражданстве Российской Федерации' N 62-ФЗ, Статья 8?", + "answerA": "Изменение гражданства детей, родившихся в этом браке", + "answerB": "Автоматическое получение гражданства РФ иностранным супругом", + "answerC": "Изменение гражданства неимеющего гражданства супруга", + "answerD": "Изменение гражданства российского супруга", + "correct_answer": "Автоматическое получение гражданства РФ иностранным супругом", + "choices": [ + "Автоматическое получение гражданства РФ иностранным супругом", + "Изменение гражданства российского супруга", + "Изменение гражданства неимеющего гражданства супруга", + "Только внеплановые проверки организаций", + "Мировое соглашение признается недействительным с момента его подписания.", + "Подготовка кадрового состава в сфере стандартизации", + "Только внесение записей в Единый государственный реестр недвижимости.", + "Содействие экономической интеграции, в том числе с государствами - членами Содружества Независимых Государств и Евразийского экономического союза", + "Только штрафные санкции", + "Только выдачу документов о государственной регистрации.", + "Письмо согласия от Федеральной службы по регулированию алкогольного рынка", + "Изменение гражданства детей, родившихся в этом браке" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nЧто НЕ происходит при заключении или расторжении брака согласно Федеральному закону 'О гражданстве Российской Федерации' N 62-ФЗ, Статья 8?\nA. Автоматическое получение гражданства РФ иностранным супругом\nB. Изменение гражданства российского супруга\nC. Изменение гражданства неимеющего гражданства супруга\nD. Только внеплановые проверки организаций\nE. Мировое соглашение признается недействительным с момента его подписания.\nF. Подготовка кадрового состава в сфере стандартизации\nG. Только внесение записей в Единый государственный реестр недвижимости.\nH. Содействие экономической интеграции, в том числе с государствами - членами Содружества Независимых Государств и Евразийского экономического союза\nI. Только штрафные санкции\nJ. Только выдачу документов о государственной регистрации.\nK. Письмо согласия от Федеральной службы по регулированию алкогольного рынка\nL. Изменение гражданства детей, родившихся в этом браке\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 198, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0028251518961042166, + "B": 0.8876363039016724, + "C": 0.008702080696821213, + "D": 0.0067771864123642445, + "E": 0.0019416966242715716, + "F": 0.0013345072511583567, + "G": 0.0013345072511583567, + "H": 0.0009763463167473674, + "I": 4.860942135564983e-05, + "J": 0.0012536535505205393, + "K": 0.0002627800568006933, + "L": 2.2961467038840055e-05 + }, + "sample": { + "question": "Что включает в себя уплата государственной пошлины за государственную регистрацию договора об ипотеке по Федеральному закону \"Об ипотеке (залоге недвижимости)\" N 102-ФЗ, Статья 24?", + "answerA": "Только внесение записей в Единый государственный реестр недвижимости.", + "answerB": "Только выдачу документов о государственной регистрации.", + "answerC": "Только регистрацию договора об ипотеке.", + "answerD": "Государственную регистрацию договора об ипотеке и ипотеки как ограничения (обременения) прав на недвижимое имущество, включая внесение соответствующих записей в Единый государственный реестр недвижимости и выдачу документов о государственной регистрации.", + "correct_answer": "answerD", + "choices": [ + "Мировое соглашение считается незаключенным.", + "Государственную регистрацию договора об ипотеке и ипотеки как ограничения (обременения) прав на недвижимое имущество, включая внесение соответствующих записей в Единый государственный реестр недвижимости и выдачу документов о государственной регистрации.", + "Содействие экономической интеграции, в том числе с государствами - членами Содружества Независимых Государств и Евразийского экономического союза", + "За убытки, возникшие в результате нарушений, допущенных при строительстве объектов.", + "Письмо согласия от Федеральной службы по регулированию алкогольного рынка", + "Мировое соглашение признается недействительным с момента его подписания.", + "Только внеплановые проверки организаций", + "Подготовка кадрового состава в сфере стандартизации", + "Только регистрацию договора об ипотеке.", + "Только выдачу документов о государственной регистрации.", + "Только внесение записей в Единый государственный реестр недвижимости.", + "Только штрафные санкции" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nЧто включает в себя уплата государственной пошлины за государственную регистрацию договора об ипотеке по Федеральному закону \"Об ипотеке (залоге недвижимости)\" N 102-ФЗ, Статья 24?\nA. Мировое соглашение считается незаключенным.\nB. Государственную регистрацию договора об ипотеке и ипотеки как ограничения (обременения) прав на недвижимое имущество, включая внесение соответствующих записей в Единый государственный реестр недвижимости и выдачу документов о государственной регистрации.\nC. Содействие экономической интеграции, в том числе с государствами - членами Содружества Независимых Государств и Евразийского экономического союза\nD. За убытки, возникшие в результате нарушений, допущенных при строительстве объектов.\nE. Письмо согласия от Федеральной службы по регулированию алкогольного рынка\nF. Мировое соглашение признается недействительным с момента его подписания.\nG. Только внеплановые проверки организаций\nH. Подготовка кадрового состава в сфере стандартизации\nI. Только регистрацию договора об ипотеке.\nJ. Только выдачу документов о государственной регистрации.\nK. Только внесение записей в Единый государственный реестр недвижимости.\nL. Только штрафные санкции\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 248, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.07869963347911835, + "B": 0.06129132956266403, + "C": 0.35270729660987854, + "D": 0.06945217400789261, + "E": 0.07869963347911835, + "F": 0.054089415818452835, + "G": 0.06945217400789261, + "H": 0.0328068882226944, + "I": 0.003680831054225564, + "J": 0.01989838480949402, + "K": 0.02118171937763691, + "L": 0.010650836862623692 + }, + "sample": { + "question": "Какое из перечисленных направлений НЕ является направлением государственной политики Российской Федерации в сфере стандартизации согласно Федеральному закону \"О стандартизации в Российской Федерации\" N 162-ФЗ?", + "answerA": "Подготовка кадрового состава в сфере стандартизации", + "answerB": "Содействие экономической интеграции, в том числе с государствами - членами Содружества Н��зависимых Государств и Евразийского экономического союза", + "answerC": "Приоритизация импортозамещения в национальной системе стандартизации", + "answerD": "Расширение применения документов по стандартизации в деятельности органов государственной власти и организаций", + "correct_answer": "C", + "choices": [ + "Подготовка кадрового состава в сфере стандартизации", + "Приоритизация импортозамещения в национальной системе стандартизации", + "Письмо согласия от Федеральной службы по регулированию алкогольного рынка", + "Расширение применения документов по стандартизации в деятельности органов государственной власти и организаций", + "За убытки, возникшие в результате нарушений, допущенных при строительстве объектов.", + "Копия договора о поставке за пределы Российской Федерации", + "Только штрафные санкции", + "Мировое соглашение считается незаключенным.", + "Только внеплановые проверки организаций", + "Только на отношения, связанные с банкротством индивидуальных предпринимателей", + "Содействие экономической интеграции, в том числе с государствами - членами Содружества Независимых Государств и Евразийского экономического союза", + "Мировое соглашение признается недействительным с момента его подписания." + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nКакое из перечисленных направлений НЕ является направлением государственной политики Российской Федерации в сфере стандартизации согласно Федеральному закону \"О стандартизации в Российской Федерации\" N 162-ФЗ?\nA. Подготовка кадрового состава в сфере стандартизации\nB. Приоритизация импортозамещения в национальной системе стандартизации\nC. Письмо согласия от Федеральной службы по регулированию алкогольного рынка\nD. Расширение применения документов по стандартизации в деятельности органов государственной власти и организаций\nE. За убытки, возникшие в результате нарушений, допущенных при строительстве объектов.\nF. Копия договора о поставке за пределы Российской Федерации\nG. Только штрафные санкции\nH. Мировое соглашение считается незаключенным.\nI. Только внеплановые проверки организаций\nJ. Только на отношения, связанные с банкротством индивидуальных предпринимателей\nK. Содействие экономической интеграции, в том числе с государствами - членами Содружества Независимых Государств и Евразийского экономического союза\nL. Мировое соглашение признается недействительным с момента его подписания.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 235, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0008708547102287412, + "B": 0.0022238052915781736, + "C": 0.00072196387918666, + "D": 0.005334632005542517, + "E": 0.00501142255961895, + "F": 0.0003864394093398005, + "G": 0.0012670861324295402, + "H": 0.9550081491470337, + "I": 0.0005985290626995265, + "J": 0.0004961980157531798, + "K": 0.0009868076303973794, + "L": 0.000528200063854456 + }, + "sample": { + "question": "Каковы методы осуществления обеспечения соблюдения лицензиатом лицензионных требований в соответствии с Федеральным законом 'О лицензировании отдельных видов деятельности' N 99-ФЗ?", + "answerA": "Только внеплановые проверки организаций", + "answerB": "Только штрафные санкции", + "answerC": "Проведение профилактических мероприятий, плановых и внеплановых контрольных (надзорных) мероприятий", + "answerD": "Только публичное осуждение", + "correct_answer": "Проведение профилактических мероприятий, плановых и внеплановых контрольных (надзорных) мероприятий", + "choices": [ + "Только публичное осуждение", + "Копия договора о поставке за пределы Российской Федерации", + "Письмо согласия от Федеральной службы по регулированию алкогольного рынка", + "30 рабочих дней", + "За несоответствие сведений, внесенных им в Единый государственный реестр недвижимости, документам, представленным на регистрацию.", + "Только на отношения, связанные с банкротством индивидуальных предпринимателей", + "Только штрафные санкции", + "Проведение профилактических мероприятий, плановых и внеплановых контрольных (надзорных) мероприятий", + "За убытки, возникшие в результате нарушений, допущенных при строительстве объектов.", + "Мировое соглашение считается незаключенным.", + "Только внеплановые проверки организаций", + "Мировое соглашение признается недействительным с момента его подписания." + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКаковы методы осуществления обеспечения соблюдения лицензиатом лицензионных требований в соответствии с Федеральным законом 'О лицензировании отдельных видов деятельности' N 99-ФЗ?\nA. Только публичное осуждение\nB. Копия договора о поставке за пределы Российской Федерации\nC. Письмо согласия от Федеральной службы по регулированию алкогольного рынка\nD. 30 рабочих дней\nE. За несоответствие сведений, внесенных им в Единый государственный реестр недвижимости, документам, представленным на регистрацию.\nF. Только на отношения, связанные с банкротством индивидуальных предпринимателей\nG. Только штрафные санкции\nH. Проведение профилактических мероприятий, плановых и внеплановых контрольных (надзорных) мероприятий\nI. За убытки, возникшие в результате нарушений, допущенных при строительстве объектов.\nJ. Мировое соглашение считается незаключенным.\nK. Только внеплановые проверки организаций\nL. Мировое соглашение признается недействительным с момента его подписания.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 218, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " H" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.04661254957318306, + "B": 0.009178555570542812, + "C": 0.1267060488462448, + "D": 0.041135430335998535, + "E": 0.041135430335998535, + "F": 0.011785498820245266, + "G": 0.3902820944786072, + "H": 0.024949898943305016, + "I": 0.208902969956398, + "J": 0.013354718685150146, + "K": 0.011785498820245266, + "L": 0.0003343288553878665 + }, + "sample": { + "question": "Каковы последствия отказа арбитражным судом в утверждении мирового соглашения согласно статье 161 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?", + "answerA": "Мировое соглашение признается недействительным с момента его подписания.", + "answerB": "Мировое соглашение считается незаключенным.", + "answerC": "Случается автоматическое прекращение процедуры банкротства.", + "answerD": "Заключение нового мирового соглашения невозможно.", + "correct_answer": "Мировое соглашение считается незаключенным.", + "choices": [ + "Заключение нового мирового соглашения невозможно.", + "За несоответствие сведений, внесенных им в Единый государственный реестр недвижимости, документам, представленным на регистрацию.", + "Участие в обеспечении режимов чрезвычайного положения, военного положения, правового режима контртеррористической операции.", + "За убытки, возникшие в результате нарушений, допущенных при строительстве объектов.", + "Письмо согласия от Федеральной службы по регулированию алкогольного рынка", + "30 рабочих дней", + "Мировое соглашение признается недействительным с момента его подписания.", + "Случается автоматическое прекращение процедуры банкротства.", + "Мировое соглашение считается незаключенным.", + "Только на отношения, связанные с банкротством индивидуальных предпринимателей", + "На отношения, регулируемые исключительно Гражданским кодексом Российской Федерации", + "Копия договора о поставке за пределы Российской Федерации" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nКаковы последствия отказа арбитражным судом в утверждении мирового соглашения согласно статье 161 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?\nA. Заключение нового мирового соглашения невозможно.\nB. За несоответствие сведений, внесенных им в Единый государственный реестр недвижимости, документам, представленным на регистрацию.\nC. Участие в обеспечении режимов чрезвычайного положения, военного положения, правового режима контртеррористической операции.\nD. За убытки, возникшие в результате нарушений, допущенных при строительстве объектов.\nE. Письмо согласия от Федеральной службы по регулированию алкогольного рынка\nF. 30 рабочих дней\nG. Мировое соглашение признается недействительным с момента его подписания.\nH. Случается автоматическое прекращение процедуры банкротства.\nI. Мировое соглашение считается незаключенным.\nJ. Только на отношения, связанные с банкротством индивидуальных предпринимателей\nK. На отношения, регулируемые исключительно Гражданским кодексом Российской Феде��ации\nL. Копия договора о поставке за пределы Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 223, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.008302563801407814, + "B": 0.016511619091033936, + "C": 0.6195939183235168, + "D": 0.12200527638196945, + "E": 0.01457145344465971, + "F": 0.018710115924477577, + "G": 0.039609313011169434, + "H": 0.008302563801407814, + "I": 0.001852552406489849, + "J": 0.007799536921083927, + "K": 0.02402426302433014, + "L": 0.0003647891862783581 + }, + "sample": { + "question": "Какой документ необходим для перемещения этилового спирта между обособленными подразделениями согласно Федеральному закону \"О государственном регулировании производства и оборота этилового спирта, алкогольной и спиртосодержащей продукции и об ограничении потребления (распития) алкогольной продукции\" N 171-ФЗ, статья 10.2?", + "answerA": "Письмо согласия от Федеральной службы по регулированию алкогольного рынка", + "answerB": "Копия договора о поставке за пределы Российской Федерации", + "answerC": "Товарно-транспортная накладная", + "answerD": "Заверенная копия извещения об уплате авансового платежа акциза", + "correct_answer": "C", + "choices": [ + "Только на отношения, связанные с банкротством индивидуальных предпринимателей", + "Участие в обеспечении режимов чрезвычайного положения, военного положения, правового режима контртеррористической операции.", + "Заверенная копия извещения об уплате авансового платежа акциза", + "Копия договора о поставке за пределы Российской Федерации", + "На отношения, регулируемые исключительно Гражданским кодексом Российской Федерации", + "15 рабочих дней", + "В порядке, установленном Федеральным законом от 26.10.2002 N 127-ФЗ (ред. от 20.04.2021) 'О несостоятельности (банкротстве)' статья 189.86", + "30 рабочих дней", + "За несоответствие сведений, внесенных им в Единый государственный реестр недвижимости, документам, представленным на регистрацию.", + "Товарно-транспортная накладная", + "Письмо согласия от Федеральной службы по регулированию алкогольного рынка", + "За убытки, возникшие в результате нарушений, допущенных при строительстве объектов." + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКакой документ необходим для перемещения этилового спирта между обособленными подразделениями согласно Федеральному закону \"О государственном регулировании производства и оборота этилового спирта, алкогольной и спиртосодержащей продукции и об ограничении потребления (распития) алкогольной продукции\" N 171-ФЗ, статья 10.2?\nA. Только на отношения, связанные с банкротством индивидуальных предпринимателей\nB. Участие в обеспечении режимов чрезвычайного положения, военного положения, правового режима контртеррористической операции.\nC. Заверенная копия извещения об уплате авансового платежа акциза\nD. Копия договора о поставке за пределы Российской Федерации\nE. На отношения, регулируемые исключительно Гражданским кодексом Российской Федерации\nF. 15 рабочих дней\nG. В порядке, установленном Федеральным законом от 26.10.2002 N 127-ФЗ (ред. от 20.04.2021) 'О несостоятельности (банкротстве)' статья 189.86\nH. 30 рабочих дней\nI. За несоответствие сведений, внесенных им в Единый государственный реестр недвижимости, документам, представленным на регистрацию.\nJ. Товарно-транспортная накладная\nK. Письмо согласия от Федеральной службы по регулированию алкогольного рынка\nL. За убытки, возникшие в результате нарушений, допущенных при строительстве объектов.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 318, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.8618149757385254, + "B": 0.005124539136886597, + "C": 0.008448936976492405, + "D": 0.0045223901979625225, + "E": 0.0027429682668298483, + "F": 0.00011321582132950425, + "G": 0.00023967788729351014, + "H": 0.0002891067124437541, + "I": 0.0005073981010355055, + "J": 0.00023967788729351014, + "K": 0.0002715906302910298, + "L": 1.3521702385332901e-05 + }, + "sample": { + "question": "За что государственный регистратор прав несет ответственность в соответствии с Федеральным законом \"О государственной регистрации недвижимости\" N 218-ФЗ?", + "answerA": "За убытки, возникшие в результате нарушений, допущенных при строительстве объектов.", + "answerB": "За несоответствие сведений, внесенных им в Единый государственный реестр недвижимости, документам, представленным на регистрацию.", + "answerC": "За убытки, причиненные органу регистрации прав из-за погодных условий.", + "answerD": "За решения, принятые на основании документов, предоставленных многофункциональным центром без нарушений.", + "correct_answer": "За несоответствие сведений, внесенных им в Единый государственный реестр недвижимости, документам, представленным на регистрацию.", + "choices": [ + "За несоответствие сведений, внесенных им в Единый государственный реестр недвижимости, документам, представленным на регистрацию.", + "15 рабочих дней", + "За решения, принятые на основании документов, предоставленных многофункциональным центром без нарушений.", + "Участие в обеспечении режимов чрезвычайного положения, военного положения, правового режима контртеррористической операции.", + "За убытки, причиненные органу регистрации прав из-за погодных условий.", + "За убытки, возникшие в результате нарушений, допущенных при строительстве объектов.", + "30 рабочих дней", + "Оказание содействия в проведении научных исследований по гражданской обороне.", + "Только на отношения, связанные с банкротством индивидуальных предпринимателей", + "Проведение инвентаризации имущества кредитной организации", + "В порядке, установленном Федеральным законом от 26.10.2002 N 127-ФЗ (ред. от 20.04.2021) 'О несостоятельности (банкротстве)' статья 189.86", + "На отношения, регулируемые исключительно Гражданским кодексом Российской Федерации" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nЗа что государственный регистратор прав несет ответственность в соответствии с Федеральным законом \"О государственной регистрации недвижимости\" N 218-ФЗ?\nA. За несоответствие сведений, внесенных им в Единый государственный реестр недвижимости, документам, представленным на регистрацию.\nB. 15 рабочих дней\nC. За решения, принятые на основании документов, предоставленных многофункциональным центром без нарушений.\nD. Участие в обеспечении режимов чрезвычайного положения, военного положения, правового режима контртеррористической операции.\nE. За убытки, причиненные органу регистрации прав из-за погодных условий.\nF. За убытки, возникшие в результате нарушений, допущенных при строительстве объектов.\nG. 30 рабочих дней\nH. Оказание содействия в проведении научных исследований по гражданской обороне.\nI. Только на отношения, связанные с банкротством индивидуальных предпринимателей\nJ. Проведение инвентаризации имущества кредитной организации\nK. В порядке, установленном Федеральным законом от 26.10.2002 N 127-ФЗ (ред. от 20.04.2021) 'О несостоятельности (банкротстве)' статья 189.86\nL. На отношения, регулируемые исключительно Гражданским кодексом Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 277, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.041604913771152496, + "B": 0.002347188536077738, + "C": 0.003415139392018318, + "D": 0.013507138006389141, + "E": 0.09980500489473343, + "F": 0.0019458876922726631, + "G": 0.0013373878318816423, + "H": 0.00220497976988554, + "I": 0.3947364389896393, + "J": 0.18646030128002167, + "K": 0.11309388279914856, + "L": 0.000557506165932864 + }, + "sample": { + "question": "На какие отношения распространяется действие Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ согласно его первой статье?", + "answerA": "Только на отношения, связанные с банкротством индивидуальных предпринимателей", + "answerB": "На отношения, регулируемые исключительно Гражданским кодексом Российской Федерации", + "answerC": "На отношения, связанные с банкротством всех юридических лиц, включая госкорпорации и госкомпанию \"Автодор\"", + "answerD": "На отношения, возникающие при неспособности должника удовлетворить в полном объеме требования кредиторов, в том числе регулирует порядок и условия осуществления мер по предупреждению несостоятельности и проведения процедур, применяемых в деле о банкротстве", + "correct_answer": "answerD", + "choices": [ + "На отношения, регулируемые исключительно Гражданским кодексом Российской Федерации", + "Только на отношения, связанные с банкротством индивидуальных предпринимателей", + "Оказание содействия в проведении научных исследований по гражданской обороне.", + "Проведение инвентаризации имущества кредитной организации", + "Согласно решению арбитражного суда", + "В порядке, установленном Федеральным законом от 26.10.2002 N 127-ФЗ (ред. от 20.04.2021) 'О несостоятельности (банкротстве)' статья 189.86", + "30 рабочих дней", + "Комплекс взаимодействующих сетей электросвязи для частного использования", + "На отношения, возникающие при неспособности должника удовлетворить в полном объеме требования кредиторов, в том числе регулирует порядок и условия осуществления мер по предупреждению несостоятельности и проведения процедур, применяемых в деле о банкротстве", + "Участие в обеспечении режимов чрезвычайного положения, военного положения, правового режима контртеррористической операции.", + "15 рабочих дней", + "На отношения, связанные с банкротством всех юридических лиц, включая госкорпорации и госкомпанию \"Автодор\"" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nНа какие отношения распространяется действие Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ согласно его первой статье?\nA. На отношения, регулируемые исключительно Гражданским кодексом Российской Федерации\nB. Только на отношения, связанные с банкротством индивидуальных предпринимателей\nC. Оказание содействия в проведении научных исследований по гражданской обороне.\nD. Проведение инвентаризации имущества кредитной организации\nE. Согласно решению арбитражного суда\nF. В порядке, установленном Федеральным законом от 26.10.2002 N 127-ФЗ (ред. от 20.04.2021) 'О несостоятельности (банкротстве)' статья 189.86\nG. 30 рабочих дней\nH. Комплекс взаимодействующих сетей электросвязи для частного использования\nI. На отношения, возникающие при неспособности должника удовлетворить в полном объеме требования кредиторов, в том числе регулирует порядок и условия осуществления мер по предупреждению несостоятельности и проведения процедур, применяемых в деле о банкротстве\nJ. Участие в обеспечении режимов чрезвычайного положения, военного положения, правового режима контртеррористической операции.\nK. 15 рабочих дней\nL. На отношения, связанные с банкротством всех юридических лиц, включая госкорпорации и госкомпанию \"Автодор\"\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 291, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.4594184458255768, + "B": 0.10251011699438095, + "C": 0.31575340032577515, + "D": 0.02287309803068638, + "E": 0.010804486460983753, + "F": 0.0013736363034695387, + "G": 0.003733930876478553, + "H": 0.0042310976423323154, + "I": 0.0007826744695194066, + "J": 0.00047471601283177733, + "K": 0.0006907077040523291, + "L": 4.415546573000029e-05 + }, + "sample": { + "question": "Какой срок установлен для рассмотрения жалобы вышестоящим регистрирующим органом или федеральным органом исполнительной власти в соответствии со статьей 25.6 Федерального закона \"О государственной регистрации юридических лиц и индивидуальных предпринимателей\" N 129-ФЗ?", + "answerA": "30 рабочих дней", + "answerB": "15 рабочих дней", + "answerC": "20 рабочих дней", + "answerD": "5 рабочих дней", + "correct_answer": "answerB", + "choices": [ + "15 рабочих дней", + "В порядке, установленном Федеральным законом от 26.10.2002 N 127-ФЗ (ред. от 20.04.2021) 'О несостоятельности (банкротстве)' статья 189.86", + "30 рабочих дней", + "Проведение инвентаризации имущества кредитной организации", + "20 рабочих дней", + "Согласно решению арбитражного суда", + "Определение имущества, подлежащего первоочередной продаже", + "5 рабочих дней", + "Оказание содействия в проведении научных исследований по гражданской обороне.", + "Гарантия возмещения вреда, причиненного жизни, здоровью или имуществу потерпевших", + "Участие в обеспечении режимов чрезвычайного положения, военного положения, правового режима контртеррористической операции.", + "Комплекс взаимодействующих сетей электросвязи для частного использования" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКакой срок установлен для рассмотрения жалобы вышестоящим регистрирующим органом или федеральным органом исполнительной власти в соответствии со статьей 25.6 Федерального закона \"О государственной регистрации юридических лиц и индивидуальных предпринимателей\" N 129-ФЗ?\nA. 15 рабочих дней\nB. В порядке, установленном Федеральным законом от 26.10.2002 N 127-ФЗ (ред. от 20.04.2021) 'О несостоятельности (банкротстве)' статья 189.86\nC. 30 рабочих дней\nD. Проведение инвентаризации имущества кредитной организации\nE. 20 рабочих дней\nF. Согласно решению арбитражного суда\nG. Определение имущества, подлежащего первоочередной продаже\nH. 5 рабочих дней\nI. Оказание содействия в проведении научных исследований по гражданской обороне.\nJ. Гарантия возмещения вреда, причиненного жизни, здоровью или имуществу потерпевших\nK. Участие в обеспечении режимов чрезвычайного положения, военного положения, правового режима контртеррористической операции.\nL. Комплекс взаимодействующих сетей электросвязи для частного использования\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 261, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.09264393895864487, + "B": 0.04958872124552727, + "C": 0.038619738072156906, + "D": 0.038619738072156906, + "E": 0.08175799250602722, + "F": 0.02654293179512024, + "G": 0.03007708117365837, + "H": 0.04958872124552727, + "I": 0.05619138479232788, + "J": 0.28536340594291687, + "K": 0.038619738072156906, + "L": 0.09264393895864487 + }, + "sample": { + "question": "Какая из перечисленных задач НЕ входит в компетенцию войск национальной гвардии Российской Федерации согласно Федеральному закону \"О войсках национальной гвардии Российской Федераци��\" N 226-ФЗ?", + "answerA": "Участие в обеспечении режимов чрезвычайного положения, военного положения, правового режима контртеррористической операции.", + "answerB": "Оказание содействия в проведении научных исследований по гражданской обороне.", + "answerC": "Охрана важных государственных объектов, специальных грузов, сооружений на коммуникациях в соответствии с перечнями, утвержденными Правительством Российской Федерации.", + "answerD": "Федеральный государственный контроль (надзор) за соблюдением законодательства Российской Федерации в области оборота оружия и в области частной охранной и частной детективной деятельности.", + "correct_answer": "answerB", + "choices": [ + "Предложение о добровольном исполнении обязательств", + "Гарантия возмещения вреда, причиненного жизни, здоровью или имуществу потерпевших", + "Определение имущества, подлежащего первоочередной продаже", + "Объекты инфраструктуры государственного значения без доступа для общественности", + "Комплекс взаимодействующих сетей электросвязи для частного использования", + "В порядке, установленном Федеральным законом от 26.10.2002 N 127-ФЗ (ред. от 20.04.2021) 'О несостоятельности (банкротстве)' статья 189.86", + "Федеральный государственный контроль (надзор) за соблюдением законодательства Российской Федерации в области оборота оружия и в области частной охранной и частной детективной деятельности.", + "Участие в обеспечении режимов чрезвычайного положения, военного положения, правового режима контртеррористической операции.", + "Охрана важных государственных объектов, специальных грузов, сооружений на коммуникациях в соответствии с перечнями, утвержденными Правительством Российской Федерации.", + "Проведение инвентаризации имущества кредитной организации", + "Оказание содействия в проведении научных исследований по гражданской обороне.", + "Согласно решению арбитражного суда" + ], + "label": "K", + "gold": "K" + }, + "prompt": "<|im_start|>user\nКакая из перечисленных задач НЕ входит в компетенцию войск национальной гвардии Российской Федерации согласно Федеральному закону \"О войсках национальной гвардии Российской Федерации\" N 226-ФЗ?\nA. Предложение о добровольном исполнении обязательств\nB. Гарантия возмещения вреда, причиненного жизни, здоровью или имуществу потерпевших\nC. Определение имущества, подлежащего первоочередной продаже\nD. Объекты инфраструктуры государственного значения без доступа для общественности\nE. Комплекс взаимодействующих сетей электросвязи для частного использования\nF. В порядке, установленном Федеральным законом от 26.10.2002 N 127-ФЗ (ред. от 20.04.2021) 'О несостоятельности (банкротстве)' статья 189.86\nG. Федеральный государственный контроль (надзор) за соблюдением законодательства Российской Федерации в области оборота оружия и в области частной охранной и частной детективной деятельности.\nH. Участие в обеспечении режимов чрезвычайного положения, военного положения, правового режима контртеррористической операции.\nI. Охрана важных государственных объектов, специальных грузов, сооружений на коммуникациях в соответствии с перечнями, утвержденными Правительством Российской Федерации.\nJ. Проведение инвентаризации имущества кредитной организации\nK. Оказание содействия в проведении научных исследований по гражданской обороне.\nL. Согласно решению арбитражного суда\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 297, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.002611852716654539, + "B": 0.01033007726073265, + "C": 0.0020341130439192057, + "D": 0.005529291927814484, + "E": 0.6390992403030396, + "F": 0.009116261266171932, + "G": 0.02186877466738224, + "H": 0.031818877905607224, + "I": 0.003353685140609741, + "J": 0.017031418159604073, + "K": 0.013264081440865993, + "L": 0.007099751848727465 + }, + "sample": { + "question": "Как осуществляется установление размера требований кредиторов для целей определения участников собрания кредиторов согласно Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ?", + "answerA": "В порядке, установленном Федеральным законом от 26.10.2002 N 127-ФЗ (ред. от 20.04.2021) 'О несостоятельности (банкротстве)' статья 189.86", + "answerB": "Согласно решению арбитражного суда", + "answerC": "В порядке, определенном статьей 189.85 настоящего Федерального закона", + "answerD": "На основании прямых распоряжений от Федеральной службы по надзору в сфере банкротства", + "correct_answer": "C", + "choices": [ + "Предложение о добровольном исполнении обязательств", + "Гарантия возмещения вреда, причиненного жизни, здоровью или имуществу потерпевших", + "Граждане, прошедшие военную службу и проходящие дополнительное обучение", + "Неограниченный размер страховых выплат", + "В порядке, установленном Федеральным законом от 26.10.2002 N 127-ФЗ (ред. от 20.04.2021) 'О несостоятельности (банкротстве)' статья 189.86", + "В порядке, определенном статьей 189.85 настоящего Федерального закона", + "На основании прямых распоряжений от Федеральной службы по надзору в сфере банкротства", + "Проведение инвентаризации имущества кредитной организации", + "Объекты инфраструктуры государственного значения без доступа для общественности", + "Согласно решению арбитражного суда", + "Определение имущества, подлежащего первоочередной продаже", + "Комплекс взаимодействующих сетей электросвязи для частного использования" + ], + "label": "F", + "gold": "F" + }, + "prompt": "<|im_start|>user\nКак осуществляется установление размера требований кредиторов для целей определения участников собрания кредиторов согласно Федеральному закону 'О несостоятельности (банкротстве)' N 127-ФЗ?\nA. Предложение о добровольном испол��ении обязательств\nB. Гарантия возмещения вреда, причиненного жизни, здоровью или имуществу потерпевших\nC. Граждане, прошедшие военную службу и проходящие дополнительное обучение\nD. Неограниченный размер страховых выплат\nE. В порядке, установленном Федеральным законом от 26.10.2002 N 127-ФЗ (ред. от 20.04.2021) 'О несостоятельности (банкротстве)' статья 189.86\nF. В порядке, определенном статьей 189.85 настоящего Федерального закона\nG. На основании прямых распоряжений от Федеральной службы по надзору в сфере банкротства\nH. Проведение инвентаризации имущества кредитной организации\nI. Объекты инфраструктуры государственного значения без доступа для общественности\nJ. Согласно решению арбитражного суда\nK. Определение имущества, подлежащего первоочередной продаже\nL. Комплекс взаимодействующих сетей электросвязи для частного использования\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 264, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.18708856403827667, + "B": 0.02869095839560032, + "C": 0.03683991730213165, + "D": 0.047303393483161926, + "E": 0.06882602721452713, + "F": 0.022344540804624557, + "G": 0.04174510017037392, + "H": 0.03683991730213165, + "I": 0.34952741861343384, + "J": 0.053601767867803574, + "K": 0.016347616910934448, + "L": 0.01123554166406393 + }, + "sample": { + "question": "Какая из перечисленных функций не относится к основным задачам временной администрации по управлению кредитной организацией в случае отзыва у кредитной организации лицензии на осуществление банковских операций согласно статье 189.32 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?", + "answerA": "Проведение инвентаризации имущества кредитной организации", + "answerB": "Определение имущества, подлежащего первоочередной продаже", + "answerC": "Разработка мероприятий по финансовому оздоровлению кредитной организации", + "answerD": "Ведение учета требований кредиторов в реестре требований кредиторов", + "correct_answer": "answerC", + "choices": [ + "Наименование и адрес подразделения судебных приставов, адрес официального сайта службы судебных приставов в сети 'Интернет', контактные номера телефонов подразделения судебных приставов", + "Определение имущества, подлежащего первоочередной продаже", + "Граждане, прошедшие военную службу и проходящие дополнительное обучение", + "30 календарных дней", + "Разработка мероприятий по финансовому оздоровлению кредитной организации", + "Гарантия возмещения вреда, причиненного жизни, здоровью или имуществу потерпевших", + "Неограниченный размер страховых выплат", + "Проведение инвентаризации имущества кредитной организации", + "Комплекс взаимодействующих сетей электросвязи для частного использования", + "Предложение о добровольном исполнении обязательств", + "Ведение учета требований кредиторов в реестре требований кредиторов", + "Объекты инфраструктуры государственного значения без доступа для общественности" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКакая из перечисленных функций не относится к основным задачам временной администрации по управлению кредитной организацией в случае отзыва у кредитной организации лицензии на осуществление банковских операций согласно статье 189.32 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?\nA. Наименование и адрес подразделения судебных приставов, адрес официального сайта службы судебных приставов в сети 'Интернет', контактные номера телефонов подразделения судебных приставов\nB. Определение имущества, подлежащего первоочередной продаже\nC. Граждане, прошедшие военную службу и проходящие дополнительное обучение\nD. 30 календарных дней\nE. Разработка мероприятий по финансовому оздоровлению кредитной организации\nF. Гарантия возмещения вреда, причиненного жизни, здоровью или имуществу потерпевших\nG. Неограниченный размер страховых выплат\nH. Проведение инвентаризации имущества кредитной организации\nI. Комплекс взаимодействующих сетей электросвязи для частного использования\nJ. Предложение о добровольном исполнении обязательств\nK. Ведение учета требований кредиторов в реестре требований кредиторов\nL. Объекты инфраструктуры государственного значения без доступа для общественности\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 257, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.002138323849067092, + "B": 0.005129572004079819, + "C": 0.08024001121520996, + "D": 0.022989146411418915, + "E": 0.003311900654807687, + "F": 0.005129572004079819, + "G": 0.6718413829803467, + "H": 0.01020137220621109, + "I": 0.0003955501306336373, + "J": 0.0012183801736682653, + "K": 0.05514809861779213, + "L": 8.825917029753327e-05 + }, + "sample": { + "question": "Что представляет собой сеть связи общего пользования согласно Федеральному закону \"О связи\" N 126-ФЗ, Статье 13?", + "answerA": "Комплекс взаимодействующих сетей электросвязи для частного использования", + "answerB": "Объекты инфраструктуры государственного значения без доступа для общественности", + "answerC": "Ограниченную сеть для внутреннего общения определенных организаций", + "answerD": "Комплекс взаимодействующих сетей электросвязи, в том числе сети связи для трансляции телеканалов и (или) радиоканалов", + "correct_answer": "answerD", + "choices": [ + "Федеральный закон от 5 апреля 2013 года N 44-ФЗ 'О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд'", + "Комплекс взаимодействующих сетей электросвязи для частного использования", + "Наименование и адрес подразделения судебных приставов, адрес официального сайта службы судебных приставов в сети 'Интернет', контактные номера телефонов подраздел��ния судебных приставов", + "Объекты инфраструктуры государственного значения без доступа для общественности", + "Неограниченный размер страховых выплат", + "Граждане, прошедшие военную службу и проходящие дополнительное обучение", + "Комплекс взаимодействующих сетей электросвязи, в том числе сети связи для трансляции телеканалов и (или) радиоканалов", + "30 календарных дней", + "Ограниченную сеть для внутреннего общения определенных организаций", + "Предложение о добровольном исполнении обязательств", + "Граждане, пребывающие в запасе и не входящие в состав резерва", + "Гарантия возмещения вреда, причиненного жизни, здоровью или имуществу потерпевших" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nЧто представляет собой сеть связи общего пользования согласно Федеральному закону \"О связи\" N 126-ФЗ, Статье 13?\nA. Федеральный закон от 5 апреля 2013 года N 44-ФЗ 'О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд'\nB. Комплекс взаимодействующих сетей электросвязи для частного использования\nC. Наименование и адрес подразделения судебных приставов, адрес официального сайта службы судебных приставов в сети 'Интернет', контактные номера телефонов подразделения судебных приставов\nD. Объекты инфраструктуры государственного значения без доступа для общественности\nE. Неограниченный размер страховых выплат\nF. Граждане, прошедшие военную службу и проходящие дополнительное обучение\nG. Комплекс взаимодействующих сетей электросвязи, в том числе сети связи для трансляции телеканалов и (или) радиоканалов\nH. 30 календарных дней\nI. Ограниченную сеть для внутреннего общения определенных организаций\nJ. Предложение о добровольном исполнении обязательств\nK. Граждане, пребывающие в запасе и не входящие в состав резерва\nL. Гарантия возмещения вреда, причиненного жизни, здоровью или имуществу потерпевших\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 270, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.05435915291309357, + "B": 0.11507835239171982, + "C": 0.027333499863743782, + "D": 0.05435915291309357, + "E": 0.069798544049263, + "F": 0.0896231010556221, + "G": 0.04233495518565178, + "H": 0.04233495518565178, + "I": 0.017647836357355118, + "J": 0.3128153681755066, + "K": 0.04797178879380226, + "L": 0.03297049552202225 + }, + "sample": { + "question": "Какой из перечисленных принципов НЕ является основным принципом обязательного страхования согласно Статье 3 Федерального закона \"Об обязательном страховании гражданской ответственности владельцев транспортных средств\" (ОСАГО) N 40-ФЗ?", + "answerA": "Гарантия возмещения вреда, причиненного жизни, здоровью или имуществу потерпевших", + "answerB": "Неограниченный размер страховых выплат", + "answerC": "Всеобщность и обязательность ст��ахования", + "answerD": "Экономическая заинтересованность владельцев транспортных средств в повышении безопасности дорожного движения", + "correct_answer": "answerB", + "choices": [ + "Наименование и адрес подразделения судебных приставов, адрес официального сайта службы судебных приставов в сети 'Интернет', контактные номера телефонов подразделения судебных приставов", + "Федеральный закон от 5 апреля 2013 года N 44-ФЗ 'О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд'", + "45 календарных дней", + "Только недвижимое имущество российского происхождения", + "30 календарных дней", + "Граждане, пребывающие в запасе и не входящие в состав резерва", + "Экономическая заинтересованность владельцев транспортных средств в повышении безопасности дорожного движения", + "Граждане, прошедшие военную службу и проходящие дополнительное обучение", + "Всеобщность и обязательность страхования", + "Предложение о добровольном исполнении обязательств", + "Гарантия возмещения вреда, причиненного жизни, здоровью или имуществу потерпевших", + "Неограниченный размер страховых выплат" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nКакой из перечисленных принципов НЕ является основным принципом обязательного страхования согласно Статье 3 Федерального закона \"Об обязательном страховании гражданской ответственности владельцев транспортных средств\" (ОСАГО) N 40-ФЗ?\nA. Наименование и адрес подразделения судебных приставов, адрес официального сайта службы судебных приставов в сети 'Интернет', контактные номера телефонов подразделения судебных приставов\nB. Федеральный закон от 5 апреля 2013 года N 44-ФЗ 'О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд'\nC. 45 календарных дней\nD. Только недвижимое имущество российского происхождения\nE. 30 календарных дней\nF. Граждане, пребывающие в запасе и не входящие в состав резерва\nG. Экономическая заинтересованность владельцев транспортных средств в повышении безопасности дорожного движения\nH. Граждане, прошедшие военную службу и проходящие дополнительное обучение\nI. Всеобщность и обязательность страхования\nJ. Предложение о добровольном исполнении обязательств\nK. Гарантия возмещения вреда, причиненного жизни, здоровью или имуществу потерпевших\nL. Неограниченный размер страховых выплат\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 263, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " J" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.010843723081052303, + "B": 0.017878279089927673, + "C": 0.19220960140228271, + "D": 0.04859820008277893, + "E": 0.02947629615664482, + "F": 0.020258741453289986, + "G": 0.3169000446796417, + "H": 0.016795087605714798, + "I": 0.0025756102986633778, + "J": 0.005804227199405432, + "K": 0.14969299733638763, + "L": 0.0025756102986633778 + }, + "sample": { + "question": "Что должно содержаться в повестке или ином извещении, за исключением извещения, направляемого посредством передачи короткого текстового сообщения по сети подвижной радиотелефонной связи, согласно Федеральному закону 'Об исполнительном производстве' N 229-ФЗ, Статья 25?", + "answerA": "Предложение о добровольном исполнении обязательств", + "answerB": "Наименование и адрес подразделения судебных приставов, адрес официального сайта службы судебных приставов в сети 'Интернет', контактные номера телефонов подразделения судебных приставов", + "answerC": "Сведения о виде спортивного мероприятия", + "answerD": "Список недвижимости должника", + "correct_answer": "answerB", + "choices": [ + "Федеральный закон от 14 июня 1995 года N 88-ФЗ 'О государственной поддержке малого предпринимательства в Российской Федерации'", + "Федеральный закон от 5 апреля 2013 года N 44-ФЗ 'О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд'", + "Граждане, пребывающие в запасе и не входящие в состав резерва", + "Сведения о виде спортивного мероприятия", + "Предложение о добровольном исполнении обязательств", + "Граждане, прошедшие военную службу и проходящие дополнительное обучение", + "Наименование и адрес подразделения судебных приставов, адрес официального сайта службы судебных приставов в сети 'Интернет', контактные номера телефонов подразделения судебных приставов", + "45 календарных дней", + "30 календарных дней", + "Список недвижимости должника", + "Только недвижимое имущество российского происхождения", + "Местный и областной кадровые резервы" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nЧто должно содержаться в повестке или ином извещении, за исключением извещения, направляемого посредством передачи короткого текстового сообщения по сети подвижной радиотелефонной связи, согласно Федеральному закону 'Об исполнительном производстве' N 229-ФЗ, Статья 25?\nA. Федеральный закон от 14 июня 1995 года N 88-ФЗ 'О государственной поддержке малого предпринимательства в Российской Федерации'\nB. Федеральный закон от 5 апреля 2013 года N 44-ФЗ 'О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд'\nC. Граждане, пребывающие в запасе и не входящие в состав резерва\nD. Сведения о виде спортивного мероприятия\nE. Предложение о добровольном исполнении обязательств\nF. Граждане, прошедшие военную службу и проходящие дополнительное обучение\nG. Наименование и адрес подразделения судебных приставов, адрес официального сайта службы судебных приставов в сети 'Интернет', контактные номера телефонов подразделения судебных приставов\nH. 45 календарных дней\nI. 30 календарных дней\nJ. Список недвижим��сти должника\nK. Только недвижимое имущество российского происхождения\nL. Местный и областной кадровые резервы\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 281, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.008675409480929375, + "B": 0.0012498111464083195, + "C": 0.006347064860165119, + "D": 0.012622645124793053, + "E": 0.10568810999393463, + "F": 0.0052619013004004955, + "G": 0.0059625147841870785, + "H": 0.0059625147841870785, + "I": 0.7809354066848755, + "J": 0.0029981411062180996, + "K": 0.002816492924466729, + "L": 0.00020402604422997683 + }, + "sample": { + "question": "Что такое мобилизационный людской резерв в соответствии с Федеральным законом \"О воинской обязанности и военной службе\" N 53-ФЗ?", + "answerA": "Граждане, прошедшие военную службу и проходящие дополнительное обучение", + "answerB": "Граждане, пребывающие в запасе и не входящие в состав резерва", + "answerC": "Граждане, пребывающие в запасе и заключившие в установленном порядке контракт о пребывании в мобилизационном людском резерве", + "answerD": "Все граждане, призванные на военную службу в мирное время", + "correct_answer": "C", + "choices": [ + "Местный и областной кадровые резервы", + "Только недвижимое имущество российского происхождения", + "30 календарных дней", + "Федеральный закон от 14 июня 1995 года N 88-ФЗ 'О государственной поддержке малого предпринимательства в Российской Федерации'", + "Федеральный закон от 5 апреля 2013 года N 44-ФЗ 'О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд'", + "Граждане, пребывающие в запасе и не входящие в состав резерва", + "Десять дней", + "45 календарных дней", + "Граждане, пребывающие в запасе и заключившие в установленном порядке контракт о пребывании в мобилизационном людском резерве", + "Все граждане, призванные на военную службу в мирное время", + "Граждане, прошедшие военную службу и проходящие дополнительное обучение", + "Только денежные суммы, выраженные в валюте Российской Федерации или иностранной валюте, эмиссионные ценные бумаги российского эмитента, инвестиционные паи паевого инвестиционного фонда, доверительное управление которым осуществляет российская управляющая компания, и иностранные финансовые инструменты" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nЧто такое мобилизационный людской резерв в соответствии с Федеральным законом \"О воинской обязанности и военной службе\" N 53-ФЗ?\nA. Местный и областной кадровые резервы\nB. Только недвижимое имущество российского происхождения\nC. 30 календарных дней\nD. Федеральный закон от 14 июня 1995 года N 88-ФЗ 'О государственной поддержке малого предпринимательства в Российской Федерации'\nE. Федеральный закон от 5 апреля 2013 года N 44-ФЗ 'О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд'\nF. Граждане, пребывающие в запасе и не входящие в состав резерва\nG. Десять дней\nH. 45 календарных дней\nI. Граждане, пребывающие в запасе и заключившие в установленном порядке контракт о пребывании в мобилизационном людском резерве\nJ. Все граждане, призванные на военную службу в мирное время\nK. Граждане, прошедшие военную службу и проходящие дополнительное обучение\nL. Только денежные суммы, выраженные в валюте Российской Федерации или иностранной валюте, эмиссионные ценные бумаги российского эмитента, инвестиционные паи паевого инвестиционного фонда, доверительное управление которым осуществляет российская управляющая компания, и иностранные финансовые инструменты\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 293, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.015553793869912624, + "B": 0.010689955204725266, + "C": 0.06970726698637009, + "D": 0.515070915222168, + "E": 0.06970726698637009, + "F": 0.04790905490517616, + "G": 0.14757028222084045, + "H": 0.054288070648908615, + "I": 0.01289454847574234, + "J": 0.0036943494342267513, + "K": 0.009433852508664131, + "L": 0.008325345814228058 + }, + "sample": { + "question": "Какой срок установлен для проведения анализа финансового положения банка согласно статье 189.47 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?", + "answerA": "30 календарных дней", + "answerB": "45 календарных дней", + "answerC": "60 календарных дней", + "answerD": "90 календарных дней", + "correct_answer": "45 календарных дней", + "choices": [ + "Только членов совета директоров", + "Только недвижимое имущество российского происхождения", + "Федеральный закон от 14 июня 1995 года N 88-ФЗ 'О государственной поддержке малого предпринимательства в Российской Федерации'", + "60 календарных дней", + "Только денежные суммы, выраженные в валюте Российской Федерации или иностранной валюте, эмиссионные ценные бумаги российского эмитента, инвестиционные паи паевого инвестиционного фонда, доверительное управление которым осуществляет российская управляющая компания, и иностранные финансовые инструменты", + "Десять дней", + "45 календарных дней", + "30 календарных дней", + "90 календарных дней", + "Европейский и азиатский кадровые резервы", + "Федеральный закон от 5 апреля 2013 года N 44-ФЗ 'О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд'", + "Местный и областной кадровые резервы" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКакой срок установлен для проведения анализа финансового положения банка согласно статье 189.47 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?\nA. Только членов совета директоров\nB. Только недвижимое имущество российского происхождения\nC. Федеральный закон от 14 июня 1995 года N 88-ФЗ 'О государственной поддержке малого предпринимательства в Российской Федерации'\nD. 60 календарных дней\nE. Только денежные суммы, выраженные в валюте Российской Федерации или иностранной валюте, эмиссионные ценные бумаги российского эмитента, инвестиционные паи паевого инвестиционного фонда, доверительное управление которым осуществляет российская управляющая компания, и иностранные финансовые инструменты\nF. Десять дней\nG. 45 календарных дней\nH. 30 календарных дней\nI. 90 календарных дней\nJ. Европейский и азиатский кадровые резервы\nK. Федеральный закон от 5 апреля 2013 года N 44-ФЗ 'О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд'\nL. Местный и областной кадровые резервы\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 259, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.11455100029706955, + "B": 0.06947869807481766, + "C": 0.05411006882786751, + "D": 0.14708639681339264, + "E": 0.10109090805053711, + "F": 0.06131473183631897, + "G": 0.06947869807481766, + "H": 0.14708639681339264, + "I": 0.024011194705963135, + "J": 0.04775196313858032, + "K": 0.032819412648677826, + "L": 0.027208248153328896 + }, + "sample": { + "question": "Какой из перечисленных законов и пунктов был признан утратившим силу согласно Статье 26 Федерального закона 'О развитии малого и среднего предпринимательства в Российской Федерации' N 209-ФЗ?", + "answerA": "Федеральный закон от 5 апреля 2013 года N 44-ФЗ 'О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд'", + "answerB": "Федеральный закон от 14 июня 1995 года N 88-ФЗ 'О государственной поддержке малого предпринимательства в Российской Федерации'", + "answerC": "Федеральный закон от 7 февраля 2011 года N 3-ФЗ 'О полиции'", + "answerD": "Федеральный закон от 29 декабря 2015 года N 382-ФЗ 'О курортном сборе в Российской Федерации'", + "correct_answer": "B", + "choices": [ + "Местный и областной кадровые резервы", + "Десять дней", + "1 000 000 рублей", + "Федеральный закон от 29 декабря 2015 года N 382-ФЗ 'О курортном сборе в Российской Федерации'", + "Только недвижимое имущество российского происхождения", + "Тридцать дней", + "Только членов совета директоров", + "Федеральный закон от 14 июня 1995 года N 88-ФЗ 'О государственной поддержке малого предпринимательства в Российской Федерации'", + "Только денежные суммы, выраженные в валюте Российской Федерации или иностранной валюте, эмиссионные ценные бумаги российского эмитента, инвестиционные паи паевого инвестиционного фонда, доверительное управление которым осуществляет российская управляющая компания, и иностранные финансовые инструменты", + "Федеральный закон от 5 апреля 2013 года N 44-ФЗ 'О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муницип��льных нужд'", + "Европейский и азиатский кадровые резервы", + "Федеральный закон от 7 февраля 2011 года N 3-ФЗ 'О полиции'" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакой из перечисленных законов и пунктов был признан утратившим силу согласно Статье 26 Федерального закона 'О развитии малого и среднего предпринимательства в Российской Федерации' N 209-ФЗ?\nA. Местный и областной кадровые резервы\nB. Десять дней\nC. 1 000 000 рублей\nD. Федеральный закон от 29 декабря 2015 года N 382-ФЗ 'О курортном сборе в Российской Федерации'\nE. Только недвижимое имущество российского происхождения\nF. Тридцать дней\nG. Только членов совета директоров\nH. Федеральный закон от 14 июня 1995 года N 88-ФЗ 'О государственной поддержке малого предпринимательства в Российской Федерации'\nI. Только денежные суммы, выраженные в валюте Российской Федерации или иностранной валюте, эмиссионные ценные бумаги российского эмитента, инвестиционные паи паевого инвестиционного фонда, доверительное управление которым осуществляет российская управляющая компания, и иностранные финансовые инструменты\nJ. Федеральный закон от 5 апреля 2013 года N 44-ФЗ 'О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд'\nK. Европейский и азиатский кадровые резервы\nL. Федеральный закон от 7 февраля 2011 года N 3-ФЗ 'О полиции'\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 304, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.0016964585520327091, + "B": 0.01609555073082447, + "C": 0.0011659577721729875, + "D": 0.005921222269535065, + "E": 0.007602999452501535, + "F": 0.002796987071633339, + "G": 0.03407428041100502, + "H": 0.009762444533407688, + "I": 0.4703809320926666, + "J": 0.28530046343803406, + "K": 0.0561789907515049, + "L": 0.0018058707937598228 + }, + "sample": { + "question": "Какие виды активов могут быть внесены в качестве обеспечительного платежа по договорам, предусмотренных Федеральным законом 'О рынке ценных бумаг' N 39-ФЗ?", + "answerA": "Только недвижимое имущество российского происхождения", + "answerB": "Только денежные суммы, выраженные в валюте Российской Федерации или иностранной валюте, эмиссионные ценные бумаги российского эмитента, инвестиционные паи паевого инвестиционного фонда, доверительное управление которым осуществляет российская управляющая компания, и иностранные финансовые инструменты", + "answerC": "Только золото и другие драгоценные металлы в физической форме", + "answerD": "Любые активы, по обоюдному согласию сторон", + "correct_answer": "answerB", + "choices": [ + "Местный и областной кадровые резервы", + "Любые активы, по обоюдному согласию сторон", + "1 000 000 рублей", + "Десять дней", + "Только золото и другие драгоценные металлы в физической форме", + "Тридцать дней", + "Только членов совета директоров", + "Особенности определяются международными договорами", + "Всех участников общества", + "Только денежные суммы, выраженные в валюте Российской Федерации или иностранной валюте, эмиссионные ценные бумаги российского эмитента, инвестиционные паи паевого инвестиционного фонда, доверительное управление которым осуществляет российская управляющая компания, и иностранные финансовые инструменты", + "Европейский и азиатский кадровые резервы", + "Только недвижимое имущество российского происхождения" + ], + "label": "J", + "gold": "J" + }, + "prompt": "<|im_start|>user\nКакие виды активов могут быть внесены в качестве обеспечительного платежа по договорам, предусмотренных Федеральным законом 'О рынке ценных бумаг' N 39-ФЗ?\nA. Местный и областной кадровые резервы\nB. Любые активы, по обоюдному согласию сторон\nC. 1 000 000 рублей\nD. Десять дней\nE. Только золото и другие драгоценные металлы в физической форме\nF. Тридцать дней\nG. Только членов совета директоров\nH. Особенности определяются международными договорами\nI. Всех участников общества\nJ. Только денежные суммы, выраженные в валюте Российской Федерации или иностранной валюте, эмиссионные ценные бумаги российского эмитента, инвестиционные паи паевого инвестиционного фонда, доверительное управление которым осуществляет российская управляющая компания, и иностранные финансовые инструменты\nK. Европейский и азиатский кадровые резервы\nL. Только недвижимое имущество российского происхождения\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 213, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.01826373301446438, + "B": 0.01826373301446438, + "C": 0.8799959421157837, + "D": 0.009775872342288494, + "E": 0.0008024524431675673, + "F": 0.0005181021988391876, + "G": 0.0008542060968466103, + "H": 0.0008542060968466103, + "I": 0.00017905134882312268, + "J": 6.586930976482108e-05, + "K": 0.0002773201558738947, + "L": 1.0101385669258889e-05 + }, + "sample": { + "question": "Какие типы кадровых резервов предусмотрены Федеральным законом \"О системе государственной службы Российской Федерации\" N 58-ФЗ в Статье 17 для замещения должностей государственной службы?", + "answerA": "Местный и областной кадровые резервы", + "answerB": "Европейский и азиатский кадровые резервы", + "answerC": "Федеральный кадровый резерв и кадровый резерв государственного органа субъекта Российской Федерации", + "answerD": "Всемирный и национальный кадровые резервы", + "correct_answer": "C", + "choices": [ + "1 400 000 рублей", + "1 000 000 рублей", + "Федеральный кадровый резерв и кадровый резерв государственного органа субъекта Российской Федерации", + "Особенности определяются международными договорами", + "Всемирный и национальный кадровые резервы", + "Производится перерасчет акций среди акционеров", + "Только членов совета директоров", + "Всех участников общества", + "Европейский и азиатский кадровые резервы", + "Местный и областной кадровые резервы", + "Десять дней", + "Тридцать дней" + ], + "label": "C", + "gold": "C" + }, + "prompt": "<|im_start|>user\nКакие типы кадровых резервов предусмотрены Федеральным законом \"О системе государственной службы Российской Федерации\" N 58-ФЗ в Статье 17 для замещения должностей государственной службы?\nA. 1 400 000 рублей\nB. 1 000 000 рублей\nC. Федеральный кадровый резерв и кадровый резерв государственного органа субъекта Российской Федерации\nD. Особенности определяются международными договорами\nE. Всемирный и национальный кадровые резервы\nF. Производится перерасчет акций среди акционеров\nG. Только членов совета директоров\nH. Всех участников общества\nI. Европейский и азиатский кадровые резервы\nJ. Местный и областной кадровые резервы\nK. Десять дней\nL. Тридцать дней\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 175, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.27105820178985596, + "B": 0.03237328305840492, + "C": 0.18629539012908936, + "D": 0.18629539012908936, + "E": 0.041568122804164886, + "F": 0.015292057767510414, + "G": 0.09971674531698227, + "H": 0.015292057767510414, + "I": 0.010510066524147987, + "J": 0.008713151328265667, + "K": 0.00987329427152872, + "L": 0.000557013088837266 + }, + "sample": { + "question": "Какой максимальный срок оценки и сопоставления заявок на участие в конкурсе, если начальная (максимальная) цена контракта превышает пятьдесят миллионов рублей?", + "answerA": "Десять дней", + "answerB": "Тридцать дней", + "answerC": "Пятьдесят дней", + "answerD": "Двадцать дней", + "correct_answer": "Тридцать дней", + "choices": [ + "Десять дней", + "1 400 000 рублей", + "Только членов совета директоров", + "Двадцать дней", + "Особенности определяются международными договорами", + "Особенности определяются решениями местных собраний", + "Тридцать дней", + "1 000 000 рублей", + "Неограниченное использование природных ресурсов для промышленного развития", + "Всех участников общества", + "Пятьдесят дней", + "Производится перерасчет акций среди акционеров" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКакой максимальный срок оценки и сопоставления заявок на участие в конкурсе, если начальная (максимальная) цена контракта превышает пятьдесят миллионов рублей?\nA. Десять дней\nB. 1 400 000 рублей\nC. Только членов совета директоров\nD. Двадцать дней\nE. Особенности определяются международными договорами\nF. Особенности определяются решениями местных собраний\nG. Тридцать дней\nH. 1 000 000 рублей\nI. Неограниченное использование природных ресурсов для промышленного развития\nJ. Всех участников общества\nK. Пятьдесят дней\nL. Производится перерасчет акций среди акционеров\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 153, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.002728520194068551, + "B": 0.0035034893080592155, + "C": 0.002728520194068551, + "D": 0.9714204668998718, + "E": 0.0014604715397581458, + "F": 0.0010685038287192583, + "G": 0.0003061314928345382, + "H": 3.43469982908573e-05, + "I": 4.997459109290503e-05, + "J": 2.674947063496802e-05, + "K": 7.740215369267389e-05, + "L": 5.606992999673821e-06 + }, + "sample": { + "question": "Согласно Федеральному закону \"Об обществах с ограниченной ответственностью\" (ООО) N 14-ФЗ, статье 36, кого должны уведомить орган или лица, созывающие общее собрание участников общества, не позднее чем за 30 дней до его проведения?", + "answerA": "Только членов совета директоров", + "answerB": "Всех участников общества", + "answerC": "Только аудитора общества", + "answerD": "Только ревизионную комиссию", + "correct_answer": "B", + "choices": [ + "Только членов совета директоров", + "Особенности определяются международными договорами", + "Только федеральные органы исполнительной власти", + "Всех участников общества", + "Неограниченное использование природных ресурсов для промышленного развития", + "1 400 000 рублей", + "Только ревизионную комиссию", + "Производится перерасчет акций среди акционеров", + "Только аудитора общества", + "Особенности определяются решениями местных собраний", + "Ликвидационная комиссия проводит аудит деятельности общества", + "1 000 000 рублей" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nСогласно Федеральному закону \"Об обществах с ограниченной ответственностью\" (ООО) N 14-ФЗ, статье 36, кого должны уведомить орган или лица, созывающие общее собрание участников общества, не позднее чем за 30 дней до его проведения?\nA. Только членов совета директоров\nB. Особенности определяются международными договорами\nC. Только федеральные органы исполнительной власти\nD. Всех участников общества\nE. Неограниченное использование природных ресурсов для промышленного развития\nF. 1 400 000 рублей\nG. Только ревизионную комиссию\nH. Производится перерасчет акций среди акционеров\nI. Только аудитора общества\nJ. Особенности определяются решениями местных собраний\nK. Ликвидационная комиссия проводит аудит деятельности общества\nL. 1 000 000 рублей\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 193, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.022560320794582367, + "B": 0.1298256814479828, + "C": 0.08922779560089111, + "D": 0.042148225009441376, + "E": 0.03719567507505417, + "F": 0.03282506763935089, + "G": 0.16669946908950806, + "H": 0.10110834240913391, + "I": 0.006463639438152313, + "J": 0.03719567507505417, + "K": 0.18889524042606354, + "L": 0.008299477398395538 + }, + "sample": { + "question": "Какой максимальный размер возмещения по вкладам установлен Федеральным законом \"О страховании вкладов физических лиц в банках Российской Федерации\" N 177-ФЗ?", + "answerA": "1 000 000 рублей", + "answerB": "1 400 000 рублей", + "answerC": "2 000 000 рублей", + "answerD": "Не ограничен", + "correct_answer": "1 400 000 рублей", + "choices": [ + "Ликвидационная комиссия проводит аудит деятельности общества", + "1 000 000 рублей", + "Особенности определяются решениями местных собраний", + "Бюджетные учреждения могут самостоятельно устанавливать размер платы за оказываемые услуги без согласования с учредителем.", + "2 000 000 рублей", + "Производится перерасчет акций среди акционеров", + "Запрет на любую деятельность, не связанную с природоохранной деятельностью", + "1 400 000 рублей", + "Только федеральные органы исполнительной власти", + "Особенности определяются международными договорами", + "Не ограничен", + "Неограниченное использование природных ресурсов для промышленного развития" + ], + "label": "H", + "gold": "H" + }, + "prompt": "<|im_start|>user\nКакой максимальный размер возмещения по вкладам установлен Федеральным законом \"О страховании вкладов физических лиц в банках Российской Федерации\" N 177-ФЗ?\nA. Ликвидационная комиссия проводит аудит деятельности общества\nB. 1 000 000 рублей\nC. Особенности определяются решениями местных собраний\nD. Бюджетные учреждения могут самостоятельно устанавливать размер платы за оказываемые услуги без согласования с учредителем.\nE. 2 000 000 рублей\nF. Производится перерасчет акций среди акционеров\nG. Запрет на любую деятельность, не связанную с природоохранной деятельностью\nH. 1 400 000 рублей\nI. Только федеральные органы исполнительной власти\nJ. Особенности определяются международными договорами\nK. Не ограничен\nL. Неограниченное использование природных ресурсов для промышленного развития\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 198, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " K" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.0024148691445589066, + "B": 0.0024148691445589066, + "C": 0.010166979394853115, + "D": 0.0022685599979013205, + "E": 0.4898724853992462, + "F": 0.003300735028460622, + "G": 0.007918051443994045, + "H": 0.011520696803927422, + "I": 0.002001997083425522, + "J": 0.004238227382302284, + "K": 0.004238227382302284, + "L": 6.850457430118695e-05 + }, + "sample": { + "question": "Каковы особенности организации местного самоуправления на приграничных территориях в соответствии со Статьей 82 Федерального закона \"Об общих принципах организации местного самоуправления в РФ\" (закон о МСУ) N 131-ФЗ?", + "answerA": "Особенности определяются международными договорами", + "answerB": "Особенности определяются решениями местных собраний", + "answerC": "Особенности устанавливаются федеральным законом, определяющим режим приграничной территории", + "answerD": "Особенности определяются властями соседних государств", + "correct_answer": "Особенности устанавливаются федеральным законом, определяющим режим приграничной территории", + "choices": [ + "Только органы исполнительной власти субъ��ктов Российской Федерации", + "Бюджетные учреждения могут самостоятельно устанавливать размер платы за оказываемые услуги без согласования с учредителем.", + "Особенности определяются решениями местных собраний", + "Ликвидационная комиссия проводит аудит деятельности общества", + "Особенности устанавливаются федеральным законом, определяющим режим приграничной территории", + "Налоговые стандарты", + "Особенности определяются международными договорами", + "Запрет на любую деятельность, не связанную с природоохранной деятельностью", + "Только федеральные органы исполнительной власти", + "Особенности определяются властями соседних государств", + "Производится перерасчет акций среди акционеров", + "Неограниченное использование природных ресурсов для промышленного развития" + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКаковы особенности организации местного самоуправления на приграничных территориях в соответствии со Статьей 82 Федерального закона \"Об общих принципах организации местного самоуправления в РФ\" (закон о МСУ) N 131-ФЗ?\nA. Только органы исполнительной власти субъектов Российской Федерации\nB. Бюджетные учреждения могут самостоятельно устанавливать размер платы за оказываемые услуги без согласования с учредителем.\nC. Особенности определяются решениями местных собраний\nD. Ликвидационная комиссия проводит аудит деятельности общества\nE. Особенности устанавливаются федеральным законом, определяющим режим приграничной территории\nF. Налоговые стандарты\nG. Особенности определяются международными договорами\nH. Запрет на любую деятельность, не связанную с природоохранной деятельностью\nI. Только федеральные органы исполнительной власти\nJ. Особенности определяются властями соседних государств\nK. Производится перерасчет акций среди акционеров\nL. Неограниченное использование природных ресурсов для промышленного развития\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 204, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.027543140575289726, + "B": 0.0035017174668610096, + "C": 0.06607255339622498, + "D": 0.05830882489681244, + "E": 0.12343978136777878, + "F": 0.0030902547296136618, + "G": 0.014742780476808548, + "H": 0.001459732884541154, + "I": 0.6268789768218994, + "J": 0.0021238988265395164, + "K": 0.00372755853459239, + "L": 8.235250425059348e-05 + }, + "sample": { + "question": "Согласно Федеральному закону 'Об акционерных обществах' (АО) N 208-ФЗ, что происходит после завершения расчетов с кредиторами ликвидируемого общества?", + "answerA": "Производится перерасчет акций среди акционеров", + "answerB": "Ликвидационная комиссия проводит аудит деятельности общества", + "answerC": "Ликвидационная комиссия составляет ликвидационный баланс, который утверждается общим собранием акционеров", + "answerD": "Общество снова начинает свою деятельность, если нашелся новый инвестор", + "correct_answer": "Ликвидационная комиссия составляет ликвидационный баланс, который утверждается общим собранием акционеров", + "choices": [ + "Бюджетные учреждения обязаны выполнять любые государственные (муниципальные) задания, независимо от их объема и условий финансирования.", + "Бюджетные учреждения могут самостоятельно устанавливать размер платы за оказываемые услуги без согласования с учредителем.", + "Налоговые стандарты", + "Минимальный размер - 6 752 рубля, максимальный не ограничен.", + "Ликвидационная комиссия проводит аудит деятельности общества", + "Только органы исполнительной власти субъектов Российской Федерации", + "Производится перерасчет акций среди акционеров", + "Общество снова начинает свою деятельность, если нашелся новый инвестор", + "Ликвидационная комиссия составляет ликвидационный баланс, который утверждается общим собранием акционеров", + "Только федеральные органы исполнительной власти", + "Запрет на любую деятельность, не связанную с природоохранной деятельностью", + "Неограниченное использование природных ресурсов для промышленного развития" + ], + "label": "I", + "gold": "I" + }, + "prompt": "<|im_start|>user\nСогласно Федеральному закону 'Об акционерных обществах' (АО) N 208-ФЗ, что происходит после завершения расчетов с кредиторами ликвидируемого общества?\nA. Бюджетные учреждения обязаны выполнять любые государственные (муниципальные) задания, независимо от их объема и условий финансирования.\nB. Бюджетные учреждения могут самостоятельно устанавливать размер платы за оказываемые услуги без согласования с учредителем.\nC. Налоговые стандарты\nD. Минимальный размер - 6 752 рубля, максимальный не ограничен.\nE. Ликвидационная комиссия проводит аудит деятельности общества\nF. Только органы исполнительной власти субъектов Российской Федерации\nG. Производится перерасчет акций среди акционеров\nH. Общество снова начинает свою деятельность, если нашелся новый инвестор\nI. Ликвидационная комиссия составляет ликвидационный баланс, который утверждается общим собранием акционеров\nJ. Только федеральные органы исполнительной власти\nK. Запрет на любую деятельность, не связанную с природоохранной деятельностью\nL. Неограниченное использование природных ресурсов для промышленного развития\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 228, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.000666142615955323, + "B": 0.002804565243422985, + "C": 0.0004300940199755132, + "D": 0.0017010547453537583, + "E": 0.0010982835665345192, + "F": 0.0005878687952645123, + "G": 0.001597992959432304, + "H": 0.013379830867052078, + "I": 0.00016842721379362047, + "J": 0.004343795124441385, + "K": 0.030151914805173874, + "L": 0.8811681270599365 + }, + "sample": { + "question": "Согласно Федеральному закону 'Об охране окружающей среды' N 7-ФЗ, что устанавливает правовой режим охраны природных объектов?", + "answerA": "Неограниченное использование природных ресурсов для промышленного развития", + "answerB": "Запрет на любую деятельность, не связанную с природоохранной деятельностью", + "answerC": "Законодательство в области охраны окружающей среды, а также иное законодательство Российской Федерации", + "answerD": "Обязательное введение экологических налогов для всех предприятий", + "correct_answer": "answerC", + "choices": [ + "Только органы исполнительной власти субъектов Российской Федерации", + "Обязательное введение экологических налогов для всех предприятий", + "Только федеральные органы исполнительной власти", + "Бюджетные учреждения могут самостоятельно устанавливать размер платы за оказываемые услуги без согласования с учредителем.", + "Стандарты защиты прав потребителей банковских услуг", + "Неограниченное использование природных ресурсов для промышленного развития", + "Если заявление должника не соответствует требованиям статьи 8 или 9 настоящего Федерального закона", + "Бюджетные учреждения обязаны выполнять любые государственные (муниципальные) задания, независимо от их объема и условий финансирования.", + "Минимальный размер - 6 752 рубля, максимальный не ограничен.", + "Запрет на любую деятельность, не связанную с природоохранной деятельностью", + "Налоговые стандарты", + "Законодательство в области охраны окружающей среды, а также иное законодательство Российской Федерации" + ], + "label": "L", + "gold": "L" + }, + "prompt": "<|im_start|>user\nСогласно Федеральному закону 'Об охране окружающей среды' N 7-ФЗ, что устанавливает правовой режим охраны природных объектов?\nA. Только органы исполнительной власти субъектов Российской Федерации\nB. Обязательное введение экологических налогов для всех предприятий\nC. Только федеральные органы исполнительной власти\nD. Бюджетные учреждения могут самостоятельно устанавливать размер платы за оказываемые услуги без согласования с учредителем.\nE. Стандарты защиты прав потребителей банковских услуг\nF. Неограниченное использование природных ресурсов для промышленного развития\nG. Если заявление должника не соответствует требованиям статьи 8 или 9 настоящего Федерального закона\nH. Бюджетные учреждения обязаны выполнять любые государственные (муниципальные) задания, независимо от их объема и условий финансирования.\nI. Минимальный размер - 6 752 рубля, максимальный не ограничен.\nJ. Запрет на любую деятельность, не связанную с природоохранной деятельностью\nK. Налоговые стандарты\nL. Законодательство в области охраны окружающей среды, а также иное законодательство Российской Федерации\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 225, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.8194131851196289, + "B": 0.01324458047747612, + "C": 0.05935809388756752, + "D": 0.01324458047747612, + "E": 0.008033244870603085, + "F": 0.0007019370677880943, + "G": 0.0014860007213428617, + "H": 0.0012319379020482302, + "I": 0.0029552653431892395, + "J": 0.00048243379569612443, + "K": 0.0013113911263644695, + "L": 3.084096169914119e-05 + }, + "sample": { + "question": "Какие органы могут осуществлять государственный контроль (надзор) в соответствии с Федеральным законом от 31.07.2020 N 248-ФЗ?", + "answerA": "Только федеральные органы исполнительной власти", + "answerB": "Только органы исполнительной власти субъектов Российской Федерации", + "answerC": "Только органы местного самоуправления", + "answerD": "Федеральные органы исполнительной власти, органы исполнительной власти субъектов Российской Федерации, органы местного самоуправления, а также в случаях, предусмотренных федеральными законами, государственные корпорации, публично-правовые компании", + "correct_answer": "D", + "choices": [ + "Федеральные органы исполнительной власти, органы исполнительной власти субъектов Российской Федерации, органы местного самоуправления, а также в случаях, предусмотренных федеральными законами, государственные корпорации, публично-правовые компании", + "Минимальный размер - 6 752 рубля, максимальный не ограничен.", + "Стандарты защиты прав потребителей банковских услуг", + "Минимальный размер - 5 000 рублей, максимальный - 20 000 рублей.", + "Если заявление должника не соответствует требованиям статьи 8 или 9 настоящего Федерального закона", + "Бюджетные учреждения обязаны выполнять любые государственные (муниципальные) задания, независимо от их объема и условий финансирования.", + "Только органы местного самоуправления", + "Только органы исполнительной власти субъектов Российской Федерации", + "Предоставление кредитной организации исключительных прав на интеллектуальную собственность безвозмездно", + "Бюджетные учреждения могут самостоятельно устанавливать размер платы за оказываемые услуги без согласования с учредителем.", + "Только федеральные органы исполнительной власти", + "Налоговые стандарты" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nКакие органы могут осуществлять государственный контроль (надзор) в соответствии с Федеральным законом от 31.07.2020 N 248-ФЗ?\nA. Федеральные органы исполнительной власти, органы исполнительной власти субъектов Российской Федерации, органы местного самоуправления, а также в случаях, предусмотренных федеральными законами, государственные корпорации, публично-правовые компании\nB. Минимальный размер - 6 752 рубля, максимальный не ограничен.\nC. Стандарты защиты прав потребителей банковских услуг\nD. Минимальный размер - 5 000 рублей, максималь��ый - 20 000 рублей.\nE. Если заявление должника не соответствует требованиям статьи 8 или 9 настоящего Федерального закона\nF. Бюджетные учреждения обязаны выполнять любые государственные (муниципальные) задания, независимо от их объема и условий финансирования.\nG. Только органы местного самоуправления\nH. Только органы исполнительной власти субъектов Российской Федерации\nI. Предоставление кредитной организации исключительных прав на интеллектуальную собственность безвозмездно\nJ. Бюджетные учреждения могут самостоятельно устанавливать размер платы за оказываемые услуги без согласования с учредителем.\nK. Только федеральные органы исполнительной власти\nL. Налоговые стандарты\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 261, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " A" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.003984849434345961, + "B": 0.005116647575050592, + "C": 0.0029153781943023205, + "D": 0.00744467880576849, + "E": 0.7593778371810913, + "F": 0.0010075276950374246, + "G": 0.0025728121399879456, + "H": 0.0014659441076219082, + "I": 0.0005066167213954031, + "J": 0.0022704987786710262, + "K": 0.003103403840214014, + "L": 0.00037064874777570367 + }, + "sample": { + "question": "Какое утверждение наиболее точно описывает положение закона о бюджетных учреждениях?", + "answerA": "Бюджетные учреждения могут самостоятельно устанавливать размер платы за оказываемые услуги без согласования с учредителем.", + "answerB": "Бюджетные учреждения обязаны выполнять любые государственные (муниципальные) задания, независимо от их объема и условий финансирования.", + "answerC": "Бюджетные учреждения являются собственниками закрепленного за ними особо ценного движимого и недвижимого имущества.", + "answerD": "Бюджетное учреждение осуществляет свою деятельность в соответствии с предметом и целями, определенными в соответствии с федеральными законами и уставом.", + "correct_answer": "D", + "choices": [ + "Если требование заявителя удовлетворено должником на дату заседания арбитражного суда", + "Бюджетные учреждения являются собственниками закрепленного за ними особо ценного движимого и недвижимого имущества.", + "Стандарты защиты прав потребителей банковских услуг", + "Если заявление должника не соответствует требованиям статьи 8 или 9 настоящего Федерального закона", + "Бюджетное учреждение осуществляет свою деятельность в соответствии с предметом и целями, определенными в соответствии с федеральными законами и уставом.", + "Бюджетные учреждения могут самостоятельно устанавливать размер платы за оказываемые услуги без согласования с учредителем.", + "Минимальный размер - 5 000 рублей, максимальный - 20 000 рублей.", + "7 рабочих дней", + "Минимальный размер - 6 752 рубля, максимальный не ограничен.", + "Налоговые стандарты", + "Предоставление кредитной организации исключительных прав на и��теллектуальную собственность безвозмездно", + "Бюджетные учреждения обязаны выполнять любые государственные (муниципальные) задания, независимо от их объема и условий финансирования." + ], + "label": "E", + "gold": "E" + }, + "prompt": "<|im_start|>user\nКакое утверждение наиболее точно описывает положение закона о бюджетных учреждениях?\nA. Если требование заявителя удовлетворено должником на дату заседания арбитражного суда\nB. Бюджетные учреждения являются собственниками закрепленного за ними особо ценного движимого и недвижимого имущества.\nC. Стандарты защиты прав потребителей банковских услуг\nD. Если заявление должника не соответствует требованиям статьи 8 или 9 настоящего Федерального закона\nE. Бюджетное учреждение осуществляет свою деятельность в соответствии с предметом и целями, определенными в соответствии с федеральными законами и уставом.\nF. Бюджетные учреждения могут самостоятельно устанавливать размер платы за оказываемые услуги без согласования с учредителем.\nG. Минимальный размер - 5 000 рублей, максимальный - 20 000 рублей.\nH. 7 рабочих дней\nI. Минимальный размер - 6 752 рубля, максимальный не ограничен.\nJ. Налоговые стандарты\nK. Предоставление кредитной организации исключительных прав на интеллектуальную собственность безвозмездно\nL. Бюджетные учреждения обязаны выполнять любые государственные (муниципальные) задания, независимо от их объема и условий финансирования.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 249, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " E" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.12676608562469482, + "B": 0.01611649990081787, + "C": 0.02828533947467804, + "D": 0.08712497353553772, + "E": 0.05284396559000015, + "F": 0.01944020949304104, + "G": 0.022028643637895584, + "H": 0.022028643637895584, + "I": 0.3904670476913452, + "J": 0.04663463681936264, + "K": 0.05988006293773651, + "L": 0.0033782017417252064 + }, + "sample": { + "question": "Что относится к стандартам деятельности кредитных организаций в соответствии с Федеральным законом от 11.06.2021 N 192-ФЗ?", + "answerA": "Налоговые стандарты", + "answerB": "Стандарты защиты прав потребителей банковских услуг", + "answerC": "Стандарты качества продуктов питания", + "answerD": "Экологические стандарты промышленного производства", + "correct_answer": "Стандарты защиты прав потребителей банковских услуг", + "choices": [ + "Если требование заявителя удовлетворено должником на дату заседания арбитражного суда", + "7 рабочих дней", + "Обязательное участие в медицинских экспериментах", + "Стандарты защиты прав потребителей банковских услуг", + "Налоговые стандарты", + "Стандарты качества продуктов питания", + "Предоставление кредитной организации исключительных прав на интеллектуальную собственность безвозмездно", + "Экологические стандарты промышленного производства", + "Размещение денежных средств н�� депозите в кредитной организации со сроком возврата не менее чем через шесть месяцев и с начислением процентов по ставке, не превышающей процентной ставки рефинансирования Банка России", + "Минимальный размер - 6 752 рубля, максимальный не ограничен.", + "Если заявление должника не соответствует требованиям статьи 8 или 9 настоящего Федерального закона", + "Минимальный размер - 5 000 рублей, максимальный - 20 000 рублей." + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nЧто относится к стандартам деятельности кредитных организаций в соответствии с Федеральным законом от 11.06.2021 N 192-ФЗ?\nA. Если требование заявителя удовлетворено должником на дату заседания арбитражного суда\nB. 7 рабочих дней\nC. Обязательное участие в медицинских экспериментах\nD. Стандарты защиты прав потребителей банковских услуг\nE. Налоговые стандарты\nF. Стандарты качества продуктов питания\nG. Предоставление кредитной организации исключительных прав на интеллектуальную собственность безвозмездно\nH. Экологические стандарты промышленного производства\nI. Размещение денежных средств на депозите в кредитной организации со сроком возврата не менее чем через шесть месяцев и с начислением процентов по ставке, не превышающей процентной ставки рефинансирования Банка России\nJ. Минимальный размер - 6 752 рубля, максимальный не ограничен.\nK. Если заявление должника не соответствует требованиям статьи 8 или 9 настоящего Федерального закона\nL. Минимальный размер - 5 000 рублей, максимальный - 20 000 рублей.\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 249, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " I" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.005860722623765469, + "B": 0.023179609328508377, + "C": 0.15115004777908325, + "D": 0.41086840629577637, + "E": 0.00801065843552351, + "F": 0.011655439622700214, + "G": 0.17127542197704315, + "H": 0.004564336035400629, + "I": 0.0003746634756680578, + "J": 0.0031370187643915415, + "K": 0.10388379544019699, + "L": 0.0004519304202403873 + }, + "sample": { + "question": "Каковы минимальный и максимальный размеры ежемесячного пособия по уходу за ребенком до 1,5 лет согласно Федеральному закону 'О государственных пособиях гражданам, имеющим детей' N 81-ФЗ, Статье 15?", + "answerA": "Минимальный размер - 6 752 рубля, максимальный не ограничен.", + "answerB": "Минимальный размер - 5 000 рублей, максимальный - 20 000 рублей.", + "answerC": "Минимальный размер - 6 752 рубля, максимальный - 15 355,62 рубля.", + "answerD": "Минимальный размер - 3 500 рублей, максимальный - 10 000 рублей.", + "correct_answer": "answerC", + "choices": [ + "Бюджетные учреждения могут самостоятельно устанавливать размер платы за оказываемые услуги без согласования с учредителем.", + "Минимальный размер - 3 500 рублей, максимальный - 10 000 рублей.", + "Минимальный размер - 5 000 рублей, максимальный - 20 000 рублей.", + "Минимальный размер - 6 752 рубля, максимальный не ограничен.", + "Налог��вые стандарты", + "Производится перерасчет акций среди акционеров", + "Минимальный размер - 6 752 рубля, максимальный - 15 355,62 рубля.", + "Ликвидационная комиссия проводит аудит деятельности общества", + "Только органы исполнительной власти субъектов Российской Федерации", + "Запрет на любую деятельность, не связанную с природоохранной деятельностью", + "Только федеральные органы исполнительной власти", + "Неограниченное использование природных ресурсов для промышленного развития" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nКаковы минимальный и максимальный размеры ежемесячного пособия по уходу за ребенком до 1,5 лет согласно Федеральному закону 'О государственных пособиях гражданам, имеющим детей' N 81-ФЗ, Статье 15?\nA. Бюджетные учреждения могут самостоятельно устанавливать размер платы за оказываемые услуги без согласования с учредителем.\nB. Минимальный размер - 3 500 рублей, максимальный - 10 000 рублей.\nC. Минимальный размер - 5 000 рублей, максимальный - 20 000 рублей.\nD. Минимальный размер - 6 752 рубля, максимальный не ограничен.\nE. Налоговые стандарты\nF. Производится перерасчет акций среди акционеров\nG. Минимальный размер - 6 752 рубля, максимальный - 15 355,62 рубля.\nH. Ликвидационная комиссия проводит аудит деятельности общества\nI. Только органы исполнительной власти субъектов Российской Федерации\nJ. Запрет на любую деятельность, не связанную с природоохранной деятельностью\nK. Только федеральные органы исполнительной власти\nL. Неограниченное использование природных ресурсов для промышленного развития\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 266, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " D" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.003505509113892913, + "B": 0.9130911827087402, + "C": 0.010143527761101723, + "D": 0.006152360234409571, + "E": 0.008951631374657154, + "F": 0.001372777041979134, + "G": 0.0016558852512389421, + "H": 0.0011380722280591726, + "I": 1.7280712199863046e-05, + "J": 0.0005722586065530777, + "K": 0.00019776728004217148, + "L": 2.5143290258711204e-05 + }, + "sample": { + "question": "На основании чего арбитражный суд может принять определение о признании требований заявителя обоснованными и введении наблюдения по статье 48 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?", + "answerA": "Если заявление должника не соответствует требованиям статьи 8 или 9 настоящего Федерального закона", + "answerB": "Если требование заявителя удовлетворено должником на дату заседания арбитражного суда", + "answerC": "Если требование заявителя соответствует условиям, установленным пунктом 2 статьи 33 настоящего Федерального закона, признано обоснованным и не удовлетворено должником на дату заседания арбитражного суда", + "answerD": "Если имеется иное заявление о признании должника банкротом", + "correct_answer": "C", + "choices": [ + "Только органы исполнительной власти субъектов Российской Федерации", + "Если требование заявителя соответствует условиям, установленным пунктом 2 статьи 33 настоящего Федерального закона, признано обоснованным и не удовлетворено должником на дату заседания арбитражного суда", + "Минимальный размер - 6 752 рубля, максимальный не ограничен.", + "Только федеральные органы исполнительной власти", + "Если требование заявителя удовлетворено должником на дату заседания арбитражного суда", + "Если заявление должника не соответствует требованиям статьи 8 или 9 настоящего Федерального закона", + "Бюджетные учреждения обязаны выполнять любые государственные (муниципальные) задания, независимо от их объема и условий финансирования.", + "Бюджетные учреждения могут самостоятельно устанавливать размер платы за оказываемые услуги без согласования с учредителем.", + "Налоговые стандарты", + "Если имеется иное заявление о признании должника банкротом", + "Запрет на любую деятельность, не связанную с природоохранной деятельностью", + "Неограниченное использование природных ресурсов для промышленного развития" + ], + "label": "B", + "gold": "B" + }, + "prompt": "<|im_start|>user\nНа основании чего арбитражный суд может принять определение о признании требований заявителя обоснованными и введении наблюдения по статье 48 Федерального закона \"О несостоятельности (банкротстве)\" N 127-ФЗ?\nA. Только органы исполнительной власти субъектов Российской Федерации\nB. Если требование заявителя соответствует условиям, установленным пунктом 2 статьи 33 настоящего Федерального закона, признано обоснованным и не удовлетворено должником на дату заседания арбитражного суда\nC. Минимальный размер - 6 752 рубля, максимальный не ограничен.\nD. Только федеральные органы исполнительной власти\nE. Если требование заявителя удовлетворено должником на дату заседания арбитражного суда\nF. Если заявление должника не соответствует требованиям статьи 8 или 9 настоящего Федерального закона\nG. Бюджетные учреждения обязаны выполнять любые государственные (муниципальные) задания, независимо от их объема и условий финансирования.\nH. Бюджетные учреждения могут самостоятельно устанавливать размер платы за оказываемые услуги без согласования с учредителем.\nI. Налоговые стандарты\nJ. Если имеется иное заявление о признании должника банкротом\nK. Запрет на любую деятельность, не связанную с природоохранной деятельностью\nL. Неограниченное использование природных ресурсов для промышленного развития\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 270, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " B" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.18822337687015533, + "B": 0.06924351304769516, + "C": 0.3103278577327728, + "D": 0.11416325718164444, + "E": 0.022480076178908348, + "F": 0.03706337884068489, + "G": 0.08891042321920395, + "H": 0.032708317041397095, + "I": 0.006856035441160202, + "J": 0.01203271746635437, + "K": 0.019838595762848854, + "L": 0.0007226208108477294 + }, + "sample": { + "question": "В какой форме может быть оказана финансовая помощь кредитной организации ее учредителями (участниками) и иными лицами согласно Статье 189.15 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?", + "answerA": "Предоставление кредитной организации исключительных прав на интеллектуальную собственность безвозмездно", + "answerB": "Размещение денежных средств на депозите в кредитной организации со сроком возврата не менее чем через шесть месяцев и с начислением процентов по ставке, не превышающей процентной ставки рефинансирования Банка России", + "answerC": "Предоставление материальных ценностей кредитной организации для использования исключительно в офисных нуждах", + "answerD": "Заключение договора об обмене акций (shares swap) между кредитной организацией и другой компанией", + "correct_answer": "B", + "choices": [ + "Размещение денежных средств на депозите в кредитной организации со сроком возврата не менее чем через шесть месяцев и с начислением процентов по ставке, не превышающей процентной ставки рефинансирования Банка России", + "Заключение договора об обмене акций (shares swap) между кредитной организацией и другой компанией", + "Минимальный размер - 6 752 рубля, максимальный не ограничен.", + "Если заявление должника не соответствует требованиям статьи 8 или 9 настоящего Федерального закона", + "Только органы исполнительной власти субъектов Российской Федерации", + "Налоговые стандарты", + "Только федеральные органы исполнительной власти", + "Предоставление материальных ценностей кредитной организации для использования исключительно в офисных нуждах", + "Бюджетные учреждения могут самостоятельно устанавливать размер платы за оказываемые услуги без согласования с учредителем.", + "Бюджетные учреждения обязаны выполнять любые государственные (муниципальные) задания, независимо от их объема и условий финансирования.", + "Предоставление кредитной организации исключительных прав на интеллектуальную собственность безвозмездно", + "Стандарты защиты прав потребителей банковских услуг" + ], + "label": "A", + "gold": "A" + }, + "prompt": "<|im_start|>user\nВ какой форме может быть оказана финансовая помощь кредитной организации ее учредителями (участниками) и иными лицами согласно Статье 189.15 Федерального закона 'О несостоятельности (банкротстве)' N 127-ФЗ?\nA. Размещение денежных средств на депозите в кредитной организации со сроком возврата не менее чем через шесть месяцев и с начислением процентов по ставке, не превышающей процентной ставки рефинансирования Банка России\nB. Заключение договора об обмене акций (shares swap) между кредитной организацией и другой компанией\nC. Минимальный размер - 6 752 рубля, максимальный не ограничен.\nD. Если заявление должника не соответствует требованиям статьи 8 или 9 настоящего Федерального закона\nE. Только органы исполнительной власти субъектов Российской Федерации\nF. Налоговые стандарты\nG. Только федеральные органы исполнительной власти\nH. Предоставление материальных ценностей кредитной организации для использования исключительно в офисных нуждах\nI. Бюджетные учреждения могут самостоятельно устанавливать размер платы за оказываемые услуги без согласования с учредителем.\nJ. Бюджетные учреждения обязаны выполнять любые государственные (муниципальные) задания, независимо от их объема и условий финансирования.\nK. Предоставление кредитной организации исключительных прав на интеллектуальную собственность безвозмездно\nL. Стандарты защиты прав потребителей банковских услуг\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 294, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " C" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "A": 0.04753873869776726, + "B": 0.05386845022439957, + "C": 0.037023209035396576, + "D": 0.08881406486034393, + "E": 0.06916846334934235, + "F": 0.05386845022439957, + "G": 0.028833704069256783, + "H": 0.08881406486034393, + "I": 0.014498498290777206, + "J": 0.11403951793909073, + "K": 0.041952796280384064, + "L": 0.2735665738582611 + }, + "sample": { + "question": "Согласно Федеральному закону 'О рынке ценных бумаг' N 39-ФЗ, какой срок предусмотрен для владельцев облигаций для предъявления требований о досрочном погашении облигаций по требованию владельцев после дня раскрытия соответствующей информации?", + "answerA": "7 рабочих дней", + "answerB": "15 рабочих дней", + "answerC": "10 рабочих дней", + "answerD": "3 рабочих дня", + "correct_answer": "B", + "choices": [ + "7 рабочих дней", + "Стандарты защиты прав потребителей банковских услуг", + "Налоговые стандарты", + "15 рабочих дней", + "10 рабочих дней", + "Минимальный размер - 6 752 рубля, максимальный не ограничен.", + "Предоставление кредитной организации исключительных прав на интеллектуальную собственность безвозмездно", + "Бюджетные учреждения обязаны выполнять любые государственные (муниципальные) задания, независимо от их объема и условий финансирования.", + "Бюджетные учреждения могут самостоятельно устанавливать размер платы за оказываемые услуги без согласования с учредителем.", + "Минимальный размер - 5 000 рублей, максимальный - 20 000 рублей.", + "3 рабочих дня", + "Если заявление должника не соответствует требованиям статьи 8 или 9 настоящего Федерального закона" + ], + "label": "D", + "gold": "D" + }, + "prompt": "<|im_start|>user\nСогласно Федеральному закону 'О рынке ценных бумаг' N 39-ФЗ, какой срок предусмотрен для владельцев облигаций для предъявления требований о досрочном погашении облигаций по требованию владельцев после дня раскрытия соответствующей информации?\nA. 7 рабочих дней\nB. Стандарты защиты прав потребителей банковских услуг\nC. Налоговые стандарты\nD. 15 рабочих дней\nE. 10 рабочих дней\nF. Минимальный размер - 6 752 рубля, максимальный не ограничен.\nG. Предоставление кредитной организации исключительных прав на интеллектуальную собственность безвозмездно\nH. Бюджетные учреждения обязаны выполнять любые государственные (муниципальные) задания, независимо от их объема и условий финансирования.\nI. Бюджетные учреждения могут самостоятельно устанавливать размер платы за оказываемые услуги без согласования с учредителем.\nJ. Минимальный размер - 5 000 рублей, максимальный - 20 000 рублей.\nK. 3 рабочих дня\nL. Если заявление должника не соответствует требованиям статьи 8 или 9 настоящего Федерального закона\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 236, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " L" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "A": 0.009812719188630581, + "B": 0.07718300074338913, + "C": 0.14419685304164886, + "D": 0.09910494089126587, + "E": 0.019514920189976692, + "F": 0.03645867109298706, + "G": 0.39196765422821045, + "H": 0.019514920189976692, + "I": 0.0028113906737416983, + "J": 0.015198235400021076, + "K": 0.0601101890206337, + "L": 0.00016883714124560356 + }, + "sample": { + "question": "В соответствии со статьей 18 Федерального закона \"Об основах охраны здоровья граждан в Российской Федерации\" N 323-ФЗ, что включает в себя право на охрану здоровья?", + "answerA": "Обязательное участие в медицинских экспериментах", + "answerB": "Создание безопасных условий труда и благоприятных условий быта", + "answerC": "Получение медицинской помощи исключительно за плату", + "answerD": "Ограниченный доступ к качественным продуктам питания", + "correct_answer": "B", + "choices": [ + "Если требование заявителя удовлетворено должником на дату заседания арбитражного суда", + "Если заявление должника не соответствует требованиям статьи 8 или 9 настоящего Федерального закона", + "Минимальный размер - 5 000 рублей, максимальный - 20 000 рублей.", + "Минимальный размер - 6 752 рубля, максимальный не ограничен.", + "Стандарты защиты прав потребителей банковских услуг", + "Ограниченный доступ к качественным продуктам питания", + "Создание безопасных условий труда и благоприятных условий быта", + "Обязательное участие в медицинских экспериментах", + "Предоставление кредитной организации исключительных прав на интеллектуальную собственность безвозмездно", + "Получение медицинской помощи исключительно за плату", + "7 рабочих дней", + "Налоговые стандарты" + ], + "label": "G", + "gold": "G" + }, + "prompt": "<|im_start|>user\nВ соответствии со статьей 18 Федерального закона \"Об основах охраны здоровья граждан в Российской Федерации\" N 323-ФЗ, что включает в себя право на охрану здоровья?\nA. Если требование заявителя удовлетворено должником на дату заседания арбитражного суда\nB. Ес��и заявление должника не соответствует требованиям статьи 8 или 9 настоящего Федерального закона\nC. Минимальный размер - 5 000 рублей, максимальный - 20 000 рублей.\nD. Минимальный размер - 6 752 рубля, максимальный не ограничен.\nE. Стандарты защиты прав потребителей банковских услуг\nF. Ограниченный доступ к качественным продуктам питания\nG. Создание безопасных условий труда и благоприятных условий быта\nH. Обязательное участие в медицинских экспериментах\nI. Предоставление кредитной организации исключительных прав на интеллектуальную собственность безвозмездно\nJ. Получение медицинской помощи исключительно за плату\nK. 7 рабочих дней\nL. Налоговые стандарты\n\nОтветь одной буквой.<|im_end|>\n<|im_start|>assistant\nОтвет:", + "info": { + "prompt_len": 224, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": " G" + } +}