diff --git "a/llmtf_eval/darumeru_MultiQ.jsonl" "b/llmtf_eval/darumeru_MultiQ.jsonl" --- "a/llmtf_eval/darumeru_MultiQ.jsonl" +++ "b/llmtf_eval/darumeru_MultiQ.jsonl" @@ -1,9 +1,9 @@ { "metric": { - "f1": 0.12121212121212122, + "f1": 0.3333333333333333, "em": 0 }, - "predict": " Городской думы Нижнего Новгорода и правительство Нижегородской области работают в Нижнем Новгороде, административном центре Нижегородской области. Нижегородский кремль, являющийся официальной резиденцией Городской думы и правительством региона, расположен в центре Нижнего Новгорода.", + "predict": " Городской совет Нижнего Новгорода.", "sample": { "messages": [ { @@ -50,7 +50,7 @@ "info": { "prompt_len": 461, "generated_len": [ - 43 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -60,7 +60,7 @@ "f1": 0, "em": 0 }, - "predict": " Большой Юган.", + "predict": " Большой Юган", "sample": { "messages": [ { @@ -107,17 +107,17 @@ "info": { "prompt_len": 332, "generated_len": [ - 43 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.375, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " И. Р. Метшин. В Казани И. Р. Метшин является мэром, главой администрации города.", + "predict": " И. Р. Метшин.", "sample": { "messages": [ { @@ -158,17 +158,17 @@ "info": { "prompt_len": 294, "generated_len": [ - 48 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.15384615384615385, + "f1": 0, "em": 0 }, - "predict": " Гаронна впадает в Бискайский залив Атлантического океана, ниже слияния с рекой Дордонь, образуя эстуарий Жиронда. Лангон расположен на берегу Жиронды, впадающей в Бискайский залив.", + "predict": " Гаронна.", "sample": { "messages": [ { @@ -209,17 +209,17 @@ "info": { "prompt_len": 291, "generated_len": [ - 48 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.0909090909090909, + "f1": 0, "em": 0 }, - "predict": " Инцыс. Река Инцыс питает реку Уй, приток которой является Иртышом. Таким образом, Инцыс является притоком Уй, а Уй — притоком Иртыша.", + "predict": " Инцыс.", "sample": { "messages": [ { @@ -266,7 +266,7 @@ "info": { "prompt_len": 330, "generated_len": [ - 44 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -276,7 +276,7 @@ "f1": 0, "em": 0 }, - "predict": " Ереванский городской совет, в Ереване.", + "predict": " Ереванский городской совет", "sample": { "messages": [ { @@ -323,17 +323,17 @@ "info": { "prompt_len": 218, "generated_len": [ - 44 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.3870967741935483, + "f1": 0.3333333333333333, "em": 0 }, - "predict": " Городской думы Нижнего Новгорода. Василий Иванович Добролюбов родился в Нижнем Новгороде, что в настоящее время называется городом-курсом Нижнего Новгорода, административным центром Нижегородской области.", + "predict": " Городская Дума Нижнего Новгорода.", "sample": { "messages": [ { @@ -374,7 +374,7 @@ "info": { "prompt_len": 508, "generated_len": [ - 36 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -431,17 +431,17 @@ "info": { "prompt_len": 218, "generated_len": [ - 36 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.08888888888888889, + "f1": 0.2, "em": 0 }, - "predict": " Город, где появилась Марина Валерьевна Либакова-Ливанова, — Горький. В Нижнем Новгороде, как указано в приведённых текстах, не было законодательных органов, принимавших законы, так как Горький являлся его административным центром. Законодательный орган в Горьком — это Городская Дума.", + "predict": " Городской Совет", "sample": { "messages": [ { @@ -494,17 +494,17 @@ "info": { "prompt_len": 459, "generated_len": [ - 64 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.7499999999999999, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Ереванский городской совет, в Ереване.", + "predict": " Ереванский городской совет.", "sample": { "messages": [ { @@ -551,17 +551,17 @@ "info": { "prompt_len": 208, "generated_len": [ - 64 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.05128205128205127, + "f1": 0, "em": 0 }, - "predict": " Кынгыр. В первом тексте указано, что Кынгыр — это река, питающаяся от реки Бирь, а Бирь имеет правый приток — Сухоязы. В другом тексте указано, что Сухоязы впадает в Белую, а Белая — приток Белой Камы. Таким образом", + "predict": " Кынгыр.", "sample": { "messages": [ { @@ -608,7 +608,7 @@ "info": { "prompt_len": 275, "generated_len": [ - 64 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -618,7 +618,7 @@ "f1": 0, "em": 0 }, - "predict": " Тирекрея сливается с Выссы рекой.", + "predict": " Тирекрея сливается с Выссы.", "sample": { "messages": [ { @@ -665,7 +665,7 @@ "info": { "prompt_len": 268, "generated_len": [ - 64 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -675,7 +675,7 @@ "f1": 0, "em": 0 }, - "predict": " Нижняя Тунгуска.", + "predict": " Нижняя Тунгуска", "sample": { "messages": [ { @@ -722,7 +722,7 @@ "info": { "prompt_len": 316, "generated_len": [ - 6 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -773,17 +773,17 @@ "info": { "prompt_len": 343, "generated_len": [ - 6 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.13333333333333333, + "f1": 0.6666666666666666, "em": 0 }, - "predict": " Автор произведения \"Зерцало Великое\" — Викентий из Бове, родился в 1190 году в Бове.", + "predict": " В Бове.", "sample": { "messages": [ { @@ -824,7 +824,7 @@ "info": { "prompt_len": 243, "generated_len": [ - 32 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -834,7 +834,7 @@ "f1": 0, "em": 0 }, - "predict": " Ереванский городской совет принимает законы в городе Ереван. Арменак Петросович Дургарян умер в Ереване, столице Армении.", + "predict": " Город Ереван имеет ереванский городской совет, который является законодательным органом, который принимает законы в городе, где умер Арменак Петросович Дургарян.", "sample": { "messages": [ { @@ -887,7 +887,7 @@ "info": { "prompt_len": 274, "generated_len": [ - 32 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -897,7 +897,7 @@ "f1": 0, "em": 0 }, - "predict": " Инзер.\n\nС Сухояжа сливается река Инзер, а не Сухояж. Устье Сухояжа находится на левом берегу Инзера, не в русле Сухояжа.", + "predict": " Инзер.", "sample": { "messages": [ { @@ -938,7 +938,7 @@ "info": { "prompt_len": 123, "generated_len": [ - 40 + 28 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -948,7 +948,7 @@ "f1": 0, "em": 0 }, - "predict": " Глава администрации в городе Йошкар-Ола, столице Республики Марий Эл, является Павел Вячеславович Плотников.", + "predict": " Павел Вячеславович Плотников.", "sample": { "messages": [ { @@ -989,7 +989,7 @@ "info": { "prompt_len": 527, "generated_len": [ - 40 + 28 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -1052,7 +1052,7 @@ "info": { "prompt_len": 396, "generated_len": [ - 12 + 28 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -1062,7 +1062,7 @@ "f1": 0, "em": 0 }, - "predict": " Тихий океан. Эквадор расположен на западе Тихого океана.", + "predict": " Тихий океан", "sample": { "messages": [ { @@ -1103,17 +1103,17 @@ "info": { "prompt_len": 346, "generated_len": [ - 12 + 28 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.6666666666666666, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Ереванский городской совет, в городе Ереван.", + "predict": " Ереванский городской совет.", "sample": { "messages": [ { @@ -1160,17 +1160,17 @@ "info": { "prompt_len": 307, "generated_len": [ - 12 + 28 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.5, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Евгений Тефтелев. Глава администрации города Челябинска.", + "predict": " Евгений Тефтелев", "sample": { "messages": [ { @@ -1217,17 +1217,17 @@ "info": { "prompt_len": 531, "generated_len": [ - 12 + 28 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Губернатор Тульской области.", + "predict": " Алексей Дюмин", "sample": { "messages": [ { @@ -1268,17 +1268,17 @@ "info": { "prompt_len": 310, "generated_len": [ - 39 + 28 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.23076923076923078, + "f1": 0, "em": 0 }, - "predict": " Валентина Федотова родилась в Костромской области, а в регионе, где она родилась, главой администрации является Ситников Сергей Константинович, избранный 13 апреля 2012 года.", + "predict": " В регионе, где родилась Валентина Александровна Федотова (Костромская область), главой администрации является Игорь Николаевич Слюняев.", "sample": { "messages": [ { @@ -1325,17 +1325,17 @@ "info": { "prompt_len": 354, "generated_len": [ - 39 + 28 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.16, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Юрий Цкипури. Михаил Михайлович Покровский родился в городе Тула, административном центре Тульской области, где в настоящее время должность главы администрации занимает Юрий Цкипури.", + "predict": " Юрий Цкипури.", "sample": { "messages": [ { @@ -1376,7 +1376,7 @@ "info": { "prompt_len": 368, "generated_len": [ - 38 + 28 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -1386,7 +1386,7 @@ "f1": 0, "em": 0 }, - "predict": " Река, притоком которой является Вахчилка, — Киржач.", + "predict": " Река Клязьма.", "sample": { "messages": [ { @@ -1433,17 +1433,17 @@ "info": { "prompt_len": 580, "generated_len": [ - 38 + 28 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.047619047619047616, + "f1": 0, "em": 0 }, - "predict": " Мэр города Казани. Ильдар Фердинандович Ахмеров, будучи гражданином Казани, не являлся главой администрации в городе, а занимал должность контр-адмирала ВМФ России. Однако в Казани мэр избирается депутатами Городской думы и занимает должность, аналогичную главе администрации в других городах России.", + "predict": " В городе, где родился Ильдар Фердинандович Ахмеров, является главой администрации мэр.", "sample": { "messages": [ { @@ -1484,17 +1484,17 @@ "info": { "prompt_len": 269, "generated_len": [ - 62 + 28 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.1142857142857143, + "f1": 0.18181818181818182, "em": 0 }, - "predict": " Евгений Савченко является главой администрации в Белгородской области, где родился Игорь Андреевич Чернухин. Евгений Савченко занимал эту должность с 1993 года по сентябрь 2020 года, был ее председателем и переназначался в 2007 году.", + "predict": " Евгений Савченко. В тексте 2 указано, что Евгений Савченко был губернатором Белгородской области, а также является председателем Правительства Белгородской области.", "sample": { "messages": [ { @@ -1535,17 +1535,17 @@ "info": { "prompt_len": 566, "generated_len": [ - 62 + 28 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.19999999999999998, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Николай Пестов. В тексте 2 указано, что Николай Пестов является главой города Подольска, который Виктор Михайлович Круглов родился.", + "predict": " Николай Пестов.", "sample": { "messages": [ { @@ -1586,17 +1586,17 @@ "info": { "prompt_len": 403, "generated_len": [ - 64 + 28 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.6666666666666666, "em": 0 }, - "predict": " Временный Правитель.\n\nВопрос задан относительно Павла Егоровича Томилова, и в обоих текстах его должность не прямо названа. Однако следует отметить, что Павел Егорович Томилов был обер-берггауптман 4 класса, что связано с государственной службой, а не с правлением государства. В контексте", + "predict": " Император.", "sample": { "messages": [ { @@ -1637,7 +1637,7 @@ "info": { "prompt_len": 342, "generated_len": [ - 64 + 28 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -1647,7 +1647,7 @@ "f1": 0, "em": 0 }, - "predict": " Федеральный парламент Бельгии.", + "predict": " Федеральный парламент.", "sample": { "messages": [ { @@ -1688,7 +1688,7 @@ "info": { "prompt_len": 299, "generated_len": [ - 14 + 28 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -1698,7 +1698,7 @@ "f1": 0, "em": 0 }, - "predict": " Тапсуй. Ярыщ впадает в Тапсуй.", + "predict": " Тапсуй.", "sample": { "messages": [ { @@ -1739,17 +1739,17 @@ "info": { "prompt_len": 234, "generated_len": [ - 14 + 28 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.047619047619047616, + "f1": 0, "em": 0 }, - "predict": " Липша.\nТекст 1 сообщает, что Липша — это приток Большой Кокшаги, а Большой Кокшага — левый приток Волги. Следовательно, Липша впадает в Волгу. Текст 2 не содержит информации о Липше как о конкретной реке, поэтому не дает точного ответа на вопрос", + "predict": " Большой Кокшага.", "sample": { "messages": [ { @@ -1802,17 +1802,17 @@ "info": { "prompt_len": 336, "generated_len": [ - 64 + 25 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Храпунов, Виктор Вячеславович.\n\nВопрос к тексту 2: Кто является главой администрации в Восточно-Казахстанской области, где жил Владимир Валерьянович Сержпинский?", + "predict": " Ахметов, Даниал Кенжетаевич.", "sample": { "messages": [ { @@ -1859,7 +1859,7 @@ "info": { "prompt_len": 380, "generated_len": [ - 64 + 25 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -1916,7 +1916,7 @@ "info": { "prompt_len": 440, "generated_len": [ - 5 + 25 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -1926,7 +1926,7 @@ "f1": 0, "em": 0 }, - "predict": " премьер-министр", + "predict": " Премьер-министр", "sample": { "messages": [ { @@ -1973,17 +1973,17 @@ "info": { "prompt_len": 787, "generated_len": [ - 5 + 25 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.16666666666666669, + "f1": 0.5, "em": 0 }, - "predict": " Оттава, Онтарио, Канада. Роджер Споттисвуд родился в городе Оттава, Онтарио, Канада.", + "predict": " Оттава, Онтарио, Канада.", "sample": { "messages": [ { @@ -2024,7 +2024,7 @@ "info": { "prompt_len": 159, "generated_len": [ - 29 + 25 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -2034,7 +2034,7 @@ "f1": 0, "em": 0 }, - "predict": " Тирис. \n\nТексты сообщают, что Устье Бактаба находится в 12 км по правому берегу реки Тирис.", + "predict": " Тирис.", "sample": { "messages": [ { @@ -2075,17 +2075,17 @@ "info": { "prompt_len": 215, "generated_len": [ - 29 + 25 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.18181818181818182, + "f1": 0, "em": 0 }, - "predict": " Город, где появился Павел Милославович Балабан, — Нижний Новгород. Законодательный орган, работающий в Нижнем Новгороде, — Городская Дума Нижнего Новгорода.", + "predict": " Нижегородский областной Совет депутатов трудящихся.", "sample": { "messages": [ { @@ -2132,7 +2132,7 @@ "info": { "prompt_len": 301, "generated_len": [ - 52 + 25 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -2142,7 +2142,7 @@ "f1": 0, "em": 0 }, - "predict": " В Костромской области, где родился Яков Фёдорович Шабанов, главой администрации является Костромская областная Дума. Законодательным органом региона является эта Дума, состоящая из 35 депутатов и избираемая по одномандатным округам.", + "predict": " В Костромской области, где родился Яко�� Фёдорович Шабанов, главой администрации является Костромская областная Дума.", "sample": { "messages": [ { @@ -2189,17 +2189,17 @@ "info": { "prompt_len": 310, "generated_len": [ - 52 + 25 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.5, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Городской совет.", + "predict": " Городская Дума.", "sample": { "messages": [ { @@ -2246,7 +2246,7 @@ "info": { "prompt_len": 352, "generated_len": [ - 34 + 25 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -2256,7 +2256,7 @@ "f1": 0, "em": 0 }, - "predict": " Сенат Мексики. Хорхе Кастаньеда является гражданином Мексики, а не Конгресса, поэтому законодательный орган государства, в котором он проживает, называется Сенат.", + "predict": " Сенат.", "sample": { "messages": [ { @@ -2297,7 +2297,7 @@ "info": { "prompt_len": 371, "generated_len": [ - 34 + 25 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -2307,7 +2307,7 @@ "f1": 0, "em": 0 }, - "predict": " Глава государства в Сирии - президент. Сабри аль-Асали занимал должность премьер-министра Сирии, однако его гражданство было связано с тем, что он был сирийским политическим и государственным деятелем, активно участвовавшим в сирийской политике.", + "predict": " Глава государства в Сирии является президент.", "sample": { "messages": [ { @@ -2354,7 +2354,7 @@ "info": { "prompt_len": 416, "generated_len": [ - 50 + 25 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -2364,7 +2364,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Юрий Цкипури.", + "predict": " Юрий Цкипури", "sample": { "messages": [ { @@ -2405,17 +2405,17 @@ "info": { "prompt_len": 670, "generated_len": [ - 50 + 25 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.4615384615384615, + "f1": 0, "em": 0 }, - "predict": " Юрий Викторович Нечаев, Ольга Александровна Сафронова. Главы администрации в Горно-Алтайске.", + "predict": " Юрий Викторович Нечаев", "sample": { "messages": [ { @@ -2456,17 +2456,17 @@ "info": { "prompt_len": 384, "generated_len": [ - 40 + 25 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.21052631578947367, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Рустам Эмомали. В Душанбе, столице Таджикистана, Рустам Эмомали является мэром города, в котором умер Хамид Хусейнович Мансуров.", + "predict": " Рустам Эмомали.", "sample": { "messages": [ { @@ -2507,17 +2507,17 @@ "info": { "prompt_len": 429, "generated_len": [ - 40 + 25 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.4444444444444445, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Законодательный орган государства, гражданином которого является Александр Владимирович Хвостунов, это Олий Мажлис Республики Узбекистан.", + "predict": " Олий Мажлис Республики Узбекистан.", "sample": { "messages": [ { @@ -2564,17 +2564,17 @@ "info": { "prompt_len": 317, "generated_len": [ - 31 + 25 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.16666666666666669, + "f1": 0.15384615384615385, "em": 0 }, - "predict": " Ранее район, где умер Марк Фёдорович Тапсашар, назывался Люйшунькоу (или Люйшунь).", + "predict": " Ранее на этом месте находился город, обозначавшийся на русских картах как Люйшунь.", "sample": { "messages": [ { @@ -2615,17 +2615,17 @@ "info": { "prompt_len": 661, "generated_len": [ - 31 + 25 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Волга.", + "predict": " Вятка", "sample": { "messages": [ { @@ -2672,7 +2672,7 @@ "info": { "prompt_len": 298, "generated_len": [ - 6 + 11 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -2682,7 +2682,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Северная Сосьва.", + "predict": " Северная Сосьва", "sample": { "messages": [ { @@ -2729,7 +2729,7 @@ "info": { "prompt_len": 302, "generated_len": [ - 6 + 11 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -2739,7 +2739,7 @@ "f1": 1.0, "em": 1 }, - "predict": " И. Р. Метшин.", + "predict": " И. Р. Метшин", "sample": { "messages": [ { @@ -2780,7 +2780,7 @@ "info": { "prompt_len": 305, "generated_len": [ - 8 + 11 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -2831,7 +2831,7 @@ "info": { "prompt_len": 213, "generated_len": [ - 8 + 11 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -2882,17 +2882,17 @@ "info": { "prompt_len": 236, "generated_len": [ - 35 + 11 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.10526315789473684, + "f1": 0, "em": 0 }, - "predict": " Паневежис. Город Паневежис, административный центр Паневежского района Литвы, расположен на территории Литвы, где родился Александр Васильевич Назаренко.", + "predict": " Паневежис.", "sample": { "messages": [ { @@ -2933,17 +2933,17 @@ "info": { "prompt_len": 154, "generated_len": [ - 35 + 11 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.25, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Самвел Мисакович Баласанян. В городе, где родился Карлос Гургенович Джанерян, в котором должность мэра занимает Баласанян, Самвел Мисакович, с 2012 года.", + "predict": " Самвел Мисакович Баласанян.", "sample": { "messages": [ { @@ -2996,7 +2996,7 @@ "info": { "prompt_len": 419, "generated_len": [ - 49 + 11 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -3047,17 +3047,17 @@ "info": { "prompt_len": 423, "generated_len": [ - 49 + 11 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0, + "em": 0 }, - "predict": " Владимир Владимирович Владимиров.", + "predict": " Александр Леонидович Черногоров", "sample": { "messages": [ { @@ -3098,7 +3098,7 @@ "info": { "prompt_len": 278, "generated_len": [ - 5 + 11 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -3108,7 +3108,7 @@ "f1": 0, "em": 0 }, - "predict": " Нязя.", + "predict": " Нязя", "sample": { "messages": [ { @@ -3149,7 +3149,7 @@ "info": { "prompt_len": 278, "generated_len": [ - 5 + 11 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -3159,7 +3159,7 @@ "f1": 0.6666666666666666, "em": 0 }, - "predict": " Городская Дума Нижнего Новгорода.", + "predict": " Городская Дума Нижнего Новгорода", "sample": { "messages": [ { @@ -3216,7 +3216,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Кайрат Жумашович Ахметов.", + "predict": " Ахметов Кайрат Жумашович", "sample": { "messages": [ { @@ -3273,7 +3273,7 @@ "f1": 0, "em": 0 }, - "predict": " Хуанхэ. Река Хуаншуй является притоком Хуанхэ.", + "predict": " Хуанхэ.", "sample": { "messages": [ { @@ -3320,7 +3320,7 @@ "info": { "prompt_len": 686, "generated_len": [ - 14 + 11 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -3330,7 +3330,7 @@ "f1": 0, "em": 0 }, - "predict": " Казбек.", + "predict": " Казбек", "sample": { "messages": [ { @@ -3371,17 +3371,17 @@ "info": { "prompt_len": 530, "generated_len": [ - 14 + 11 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.25, + "f1": 0.18181818181818182, "em": 0 }, - "predict": " MLS.", + "predict": " MLS (американская футбольная лига)", "sample": { "messages": [ { @@ -3422,7 +3422,7 @@ "info": { "prompt_len": 446, "generated_len": [ - 43 + 11 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -3432,7 +3432,7 @@ "f1": 0, "em": 0 }, - "predict": " Президентство.\n\nВ первом тексте Мухаммед Ашави назван гражданином Сирии, и в другом тексте подробно описывается государство Сирия, включая его исторические основания и границы. Следовательно, в Сирии президент является высшей формой правления.", + "predict": " Президент.", "sample": { "messages": [ { @@ -3479,7 +3479,7 @@ "info": { "prompt_len": 211, "generated_len": [ - 43 + 11 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -3489,7 +3489,7 @@ "f1": 0, "em": 0 }, - "predict": " Ереванский городской совет.", + "predict": " Ереванский городской совет", "sample": { "messages": [ { @@ -3530,7 +3530,7 @@ "info": { "prompt_len": 252, "generated_len": [ - 22 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -3540,7 +3540,7 @@ "f1": 0, "em": 0 }, - "predict": " Виталий Бахметьев, глава администрации в городе Магнитогорске, где родился Валерий Михайлович Колокольцев.", + "predict": " Виталий Бахметьев.", "sample": { "messages": [ { @@ -3581,17 +3581,17 @@ "info": { "prompt_len": 562, "generated_len": [ - 22 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.42857142857142855, "em": 0 }, - "predict": " Город Горловка, где родился Артур Владимирович Кириленко, имеет самоуправляющиеся органы местного самоуправления. В Горловском городском совете действуют Комитеты самоорганизации населения в различных районах города.", + "predict": " Город Горловка имеет собственный законодательный орган, который называется Горловский городской совет.", "sample": { "messages": [ { @@ -3639,10 +3639,10 @@ } { "metric": { - "f1": 0.2666666666666667, + "f1": 0, "em": 0 }, - "predict": " Город Нижний Новгород (теперь Горький). Законодательный орган в Нижнем Новгороде — Городская Дума.", + "predict": " Город Нижний Новгород (в разговорной речи — Нижний, с 1932 по 1990 год — Горький).", "sample": { "messages": [ { @@ -3740,7 +3740,7 @@ "info": { "prompt_len": 214, "generated_len": [ - 8 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -3750,7 +3750,7 @@ "f1": 0, "em": 0 }, - "predict": " Английская Премьер-лига.", + "predict": " Английская Премьер- лига", "sample": { "messages": [ { @@ -3809,7 +3809,7 @@ "info": { "prompt_len": 696, "generated_len": [ - 8 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -3819,7 +3819,7 @@ "f1": 0, "em": 0 }, - "predict": " премьер-министр.", + "predict": " Президент", "sample": { "messages": [ { @@ -3866,7 +3866,7 @@ "info": { "prompt_len": 227, "generated_len": [ - 6 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -3876,7 +3876,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Ереванский городской совет.", + "predict": " Ереванский городской совет", "sample": { "messages": [ { @@ -3923,17 +3923,17 @@ "info": { "prompt_len": 178, "generated_len": [ - 6 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2222222222222222, + "f1": 0.33333333333333337, "em": 0 }, - "predict": " Громаковский, Юрий Анатольевич. Согласно данным, приведенным в тексте, Виктор Иванович Дичковский занимал должность главы администрации Барановичей с 22 октября 2013 года до настоящего времени.", + "predict": " В городе, где родился Сергей Васильевич Козека (Баранович), его главой администрации является Юрий Анатольевич Громаковский.", "sample": { "messages": [ { @@ -3980,7 +3980,7 @@ "info": { "prompt_len": 262, "generated_len": [ - 42 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -3990,7 +3990,7 @@ "f1": 0, "em": 0 }, - "predict": " Туртас. Река Туртас сливается с Агиейным.", + "predict": " Туртас.", "sample": { "messages": [ { @@ -4037,17 +4037,17 @@ "info": { "prompt_len": 370, "generated_len": [ - 42 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.6666666666666666, "em": 0 }, - "predict": " Хултымъя. Река Секванг-Сос сливается с рекой Хултымъя.", + "predict": " река Лепля.", "sample": { "messages": [ { @@ -4088,7 +4088,7 @@ "info": { "prompt_len": 190, "generated_len": [ - 23 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -4098,7 +4098,7 @@ "f1": 0, "em": 0 }, - "predict": " Государственная Дума РФ.", + "predict": " Государственная Дума РФ", "sample": { "messages": [ { @@ -4145,17 +4145,17 @@ "info": { "prompt_len": 406, "generated_len": [ - 23 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Костромская область. Губернатор Костромской области.", + "predict": " Сергей Константинович Ситников", "sample": { "messages": [ { @@ -4202,17 +4202,17 @@ "info": { "prompt_len": 402, "generated_len": [ - 21 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.4444444444444445, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Рустам Эмомали. Мэром Душанбе является Рустам Эмомали.", + "predict": " Рустам Эмомали", "sample": { "messages": [ { @@ -4253,17 +4253,17 @@ "info": { "prompt_len": 464, "generated_len": [ - 21 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.09302325581395347, + "f1": 0, "em": 0 }, - "predict": " Город, где родился Сергей Герасимович Митин, — Нижний Новгород, административный центр Нижегородской области. В городе работает Совет Федерации РФ, куда Сергей Митин с 2017 года входит в качестве представителя исполнительного органа государственной власти Новгородской области.", + "predict": " В городе, где родился Сергей Герасимович Митин, работает Совет Федерации РФ.", "sample": { "messages": [ { @@ -4316,17 +4316,17 @@ "info": { "prompt_len": 573, "generated_len": [ - 51 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.18181818181818182, + "f1": 0.2222222222222222, "em": 0 }, - "predict": " Город, где появился на свет Баграт Гегамович Алекян, это Ереван. В Ереване действует ереванский городской совет, который является законодательным органом местного самоуправления. Главой совета в данном случае является мэр Еревана.", + "predict": " Город, где родился Баграт Гегамович Алекян, Ереван, имеет законодательный орган, который работает в городе — Ереванский городской совет. Главой городского совета является мэр Еревана.", "sample": { "messages": [ { @@ -4373,7 +4373,7 @@ "info": { "prompt_len": 291, "generated_len": [ - 51 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -4383,7 +4383,7 @@ "f1": 0, "em": 0 }, - "predict": " Юрий Викторович Нечаев. Глава администрации в Горно-Алтайске, где умер Александр Янганович Ередеев.", + "predict": " Юрий Викторович Нечаев", "sample": { "messages": [ { @@ -4424,7 +4424,7 @@ "info": { "prompt_len": 486, "generated_len": [ - 26 + 50 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -4434,7 +4434,7 @@ "f1": 0, "em": 0 }, - "predict": " Печора. Большая Разбойничья сливается с Печорой.", + "predict": " Печора", "sample": { "messages": [ { @@ -4475,17 +4475,17 @@ "info": { "prompt_len": 467, "generated_len": [ - 26 + 50 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.058823529411764705, + "f1": 0, "em": 0 }, - "predict": " В Российской империи, в которую Сергей Сергеевич Голоушев принадлежал как гражданину, должность главы государства занимал Император. В Российской империи император являлся главой государства, и титул Император соответствовал государственной должности в то время.", + "predict": " В Российской империи, которая существовала с 1721 года по 1917 год, глава государства занимал должность Императора.", "sample": { "messages": [ { @@ -4526,17 +4526,17 @@ "info": { "prompt_len": 268, "generated_len": [ - 42 + 50 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.3076923076923077, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Евгений Тефтелев. Глава администрации в Челябинске, где родился Егор Юрьевич Мишура.", + "predict": " Евгений Тефтелев", "sample": { "messages": [ { @@ -4583,17 +4583,17 @@ "info": { "prompt_len": 371, "generated_len": [ - 42 + 50 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.25, + "f1": 0.2857142857142857, "em": 0 }, - "predict": " Река Тельбес сливается с рекой Восточным Каз.", + "predict": " Восточный Каз сливается с рекой Тельбес.", "sample": { "messages": [ { @@ -4634,7 +4634,7 @@ "info": { "prompt_len": 200, "generated_len": [ - 16 + 50 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -4644,7 +4644,7 @@ "f1": 0.14285714285714288, "em": 0 }, - "predict": " В состав Нижней Саксонии входит город, где умер Генрих Шурц.", + "predict": " В состав городской агломерации входит город, где умер Генрих Шурц.", "sample": { "messages": [ { @@ -4685,7 +4685,7 @@ "info": { "prompt_len": 476, "generated_len": [ - 16 + 50 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -4695,7 +4695,7 @@ "f1": 0.6666666666666666, "em": 0 }, - "predict": " Городская Дума Нижнего Новгорода.", + "predict": " Городская Дума Нижнего Новгорода", "sample": { "messages": [ { @@ -4742,17 +4742,17 @@ "info": { "prompt_len": 335, "generated_len": [ - 59 + 50 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.046511627906976744, + "f1": 0.06451612903225806, "em": 0 }, - "predict": " Вице-канцлер Российской империи. Варлаам Леванович Геловани занимал эту должность, став местом его смерти. Геловани был депутатом IV Государственной думы Российской империи, что свидетельствовало о его высоком политическом статусе и должности вице-канцлера, ответственной за государственное управление страны.", + "predict": " Варлаам Леванович Геловани занимал должность князя, политической и общественного деятеля, депутата IV Государственной думы Российской империи. Его место смерти — 22 февраля 1915 года.", "sample": { "messages": [ { @@ -4811,17 +4811,17 @@ "info": { "prompt_len": 392, "generated_len": [ - 59 + 50 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.15384615384615385, + "f1": 0, "em": 0 }, - "predict": " Туртас.\n\nСама река Туртас сливается с рекой Иртыш, в которую впадает Атнис.", + "predict": " Туртас.", "sample": { "messages": [ { @@ -4868,17 +4868,17 @@ "info": { "prompt_len": 364, "generated_len": [ - 35 + 50 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.14285714285714288, "em": 0 }, - "predict": " На территории Тихого океана находится государство, в котором выступал футболист Луис Айяла в футболе. Эквадор расположен в Южной Америке, в частности, на северо-западе Тихого океана.", + "predict": " На территории Южной Америки находится государство, в котором выступал Луис Айяла в футболе.", "sample": { "messages": [ { @@ -4925,7 +4925,7 @@ "info": { "prompt_len": 270, "generated_len": [ - 35 + 50 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -4935,7 +4935,7 @@ "f1": 0, "em": 0 }, - "predict": " Команда, за тренировки которой отвечает Йоан Андоне, играет в Лиге I. В тексте 2 указано, что в сезоне 2004/05 ЧФР Клуж выступал в Лиге I.", + "predict": " Команда, за тренировки которой отвечает Йоан Андоне, играет в чемпионате Румынии.", "sample": { "messages": [ { @@ -4988,7 +4988,7 @@ "info": { "prompt_len": 433, "generated_len": [ - 43 + 50 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -4998,7 +4998,7 @@ "f1": 0, "em": 0 }, - "predict": " Чермода сливается с рекой Тунтор.", + "predict": " Тунтор.", "sample": { "messages": [ { @@ -5045,17 +5045,17 @@ "info": { "prompt_len": 293, "generated_len": [ - 43 + 50 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.18181818181818182, + "f1": 0.19354838709677416, "em": 0 }, - "predict": " И. Р. Метшин. В Казани, где умер Сергей Сергеевич Щиров, мэр и глава администрации избирается депутатами Городской думы, а должность мэра занимает И. Р. Метшин с 17 ноября 2005 года.", + "predict": " И. Р. Метшин. В Казани, где умер Сергей Сергеевич Щиров, мэр является избираемой депутатами Городской думы из своего числа. В 2005 году И. Р. Метшин занимал эту должность.", "sample": { "messages": [ { @@ -5096,17 +5096,17 @@ "info": { "prompt_len": 270, "generated_len": [ - 64 + 50 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.0909090909090909, + "f1": 0, "em": 0 }, - "predict": " Примера B.\n\nВопрос: В какой лиге играет команда, тренером которой 116 игр был Карлос Майор?\n\nОба текста указывают, что Карлос Майор играл в аргентинской Примере. В частности, в первом тексте сообщается, что Майор \"больше всего игр и сезонов провёл с аргентинским клубом", + "predict": " Примера B.", "sample": { "messages": [ { @@ -5147,7 +5147,7 @@ "info": { "prompt_len": 568, "generated_len": [ - 64 + 50 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -5157,7 +5157,7 @@ "f1": 1.0, "em": 1 }, - "predict": " И. Р. Метшин.", + "predict": " И. Р. Метшин", "sample": { "messages": [ { @@ -5198,17 +5198,17 @@ "info": { "prompt_len": 232, "generated_len": [ - 14 + 50 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.19999999999999998, + "f1": 0.5, "em": 0 }, - "predict": " Эрик Дуглас Морли родился в Лондоне, в районе Холборн.", + "predict": " Лондон, район Холборн.", "sample": { "messages": [ { @@ -5249,7 +5249,7 @@ "info": { "prompt_len": 346, "generated_len": [ - 14 + 50 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -5259,7 +5259,7 @@ "f1": 0, "em": 0 }, - "predict": " Северная Сосьва.", + "predict": " Северная Сосьва", "sample": { "messages": [ { @@ -5300,17 +5300,17 @@ "info": { "prompt_len": 264, "generated_len": [ - 6 + 30 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0.8, + "em": 0 }, - "predict": " Ереванский городской совет.", + "predict": " Городской совет", "sample": { "messages": [ { @@ -5357,17 +5357,17 @@ "info": { "prompt_len": 244, "generated_len": [ - 6 + 30 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.33333333333333337, + "f1": 0, "em": 0 }, - "predict": " Владимир Владимирович Владимиров, исполняющий обязанности губернатора с 2013 года и избран губернатором в 2014 году.", + "predict": " Александр Леонидович Черногоров", "sample": { "messages": [ { @@ -5408,17 +5408,17 @@ "info": { "prompt_len": 304, "generated_len": [ - 36 + 30 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.19047619047619047, + "f1": 0, "em": 0 }, - "predict": " Брем. Город рождения Клары Вестхофф — Брем, который вместе с Бремерхафеном образует территорию Вольного ганзейского города Бремен.", + "predict": " Брем.", "sample": { "messages": [ { @@ -5459,17 +5459,17 @@ "info": { "prompt_len": 433, "generated_len": [ - 36 + 30 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.6666666666666666, "em": 0 }, - "predict": " Леленъёган.", + "predict": " река Кысъёган.", "sample": { "messages": [ { @@ -5510,7 +5510,7 @@ "info": { "prompt_len": 195, "generated_len": [ - 7 + 30 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -5561,17 +5561,17 @@ "info": { "prompt_len": 238, "generated_len": [ - 7 + 30 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0.33333333333333337, + "em": 0 }, - "predict": " Ереванский городской совет.", + "predict": " Город, где умер Виктор Николаевич Меркулов, Ереван, имеет ереванский городской совет, который является законодательным органом.", "sample": { "messages": [ { @@ -5618,17 +5618,17 @@ "info": { "prompt_len": 258, "generated_len": [ - 7 + 30 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0.5, + "em": 0 }, - "predict": " Кембридж", + "predict": " Кембридж, Англия, Великобритания", "sample": { "messages": [ { @@ -5669,7 +5669,7 @@ "info": { "prompt_len": 295, "generated_len": [ - 7 + 30 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -5679,7 +5679,7 @@ "f1": 0, "em": 0 }, - "predict": " Ереванский городской совет.", + "predict": " Ереванский городской совет", "sample": { "messages": [ { @@ -5720,17 +5720,17 @@ "info": { "prompt_len": 217, "generated_len": [ - 25 + 30 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Мэр Казани. В Казани мэр является главой администрации, избираемым депутатами Городской думы. Примечания.ru.", + "predict": " И. Р. Метшин.", "sample": { "messages": [ { @@ -5771,17 +5771,17 @@ "info": { "prompt_len": 257, "generated_len": [ - 25 + 30 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.23529411764705882, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Евгений Тефтелев. В Челябинске умер Владимир Сергеевич Сафронов, а Евгений Тефтелев является главой администрации города.", + "predict": " Евгений Тефтелев", "sample": { "messages": [ { @@ -5828,7 +5828,7 @@ "info": { "prompt_len": 455, "generated_len": [ - 26 + 30 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -5838,7 +5838,7 @@ "f1": 0, "em": 0 }, - "predict": " Австралией.", + "predict": " Австралийский", "sample": { "messages": [ { @@ -5879,7 +5879,7 @@ "info": { "prompt_len": 282, "generated_len": [ - 26 + 30 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -5889,7 +5889,7 @@ "f1": 0, "em": 0 }, - "predict": " Городской совет Мариупола.", + "predict": " Город Мариуполь.", "sample": { "messages": [ { @@ -5942,17 +5942,17 @@ "info": { "prompt_len": 495, "generated_len": [ - 8 + 30 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0.6666666666666666, + "em": 0 }, - "predict": " Император Всероссийский.", + "predict": " Император", "sample": { "messages": [ { @@ -5999,17 +5999,17 @@ "info": { "prompt_len": 350, "generated_len": [ - 8 + 30 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.1111111111111111, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Юрий Цкипури. В городе Туле, административном центре Тульской области, должность главы администрации занимает Юрий Цкипури. Его избрание мэром в сентябре 2014 года и назначение главой администрации в Туле закреплено в приведённых в материалах сведениях.", + "predict": " Юрий Цкипури.", "sample": { "messages": [ { @@ -6050,17 +6050,17 @@ "info": { "prompt_len": 394, "generated_len": [ - 57 + 30 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.375, + "f1": 0.3157894736842105, "em": 0 }, - "predict": " Ереванский городской совет работает в Ереване, столице Армении, где родился Мгер Альбертович Мкртчян.", + "predict": " Город Ереван имеет законодательный орган - Ереванский городской совет. Мгер Альбертович Мкртчян родился в Ереване, столице Армении.", "sample": { "messages": [ { @@ -6107,17 +6107,17 @@ "info": { "prompt_len": 229, "generated_len": [ - 57 + 30 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2727272727272727, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " В Ереване, столице Армении, законодательный орган города - это Ереванский городской совет. Главой совета в данном случае является мэр Еревана.", + "predict": " Ереванский городской совет.", "sample": { "messages": [ { @@ -6164,7 +6164,7 @@ "info": { "prompt_len": 292, "generated_len": [ - 30 + 24 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -6215,17 +6215,17 @@ "info": { "prompt_len": 316, "generated_len": [ - 30 + 24 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.15384615384615385, + "f1": 0, "em": 0 }, - "predict": " Нирсос сливается с рекой Северная Сосьва, а Северная Сосьва впадает в реку Обь (Нижняя Обь), впадающую в Иртыш. Таким образом, Нирсос сливается с Иртышом.", + "predict": " Тапсуй.", "sample": { "messages": [ { @@ -6266,17 +6266,17 @@ "info": { "prompt_len": 256, "generated_len": [ - 56 + 24 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.07692307692307693, + "f1": 0.4, "em": 0 }, - "predict": " Не в городе, а в Лос-Анджелесе. Фильм \"Свидание с опасностью\" (1951) был поставлен режиссёром Льюисом Алленом, который умер в Санта-Монике, Калифорния, в мае 2000 года.", + "predict": " В городе Санта-Монике, Калифорния.", "sample": { "messages": [ { @@ -6323,7 +6323,7 @@ "info": { "prompt_len": 436, "generated_len": [ - 56 + 24 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -6333,7 +6333,7 @@ "f1": 0, "em": 0 }, - "predict": " Безбабченко, Андрей Иванович, с 24 января 2012 года по 28 сентября 2016 г��да.", + "predict": " Безбабченко, Андрей Иванович", "sample": { "messages": [ { @@ -6380,7 +6380,7 @@ "info": { "prompt_len": 666, "generated_len": [ - 46 + 24 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -6390,7 +6390,7 @@ "f1": 0, "em": 0 }, - "predict": " Городская голова Мелитополя (Иван Дмитриевич Донцов был городским головой Мелитополя 10 марта 1894 года, но не вступил в должность из-за смерти 11 апреля того же года).", + "predict": " Городской голова Мелитополя.", "sample": { "messages": [ { @@ -6431,7 +6431,7 @@ "info": { "prompt_len": 304, "generated_len": [ - 46 + 24 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -6441,7 +6441,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Рустам Эмомали.", + "predict": " Рустам Эмомали", "sample": { "messages": [ { @@ -6488,7 +6488,7 @@ "info": { "prompt_len": 321, "generated_len": [ - 8 + 24 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -6545,17 +6545,17 @@ "info": { "prompt_len": 284, "generated_len": [ - 8 + 24 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.42857142857142855, + "f1": 0, "em": 0 }, - "predict": " Ереванский городской совет. Эдгар Степанович Акопян появился в Ереване, столице Армении.", + "predict": " Город Ереван, где родился Эдгар Степанович Акопян, имеет законодательный орган в лице Ереванского городского совета.", "sample": { "messages": [ { @@ -6614,7 +6614,7 @@ "info": { "prompt_len": 389, "generated_len": [ - 51 + 24 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -6624,7 +6624,7 @@ "f1": 0, "em": 0 }, - "predict": " Абашидзе, Георгий Асланович. Ашот Ашотович Мндоянц родился в Батуми, городе, который с 2000 по 2004 год возглавлял Абашидзе Георгий Асланович.", + "predict": " Абашидзе, Георгий Асланович.", "sample": { "messages": [ { @@ -6665,17 +6665,17 @@ "info": { "prompt_len": 408, "generated_len": [ - 51 + 24 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.13953488372093023, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Руслан Николаевич Кухарук.\nАлексей Николаевич Самохвалов, будучи уроженцем Тюмени, являлся главой администрации города Тюмени, а не Барнаула. Тюмень — это город, административный центр Тюменской области, в которой должность главы администрации занимает Тюменская городская Дума и ее председатель Евгений Борисович Заб", + "predict": " Руслан Николаевич Кухарук.", "sample": { "messages": [ { @@ -6716,17 +6716,17 @@ "info": { "prompt_len": 260, "generated_len": [ - 64 + 24 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.15384615384615385, + "f1": 0.5, "em": 0 }, - "predict": " Городской совет Нижнего Новгорода. Николай Алексеевич Марушин умер в Нижнем Новгороде, и законодательный орган, принимающий законы в этом городе, — Городская Дума Нижнего Новгорода.", + "predict": " Городской совет.", "sample": { "messages": [ { @@ -6773,7 +6773,7 @@ "info": { "prompt_len": 519, "generated_len": [ - 64 + 24 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -6783,7 +6783,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Кемпаж.", + "predict": " Кемпаж", "sample": { "messages": [ { @@ -6824,7 +6824,7 @@ "info": { "prompt_len": 178, "generated_len": [ - 5 + 24 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -6834,7 +6834,7 @@ "f1": 0, "em": 0 }, - "predict": " Вынгапур.", + "predict": " Вынгапур", "sample": { "messages": [ { @@ -6875,7 +6875,7 @@ "info": { "prompt_len": 282, "generated_len": [ - 5 + 24 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -6885,7 +6885,7 @@ "f1": 0, "em": 0 }, - "predict": " Лок сабха (Народная палата).\n\nВ первом тексте Джас Рам Сингх упоминается как \"подполковник Джас Рам Сингх\", а в другом, как \"президент Индии\". Таким образом, Джас Рам Сингх является гражданином Индии, и законодательный орган, в котором он мог бы занимать должность главы государства, называется Лок", + "predict": " \"Раджья сабха\" (Совет штатов)", "sample": { "messages": [ { @@ -6932,17 +6932,17 @@ "info": { "prompt_len": 519, "generated_len": [ - 64 + 24 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.10526315789473684, + "f1": 0.1818181818181818, "em": 0 }, - "predict": " Высочайшая вершина горного хребта, к которому принадлежит Александровская сопка, — гора Мореиз (Вэсэй-Пэ), имеющая высоту 423 метра.", + "predict": " Полярный Урал, гора Пайер (1472 м над уровнем моря).", "sample": { "messages": [ { @@ -6995,17 +6995,17 @@ "info": { "prompt_len": 504, "generated_len": [ - 64 + 24 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.15384615384615385, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Александр Студнев. В городе, где родился Борис Владимирович Беленький, Бобруйск, является Бобруйский городской исполнительный комитет, а его председатель назначается Президентом и утверждается депутатами горсовета.", + "predict": " Александр Студнев.", "sample": { "messages": [ { @@ -7046,17 +7046,17 @@ "info": { "prompt_len": 232, "generated_len": [ - 41 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.25, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Тистла. Место рождения Висенте Рамона Герреро Сальданьи.", + "predict": " Тистла", "sample": { "messages": [ { @@ -7097,17 +7097,17 @@ "info": { "prompt_len": 450, "generated_len": [ - 41 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.125, "em": 0 }, - "predict": " В Казани, месте рождения Михаила Михайловича Лобанов, главой администрации является мэр.", + "predict": " И. Р. Метшин. В тексте 1 указано, что Михаил Михайлович Лобанов родился в Казани, а в тексте 2 указано, что Казань является городом в России, столицей Республики Татарстан. В Казани, как указано в тексте 2, глава администрации (городской голова) занимает должность мэра. В тексте 1", "sample": { "messages": [ { @@ -7148,7 +7148,7 @@ "info": { "prompt_len": 201, "generated_len": [ - 16 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -7199,7 +7199,7 @@ "info": { "prompt_len": 224, "generated_len": [ - 16 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -7263,10 +7263,10 @@ } { "metric": { - "f1": 0.06060606060606061, + "f1": 0.5, "em": 0 }, - "predict": " Большой Балык.\n\nСравнительный анализ текстов показывает, что:\n1. Энтль-Энкаигль — это та самая река, в которую впадает Большой Балык.\n2. Устье Энтль-Энкаигля находится в 130 км по правому берегу Большой Балыка.", + "predict": " Большой Балык.", "sample": { "messages": [ { @@ -7323,7 +7323,7 @@ "f1": 0, "em": 0 }, - "predict": " Енисей.", + "predict": " Енисей", "sample": { "messages": [ { @@ -7364,17 +7364,17 @@ "info": { "prompt_len": 469, "generated_len": [ - 7 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.6666666666666666, + "f1": 0.5, "em": 0 }, - "predict": " Городской думы Нижнего Новгорода.", + "predict": " Городской совет.", "sample": { "messages": [ { @@ -7421,7 +7421,7 @@ "info": { "prompt_len": 425, "generated_len": [ - 7 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -7431,7 +7431,7 @@ "f1": 0, "em": 0 }, - "predict": " Сенат. В государстве, гражданином которого является Эухения Эскудеро Лават, законодательный орган, принимающий законы, — Сенат.", + "predict": " Сенат.", "sample": { "messages": [ { @@ -7472,7 +7472,7 @@ "info": { "prompt_len": 375, "generated_len": [ - 31 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -7482,7 +7482,7 @@ "f1": 0, "em": 0 }, - "predict": " Византия.", + "predict": " Византия", "sample": { "messages": [ { @@ -7535,7 +7535,7 @@ "info": { "prompt_len": 625, "generated_len": [ - 31 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -7545,7 +7545,7 @@ "f1": 0, "em": 0 }, - "predict": " С Саратой.", + "predict": " река Сарата", "sample": { "messages": [ { @@ -7592,17 +7592,17 @@ "info": { "prompt_len": 305, "generated_len": [ - 27 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.33333333333333337, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " И. Р. Метшин. В Казани, где родился Леонид Степанович Попов, мэр избирается депутатами Городской думы.", + "predict": " И. Р. Метшин", "sample": { "messages": [ { @@ -7643,7 +7643,7 @@ "info": { "prompt_len": 232, "generated_len": [ - 27 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -7653,7 +7653,7 @@ "f1": 0, "em": 0 }, - "predict": " Ын.\nТекст 1 говорит о Лептаёле, а Лептаёль является притоком реки Ын. В вопросе задано, что Лептаёль — приток реки, впадающей в Ын, поэтому ответ на вопрос — Ын.", + "predict": " Ын.", "sample": { "messages": [ { @@ -7694,7 +7694,7 @@ "info": { "prompt_len": 156, "generated_len": [ - 60 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -7704,7 +7704,7 @@ "f1": 0, "em": 0 }, - "predict": " Томь. Тугояковка — приток Томи.", + "predict": " Томь", "sample": { "messages": [ { @@ -7751,17 +7751,17 @@ "info": { "prompt_len": 371, "generated_len": [ - 60 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.1111111111111111, + "f1": 0.33333333333333337, "em": 0 }, - "predict": " Премьер-лига. Тренер Уго Эхиогу возглавлял молодёжную команду \"Тоттенхэма\" и в настоящее ��ремя выступает за клуб в Премьер-лиге.", + "predict": " Уго Эхиогу играет в Премьер-лиге.", "sample": { "messages": [ { @@ -7802,7 +7802,7 @@ "info": { "prompt_len": 461, "generated_len": [ - 38 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -7812,7 +7812,7 @@ "f1": 0, "em": 0 }, - "predict": " Северная Двина.", + "predict": " Северная Двина", "sample": { "messages": [ { @@ -7853,17 +7853,17 @@ "info": { "prompt_len": 296, "generated_len": [ - 38 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.6666666666666666, "em": 0 }, - "predict": " Заслуженный артист Императорских театров.", + "predict": " Император", "sample": { "messages": [ { @@ -7910,7 +7910,7 @@ "info": { "prompt_len": 427, "generated_len": [ - 9 + 54 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -7961,7 +7961,7 @@ "info": { "prompt_len": 714, "generated_len": [ - 9 + 54 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -8018,17 +8018,17 @@ "info": { "prompt_len": 216, "generated_len": [ - 40 + 54 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.06896551724137931, + "f1": 0.17647058823529413, "em": 0 }, - "predict": " В Казани, городе, в котором родился Андрей Петрович Гаврилов, главой администрации является мэр. Должность мэра в Казани избирается депутатами Городской думы, и мэр возглавляет администрацию города.", + "predict": " И. Р. Метшин. Согласно тексту 2, в Казани главой администрации является мэр, который избирается депутатами Городской думы из своего числа. И. Р. Метшин занимает эту должность с 17 ноября 2005 года.", "sample": { "messages": [ { @@ -8069,17 +8069,17 @@ "info": { "prompt_len": 544, "generated_len": [ - 40 + 54 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.4, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Премьер- лига Сенегала.", + "predict": " Премьер-Лига Сенегала", "sample": { "messages": [ { @@ -8126,17 +8126,17 @@ "info": { "prompt_len": 445, "generated_len": [ - 52 + 54 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.12121212121212122, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Федеральный парламент Бельгии. Густав де Молинари, будучи гражданином Бельгии, принимал участие в принятии законов в Федеральном парламенте, являющемся двухпалатным представительным органом, состоящим из нижней палаты (палаты представителей) и верхней палаты (сада).", + "predict": " Федеральный парламент.", "sample": { "messages": [ { @@ -8177,7 +8177,7 @@ "info": { "prompt_len": 394, "generated_len": [ - 52 + 54 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -8187,7 +8187,7 @@ "f1": 0, "em": 0 }, - "predict": " Цзялинцзян.", + "predict": " Цзялинцзян", "sample": { "messages": [ { @@ -8228,7 +8228,7 @@ "info": { "prompt_len": 226, "generated_len": [ - 13 + 54 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -8279,7 +8279,7 @@ "info": { "prompt_len": 259, "generated_len": [ - 13 + 54 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -8289,7 +8289,7 @@ "f1": 0, "em": 0 }, - "predict": " Бисерть. Лакташ впадает в реку Бисерть.", + "predict": " Бисерть.", "sample": { "messages": [ { @@ -8336,7 +8336,7 @@ "info": { "prompt_len": 196, "generated_len": [ - 64 + 54 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -8346,7 +8346,7 @@ "f1": 0, "em": 0 }, - "predict": " Город, где родился Борис Фёдорович Ломов, — Нижний Новгород. Этот город, в разговорной речи иногда именуемый \"Нижний\", был столицей Нижегородского наместничества с 1710 по 1723 год. В Нижнем Новгороде Борис Ломов родился 20 января", + "predict": " Город Нижний Новгород.", "sample": { "messages": [ { @@ -8393,7 +8393,7 @@ "info": { "prompt_len": 415, "generated_len": [ - 64 + 54 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -8403,7 +8403,7 @@ "f1": 0.3333333333333333, "em": 0 }, - "predict": " Городская Дума Нижнего Новгорода.", + "predict": " Городская Дума Нижнего Новгорода", "sample": { "messages": [ { @@ -8450,17 +8450,17 @@ "info": { "prompt_len": 428, "generated_len": [ - 7 + 54 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.6666666666666666, + "f1": 0, "em": 0 }, - "predict": " Император.", + "predict": " Киевский городской голова", "sample": { "messages": [ { @@ -8501,7 +8501,7 @@ "info": { "prompt_len": 408, "generated_len": [ - 7 + 54 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -8511,7 +8511,7 @@ "f1": 0, "em": 0 }, - "predict": " Безбабченко, Андрей Иванович.", + "predict": " Безбабченко, Андрей Иванович", "sample": { "messages": [ { @@ -8558,7 +8558,7 @@ "info": { "prompt_len": 544, "generated_len": [ - 17 + 54 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -8609,7 +8609,7 @@ "info": { "prompt_len": 204, "generated_len": [ - 17 + 54 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -8619,7 +8619,7 @@ "f1": 0, "em": 0 }, - "predict": " Казахстан.", + "predict": " Российская империя", "sample": { "messages": [ { @@ -8666,7 +8666,7 @@ "info": { "prompt_len": 401, "generated_len": [ - 6 + 54 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -8676,7 +8676,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Юрий Цкипури.", + "predict": " Юрий Цкипури", "sample": { "messages": [ { @@ -8717,7 +8717,7 @@ "info": { "prompt_len": 545, "generated_len": [ - 6 + 54 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -8727,7 +8727,7 @@ "f1": 0, "em": 0 }, - "predict": " Тверау.", + "predict": " Тверау", "sample": { "messages": [ { @@ -8768,17 +8768,17 @@ "info": { "prompt_len": 323, "generated_len": [ - 60 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.1142857142857143, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Франсуа-Ксавье Виллен является главой администрации в городе Камбре, где родился Брюно Дюверже. Виллен занимает должность мэра Камбре с 1992 года и является членом партии \"Вставай, Франция\", входящей в блок Союз демократов и независимых.", + "predict": " Франсуа-Ксавье Виллен.", "sample": { "messages": [ { @@ -8819,7 +8819,7 @@ "info": { "prompt_len": 321, "generated_len": [ - 60 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -8829,7 +8829,7 @@ "f1": 0, "em": 0 }, - "predict": " Ереванский городской совет. Главой городского совета является мэр Еревана.", + "predict": " Ереванский городской совет.", "sample": { "messages": [ { @@ -8870,7 +8870,7 @@ "info": { "prompt_len": 225, "generated_len": [ - 64 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -8880,7 +8880,7 @@ "f1": 0, "em": 0 }, - "predict": " Светлик сливается с рекой Ёлва-Мезенской (или Елва-Мезенской).\n\nОсновные сведения:\n1. Светлик — левый приток реки Ёлва-Мезенская.\n2. Устье Светлика находится в 747 км по левому", + "predict": " Светлик сливается с рекой Ёлва-Мезенской.", "sample": { "messages": [ { @@ -8921,17 +8921,17 @@ "info": { "prompt_len": 278, "generated_len": [ - 64 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.24000000000000002, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Евгений Васильевич Маслов. В городе Йошкар-Ола, где умер Пётр Павлович Николаев, Евгений Васильевич Маслов занимал должность мэра с 28 декабря 2015 года.", + "predict": " Евгений Васильевич Маслов", "sample": { "messages": [ { @@ -8972,7 +8972,7 @@ "info": { "prompt_len": 497, "generated_len": [ - 42 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -8982,7 +8982,7 @@ "f1": 1.0, "em": 1 }, - "predict": " И. Р. Метшин.", + "predict": " И. Р. Метшин", "sample": { "messages": [ { @@ -9023,17 +9023,17 @@ "info": { "prompt_len": 466, "generated_len": [ - 42 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2857142857142857, + "f1": 0.3636363636363636, "em": 0 }, - "predict": " Премьер-министр Великобритании возглавляет администрацию Англии.", + "predict": " Премьер-министр Великобритании.", "sample": { "messages": [ { @@ -9074,7 +9074,7 @@ "info": { "prompt_len": 382, "generated_len": [ - 9 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -9131,7 +9131,7 @@ "info": { "prompt_len": 629, "generated_len": [ - 9 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -9194,7 +9194,7 @@ "info": { "prompt_len": 301, "generated_len": [ - 27 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -9204,7 +9204,7 @@ "f1": 0, "em": 0 }, - "predict": " Пуритей. Река Пуритей сливается с Янгнояйяхой, вода которой пополняет Пуритей.", + "predict": " Пуртий.", "sample": { "messages": [ { @@ -9245,7 +9245,7 @@ "info": { "prompt_len": 180, "generated_len": [ - 27 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -9255,7 +9255,7 @@ "f1": 0, "em": 0 }, - "predict": " Морочь.\nВ реке Морочь, притока которой является Случь, впадает река Северная Случь.", + "predict": " Морочь.", "sample": { "messages": [ { @@ -9296,7 +9296,7 @@ "info": { "prompt_len": 306, "generated_len": [ - 22 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -9306,7 +9306,7 @@ "f1": 0, "em": 0 }, - "predict": " Энтль-Пунигль.", + "predict": " Энтль-Пунигль", "sample": { "messages": [ { @@ -9347,17 +9347,17 @@ "info": { "prompt_len": 218, "generated_len": [ - 22 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.05882352941176471, + "f1": 0, "em": 0 }, - "predict": " Вятка.\nТекст 1 сообщает, что Мурдюг впадает в Вятку, а текст 2 указывает, что Вятка — крупнейший правый приток Камы, что является притоком Волги. Таким образом, Мурдюг, как приток Вятки, впадает в Волгу.", + "predict": " Вятка.", "sample": { "messages": [ { @@ -9404,7 +9404,7 @@ "info": { "prompt_len": 301, "generated_len": [ - 63 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -9414,7 +9414,7 @@ "f1": 0, "em": 0 }, - "predict": " Виледь. Текст 2 указывает, что Виледь — левый приток реки Вычега, а Вычега является бассейном реки Ныложки.", + "predict": " В реку Виледь.", "sample": { "messages": [ { @@ -9455,17 +9455,17 @@ "info": { "prompt_len": 237, "generated_len": [ - 63 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.3076923076923077, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Рустам Эмомали. В Душанбе, столице Таджикистана, Рустам Эмомали является мэром города.", + "predict": " Рустам Эмомали.", "sample": { "messages": [ { @@ -9506,7 +9506,7 @@ "info": { "prompt_len": 222, "generated_len": [ - 28 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -9563,7 +9563,7 @@ "info": { "prompt_len": 263, "generated_len": [ - 28 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -9573,7 +9573,7 @@ "f1": 0, "em": 0 }, - "predict": " Большая Хадытаяха.\nИсточник данных: Текст 1 сообщает, что Большая Хадытаяха — приток реки Лимбяяхи, а Текст 2 уточняет, что Лимбяяха — приток реки Таза. Следовательно, Большая Хадытаяха впадает", + "predict": " Большая Хадтаяха.", "sample": { "messages": [ { @@ -9614,7 +9614,7 @@ "info": { "prompt_len": 247, "generated_len": [ - 64 + 13 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -9624,7 +9624,7 @@ "f1": 0, "em": 0 }, - "predict": " Северная Двина.\n\nВ первом тексте сказано, что Лындога \"сливается с рекой Северная Двина\" (устеё Лындоги находится в 84 км по левому берегу Северной Двины). Во втором тексте, в разделе \"География\", указана конкретная информация о слиянии", + "predict": " Северная Двина.", "sample": { "messages": [ { @@ -9665,7 +9665,7 @@ "info": { "prompt_len": 438, "generated_len": [ - 64 + 13 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -9675,7 +9675,7 @@ "f1": 0, "em": 0 }, - "predict": " Вель.\n\nВ данных текстах:\n1. Нимаёль — это конкретная река, приток которой называется Вель.\n2. Вель — левый приток реки Печоры, которая относится к бассейну реки Вель, как указано в данных водного реестра.", + "predict": " Вель.", "sample": { "messages": [ { @@ -9716,7 +9716,7 @@ "info": { "prompt_len": 288, "generated_len": [ - 53 + 13 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -9726,7 +9726,7 @@ "f1": 0, "em": 0 }, - "predict": " Чед.", + "predict": " Чед", "sample": { "messages": [ { @@ -9767,17 +9767,17 @@ "info": { "prompt_len": 158, "generated_len": [ - 53 + 13 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0.6666666666666666, + "em": 0 }, - "predict": " Император Всероссийский.", + "predict": " Император", "sample": { "messages": [ { @@ -9818,7 +9818,7 @@ "info": { "prompt_len": 312, "generated_len": [ - 47 + 13 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -9828,7 +9828,7 @@ "f1": 0, "em": 0 }, - "predict": " В Российской империи должность главы государства была Императорская, принадлежащая Императорам Всероссийским. Иван Прохорович Бедро был гражданином Российской империи, главой государства в то время являлся Император, избранный народом и утверждаемый сенатом.", + "predict": " Император Всероссийский.", "sample": { "messages": [ { @@ -9869,17 +9869,17 @@ "info": { "prompt_len": 585, "generated_len": [ - 47 + 13 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0.6666666666666666, + "em": 0 }, - "predict": " Император Всероссийский.", + "predict": " Император.", "sample": { "messages": [ { @@ -9926,7 +9926,7 @@ "info": { "prompt_len": 374, "generated_len": [ - 5 + 13 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -9936,7 +9936,7 @@ "f1": 0, "em": 0 }, - "predict": " Император.", + "predict": " Император", "sample": { "messages": [ { @@ -9977,7 +9977,7 @@ "info": { "prompt_len": 581, "generated_len": [ - 5 + 13 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -9987,7 +9987,7 @@ "f1": 0, "em": 0 }, - "predict": " Большой и Малой Сосьва.", + "predict": " Большой и Малой Сосьвы", "sample": { "messages": [ { @@ -10034,7 +10034,7 @@ "info": { "prompt_len": 312, "generated_len": [ - 23 + 13 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -10044,7 +10044,7 @@ "f1": 0, "em": 0 }, - "predict": " Сенат. Законодательный орган государства, гражданином которого является Серхио Акоста, — Сенат.", + "predict": " Сенат", "sample": { "messages": [ { @@ -10085,17 +10085,17 @@ "info": { "prompt_len": 336, "generated_len": [ - 23 + 13 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.15384615384615385, + "f1": 0.6666666666666666, "em": 0 }, - "predict": " Федеральный парламент Бельгии принимает законы в государстве, гражданином которого является Пьер Кюллифор.", + "predict": " Федеральный парламент.", "sample": { "messages": [ { @@ -10142,17 +10142,17 @@ "info": { "prompt_len": 286, "generated_len": [ - 48 + 13 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Глава администрации в городе, где родилась Татьяна Васильевна Леонтьева (Тюмень), является Русланом Николаевичем Кухаруком. С 8 октября 2018 года он занимает должность Главы города Тюмени.", + "predict": " Руслан Николаевич Кухарук.", "sample": { "messages": [ { @@ -10205,7 +10205,7 @@ "info": { "prompt_len": 294, "generated_len": [ - 48 + 13 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -10215,7 +10215,7 @@ "f1": 0, "em": 0 }, - "predict": " Безбабченко, Андрей Иванович, с 24 января 2012 года по 28 сентября 2016 года.", + "predict": " Безбабченко, Андрей Иванович", "sample": { "messages": [ { @@ -10262,7 +10262,7 @@ "info": { "prompt_len": 462, "generated_len": [ - 31 + 13 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -10313,17 +10313,17 @@ "info": { "prompt_len": 294, "generated_len": [ - 31 + 13 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.3076923076923077, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Рустам Эмомали. В Душанбе, столице Таджикистана, Рустам Эмомали является мэром города.", + "predict": " Рустам Эмомали.", "sample": { "messages": [ { @@ -10364,7 +10364,7 @@ "info": { "prompt_len": 214, "generated_len": [ - 28 + 13 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -10421,7 +10421,7 @@ "info": { "prompt_len": 458, "generated_len": [ - 28 + 13 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -10431,7 +10431,7 @@ "f1": 0, "em": 0 }, - "predict": " Улица Шевченко.", + "predict": " Украйнская Центральная Рада.", "sample": { "messages": [ { @@ -10472,17 +10472,17 @@ "info": { "prompt_len": 243, "generated_len": [ - 44 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.125, + "f1": 0, "em": 0 }, - "predict": " Александр Прокопук. В городе Туле, административном центре Тульской области, должность главы администрации занимает Юрий Цкипури, как мэр. Евгений Тюрин умер в Москве, но не занимал должности главы администрации в Туле.", + "predict": " Александр Прокопук.", "sample": { "messages": [ { @@ -10523,17 +10523,17 @@ "info": { "prompt_len": 392, "generated_len": [ - 44 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.3, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Руслан Николаевич Кухарук. В городе Тюмени, где родился Валерий Николаевич Фальков, Руслан Николаевич Кухарук является главой администрации.", + "predict": " Руслан Николаевич Кухарук.", "sample": { "messages": [ { @@ -10574,7 +10574,7 @@ "info": { "prompt_len": 283, "generated_len": [ - 32 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -10584,7 +10584,7 @@ "f1": 0, "em": 0 }, - "predict": " Епельпетьях.", + "predict": " Епельпетьях", "sample": { "messages": [ { @@ -10625,7 +10625,7 @@ "info": { "prompt_len": 199, "generated_len": [ - 32 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -10676,17 +10676,17 @@ "info": { "prompt_len": 271, "generated_len": [ - 25 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.35294117647058826, + "f1": 0.2608695652173913, "em": 0 }, - "predict": " И. Р. Метшин является главой администрации в городе Казани, где родился Артём Эдуардович Скворцов.", + "predict": " И. Р. Метшин. В Казани, городе, где родился Артём Эдуардович Скворцов, главой администрации является мэр, который избирается депутатами Городской думы.", "sample": { "messages": [ { @@ -10727,7 +10727,7 @@ "info": { "prompt_len": 234, "generated_len": [ - 25 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -10778,7 +10778,7 @@ "info": { "prompt_len": 309, "generated_len": [ - 6 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -10788,7 +10788,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Евгений Тефтелев.", + "predict": " Евгений Тефтелев", "sample": { "messages": [ { @@ -10835,7 +10835,7 @@ "info": { "prompt_len": 361, "generated_len": [ - 6 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -10845,7 +10845,7 @@ "f1": 0, "em": 0 }, - "predict": " Губернатор Тульской области.", + "predict": " Губернатор", "sample": { "messages": [ { @@ -10886,17 +10886,17 @@ "info": { "prompt_len": 267, "generated_len": [ - 17 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.14285714285714288, + "f1": 0, "em": 0 }, - "predict": " Город Мариуполь, расположенный в Донецкой области Украины, имеет статус городского совета.", + "predict": " Город Мариуполь, Украина.", "sample": { "messages": [ { @@ -10943,7 +10943,7 @@ "info": { "prompt_len": 410, "generated_len": [ - 17 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -10953,7 +10953,7 @@ "f1": 0, "em": 0 }, - "predict": " Закопане, Польша. Город рождения Ивана Ивановича Луцкевича — Закопане, Польша.", + "predict": " Закопане, Польша.", "sample": { "messages": [ { @@ -11000,7 +11000,7 @@ "info": { "prompt_len": 247, "generated_len": [ - 23 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -11051,7 +11051,7 @@ "info": { "prompt_len": 264, "generated_len": [ - 23 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -11061,7 +11061,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Евгений Тефтелев.", + "predict": " Евгений Тефтелев", "sample": { "messages": [ { @@ -11108,17 +11108,17 @@ "info": { "prompt_len": 632, "generated_len": [ - 20 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.4615384615384615, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " И. Р. Метшин. В Казани мэр избирается депутатами Городской думы.", + "predict": " И. Р. Метшин", "sample": { "messages": [ { @@ -11159,17 +11159,17 @@ "info": { "prompt_len": 374, "generated_len": [ - 20 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.0689655172413793, + "f1": 0, "em": 0 }, - "predict": " Волга.\nТекст 1 говорит о Хитке, которая впадает в Песочню, приток Волги. Текст 2 описывает Песочню, которая впадает в Волгу. Следовательно, Хитка, как приток Песочни, впадает в Волгу.", + "predict": " Хитка.", "sample": { "messages": [ { @@ -11216,17 +11216,17 @@ "info": { "prompt_len": 317, "generated_len": [ - 58 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.3157894736842105, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Ереванский городской совет. Тарон Генрихович Восканян родился в Ереване, столице Армении, где действует Ереванский городской совет.", + "predict": " Ереванский городской совет.", "sample": { "messages": [ { @@ -11273,7 +11273,7 @@ "info": { "prompt_len": 199, "generated_len": [ - 58 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -11283,7 +11283,7 @@ "f1": 0, "em": 0 }, - "predict": " Михаил Викторович Желудов. В городе, где родился Семён Яковлевич Вольфсон (Бобруйск), в городе Бобруйске Бобруйского района Могилёвской области, является главой администрации Михаил Викторович Желудов.", + "predict": " Михаил Викторович Жел��дов является главой администрации в городе, где родился Семён Яковлевич Вольфсон.", "sample": { "messages": [ { @@ -11334,7 +11334,7 @@ "f1": 0, "em": 0 }, - "predict": " Лок сабха (Народная палата)", + "predict": " Лок сабха (Лок сабха)", "sample": { "messages": [ { @@ -11388,10 +11388,10 @@ } { "metric": { - "f1": 0.24000000000000002, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Руслан Николаевич Кухарук. В Тюмени, городе, где умер Зиновий Биртман, главой администрации является Руслан Николаевич Кухарук, назначаемый на должность Тюменской городской Думой.", + "predict": " Руслан Николаевич Кухарук.", "sample": { "messages": [ { @@ -11432,17 +11432,17 @@ "info": { "prompt_len": 393, "generated_len": [ - 58 + 49 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.12903225806451613, + "f1": 0, "em": 0 }, - "predict": " Холуйца. В первом тексте указано, что Холуйца — левый приток реки Усвяча, а Усвяча является правым притоком Западной Двины. Таким образом, Холуйца питает реку Усвяча, что соответствует заданному условию.", + "predict": " Холуйца.", "sample": { "messages": [ { @@ -11501,7 +11501,7 @@ "info": { "prompt_len": 516, "generated_len": [ - 58 + 49 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -11511,7 +11511,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Евгений Авилов.", + "predict": " Евгений Авилов", "sample": { "messages": [ { @@ -11552,7 +11552,7 @@ "info": { "prompt_len": 418, "generated_len": [ - 7 + 49 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -11609,17 +11609,17 @@ "info": { "prompt_len": 195, "generated_len": [ - 7 + 49 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.04545454545454545, + "f1": 0.5, "em": 0 }, - "predict": " Харьковская губерния раньше была на территории губернии, где умер Дмитрий Петрович Боткин. В первом тексте Дмитрий Петрович Боткин назван уроженцем Харьковской губернии, а во втором указана история формирования Харьковской губернии, которая образована в 1835 году, значительно позже 1889 года, когда Боткин умер", + "predict": " Харьковская губерния.", "sample": { "messages": [ { @@ -11666,17 +11666,17 @@ "info": { "prompt_len": 386, "generated_len": [ - 64 + 49 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.2857142857142857, "em": 0 }, - "predict": " Николаевский вокзал, Тверской железнодорожный вокзал, был спроектирован академиком архитектуры Рудольфом Андреевичем Желязевичем.", + "predict": " Р. А. Желязевич работал в Польше.", "sample": { "messages": [ { @@ -11717,17 +11717,17 @@ "info": { "prompt_len": 324, "generated_len": [ - 64 + 49 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.3478260869565218, + "f1": 0, "em": 0 }, - "predict": " Семиотика, или семиология, наука о свойствах знаков и знаковых систем, изучающая коммуникативные системы и знаки в процессе общения.", + "predict": " Семиотика, или семиология", "sample": { "messages": [ { @@ -11768,7 +11768,7 @@ "info": { "prompt_len": 227, "generated_len": [ - 32 + 49 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -11778,7 +11778,7 @@ "f1": 0, "em": 0 }, - "predict": " Тиргауш.", + "predict": " Тиргауш", "sample": { "messages": [ { @@ -11819,17 +11819,17 @@ "info": { "prompt_len": 207, "generated_len": [ - 32 + 49 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.1111111111111111, + "f1": 0, "em": 0 }, - "predict": " Глава государства в Танзании — президент. Френсис Чек, будучи гражданином Объединенной Республики Танзания, занимает должность президента страны.", + "predict": " Глава государства в Танзании занимает должность президента.", "sample": { "messages": [ { @@ -11876,17 +11876,17 @@ "info": { "prompt_len": 511, "generated_len": [ - 54 + 49 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.06451612903225806, + "f1": 0, "em": 0 }, - "predict": " Александр Сергеевич Зацепин родился 10 марта 1926 года в городе Новосибирске, сейчас Новосибирской области, в Российской империи. В 1926 году Новосибирск был столицей Сибирского края и находился в составе РСФСР.", + "predict": " Александр Сергеевич Зацепин родился 10 марта 1926 года в городе Новосибирске.", "sample": { "messages": [ { @@ -11933,17 +11933,17 @@ "info": { "prompt_len": 338, "generated_len": [ - 54 + 49 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.25, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " И. Р. Метшин. В Казани, городе, где умер Лев Борисович Мандельштам, мэр избирается депутатами Городской думы и председательствует на сессиях Думы.", + "predict": " И. Р. Метшин.", "sample": { "messages": [ { @@ -11984,7 +11984,7 @@ "info": { "prompt_len": 370, "generated_len": [ - 36 + 49 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -11994,7 +11994,7 @@ "f1": 0.2666666666666667, "em": 0 }, - "predict": " Глава администрации в городе Душанбе, где родился Фаррух Хукуматович Амонатов, является Рустам Эмомали.", + "predict": " Рустам Эмомали является главой администрации в городе Душанбе, где родился Фаррух Хукуматович Амонатов.", "sample": { "messages": [ { @@ -12035,17 +12035,17 @@ "info": { "prompt_len": 404, "generated_len": [ - 36 + 49 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.11764705882352941, + "f1": 0, "em": 0 }, - "predict": " Магдебург. Филипп Энгельгард фон Натузиус родился в городе Магдебурге, вблизи которого находилось его известное имение Гундисбург.", + "predict": " Магдебурге.", "sample": { "messages": [ { @@ -12086,17 +12086,17 @@ "info": { "prompt_len": 355, "generated_len": [ - 61 + 49 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.17647058823529413, "em": 0 }, - "predict": " Валерий Георгиевич Зеренков. В тексте 2 указано, что Валерий Георгиевич Зеренков занимал должность губернатора Ставропольского края с 2012 по 2013 год. Таким образом, глава администрации региона, где родился Николай Максимович Фоменко, был Валерий Георгиевич Зеренков.", + "predict": " В регионе, где родился Николай Максимович Фоменко, который является командиром батареи 469-го стрелкового полка, в Красной Армии, в 2013 году был избран губернатором региона. Имя этого губернатора — Владимир Владимирович Владимиров.", "sample": { "messages": [ { @@ -12137,7 +12137,7 @@ "info": { "prompt_len": 362, "generated_len": [ - 61 + 49 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -12147,7 +12147,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Евгений Васильевич Маслов.", + "predict": " Евгений Васильевич Маслов", "sample": { "messages": [ { @@ -12188,7 +12188,7 @@ "info": { "prompt_len": 390, "generated_len": [ - 6 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -12198,7 +12198,7 @@ "f1": 0, "em": 0 }, - "predict": " Цинская династия", + "predict": " Императорское правление", "sample": { "messages": [ { @@ -12245,17 +12245,17 @@ "info": { "prompt_len": 608, "generated_len": [ - 6 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.25, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Рустам Эмомали. В Душанбе, столице Таджикистана, должность мэра занимает Рустам Эмомали, согласно приведенным данным.", + "predict": " Рустам Эмомали.", "sample": { "messages": [ { @@ -12296,7 +12296,7 @@ "info": { "prompt_len": 209, "generated_len": [ - 32 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -12347,7 +12347,7 @@ "info": { "prompt_len": 327, "generated_len": [ - 32 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -12357,7 +12357,7 @@ "f1": 0, "em": 0 }, - "predict": " Большой Вырып.", + "predict": " Большой Вырып", "sample": { "messages": [ { @@ -12398,17 +12398,17 @@ "info": { "prompt_len": 179, "generated_len": [ - 7 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.3333333333333333, + "f1": 0.2, "em": 0 }, - "predict": " Городская Дума Нижнего Новгорода.", + "predict": " Городской Совет", "sample": { "messages": [ { @@ -12449,17 +12449,17 @@ "info": { "prompt_len": 561, "generated_len": [ - 7 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.6666666666666666, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Император Всероссийский", + "predict": " Император", "sample": { "messages": [ { @@ -12506,17 +12506,17 @@ "info": { "prompt_len": 422, "generated_len": [ - 6 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Губернатор Тульской области.", + "predict": " Алексей Дюмин", "sample": { "messages": [ { @@ -12557,17 +12557,17 @@ "info": { "prompt_len": 312, "generated_len": [ - 6 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.19999999999999998, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Евгений Авилов. В городе Тула, административном центре Тульской области, должность главы администрации занимает Евгений Авилов с 2012 года.", + "predict": " Евгений Авилов.", "sample": { "messages": [ { @@ -12608,17 +12608,17 @@ "info": { "prompt_len": 388, "generated_len": [ - 32 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0, + "em": 0 }, - "predict": " Лаша Комахидзе.", + "predict": " Аслан Смирба", "sample": { "messages": [ { @@ -12659,7 +12659,7 @@ "info": { "prompt_len": 375, "generated_len": [ - 32 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -12669,7 +12669,7 @@ "f1": 1.0, "em": 1 }, - "predict": " И. Р. Метшин.", + "predict": " И. Р. Метшин", "sample": { "messages": [ { @@ -12710,17 +12710,17 @@ "info": { "prompt_len": 269, "generated_len": [ - 34 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.21052631578947367, + "f1": 0.19999999999999998, "em": 0 }, - "predict": " Уголовная юрисдикция. Согласно тексту, квесторы, в том числе и Флавий Либерал, осуществляли предварительное следствие в уголовном процессе.", + "predict": " В рамках занимаемого Флавием Либерала поста квестора уголовная юрисдикция находилась в руках консулов, а предварительное следствие осуществлялось ими.", "sample": { "messages": [ { @@ -12761,7 +12761,7 @@ "info": { "prompt_len": 274, "generated_len": [ - 34 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -12818,17 +12818,17 @@ "info": { "prompt_len": 417, "generated_len": [ - 8 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0, + "em": 0 }, - "predict": " И. Р. Метшин.", + "predict": " Казань", "sample": { "messages": [ { @@ -12869,7 +12869,7 @@ "info": { "prompt_len": 310, "generated_len": [ - 8 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -12879,7 +12879,7 @@ "f1": 0, "em": 0 }, - "predict": " Жданов. Георгию Михайловичу Лесникову умер в Жданове, городе, который является административным центром Мариупольской агломерации.", + "predict": " Мариуполь", "sample": { "messages": [ { @@ -12926,17 +12926,17 @@ "info": { "prompt_len": 357, "generated_len": [ - 31 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.35294117647058826, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Евгений Васильевич Маслов является главой администрации в городе Йошкар-Ола, где родился Михаил Петрович Краснов.", + "predict": " Евгений Васильевич Маслов.", "sample": { "messages": [ { @@ -12977,7 +12977,7 @@ "info": { "prompt_len": 350, "generated_len": [ - 31 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -13034,17 +13034,17 @@ "info": { "prompt_len": 423, "generated_len": [ - 59 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.10810810810810813, + "f1": 0, "em": 0 }, - "predict": " Бремен. Город рождения Финна Лемке — Бремен, а не Бремен. В тексте 2 указано, что Бремен — это город на северо-западе Германии, а не административная единица, и его население составляет 552 тыс. жителей.", + "predict": " Брем.", "sample": { "messages": [ { @@ -13085,7 +13085,7 @@ "info": { "prompt_len": 381, "generated_len": [ - 59 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -13136,17 +13136,17 @@ "info": { "prompt_len": 199, "generated_len": [ - 35 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.11764705882352941, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Варшава. Согласно тексту 1, Мария Цицилия Наталия Янота родилась в Варшаве, столице Царства Польского, Российской империи.", + "predict": " Варшава.", "sample": { "messages": [ { @@ -13187,17 +13187,17 @@ "info": { "prompt_len": 275, "generated_len": [ - 35 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.6666666666666666, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Люк Лемонье (Luc Lemonnier)", + "predict": " Люк Лемонье", "sample": { "messages": [ { @@ -13238,17 +13238,17 @@ "info": { "prompt_len": 279, "generated_len": [ - 10 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0.5, + "em": 0 }, - "predict": " Курляндия и Семигалия.", + "predict": " Курляндия", "sample": { "messages": [ { @@ -13295,7 +13295,7 @@ "info": { "prompt_len": 477, "generated_len": [ - 10 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -13305,7 +13305,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Ереванский городской совет.", + "predict": " Ереванский городской совет", "sample": { "messages": [ { @@ -13352,17 +13352,17 @@ "info": { "prompt_len": 268, "generated_len": [ - 24 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.125, + "f1": 0.6666666666666666, "em": 0 }, - "predict": " Глава государства в Российской империи, гражданином которой был Алексей Филиппович Чернышёв, занимал должность императора.", + "predict": " Император.", "sample": { "messages": [ { @@ -13409,7 +13409,7 @@ "info": { "prompt_len": 287, "generated_len": [ - 24 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -13419,7 +13419,7 @@ "f1": 0, "em": 0 }, - "predict": " Римская крепость Кастра Регина.", + "predict": " Римская история.", "sample": { "messages": [ { @@ -13460,17 +13460,17 @@ "info": { "prompt_len": 534, "generated_len": [ - 25 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.18181818181818182, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Парабель. \n\nМалый Омелич питает реку Парабель, приток которой Малый Омелич.", + "predict": " Парабель.", "sample": { "messages": [ { @@ -13511,7 +13511,7 @@ "info": { "prompt_len": 213, "generated_len": [ - 25 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -13521,7 +13521,7 @@ "f1": 0, "em": 0 }, - "predict": " Катка. Маравка — правый приток Катки, поэтому Катка является самой крупной рекой, впадающей в Маравку.", + "predict": " Маравка.", "sample": { "messages": [ { @@ -13568,17 +13568,17 @@ "info": { "prompt_len": 417, "generated_len": [ - 42 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.08695652173913045, + "f1": 0.33333333333333337, "em": 0 }, - "predict": " Чарыш.\nИсточник данных: Чарыш — левый приток Оби, приток которой Кутерген. Устье Кутергена находится в 505 км по левому берегу реки Чарыш.", + "predict": " Кутерген впадает в реку Обь.", "sample": { "messages": [ { @@ -13625,7 +13625,7 @@ "info": { "prompt_len": 204, "generated_len": [ - 42 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -13682,7 +13682,7 @@ "info": { "prompt_len": 387, "generated_len": [ - 5 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -13739,7 +13739,7 @@ "info": { "prompt_len": 420, "generated_len": [ - 5 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -13749,7 +13749,7 @@ "f1": 0.14285714285714288, "em": 0 }, - "predict": " Государственная Дума Федерального Собрания Российской Федерации.", + "predict": " Государственная Дума Федерального Собрания Российской Федерации", "sample": { "messages": [ { @@ -13796,17 +13796,17 @@ "info": { "prompt_len": 592, "generated_len": [ - 8 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.3333333333333333, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Епархный совет Еревана.", + "predict": " Ереванский городской совет.", "sample": { "messages": [ { @@ -13853,7 +13853,7 @@ "info": { "prompt_len": 218, "generated_len": [ - 8 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -13904,7 +13904,7 @@ "info": { "prompt_len": 224, "generated_len": [ - 11 + 24 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -13961,7 +13961,7 @@ "info": { "prompt_len": 183, "generated_len": [ - 11 + 24 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -13971,7 +13971,7 @@ "f1": 1.0, "em": 1 }, - "predict": " И. Р. Метшин.", + "predict": " И. Р. Метшин", "sample": { "messages": [ { @@ -14012,17 +14012,17 @@ "info": { "prompt_len": 359, "generated_len": [ - 40 + 24 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.18181818181818182, + "f1": 0.2, "em": 0 }, - "predict": " Конгресс Мексики. Законодательный орган, работающий в стране гражданства Хесуса Ангуло Уриарте, — Сенат и Палата депутатов, составляющие двухпалатный Конгресс Мексики.", + "predict": " В стране гражданства Хесуса Ангуло работает Конгресс Мексики.", "sample": { "messages": [ { @@ -14063,17 +14063,17 @@ "info": { "prompt_len": 335, "generated_len": [ - 40 + 24 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.25, "em": 0 }, - "predict": " Литовская ССР.", + "predict": " В рейхскомисариат Остланд (генеральный округ Литва).", "sample": { "messages": [ { @@ -14120,7 +14120,7 @@ "info": { "prompt_len": 539, "generated_len": [ - 52 + 24 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -14130,7 +14130,7 @@ "f1": 0, "em": 0 }, - "predict": " Александр Петрович Рождественский занимал должность императора в Российской империи. Титул Императора был официально утверждён Петром I в 1721 году, и императоры Российской империи носили этот титул вплоть до Февраля 1917 года.", + "predict": " Александр Петрович Рождественский занимал должность главы государства в Российской империи, которая была страной, гражданином которой он являлся.", "sample": { "messages": [ { @@ -14171,17 +14171,17 @@ "info": { "prompt_len": 410, "generated_len": [ - 52 + 24 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.17391304347826084, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Евгений Авилов. В 2012 году Евгения Авилов избран мэром Тулы и с 19 марта 2012 года занимал должность главы администрации Тулы.", + "predict": " Евгений Авилов", "sample": { "messages": [ { @@ -14222,7 +14222,7 @@ "info": { "prompt_len": 447, "generated_len": [ - 39 + 24 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -14232,7 +14232,7 @@ "f1": 0, "em": 0 }, - "predict": " Пайдугина.", + "predict": " Пайдугина", "sample": { "messages": [ { @@ -14279,17 +14279,17 @@ "info": { "prompt_len": 260, "generated_len": [ - 39 + 24 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0.42857142857142855, + "em": 0 }, - "predict": " Ереванский городской совет.", + "predict": " Ереванский городской совет принимает законы в городе, где родился Роман Мушегян.", "sample": { "messages": [ { @@ -14336,7 +14336,7 @@ "info": { "prompt_len": 200, "generated_len": [ - 64 + 24 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -14346,7 +14346,7 @@ "f1": 0, "em": 0 }, - "predict": " Абашидзе, Георгий Асланович.\nВ тексте 2 указано, что Абашидзе, Георгий Асланович, занимал должность Главы администрации Батуми с 2000 по 2004 год. Батуми — это столица Аджарии, где родился Тенгиз Сулейм", + "predict": " Абашидзе, Георгий Асланович.", "sample": { "messages": [ { @@ -14393,7 +14393,7 @@ "info": { "prompt_len": 336, "generated_len": [ - 64 + 24 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -14403,7 +14403,7 @@ "f1": 0, "em": 0 }, - "predict": " Данилюк, Сергей Валерьевич.", + "predict": " Безбабченко, Андрей Иванович", "sample": { "messages": [ { @@ -14450,7 +14450,7 @@ "info": { "prompt_len": 489, "generated_len": [ - 32 + 24 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -14460,7 +14460,7 @@ "f1": 0, "em": 0 }, - "predict": " Австралия. Место рождения художника Джорджа Вашингтона Ламберта, создавшего картину \"Миссис Энни Мёрдок\", — Австралия.", + "predict": " Австралийский художник Джордж Вашингтон Ламберт.", "sample": { "messages": [ { @@ -14501,17 +14501,17 @@ "info": { "prompt_len": 209, "generated_len": [ - 32 + 24 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.23529411764705882, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Рустам Эмомали. В Душанбе, городе, где родился Мухсин Муслимович Мухамадиев, Рустам Эмомали является главой администрации.", + "predict": " Рустам Эмомали.", "sample": { "messages": [ { @@ -14552,7 +14552,7 @@ "info": { "prompt_len": 303, "generated_len": [ - 36 + 24 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -14562,7 +14562,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Озеро Виксинселькя.", + "predict": " озеро Виксинселькя", "sample": { "messages": [ { @@ -14609,17 +14609,17 @@ "info": { "prompt_len": 242, "generated_len": [ - 36 + 24 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2666666666666667, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Глава администрации в городе Душанбе, где родилась Тахмина Пулоджоновна Раджабова, является Рустам Эмомали.", + "predict": " Рустам Эмомали.", "sample": { "messages": [ { @@ -14660,7 +14660,7 @@ "info": { "prompt_len": 307, "generated_len": [ - 31 + 24 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -14670,7 +14670,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Ереванский городской совет.", + "predict": " Ереванский городской совет", "sample": { "messages": [ { @@ -14717,7 +14717,7 @@ "info": { "prompt_len": 186, "generated_len": [ - 31 + 24 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -14774,7 +14774,7 @@ "info": { "prompt_len": 229, "generated_len": [ - 5 + 29 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -14784,7 +14784,7 @@ "f1": 0, "em": 0 }, - "predict": " Онкология.", + "predict": " Онкология", "sample": { "messages": [ { @@ -14831,17 +14831,17 @@ "info": { "prompt_len": 249, "generated_len": [ - 5 + 29 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.14285714285714288, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Парламент. Законодательный орган, работавший в стране Чарльза Брэндона, 1-го герцога Саффолка, был парламент.", + "predict": " Парламент.", "sample": { "messages": [ { @@ -14888,7 +14888,7 @@ "info": { "prompt_len": 844, "generated_len": [ - 31 + 29 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -14898,7 +14898,7 @@ "f1": 0, "em": 0 }, - "predict": " В Латвии и северной Литве.", + "predict": " В Ладожском бассейне.", "sample": { "messages": [ { @@ -14945,17 +14945,17 @@ "info": { "prompt_len": 305, "generated_len": [ - 31 + 29 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.047619047619047616, + "f1": 0, "em": 0 }, - "predict": " Мэр Казани. В Казани, как и в целом в Республике Татарстан, должность мэра избирается депутатами Городской думы, а не главой администрации как в Москве или Санкт-Петербурге. Главой администрации в Казани является мэр, который представляет муниципальную администрацию и руководит городом.", + "predict": " В Казани, городе, где родился Владимир Пантелеймонович Жузе, главой администрации является мэр.", "sample": { "messages": [ { @@ -15002,17 +15002,17 @@ "info": { "prompt_len": 372, "generated_len": [ - 56 + 29 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.5, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Евгений Тефтелев. Глава администрации города Челябинска.", + "predict": " Евгений Тефтелев", "sample": { "messages": [ { @@ -15059,17 +15059,17 @@ "info": { "prompt_len": 387, "generated_len": [ - 56 + 29 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.5, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Валентин Резниченко. Глава администрации Днепропетровской области.", + "predict": " Валентин Резниченко", "sample": { "messages": [ { @@ -15110,7 +15110,7 @@ "info": { "prompt_len": 315, "generated_len": [ - 37 + 29 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -15120,7 +15120,7 @@ "f1": 0, "em": 0 }, - "predict": " Евгений Карпов являлся главой администрации в городе, где родился Анатолий Дмитриевич Кириллов. Евгений Карпов занимал должность главы города с 2005 по 2009 год.", + "predict": " Евгений Тефтелев. В тексте 2 указано, что Евгений Тефтелев был главой города, который родился Анатолий Дмитриевич Кириллов.", "sample": { "messages": [ { @@ -15161,7 +15161,7 @@ "info": { "prompt_len": 251, "generated_len": [ - 37 + 29 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -15171,7 +15171,7 @@ "f1": 0, "em": 0 }, - "predict": " Фёдоровка. Сордук впадает в Фёдоровку.", + "predict": " Большая Сордук.", "sample": { "messages": [ { @@ -15218,17 +15218,17 @@ "info": { "prompt_len": 260, "generated_len": [ - 21 + 29 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.25, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Губернатор Тульской области. В Туле, где родился Павел Александрович Афанасьев, Губернатором является Алексей Дюмин.", + "predict": " Алексей Дюмин.", "sample": { "messages": [ { @@ -15269,17 +15269,17 @@ "info": { "prompt_len": 215, "generated_len": [ - 21 + 29 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.3333333333333333, + "f1": 0.2, "em": 0 }, - "predict": " Городская Дума Нижнего Новгорода.", + "predict": " Городской Совет", "sample": { "messages": [ { @@ -15320,7 +15320,7 @@ "info": { "prompt_len": 573, "generated_len": [ - 46 + 29 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -15330,7 +15330,7 @@ "f1": 0, "em": 0 }, - "predict": " Изверь.\nГрязненка, как указано в первом тексте, впадает в реку Изверь. В тексте 2 также указана, что Изверь впадает в Угуру, но это не касается Грязненки.", + "predict": " Изверь.", "sample": { "messages": [ { @@ -15377,7 +15377,7 @@ "info": { "prompt_len": 195, "generated_len": [ - 46 + 29 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -15387,7 +15387,7 @@ "f1": 0, "em": 0 }, - "predict": " Сенат.", + "predict": " Сенат", "sample": { "messages": [ { @@ -15428,7 +15428,7 @@ "info": { "prompt_len": 264, "generated_len": [ - 53 + 29 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -15438,7 +15438,7 @@ "f1": 0, "em": 0 }, - "predict": " Сёвъя. \n\nТексты сообщают, что Лямьинъя — приток Сёвьи, а Сёвья впадает в Северную Сосьву, поэтому Лямьинъя в свою очередь впадает в Северную Сосьву.", + "predict": " Сёвъя.", "sample": { "messages": [ { @@ -15479,7 +15479,7 @@ "info": { "prompt_len": 239, "generated_len": [ - 53 + 29 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -15489,7 +15489,7 @@ "f1": 0, "em": 0 }, - "predict": " Большая Мулонда впадает в реку Вагу.", + "predict": " Вага.", "sample": { "messages": [ { @@ -15536,17 +15536,17 @@ "info": { "prompt_len": 210, "generated_len": [ - 41 + 29 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2222222222222222, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " И. Р. Метшин. В Казани, где родилась Гульсум Мусеевна Болгарская, мэр и глава администрации назначается и избирается депутатами Городской думы раз в пять лет.", + "predict": " И. Р. Метшин.", "sample": { "messages": [ { @@ -15587,7 +15587,7 @@ "info": { "prompt_len": 396, "generated_len": [ - 41 + 29 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -15597,7 +15597,7 @@ "f1": 0, "em": 0 }, - "predict": " Мичуг сливается с рекой Конюг, которая в свою очередь образует слияние с рекой Межа.", + "predict": " Мичуг сливается с рекой Конюг в 186 км от устья Межи.", "sample": { "messages": [ { @@ -15644,17 +15644,17 @@ "info": { "prompt_len": 345, "generated_len": [ - 22 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0.20689655172413793, + "em": 0 }, - "predict": " Ереванский городской совет.", + "predict": " Город, где родился Махмуд Керим оглы Керимов, Ереван, столица Армении, имеет законодательный орган — Ереванский городской совет, который осуществляет законодательную власть. Главой совета является мэр Еревана.", "sample": { "messages": [ { @@ -15701,17 +15701,17 @@ "info": { "prompt_len": 255, "generated_len": [ - 22 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.5882352941176471, + "f1": 0.8333333333333333, "em": 0 }, - "predict": " В селе Спас-Угол Калязинского уезда Тверской губернии, где родился Михаил Евграфович Салтыков-Щедрин.", + "predict": " В селе Спас-Угол Калязинского уезда Тверской губернии.", "sample": { "messages": [ { @@ -15770,7 +15770,7 @@ "info": { "prompt_len": 271, "generated_len": [ - 27 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -15839,7 +15839,7 @@ "info": { "prompt_len": 267, "generated_len": [ - 27 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -15849,7 +15849,7 @@ "f1": 0, "em": 0 }, - "predict": " Енисей.", + "predict": " Енисей", "sample": { "messages": [ { @@ -15890,7 +15890,7 @@ "info": { "prompt_len": 428, "generated_len": [ - 28 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -15900,7 +15900,7 @@ "f1": 0, "em": 0 }, - "predict": " Ереванский городской совет работает в Ереване, столице Армении, где родился футболист Арутюн Минасович Минасян.", + "predict": " Город Ереван имеет ереванский городской совет, который является законодательной властью. Арутюн Минасович Минасян родился в Ереване.", "sample": { "messages": [ { @@ -15941,7 +15941,7 @@ "info": { "prompt_len": 216, "generated_len": [ - 28 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -15951,7 +15951,7 @@ "f1": 1.0, "em": 1 }, - "predict": " И. Р. Метшин.", + "predict": " И. Р. Метшин", "sample": { "messages": [ { @@ -15992,17 +15992,17 @@ "info": { "prompt_len": 301, "generated_len": [ - 64 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.10256410256410257, + "f1": 0, "em": 0 }, - "predict": " Византия. Пахомий Русан, известный как Иосиф Философ, являлся гражданином Византийской империи, сформировавшейся в 395 году после разделения Римской империи на Западную и Восточную. Византия занимала обширные территории, в том числе остров Итака, и являлась могущественным государством в", + "predict": " Византия.", "sample": { "messages": [ { @@ -16049,17 +16049,17 @@ "info": { "prompt_len": 565, "generated_len": [ - 64 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.07999999999999999, + "f1": 0, "em": 0 }, - "predict": " Инцкуры.\nИсточник данных: Инцкуры — приток реки Лыльйок, а Лыльйок — приток реки Иоканга. Следовательно, Инцкуры впадает в Иокангу, а не в другую реку.", + "predict": " Инцкуры.", "sample": { "messages": [ { @@ -16100,7 +16100,7 @@ "info": { "prompt_len": 376, "generated_len": [ - 55 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -16151,7 +16151,7 @@ "info": { "prompt_len": 276, "generated_len": [ - 55 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -16161,7 +16161,7 @@ "f1": 0, "em": 0 }, - "predict": " Зеленоград, Москва.", + "predict": " Зеленоград, Москва", "sample": { "messages": [ { @@ -16208,7 +16208,7 @@ "info": { "prompt_len": 347, "generated_len": [ - 6 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -16259,17 +16259,17 @@ "info": { "prompt_len": 238, "generated_len": [ - 6 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.05405405405405406, + "f1": 0, "em": 0 }, - "predict": " Мэр Казани. В Казани, как и в других городах России, глава администрации называется мэром, а не главой администрации. В Казани должность мэра избирается депутатами Городской думы, и мэр возглавляет ее, являясь одновременно Председателем Думы.", + "predict": " В Казани, городе, где родился Альберт Ильдарович Яруллин, глава администрации является мэр.", "sample": { "messages": [ { @@ -16310,17 +16310,17 @@ "info": { "prompt_len": 297, "generated_len": [ - 49 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.25, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Юрий Цкипури. В городе, где родился Вячеслав Александрович Артамонов, Юрий Цкипури является главой администрации.", + "predict": " Юрий Цкипури", "sample": { "messages": [ { @@ -16361,7 +16361,7 @@ "info": { "prompt_len": 454, "generated_len": [ - 49 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -16371,7 +16371,7 @@ "f1": 0, "em": 0 }, - "predict": " Вардан Николаевич Гукасян является главой администрации в городе Гюмри, административном центре Ширакской области Армении. В данном тексте Вардан Гукасян указан как мэр Гюмри с 2012 года.", + "predict": " Варданян, Микаел Оганесович.", "sample": { "messages": [ { @@ -16418,17 +16418,17 @@ "info": { "prompt_len": 326, "generated_len": [ - 64 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.052631578947368425, + "f1": 0, "em": 0 }, - "predict": " Кечёвка. В первом тексте прямо указано, что Кечёвка — левый приток реки Иж, а Иж является правым притоком Камы, что относится к бассейну Камы. Второй текст не содержит информации о Кечёвке как о притоке Иж, поэтому Кеч", + "predict": " Кечёвка.", "sample": { "messages": [ { @@ -16481,7 +16481,7 @@ "info": { "prompt_len": 297, "generated_len": [ - 64 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -16491,7 +16491,7 @@ "f1": 0, "em": 0 }, - "predict": " Северная Тошемка (в верховье — Большая Тошемка)", + "predict": " Северная Тошемка", "sample": { "messages": [ { @@ -16532,7 +16532,7 @@ "info": { "prompt_len": 135, "generated_len": [ - 17 + 57 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -16542,7 +16542,7 @@ "f1": 0, "em": 0 }, - "predict": " Федеральный парламент Бельгии.", + "predict": " Федеральный парламент.", "sample": { "messages": [ { @@ -16583,7 +16583,7 @@ "info": { "prompt_len": 471, "generated_len": [ - 17 + 57 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -16593,7 +16593,7 @@ "f1": 0, "em": 0 }, - "predict": " Дичковский, Виктор Иванович.", + "predict": " Виктор Иванович Дичковский", "sample": { "messages": [ { @@ -16640,17 +16640,17 @@ "info": { "prompt_len": 342, "generated_len": [ - 55 + 57 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.17647058823529413, + "f1": 0.24000000000000002, "em": 0 }, - "predict": " Глава администрации в Казани, городе, где умер Мариан Альбертович Ковальский, является мэром. Должность мэра в Казани избираемая, и мэр Казани И. Р. Метшин занимает эту должность с 17 ноября 2005 года.", + "predict": " И. Р. Метшин. В Казани, городе, где умер Мариан Альбертович Ковальский, главой администрации является мэр, избираемый депутатами Городской думы из своего числа.", "sample": { "messages": [ { @@ -16691,7 +16691,7 @@ "info": { "prompt_len": 337, "generated_len": [ - 55 + 57 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -16701,7 +16701,7 @@ "f1": 0, "em": 0 }, - "predict": " Большая Кеть.", + "predict": " Кеть.", "sample": { "messages": [ { @@ -16748,7 +16748,7 @@ "info": { "prompt_len": 349, "generated_len": [ - 8 + 57 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -16758,7 +16758,7 @@ "f1": 0, "em": 0 }, - "predict": " Левая Яроватая.", + "predict": " Левая Яроватая", "sample": { "messages": [ { @@ -16805,17 +16805,17 @@ "info": { "prompt_len": 208, "generated_len": [ - 8 + 57 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.052631578947368425, + "f1": 0, "em": 0 }, - "predict": " Большая Эскцоко сливается с рекой Малка. В тексте 1 указано, что Большая Эскцоко впадает в Малку между сёлами Каменномостское и Сармаково. В тексте 2 также говорится, что Малка впадает в Терек. Таким образом, Малка является рекой, в", + "predict": " Большая Эпцоко сливается с Малкой рекой.", "sample": { "messages": [ { @@ -16868,7 +16868,7 @@ "info": { "prompt_len": 382, "generated_len": [ - 64 + 57 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -16878,7 +16878,7 @@ "f1": 0, "em": 0 }, - "predict": " Большой Тап. Река Охан сливается с Большой Тап, которая является его притоком.", + "predict": " Большой Тап.", "sample": { "messages": [ { @@ -16931,17 +16931,17 @@ "info": { "prompt_len": 345, "generated_len": [ - 64 + 57 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2666666666666667, + "f1": 0.1081081081081081, "em": 0 }, - "predict": " Евгений Тефтелев является главой администрации в городе Челябинске, где родилась Надежда Яковлевна Фридьева.", + "predict": " Евгений Тефтелев. В тексте 1, где упоминается Надежда Яковлевна Фридьева, говорится о том, что её родина — ��елябинск, а в тексте 2, где описывается экономика Челябинска, утверждается, что Евгений Тефтелев является главой администрации в городе.", "sample": { "messages": [ { @@ -16988,17 +16988,17 @@ "info": { "prompt_len": 411, "generated_len": [ - 34 + 57 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.13333333333333333, + "f1": 0.25, "em": 0 }, - "predict": " Сестра Дины Алексеевны Авериной, Арина Алексеевна Аверина, родилась 13 августа 1998 года в Заволжье.", + "predict": " Сестра Дины Алексеевны Авериной родилась в Заволжье.", "sample": { "messages": [ { @@ -17045,17 +17045,17 @@ "info": { "prompt_len": 506, "generated_len": [ - 34 + 57 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2222222222222222, + "f1": 0.33333333333333337, "em": 0 }, - "predict": " Вилли Фроммельт, брат Пауля Фроммельта, родился в Шане.", + "predict": " Вилли Фроммельт родился в Шане.", "sample": { "messages": [ { @@ -17096,17 +17096,17 @@ "info": { "prompt_len": 306, "generated_len": [ - 39 + 57 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.6666666666666666, "em": 0 }, - "predict": " В Варшаве. Режиссёра фильма \"Девочка Никто\" Анджея Вайда, скончавшегося 9 октября 2016 года, похоронили в Варшаве.", + "predict": " В Варшава.", "sample": { "messages": [ { @@ -17147,7 +17147,7 @@ "info": { "prompt_len": 387, "generated_len": [ - 39 + 57 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -17198,7 +17198,7 @@ "info": { "prompt_len": 240, "generated_len": [ - 21 + 57 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -17208,7 +17208,7 @@ "f1": 0, "em": 0 }, - "predict": " Печора. Большая Горевка сливается с рекой Печора, впадающей в её устье.", + "predict": " Печора.", "sample": { "messages": [ { @@ -17249,7 +17249,7 @@ "info": { "prompt_len": 460, "generated_len": [ - 21 + 57 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -17259,7 +17259,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Сура.", + "predict": " Сура", "sample": { "messages": [ { @@ -17306,17 +17306,17 @@ "info": { "prompt_len": 280, "generated_len": [ - 48 + 57 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.19354838709677416, + "f1": 0.3, "em": 0 }, - "predict": " Глава администрации в Костромской области, где родился Николай Николаевич Назаров, является Сергей Константинович Ситников. Исполняющим обязанности губернатора Костромской области с 13 апреля 2012 года являлся С. К. Ситников.", + "predict": " В регионе, где родился Николай Николаевич Назаров (полный кавалер ордена Славы), главой администрации является Сергей Константинович Ситников.", "sample": { "messages": [ { @@ -17363,7 +17363,7 @@ "info": { "prompt_len": 314, "generated_len": [ - 48 + 57 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -17373,7 +17373,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Ереванский городской совет.", + "predict": " Ереванский городской совет", "sample": { "messages": [ { @@ -17426,7 +17426,7 @@ "info": { "prompt_len": 261, "generated_len": [ - 7 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -17436,7 +17436,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Ереванский городской совет.", + "predict": " Ереванский городской совет", "sample": { "messages": [ { @@ -17483,17 +17483,17 @@ "info": { "prompt_len": 246, "generated_len": [ - 7 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.4444444444444445, + "f1": 0.3636363636363636, "em": 0 }, - "predict": " Ричард Хасбанд родился в городе Амарилло, Техас.", + "predict": " Ричард Даглас \"Рик\" Хасбанд родился в городе Амарилло, Техас.", "sample": { "messages": [ { @@ -17534,7 +17534,7 @@ "info": { "prompt_len": 343, "generated_len": [ - 14 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -17544,7 +17544,7 @@ "f1": 0, "em": 0 }, - "predict": " Большая Теректа.", + "predict": " Большая Теректа", "sample": { "messages": [ { @@ -17591,7 +17591,7 @@ "info": { "prompt_len": 201, "generated_len": [ - 14 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -17601,7 +17601,7 @@ "f1": 0, "em": 0 }, - "predict": " Бердь. Большая Филимониха сливается с рекой Бердь.", + "predict": " Бердь.", "sample": { "messages": [ { @@ -17648,17 +17648,17 @@ "info": { "prompt_len": 231, "generated_len": [ - 35 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.3, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " И. Р. Метшин. В Казани И. Р. Метшин является мэром, главой администрации, с 17 ноября 2005 года.", + "predict": " И. Р. Метшин", "sample": { "messages": [ { @@ -17699,7 +17699,7 @@ "info": { "prompt_len": 311, "generated_len": [ - 35 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -17709,7 +17709,7 @@ "f1": 0, "em": 0 }, - "predict": " Сенат.", + "predict": " Сенат", "sample": { "messages": [ { @@ -17760,7 +17760,7 @@ "f1": 0, "em": 0 }, - "predict": " В то время, когда земли возле Темзы представляли непроходимые леса и болота, в эту часть света входили хвойные и лиственные леса, а также болота. Сейчас, согласно приведенным данным, Темза относится к бассейну реки Айзис, которая протекает через Оксфорд.", + "predict": " В то время земли возле Темзы представляли непроходимые хвойные и лиственные леса, вперемешку с болотами.", "sample": { "messages": [ { @@ -17814,10 +17814,10 @@ } { "metric": { - "f1": 0.23529411764705882, + "f1": 0.11764705882352941, "em": 0 }, - "predict": " Евгений Тефтелев является главой администрации в городе Челябинске, где родилась Мария Сергеевна Фарносова (урожденная Савинова).", + "predict": " Евгений Тефтелев. В тексте 1, где описывается биография Марии Сергеевны Фарносовой, говорится, что её родилась в Челябинске, а в тексте 2, о городе Челябинске, сообщается, что Евгений Тефтелев является главой администрации города.", "sample": { "messages": [ { @@ -17864,7 +17864,7 @@ "info": { "prompt_len": 380, "generated_len": [ - 27 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -17874,7 +17874,7 @@ "f1": 0, "em": 0 }, - "predict": " Стыр. Судиловка втекает в Стыр.", + "predict": " Стыр.", "sample": { "messages": [ { @@ -17933,17 +17933,17 @@ "info": { "prompt_len": 368, "generated_len": [ - 27 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.3157894736842105, + "f1": 0, "em": 0 }, - "predict": " На берегу Персидского залива находится столица Кувейта Эль-Кувейт.", + "predict": " Персидский залив", "sample": { "messages": [ { @@ -17990,7 +17990,7 @@ "info": { "prompt_len": 334, "generated_len": [ - 21 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -18000,7 +18000,7 @@ "f1": 0.2666666666666667, "em": 0 }, - "predict": " Вацлав Ежек работает тренером в пражской \"Спарте\", которая выступает в Первой лиге Чехии.", + "predict": " Вацлав Ежек работает тренером за команду \"Спарту\", которая играет в Первой лиге Чехии.", "sample": { "messages": [ { @@ -18047,7 +18047,7 @@ "info": { "prompt_len": 350, "generated_len": [ - 21 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -18057,7 +18057,7 @@ "f1": 0, "em": 0 }, - "predict": " Федеральный парламент Бельгии.", + "predict": " Федеральный парламент.", "sample": { "messages": [ { @@ -18098,7 +18098,7 @@ "info": { "prompt_len": 375, "generated_len": [ - 18 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -18108,7 +18108,7 @@ "f1": 0, "em": 0 }, - "predict": " Западная Кшна и Северная Кшна сливаются в Кшну.", + "predict": " Южная Кшна и Северная Кшна", "sample": { "messages": [ { @@ -18155,7 +18155,7 @@ "info": { "prompt_len": 401, "generated_len": [ - 18 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -18212,7 +18212,7 @@ "info": { "prompt_len": 331, "generated_len": [ - 56 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -18222,7 +18222,7 @@ "f1": 0, "em": 0 }, - "predict": " Очаковка.\n\nСама Очаковка, как указано в первом тексте, является правым притоком Кукринского ручья. Второй текст не содержит информации о слиянии Кукринского ручья с какой-либо рекой, поэтому наиболее верный ответ на вопрос — Очаковка.", + "predict": " Очаковка.", "sample": { "messages": [ { @@ -18269,17 +18269,17 @@ "info": { "prompt_len": 316, "generated_len": [ - 56 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.05405405405405406, + "f1": 0.2222222222222222, "em": 0 }, - "predict": " Василий Фёдорович Болдырев изучал энтомологию, раздел зоологии, изучающий насекомых. Его научные интересы и достижения в основном касались биологии насекомых, включая сперматофорное оплодотворение, их размножение, фауны и популяцию, а также применение авиации в защите растений от вредителей.", + "predict": " Василий Фёдорович Болдырев изучал энтомологию, которая изучает насекомых.", "sample": { "messages": [ { @@ -18320,7 +18320,7 @@ "info": { "prompt_len": 582, "generated_len": [ - 64 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -18330,7 +18330,7 @@ "f1": 0, "em": 0 }, - "predict": " Зилим.", + "predict": " Зилим", "sample": { "messages": [ { @@ -18377,17 +18377,17 @@ "info": { "prompt_len": 264, "generated_len": [ - 64 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.10526315789473684, + "f1": 0, "em": 0 }, - "predict": " Глава администрации в регионе, где родилась Дарья Михайловна Балясникова, в настоящее время (2023) — Станислав Воскресенский, избранный губернатором 9 сентября 2018 года. При этом Павел Коньков временно исполнял обязанности губернатора с сентября 2014 по сентябрь 2017", + "predict": " Павел Коньков. Согласно тексту, в 2014 году Павел Коньков одержал победу на выборах губернатора Ивановской области и вступил в должность.", "sample": { "messages": [ { @@ -18428,7 +18428,7 @@ "info": { "prompt_len": 534, "generated_len": [ - 64 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -18438,7 +18438,7 @@ "f1": 0, "em": 0 }, - "predict": " Пильва.", + "predict": " Пильва", "sample": { "messages": [ { @@ -18485,7 +18485,7 @@ "info": { "prompt_len": 242, "generated_len": [ - 64 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -18542,7 +18542,7 @@ "info": { "prompt_len": 435, "generated_len": [ - 38 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -18552,7 +18552,7 @@ "f1": 0, "em": 0 }, - "predict": " Пномпен. Город Пномпен является местом рождения режиссёра фильма \"Плотина против Тихого океана\" — камбоджийского кинорежиссера Ритхи Пань.", + "predict": " Пномпен.", "sample": { "messages": [ { @@ -18599,17 +18599,17 @@ "info": { "prompt_len": 266, "generated_len": [ - 38 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.0625, + "f1": 0, "em": 0 }, - "predict": " Ноля.\nТуречка, как указано в первом тексте, является левым притоком реки Ноля. Устье Туреки находится в 69 км по левому берегу реки Уржумки, а Ноля же — в устье реки Уржумки.", + "predict": " Туречка.", "sample": { "messages": [ { @@ -18656,17 +18656,17 @@ "info": { "prompt_len": 130, "generated_len": [ - 55 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.4615384615384615, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " И. Р. Метшин. В Казани мэр избирается депутатами Городской думы.", + "predict": " И. Р. Метшин", "sample": { "messages": [ { @@ -18707,7 +18707,7 @@ "info": { "prompt_len": 243, "generated_len": [ - 55 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -18717,7 +18717,7 @@ "f1": 0, "em": 0 }, - "predict": " Кусь.\n\nСама Пескушь сливается с рекой Кусь. В тексте 1 указано, что Пескушь впадает в Кусь в 8 км к северу от Октябрьского.", + "predict": " Кусь.", "sample": { "messages": [ { @@ -18770,17 +18770,17 @@ "info": { "prompt_len": 281, "generated_len": [ - 55 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.17647058823529413, + "f1": 0.2608695652173913, "em": 0 }, - "predict": " В городе, где родился Юрий Константинович Плугин (Казань), главой администрации является мэр, избираемый депутатами Городской думы из своего числа. Мэр Казани с 17 ноября 2005 года занимает должность И. Р. Метшин.", + "predict": " И. Р. Метшин. В Казани, городе, где родился Юрий Константинович Плугин, мэр является избираемой депутатами Городской думы из своего числа.", "sample": { "messages": [ { @@ -18821,7 +18821,7 @@ "info": { "prompt_len": 313, "generated_len": [ - 55 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -18831,7 +18831,7 @@ "f1": 0, "em": 0 }, - "predict": " Византия, Византийская империя.", + "predict": " Византийская империя", "sample": { "messages": [ { @@ -18878,7 +18878,7 @@ "info": { "prompt_len": 685, "generated_len": [ - 10 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -18935,7 +18935,7 @@ "info": { "prompt_len": 298, "generated_len": [ - 10 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -18945,7 +18945,7 @@ "f1": 0, "em": 0 }, - "predict": " Симъёль впадает в реку Вельу.", + "predict": " Велью.", "sample": { "messages": [ { @@ -18986,7 +18986,7 @@ "info": { "prompt_len": 270, "generated_len": [ - 12 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -19043,7 +19043,7 @@ "info": { "prompt_len": 225, "generated_len": [ - 12 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -19053,7 +19053,7 @@ "f1": 0, "em": 0 }, - "predict": " Берлин. Так как Фридрих Гитциг родился в Берлине, в первом тексте указано, что он \"был 8 ноября 1811, Берлин\", а во втором тексте, посвящённом Карлу Фридриху Шинкелю, указан его родильный адрес — \"13 марта 1781,", + "predict": " Берлин.", "sample": { "messages": [ { @@ -19094,17 +19094,17 @@ "info": { "prompt_len": 283, "generated_len": [ - 64 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.1875, + "f1": 0.2222222222222222, "em": 0 }, - "predict": " И. Р. Метшин. Евгений Константинович Забиякин родился в Казани, а в городе Казани, как указано в его биографии, глава администрации назначается по представлению мэра и избирается депутатами Городской думы.", + "predict": " И. Р. Метшин. Евгений Константинович Забиякин родился в Казани, а в городе, где он родился, должность мэра избирается депутатами Городской думы из своего числа.", "sample": { "messages": [ { @@ -19145,17 +19145,17 @@ "info": { "prompt_len": 282, "generated_len": [ - 64 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.3076923076923077, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Рустам Эмомали. В Душанбе, столице Таджикистана, должность мэра занимает Рустам Эмомали.", + "predict": " Рустам Эмомали.", "sample": { "messages": [ { @@ -19196,7 +19196,7 @@ "info": { "prompt_len": 300, "generated_len": [ - 40 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -19206,7 +19206,7 @@ "f1": 0, "em": 0 }, - "predict": " Москва.\n\nСама Москва (Москвварека) сливается с рекой Окой, которая является левым притоком Волги. Белорусский железнодорожный мост через реку Москву, а не Оку.", + "predict": " Москва.", "sample": { "messages": [ { @@ -19253,7 +19253,7 @@ "info": { "prompt_len": 291, "generated_len": [ - 40 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -19263,7 +19263,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Ереванский городской совет.", + "predict": " Ереванский городской совет", "sample": { "messages": [ { @@ -19310,7 +19310,7 @@ "info": { "prompt_len": 202, "generated_len": [ - 7 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -19367,17 +19367,17 @@ "info": { "prompt_len": 510, "generated_len": [ - 7 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.11764705882352941, "em": 0 }, - "predict": " Законодательный орган, принимающий законы в государстве, гражданином которого является Пунит Раджкумар, — это нижняя палата парламента Индии, называемая \"Лок сабха\" (Народная палата).", + "predict": " Законодательный орган, который принимает законы в государстве, гражданином которого является Пунит Раджкумар, — парламент Индии.", "sample": { "messages": [ { @@ -19424,7 +19424,7 @@ "info": { "prompt_len": 641, "generated_len": [ - 44 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -19481,17 +19481,17 @@ "info": { "prompt_len": 379, "generated_len": [ - 44 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.25, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " И. Р. Метшин. В тексте 2 указано, что с 17 ноября 2005 года в Казани должность мэра занимает И. Р. Метшин.", + "predict": " И. Р. Метшин.", "sample": { "messages": [ { @@ -19532,17 +19532,17 @@ "info": { "prompt_len": 350, "generated_len": [ - 38 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.3636363636363636, + "f1": 0, "em": 0 }, - "predict": " Шамхорчай сливается с рекой Кура, впадающей в Каспийское море.", + "predict": " Шамхорчай сливается с рекой Кура.", "sample": { "messages": [ { @@ -19583,7 +19583,7 @@ "info": { "prompt_len": 337, "generated_len": [ - 38 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -19593,7 +19593,7 @@ "f1": 0, "em": 0 }, - "predict": " Рига.", + "predict": " Рига", "sample": { "messages": [ { @@ -19634,17 +19634,17 @@ "info": { "prompt_len": 189, "generated_len": [ - 25 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.3636363636363636, + "f1": 0, "em": 0 }, - "predict": " Пультткувеемкай сливается с рекой Раучуа, впадающей в Восточно-Сибирское море.", + "predict": " Пультткувеемкай сливается с рекой Раучуа.", "sample": { "messages": [ { @@ -19685,17 +19685,17 @@ "info": { "prompt_len": 456, "generated_len": [ - 25 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.058823529411764705, + "f1": 0, "em": 0 }, - "predict": " Михаил Викторович Желудов. В городе, где родился Александр Тимофеевич Прокопенко (Брест, Могилёвская область, Белорусская ССР), в котором он выступал за \"Динамо\" и был отчислен оттуда, должность главы администрации занимает Михаил Викторович Желудов.", + "predict": " Михаил Викторович Желудов.", "sample": { "messages": [ { @@ -19736,7 +19736,7 @@ "info": { "prompt_len": 419, "generated_len": [ - 55 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -19746,7 +19746,7 @@ "f1": 0, "em": 0 }, - "predict": " Ай-Пим.", + "predict": " Ай-Пим", "sample": { "messages": [ { @@ -19787,7 +19787,7 @@ "info": { "prompt_len": 197, "generated_len": [ - 55 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -19797,7 +19797,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Президент.", + "predict": " Президент", "sample": { "messages": [ { @@ -19868,7 +19868,7 @@ "info": { "prompt_len": 684, "generated_len": [ - 8 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -19878,7 +19878,7 @@ "f1": 0, "em": 0 }, - "predict": " Городской Совет Мариупола.", + "predict": " Мариуполь", "sample": { "messages": [ { @@ -19925,17 +19925,17 @@ "info": { "prompt_len": 444, "generated_len": [ - 8 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.25, + "f1": 0, "em": 0 }, - "predict": " Пуя сливается с рекой Вага, которая в свою очередь является левым притоком Северной Двины.", + "predict": " Вага.", "sample": { "messages": [ { @@ -19982,17 +19982,17 @@ "info": { "prompt_len": 235, "generated_len": [ - 28 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2222222222222222, + "f1": 0.6666666666666666, "em": 0 }, - "predict": " Город, где родился Олег Яковлевич Ухналёв, — Нижний Новгород. Законодательный орган Нижнего Новгорода — Городская Дума.", + "predict": " Городской думы Нижнего Новгорода.", "sample": { "messages": [ { @@ -20039,17 +20039,17 @@ "info": { "prompt_len": 494, "generated_len": [ - 28 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.06060606060606061, + "f1": 0.15384615384615385, "em": 0 }, - "predict": " Карачёвка. Сергей Фёдорович Морошкин умер в Карачёвке Харьковской губернии.", + "predict": " Слободско-Украинская губерния.", "sample": { "messages": [ { @@ -20090,7 +20090,7 @@ "info": { "prompt_len": 404, "generated_len": [ - 64 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -20100,7 +20100,7 @@ "f1": 0, "em": 0 }, - "predict": " Евгений Тефтелев, глава города, где родился Игорь Евгеньевич Морозов (город Магнитогорск, ныне — Магнитогорск Челябинской области).\n\nОсновные факты:\n1. Игорь Евгеньевич Морозов родился в Магнитогорске (ныне Магнитогорске-на-Урале Челябинской области).\n2. Евгений Тефтелев занимал должность главы города Магнитогор", + "predict": " Виталий Бахметьев. В тексте 2 указано, что Виталий Бахметьев является главой города, где родился Игорь Евгеньевич Морозов.", "sample": { "messages": [ { @@ -20141,7 +20141,7 @@ "info": { "prompt_len": 238, "generated_len": [ - 64 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -20198,17 +20198,17 @@ "info": { "prompt_len": 423, "generated_len": [ - 27 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.14285714285714288, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Вятка. \n\nИсточник воды для Вятки является Кыз, приток которой Кыз впадает в Вятку.", + "predict": " Вятка.", "sample": { "messages": [ { @@ -20255,17 +20255,17 @@ "info": { "prompt_len": 253, "generated_len": [ - 27 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.875, + "f1": 0.5833333333333334, "em": 0 }, - "predict": " Городской думы Нижнего Новгорода и правительство Нижегородской области.", + "predict": " Городской думы Нижнего Новгорода и правительство Нижегородской области работают в городе, где родился Евгений Платонович Иванов.", "sample": { "messages": [ { @@ -20312,7 +20312,7 @@ "info": { "prompt_len": 343, "generated_len": [ - 14 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -20322,7 +20322,7 @@ "f1": 0, "em": 0 }, - "predict": " Река Амкуяха сливается с рекой Лямин.", + "predict": " Река Первый Лямин сливается с рекой Лямин.", "sample": { "messages": [ { @@ -20369,7 +20369,7 @@ "info": { "prompt_len": 525, "generated_len": [ - 14 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -20379,7 +20379,7 @@ "f1": 0, "em": 0 }, - "predict": " В Иране Мортеза-Коли Баят занимал должность премьер-министра. Его избирал Совет экспертов, и правительство, возглавляемое им, подчинялось Высшему руководителю Ирана. При этом, как указывалось в приведённых в начале текста данных, Баят был премьер-министром Ирана во время", + "predict": " В Иране должность главы государства (президент) занимает президент.", "sample": { "messages": [ { @@ -20420,7 +20420,7 @@ "info": { "prompt_len": 579, "generated_len": [ - 64 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -20430,7 +20430,7 @@ "f1": 0, "em": 0 }, - "predict": " Мэттью Абрам Грейнинг, более известный под именем Мэтт Грейнинг, был рождён в Портленде, Орегон. Именно в этом городе, в момент, когда он ожидал аудиенции в компании FOX, создавшей мультипликационный сериал \"Симпсоны\", идея Лизы Симпсон появилась", + "predict": " Мэтт Грейнинг, более известный как Мэтт Грейнинг, был рождён в Портленде, Орёгоне.", "sample": { "messages": [ { @@ -20471,17 +20471,17 @@ "info": { "prompt_len": 258, "generated_len": [ - 64 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.12121212121212122, + "f1": 0, "em": 0 }, - "predict": " В Российской империи, в которую принадлежал Александр Матвеевич Курганов, должность главы государства называлась \"Император Всероссийский\". Титул Император Всероссийский был официально утверждён Петром I в 1721 году после победы в Северной войне.", + "predict": " В стране, чьим гражданином был Александр Матвеевич Курганов, должность главы государства была Императором Всероссийским.", "sample": { "messages": [ { @@ -20522,7 +20522,7 @@ "info": { "prompt_len": 386, "generated_len": [ - 52 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -20532,7 +20532,7 @@ "f1": 0, "em": 0 }, - "predict": " Хораюган. \n\nТексты сообщают, что Ай-Хораюган — правая составляющая (исток) реки Хораюган. Следовательно, Хораюган питает Ай-Хораюган.", + "predict": " Хораюган.", "sample": { "messages": [ { @@ -20573,7 +20573,7 @@ "info": { "prompt_len": 192, "generated_len": [ - 52 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -20583,7 +20583,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Парламент.", + "predict": " Парламент", "sample": { "messages": [ { @@ -20630,7 +20630,7 @@ "info": { "prompt_len": 624, "generated_len": [ - 5 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -20640,7 +20640,7 @@ "f1": 0, "em": 0 }, - "predict": " Большой Тап.", + "predict": " Большой Тап", "sample": { "messages": [ { @@ -20693,17 +20693,17 @@ "info": { "prompt_len": 271, "generated_len": [ - 5 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.3076923076923077, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Евгений Тефтелев. Глава администрации в Челябинске, где родился Дмитрий Юрьевич Саюстов.", + "predict": " Евгений Тефтелев", "sample": { "messages": [ { @@ -20750,7 +20750,7 @@ "info": { "prompt_len": 340, "generated_len": [ - 20 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -20760,7 +20760,7 @@ "f1": 0, "em": 0 }, - "predict": " Парламент Мексики.", + "predict": " Рауль Гудиньо является гражданином государства Мексики, и законодательный орган, который избирается на 3-летний срок, является Палата депутатов.", "sample": { "messages": [ { @@ -20801,7 +20801,7 @@ "info": { "prompt_len": 319, "generated_len": [ - 20 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -20811,7 +20811,7 @@ "f1": 0, "em": 0 }, - "predict": " Сюнь.", + "predict": " Сюнь", "sample": { "messages": [ { @@ -20858,7 +20858,7 @@ "info": { "prompt_len": 318, "generated_len": [ - 7 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -20909,17 +20909,17 @@ "info": { "prompt_len": 277, "generated_len": [ - 7 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.17142857142857143, + "f1": 0.17647058823529413, "em": 0 }, - "predict": " Глава администрации в городе, где умер Хусаин Мингазетдинович Ямашев, является мэром. В Казани мэр избирается депутатами Городской думы, а должность мэра в городе занимает И. Р. Метшин с 17 ноября 2005 года.", + "predict": " И. Р. Метшин. Согласно тексту 2, в Казани главой администрации является мэр, который избирается депутатами Городской думы из своего числа. И. Р. Метшин занимает эту должность с 17 ноября 2005 года.", "sample": { "messages": [ { @@ -20960,17 +20960,17 @@ "info": { "prompt_len": 382, "generated_len": [ - 61 + 54 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.375, "em": 0 }, - "predict": " В Казани, городе, где родилась Ракия Шайхаттаровна Кутлубаева, главой администрации является мэр, избираемый депутатами Городской думы.", + "predict": " И. Р. Метшин является главой администрации в городе, где родилась Ракия Шайхаттаровна Кутлубаева.", "sample": { "messages": [ { @@ -21017,7 +21017,7 @@ "info": { "prompt_len": 428, "generated_len": [ - 61 + 54 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -21027,7 +21027,7 @@ "f1": 0, "em": 0 }, - "predict": " Деркул.", + "predict": " Деркул", "sample": { "messages": [ { @@ -21074,7 +21074,7 @@ "info": { "prompt_len": 369, "generated_len": [ - 5 + 54 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -21084,7 +21084,7 @@ "f1": 0, "em": 0 }, - "predict": " Павел Коньков", + "predict": " Нижний Новгород", "sample": { "messages": [ { @@ -21125,17 +21125,17 @@ "info": { "prompt_len": 466, "generated_len": [ - 5 + 54 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.3157894736842105, + "f1": 0.5454545454545454, "em": 0 }, - "predict": " В городе Коломна, где родился Александр Соколов, главой администрации городского округа Коломенский является Лебедев Денис Юрьевич.", + "predict": " Денис Юрьевич Лебедев, глава администрации Коломенского городского округа.", "sample": { "messages": [ { @@ -21182,7 +21182,7 @@ "info": { "prompt_len": 308, "generated_len": [ - 24 + 54 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -21192,7 +21192,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Ереванский городской совет.", + "predict": " Ереванский городской совет", "sample": { "messages": [ { @@ -21245,17 +21245,17 @@ "info": { "prompt_len": 480, "generated_len": [ - 24 + 54 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2222222222222222, + "f1": 0.2857142857142857, "em": 0 }, - "predict": " В городе Ереван, куда умер Левон Оганесович Ахвердян, законодательный орган, принимающий законы, является Ереванский городской совет. Главой совета в данном случае является мэр Еревана.", + "predict": " Город Ереван, где умер Левон Оганесович Ахвердян, имеет ереванским городским советом законодательный орган, который принимает законы в городе.", "sample": { "messages": [ { @@ -21302,7 +21302,7 @@ "info": { "prompt_len": 368, "generated_len": [ - 43 + 54 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -21353,17 +21353,17 @@ "info": { "prompt_len": 294, "generated_len": [ - 43 + 54 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.6666666666666666, "em": 0 }, - "predict": " Город, где родился Андрей Кременчук, — Нижний Новгород. Нижний Новгород является вторым по численности населения городом в Приволжском федеральном округе и центром Нижегородской области, где Андрей Кременчук родился. Город Нижний Новгород имеет статус столицы региона и имеет официальный статус законодательный орган.", + "predict": " Городская Дума Нижнего Новгорода.", "sample": { "messages": [ { @@ -21410,7 +21410,7 @@ "info": { "prompt_len": 479, "generated_len": [ - 55 + 54 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -21461,7 +21461,7 @@ "info": { "prompt_len": 367, "generated_len": [ - 55 + 54 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -21471,7 +21471,7 @@ "f1": 0, "em": 0 }, - "predict": " Федеральный парламент (двухпалатный орган, нижняя палата — палата представителей, верхняя палата — сенат) принимает законы в государстве, гражданином которого является Пол Янссен.", + "predict": " Федеральный парламент.", "sample": { "messages": [ { @@ -21512,7 +21512,7 @@ "info": { "prompt_len": 374, "generated_len": [ - 37 + 54 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -21522,7 +21522,7 @@ "f1": 0, "em": 0 }, - "predict": " Кевин Танчароен, брат Мориссы Танчароен, родился в Лос-Анджелесе, США.", + "predict": " Кевин Танчароен.", "sample": { "messages": [ { @@ -21563,7 +21563,7 @@ "info": { "prompt_len": 287, "generated_len": [ - 37 + 54 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -21573,7 +21573,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Большой Салым.", + "predict": " Большой Салым", "sample": { "messages": [ { @@ -21614,7 +21614,7 @@ "info": { "prompt_len": 207, "generated_len": [ - 9 + 54 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -21624,7 +21624,7 @@ "f1": 0, "em": 0 }, - "predict": " Мезенская Пижма.", + "predict": " Мезенская Пижма", "sample": { "messages": [ { @@ -21665,7 +21665,7 @@ "info": { "prompt_len": 254, "generated_len": [ - 9 + 54 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -21716,7 +21716,7 @@ "info": { "prompt_len": 588, "generated_len": [ - 12 + 54 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -21726,7 +21726,7 @@ "f1": 0, "em": 0 }, - "predict": " Городской голова Динабурга.", + "predict": " Городской голова Динабурга", "sample": { "messages": [ { @@ -21767,17 +21767,17 @@ "info": { "prompt_len": 366, "generated_len": [ - 12 + 54 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2857142857142857, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Евгений Тефтелев. Глава администрации в Челябинске, городе, где родилась Ольга Владимировна Гречкина.", + "predict": " Евгений Тефтелев.", "sample": { "messages": [ { @@ -21824,7 +21824,7 @@ "info": { "prompt_len": 446, "generated_len": [ - 22 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -21834,7 +21834,7 @@ "f1": 0, "em": 0 }, - "predict": " Цинская династия", + "predict": " Императорское правление", "sample": { "messages": [ { @@ -21881,7 +21881,7 @@ "info": { "prompt_len": 618, "generated_len": [ - 22 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -21891,7 +21891,7 @@ "f1": 0, "em": 0 }, - "predict": " Левая Гэрдъю и Правая Гэрдъю. Гэрдъю, Гердъю образуется слиянием этих двух небольших рек в заболоченной местности к западу от горы Сабля.", + "predict": " Левая Гэрдъю и Правая Гэрдъю.", "sample": { "messages": [ { @@ -21944,7 +21944,7 @@ "info": { "prompt_len": 369, "generated_len": [ - 46 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -21954,7 +21954,7 @@ "f1": 0, "em": 0 }, - "predict": " Река Ракула сливается с рекой Лудегой.", + "predict": " река Ракула.", "sample": { "messages": [ { @@ -21995,7 +21995,7 @@ "info": { "prompt_len": 426, "generated_len": [ - 46 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -22005,7 +22005,7 @@ "f1": 1.0, "em": 1 }, - "predict": " И. Р. Метшин.", + "predict": " И. Р. Метшин", "sample": { "messages": [ { @@ -22046,17 +22046,17 @@ "info": { "prompt_len": 402, "generated_len": [ - 8 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.5714285714285715, + "f1": 0, "em": 0 }, - "predict": " первое советское испытание атомной бомбы.", + "predict": " Атомная бомба", "sample": { "messages": [ { @@ -22109,7 +22109,7 @@ "info": { "prompt_len": 587, "generated_len": [ - 8 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -22119,7 +22119,7 @@ "f1": 0, "em": 0 }, - "predict": " Неман.", + "predict": " Неман", "sample": { "messages": [ { @@ -22166,7 +22166,7 @@ "info": { "prompt_len": 375, "generated_len": [ - 26 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -22176,7 +22176,7 @@ "f1": 0, "em": 0 }, - "predict": " Мюнхен. Согласно тексту 1, Фридрих Генрих Якоби умер в Мюнхене 10 марта 1819 года.", + "predict": " Мюнхен.", "sample": { "messages": [ { @@ -22217,7 +22217,7 @@ "info": { "prompt_len": 282, "generated_len": [ - 26 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -22227,7 +22227,7 @@ "f1": 0, "em": 0 }, - "predict": " Зоология.", + "predict": " Зоология", "sample": { "messages": [ { @@ -22268,7 +22268,7 @@ "info": { "prompt_len": 162, "generated_len": [ - 16 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -22325,17 +22325,17 @@ "info": { "prompt_len": 519, "generated_len": [ - 16 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.6666666666666666, "em": 0 }, - "predict": " Нижегородский областной Совет народных депутатов. В Нижнем Новгороде, где Матвей Соломонович Ганнушкин родился, в 1932 году он стал первым губернатором Горьковской области, что сделало его известным как \"Горький губернатор\". Город Горький, ставший позднее Горьком, являлся административным центром Нижегородской области, а позже", + "predict": " Городская Дума Нижнего Новгорода.", "sample": { "messages": [ { @@ -22382,7 +22382,7 @@ "info": { "prompt_len": 420, "generated_len": [ - 64 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -22392,7 +22392,7 @@ "f1": 0, "em": 0 }, - "predict": " Город Мариуполь, в котором родился Михаил Владимирович Харачура, имеет статус городского совета.", + "predict": " Город Мариуполь, Украина.", "sample": { "messages": [ { @@ -22439,17 +22439,17 @@ "info": { "prompt_len": 471, "generated_len": [ - 64 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.14285714285714288, + "f1": 0.33333333333333337, "em": 0 }, - "predict": " Василий Рябченко, сын Сергея Васильевича Рябченко, родился 23 июля 1954 года в Одессе.", + "predict": " Василий Рябченко родился в Одессе.", "sample": { "messages": [ { @@ -22490,7 +22490,7 @@ "info": { "prompt_len": 401, "generated_len": [ - 26 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -22500,7 +22500,7 @@ "f1": 0, "em": 0 }, - "predict": " Корожечна. Бздыриха является притоком реки Корожечна.", + "predict": " Корожечна.", "sample": { "messages": [ { @@ -22547,17 +22547,17 @@ "info": { "prompt_len": 347, "generated_len": [ - 26 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.13333333333333333, + "f1": 0, "em": 0 }, - "predict": " Законодательный орган, работающий в стране гражданства Даршила Сафари (Индии), — это двухпалатный парламент, состоящий из верхней палаты \"Раджья сабха\" (Совет штатов) и нижней палаты \"Лок сабхи\" (Народной палаты).", + "predict": " Законодательная власть Индии состоит из верхней палаты (Раджья сабха) и нижней палаты (Лок сабхи).", "sample": { "messages": [ { @@ -22604,17 +22604,17 @@ "info": { "prompt_len": 571, "generated_len": [ - 56 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Ярославль.", + "predict": " Ярославле", "sample": { "messages": [ { @@ -22655,17 +22655,17 @@ "info": { "prompt_len": 377, "generated_len": [ - 56 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.11764705882352941, + "f1": 0, "em": 0 }, - "predict": " Законодательный орган города Еревана, где родился Рубен Карленович Мирзаханян, называется Ереванский городской совет (городской советом).", + "predict": " Ереванский городской совет.", "sample": { "messages": [ { @@ -22706,7 +22706,7 @@ "info": { "prompt_len": 226, "generated_len": [ - 31 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -22763,17 +22763,17 @@ "info": { "prompt_len": 357, "generated_len": [ - 31 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.052631578947368425, + "f1": 0.16666666666666669, "em": 0 }, - "predict": " Наука, которую посвятил Александру Александровичу Яхонтов, — энтомология. Он занимался исследованиями в области энтомологии, что связано с изучением насекомых, в частности бабочек, и их биологии, а также проблемами борьбы с вредителями сельскохозяйственных культур и паразитизма в насекомых.", + "predict": " Александр Александрович Яхонтов посвятил своей научной деятельности энтомологии, которая изучает насекомых.", "sample": { "messages": [ { @@ -22820,7 +22820,7 @@ "info": { "prompt_len": 688, "generated_len": [ - 58 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -22830,7 +22830,7 @@ "f1": 0, "em": 0 }, - "predict": " Сенат.", + "predict": " Сенат", "sample": { "messages": [ { @@ -22871,7 +22871,7 @@ "info": { "prompt_len": 364, "generated_len": [ - 58 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -22881,7 +22881,7 @@ "f1": 0, "em": 0 }, - "predict": " Ереванский городской совет.", + "predict": " Ереванский городской совет", "sample": { "messages": [ { @@ -22922,17 +22922,17 @@ "info": { "prompt_len": 596, "generated_len": [ - 64 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.10526315789473684, + "f1": 0, "em": 0 }, - "predict": " Византия. \n\nГеоргий Писида был гражданином Византийской империи, которая ранее называлась Восточная Римская империя. Византия сформировалась в 395 году как государство, образовавшееся из разделения Римской империи на Западную и Восточную. В тексте 2 подробно описывается история Византи", + "predict": " Византия.", "sample": { "messages": [ { @@ -22979,17 +22979,17 @@ "info": { "prompt_len": 501, "generated_len": [ - 64 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.35294117647058826, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " И. Р. Метшин. В Казани главой администрации является мэр, который избирается депутатами Городской думы.", + "predict": " И. Р. Метшин.", "sample": { "messages": [ { @@ -23030,17 +23030,17 @@ "info": { "prompt_len": 399, "generated_len": [ - 48 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.07692307692307693, + "f1": 0, "em": 0 }, - "predict": " Оккервиль. Река Оккервиль сливается с рекой Охтой, через которую построен Уткин мост. Оккервиль — левый приток Охты, впадающий в неё в 1,8 км выше устья.", + "predict": " Оккервиль.", "sample": { "messages": [ { @@ -23087,17 +23087,17 @@ "info": { "prompt_len": 262, "generated_len": [ - 48 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.13333333333333333, "em": 0 }, - "predict": " Человек, ответственный за режиссуру фильма \"Кошки против собак 3\", Шон Макнамара, родился 9 мая 1962 года в городе Беранк, Калифорния, США.", + "predict": " Шон Макнамара появился на свет 9 мая 1962 года в городе Бербанк, Калифорния, США.", "sample": { "messages": [ { @@ -23138,7 +23138,7 @@ "info": { "prompt_len": 257, "generated_len": [ - 43 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -23195,7 +23195,7 @@ "info": { "prompt_len": 339, "generated_len": [ - 43 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -23205,7 +23205,7 @@ "f1": 0, "em": 0 }, - "predict": " Хуанхэ.", + "predict": " Хуанхэ", "sample": { "messages": [ { @@ -23246,17 +23246,17 @@ "info": { "prompt_len": 662, "generated_len": [ - 6 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0.8, + "em": 0 }, - "predict": " Ереванский городской совет.", + "predict": " Городской совет", "sample": { "messages": [ { @@ -23303,7 +23303,7 @@ "info": { "prompt_len": 193, "generated_len": [ - 6 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -23313,7 +23313,7 @@ "f1": 0, "em": 0 }, - "predict": " Тунтсайоки.", + "predict": " Тунтсайоки", "sample": { "messages": [ { @@ -23360,17 +23360,17 @@ "info": { "prompt_len": 281, "generated_len": [ - 25 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.18181818181818182, "em": 0 }, - "predict": " Город, где родилась Людмила Игоревна Михалёва, расположен в Литве, в Шяуляйском районе.", + "predict": " Город Шяуляй расположен на территории Шяуляйского уезда и района Литвы.", "sample": { "messages": [ { @@ -23411,17 +23411,17 @@ "info": { "prompt_len": 277, "generated_len": [ - 25 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.13333333333333333, + "f1": 0.5, "em": 0 }, - "predict": " Шатору, Эндр, Франция. Брат Этьена Бальсана, Луи Жак Бальсан, родился в Шатору, Эндр, Франция.", + "predict": " Шатору, Эндр, Франция.", "sample": { "messages": [ { @@ -23462,17 +23462,17 @@ "info": { "prompt_len": 588, "generated_len": [ - 35 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.10526315789473684, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Рим. Согласно двум указанным текстам, Тиберий Клавдий Нерон, отец Друза и брата императора Тиберия Клавдия, родился в Риме.", + "predict": " Рим.", "sample": { "messages": [ { @@ -23519,7 +23519,7 @@ "info": { "prompt_len": 825, "generated_len": [ - 35 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -23529,7 +23529,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Евгений Тефтелев.", + "predict": " Евгений Тефтелев", "sample": { "messages": [ { @@ -23576,17 +23576,17 @@ "info": { "prompt_len": 378, "generated_len": [ - 32 + 28 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.14285714285714288, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Топозеро. \n\nТексты сообщают, что Улма — приток реки Кизрека, а Кизрека питает Топозеро.", + "predict": " Топозеро.", "sample": { "messages": [ { @@ -23627,7 +23627,7 @@ "info": { "prompt_len": 373, "generated_len": [ - 32 + 28 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -23637,7 +23637,7 @@ "f1": 0, "em": 0 }, - "predict": " Северную Конференцию.", + "predict": " Северная Национальная лига", "sample": { "messages": [ { @@ -23678,7 +23678,7 @@ "info": { "prompt_len": 235, "generated_len": [ - 26 + 28 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -23688,7 +23688,7 @@ "f1": 0.375, "em": 0 }, - "predict": " Законодательный орган города Еревана, где родился Ара Акопович Саакян, называется Ереванский городской совет.", + "predict": " Город Ереван, где родился Ара Акопович Саакян, имеет законодательный орган - Ереванский городской совет.", "sample": { "messages": [ { @@ -23735,17 +23735,17 @@ "info": { "prompt_len": 211, "generated_len": [ - 26 + 28 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2608695652173913, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Руслан Николаевич Кухарук. В Тюмени, где родился Юрий Гуляев, с 8 октября 2018 года главой администрации является Руслан Николаевич Кухарук.", + "predict": " Руслан Николаевич Кухарук.", "sample": { "messages": [ { @@ -23786,7 +23786,7 @@ "info": { "prompt_len": 415, "generated_len": [ - 39 + 28 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -23843,17 +23843,17 @@ "info": { "prompt_len": 354, "generated_len": [ - 39 + 28 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.3076923076923077, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Рустам Эмомали. В Душанбе, столице Таджикистана, должность мэра занимает Рустам Эмомали.", + "predict": " Рустам Эмомали.", "sample": { "messages": [ { @@ -23894,17 +23894,17 @@ "info": { "prompt_len": 190, "generated_len": [ - 42 + 28 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.6666666666666666, "em": 0 }, - "predict": " Река Кажим (теперь известная как Кажим) сливается с рекой Чугрим. Устье Чугрима находится в 20 км по правому берегу реки Кажим.", + "predict": " река Сысола.", "sample": { "messages": [ { @@ -23945,17 +23945,17 @@ "info": { "prompt_len": 160, "generated_len": [ - 42 + 28 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.14634146341463414, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Юрий Владимирович Галдун. В декабре 2009 года мэр Белгорода Василий Николаевич Потрясаев занял 2-е место в номинации \"Лучший глава местной администрации\" на ежегодном конкурсе \"Лучшее муниципальное образование\", что указывало на его высокий уровень руководств�� и признание в администрации.", + "predict": " Юрий Владимирович Галдун.", "sample": { "messages": [ { @@ -23996,17 +23996,17 @@ "info": { "prompt_len": 300, "generated_len": [ - 64 + 28 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.17142857142857143, + "f1": 0, "em": 0 }, - "predict": " Самвел Мисакович Баласанян. Евгения Михайловна Аветисян родилась в городе Гюмри, административном центре Ширакской области Армении, расположенной в центральной части Ширакской котловины. В городе Гюмри в настоящее время работает мэр Баласанян, Самвел Мисакович", + "predict": " В городе, где родилась Евгения Михайловна Аветисян, Варданян, Микаел Оганесович являлся главой администрации.", "sample": { "messages": [ { @@ -24053,7 +24053,7 @@ "info": { "prompt_len": 386, "generated_len": [ - 64 + 28 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -24063,7 +24063,7 @@ "f1": 0, "em": 0 }, - "predict": " Вага. Шереньга впадает в Вагу.", + "predict": " Вага.", "sample": { "messages": [ { @@ -24110,17 +24110,17 @@ "info": { "prompt_len": 271, "generated_len": [ - 13 + 28 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0, + "em": 0 }, - "predict": " Лаша Комахидзе", + "predict": " Абашидзе, Георгий Асланович", "sample": { "messages": [ { @@ -24161,17 +24161,17 @@ "info": { "prompt_len": 354, "generated_len": [ - 13 + 28 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.125, + "f1": 0, "em": 0 }, - "predict": " Глава государства, ставшего местом смерти Ивана Степановича Бароцци, занимал должность императора России. Титул Император Всероссийского был принят Петром I в 1721 году и носил 14 человек, включая Ивана Степановича Бароцци.", + "predict": " Император России.", "sample": { "messages": [ { @@ -24212,7 +24212,7 @@ "info": { "prompt_len": 269, "generated_len": [ - 50 + 28 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -24222,7 +24222,7 @@ "f1": 0, "em": 0 }, - "predict": " Валентин Георгиевич Подпомогов скончался 18 июля 1998 года.", + "predict": " 18 июля 1998 года, там же (Армения).", "sample": { "messages": [ { @@ -24263,17 +24263,17 @@ "info": { "prompt_len": 177, "generated_len": [ - 50 + 28 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2857142857142857, + "f1": 0.6666666666666666, "em": 0 }, - "predict": " Наивысшая точка горного хребта Холзун — гора Белуха, имеющая высоту 4506 метров.", + "predict": " гора Белуха (4506 м).", "sample": { "messages": [ { @@ -24320,7 +24320,7 @@ "info": { "prompt_len": 413, "generated_len": [ - 24 + 28 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -24330,7 +24330,7 @@ "f1": 0, "em": 0 }, - "predict": " Комитеты самоорганизации населения.", + "predict": " Комитеты самоорганизации населения", "sample": { "messages": [ { @@ -24371,7 +24371,7 @@ "info": { "prompt_len": 308, "generated_len": [ - 24 + 28 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -24381,7 +24381,7 @@ "f1": 0, "em": 0 }, - "predict": " Феникс.\nИз двух приведённых текстов ясно в��дно, что режиссёром фильма \"Звук ярости\" является Сая Эндфилд, псевдоним режиссёра Сай Эндфилда. В первом тексте, посвящённом фильму, сообщается, что \"фильм поставлен по сценарию Джо", + "predict": " Сан-Хосе, Калифорния.", "sample": { "messages": [ { @@ -24428,17 +24428,17 @@ "info": { "prompt_len": 531, "generated_len": [ - 64 + 38 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.052631578947368425, + "f1": 0, "em": 0 }, - "predict": " Шилея.\n\nСама Большая Шилея сливается с рекой Шилея, а река Шилея сливается с рекой Уфалейкой, что является правым притоком Уфы. Уфалейка, в свою очередь, является правой составляющей Уфы. Таким образом, в обратном направлении, Большая Шилея сливается с", + "predict": " Большая Шилея сливается с рекой Уфалейкой.", "sample": { "messages": [ { @@ -24485,7 +24485,7 @@ "info": { "prompt_len": 205, "generated_len": [ - 64 + 38 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -24495,7 +24495,7 @@ "f1": 0, "em": 0 }, - "predict": " Катунь.", + "predict": " Катунь", "sample": { "messages": [ { @@ -24542,7 +24542,7 @@ "info": { "prompt_len": 398, "generated_len": [ - 5 + 38 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -24552,7 +24552,7 @@ "f1": 0, "em": 0 }, - "predict": " Енисей.", + "predict": " Енисей", "sample": { "messages": [ { @@ -24593,17 +24593,17 @@ "info": { "prompt_len": 418, "generated_len": [ - 5 + 38 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0, + "em": 0 }, - "predict": " С. И. Морозов", + "predict": " Губернатор Ульяновской области.", "sample": { "messages": [ { @@ -24650,17 +24650,17 @@ "info": { "prompt_len": 402, "generated_len": [ - 43 + 38 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2222222222222222, + "f1": 0.33333333333333337, "em": 0 }, - "predict": " Глава администрации в Казани, городе, где родился Айрат Касимович Хаматов, является мэром. Мэр Казани И. Р. Метшин избирается депутатами Городской думы для должности мэра.", + "predict": " И. Р. Метшин. В Казани, городе, где родился Айрат Касимович Хаматов, главой администрации является мэр.", "sample": { "messages": [ { @@ -24701,17 +24701,17 @@ "info": { "prompt_len": 666, "generated_len": [ - 43 + 38 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2608695652173913, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " И. Р. Метшин. Кирилл Прокофьевич Ситников умер в Казани, а в городе, где он скончался, Казань, главой администрации является мэр.", + "predict": " И. Р. Метшин.", "sample": { "messages": [ { @@ -24752,7 +24752,7 @@ "info": { "prompt_len": 477, "generated_len": [ - 36 + 38 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -24809,17 +24809,17 @@ "info": { "prompt_len": 192, "generated_len": [ - 36 + 38 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.3076923076923077, + "f1": 0.25, "em": 0 }, - "predict": " Юрий Цкипури, мэр города Тула, где умер Игорь Владимирович Ильинский (литературовед).", + "predict": " Юрий Цкипури являетс�� главой администрации в городе Туле, где умер Игорь Владимирович Ильинский (литературовед).", "sample": { "messages": [ { @@ -24860,7 +24860,7 @@ "info": { "prompt_len": 383, "generated_len": [ - 22 + 38 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -24870,7 +24870,7 @@ "f1": 0.5, "em": 0 }, - "predict": " Лига 1.", + "predict": " Лига 1", "sample": { "messages": [ { @@ -24911,17 +24911,17 @@ "info": { "prompt_len": 395, "generated_len": [ - 22 + 38 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.13333333333333333, + "f1": 0.08695652173913042, "em": 0 }, - "predict": " Византия/Византийская империя. Никифор Комнин являлся гражданином Византийской империи, которая прежде находилась на территории Восточной Римской империи, сформировавшейся в 395 году после раздела Римской империи на Западную и Восточную.", + "predict": " Византия\n\nВ тексте 1 Никифор Комнин является гражданином Византийской империи, а Византийская империя была государством, которое находилось на территории Византийской империи.", "sample": { "messages": [ { @@ -24968,7 +24968,7 @@ "info": { "prompt_len": 846, "generated_len": [ - 50 + 38 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -24978,7 +24978,7 @@ "f1": 0, "em": 0 }, - "predict": " Ахмедбек Масакбаевич Ахметжанов, являющийся акимом города Костанай.", + "predict": " Костанайский район", "sample": { "messages": [ { @@ -25025,17 +25025,17 @@ "info": { "prompt_len": 564, "generated_len": [ - 50 + 38 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.1904761904761905, + "f1": 0.5, "em": 0 }, - "predict": " Городской думы Нижнего Новгорода. Владимир Олегович Самойлов родился в Нижнем Новгороде, что является его официальной резиденцией как законодательного органа.", + "predict": " Городской совет", "sample": { "messages": [ { @@ -25082,7 +25082,7 @@ "info": { "prompt_len": 381, "generated_len": [ - 44 + 38 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -25092,7 +25092,7 @@ "f1": 0, "em": 0 }, - "predict": " Федеральный парламент Бельгии. Законодательный орган, принимающий законы в Королевстве Бельгии, является двухпалатным Федеральным парламентом, состоящим из нижней палаты (Палаты представителей) и верхней палаты (Сената).", + "predict": " Федеральный парламент.", "sample": { "messages": [ { @@ -25133,7 +25133,7 @@ "info": { "prompt_len": 355, "generated_len": [ - 44 + 38 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -25143,7 +25143,7 @@ "f1": 0, "em": 0 }, - "predict": " Ухтома. Сухода сливается с Ухтомой.", + "predict": " Ухтома", "sample": { "messages": [ { @@ -25184,7 +25184,7 @@ "info": { "prompt_len": 253, "generated_len": [ - 17 + 38 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -25194,7 +25194,7 @@ "f1": 0, "em": 0 }, - "predict": " Вагай. Агитка впадает в Вагай.", + "predict": " Вагай.", "sample": { "messages": [ { @@ -25253,7 +25253,7 @@ "info": { "prompt_len": 479, "generated_len": [ - 17 + 38 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -25263,7 +25263,7 @@ "f1": 0, "em": 0 }, - "predict": " Киимбай.", + "predict": " Киимбай", "sample": { "messages": [ { @@ -25304,7 +25304,7 @@ "info": { "prompt_len": 174, "generated_len": [ - 8 + 48 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -25361,7 +25361,7 @@ "info": { "prompt_len": 199, "generated_len": [ - 8 + 48 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -25371,7 +25371,7 @@ "f1": 0, "em": 0 }, - "predict": " Команда, тренер которой зовут Пабло Санчес, играет в аргентинской Примере.", + "predict": " Команда, тренер которой зовут Пабло Санчес, играет в Аргентинской Примере (Апертура).", "sample": { "messages": [ { @@ -25412,17 +25412,17 @@ "info": { "prompt_len": 407, "generated_len": [ - 60 + 48 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.15789473684210528, + "f1": 0.20689655172413793, "em": 0 }, - "predict": " Евгений Васильевич Маслов является главой администрации в городе Йошкар-Оле, где родился Александр Сергеевич Бакулевский. Его полномочия сменили Павел Вячеславович Плотников и Александр Николаевич Принцев. Евгений Васильевич Маслов занимал эту должность с 28 декабря 2015 года.", + "predict": " Евгений Васильевич Маслов. В тексте указано, что 28 декабря 2015 года Евгений Васильевич Маслов был назначен мэром Йошкар-Олы, что является городом, где родился Александр Сергеевич Бакулевский.", "sample": { "messages": [ { @@ -25469,7 +25469,7 @@ "info": { "prompt_len": 661, "generated_len": [ - 60 + 48 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -25479,7 +25479,7 @@ "f1": 0, "em": 0 }, - "predict": " Павел Коньков. В Ивановской области, регионе, где родился Владимир Иванович Алфеев, глава администрации является губернатором. В приведенном тексте 2 указывается, что Павел Коньков временно исполнял обязанности губернатора Ивановской области с сентября 2014 года, до избрания Станиславом Воскресенским.", + "predict": " Павел Коньков.", "sample": { "messages": [ { @@ -25520,7 +25520,7 @@ "info": { "prompt_len": 551, "generated_len": [ - 63 + 48 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -25530,7 +25530,7 @@ "f1": 0, "em": 0 }, - "predict": " Константин Алексеевич Полежаев. В Белгороде Константин Алексеевич Полежаев занимал должность главы администрации с 2019 по 2019 год, то есть в период, когда Владимир Борисович Барковский проживал в городе.", + "predict": " Константин Алексеевич Полежаев.", "sample": { "messages": [ { @@ -25571,7 +25571,7 @@ "info": { "prompt_len": 305, "generated_len": [ - 63 + 48 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -25581,7 +25581,7 @@ "f1": 0, "em": 0 }, - "predict": " Малый Лез.", + "predict": " Малый Лез", "sample": { "messages": [ { @@ -25622,17 +25622,17 @@ "info": { "prompt_len": 221, "generated_len": [ - 20 + 48 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.4615384615384615, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " И. Р. Метшин. В Казани мэр избирается депутатами Городской думы.", + "predict": " И. Р. Метшин", "sample": { "messages": [ { @@ -25673,7 +25673,7 @@ "info": { "prompt_len": 223, "generated_len": [ - 20 + 48 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -25683,7 +25683,7 @@ "f1": 0, "em": 0 }, - "predict": " Константин Алексеевич Полежаев.", + "predict": " Константин Алексеевич Полежаев", "sample": { "messages": [ { @@ -25724,17 +25724,17 @@ "info": { "prompt_len": 331, "generated_len": [ - 39 + 48 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.16666666666666669, + "f1": 0.18181818181818182, "em": 0 }, - "predict": " Евгений Тефтелев. В Челябинске Евгений Тефтелев является главой города, и поэтому он является главой администрации в городе, где родился Адик Аскарович Абдурахманов.", + "predict": " Евгений Тефтелев. В тексте 2, который описывает Челябинск как город, где родился Адик Абдурахманов, говорится о его должности главы города.", "sample": { "messages": [ { @@ -25781,7 +25781,7 @@ "info": { "prompt_len": 412, "generated_len": [ - 39 + 48 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -25791,7 +25791,7 @@ "f1": 0, "em": 0 }, - "predict": " Река Ратыня сливается с рекой Саванкой.", + "predict": " Саванка сливается с рекой Ратыня.", "sample": { "messages": [ { @@ -25838,7 +25838,7 @@ "info": { "prompt_len": 247, "generated_len": [ - 13 + 48 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -25848,7 +25848,7 @@ "f1": 0, "em": 0 }, - "predict": " Индышняя.", + "predict": " Индышняя", "sample": { "messages": [ { @@ -25895,17 +25895,17 @@ "info": { "prompt_len": 435, "generated_len": [ - 13 + 48 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.12121212121212122, + "f1": 0.1818181818181818, "em": 0 }, - "predict": " Михаил Петрович Драгоманов занимал должность императора в Российской империи. Титул Император Всероссийского был принят Петром I в 1721 году и оставался действующим до Февраля 1917 года, когда Российская империя провозгласила республику.", + "predict": " Михаил Петрович Драгоманов занимал должность императора в Российской империи.", "sample": { "messages": [ { @@ -25952,7 +25952,7 @@ "info": { "prompt_len": 462, "generated_len": [ - 52 + 48 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -25962,7 +25962,7 @@ "f1": 0, "em": 0 }, - "predict": " Зубра.", + "predict": " Зубра", "sample": { "messages": [ { @@ -26003,17 +26003,17 @@ "info": { "prompt_len": 404, "generated_len": [ - 52 + 48 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.19354838709677416, + "f1": 0.2, "em": 0 }, - "predict": " Городской совет Нижнего Новгорода. Карина Степановна Филиппова-Диодорова родилась в Горьком, который в то время назывался Горьком, а с 1932 года стал называться Горьком.", + "predict": " Городской совет", "sample": { "messages": [ { @@ -26060,7 +26060,7 @@ "info": { "prompt_len": 390, "generated_len": [ - 43 + 48 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -26070,7 +26070,7 @@ "f1": 0, "em": 0 }, - "predict": " Глава администрации в городе, где родилась Наиля Файзрахмановна Гилязова (Казань), является мэром.", + "predict": " Глава администрации в ��ороде, где родилась Наиля Файзрахмановна Гилязова, является мэром.", "sample": { "messages": [ { @@ -26111,17 +26111,17 @@ "info": { "prompt_len": 355, "generated_len": [ - 43 + 48 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.6666666666666666, "em": 0 }, - "predict": " Сия.", + "predict": " река Лебеди", "sample": { "messages": [ { @@ -26168,7 +26168,7 @@ "info": { "prompt_len": 261, "generated_len": [ - 6 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -26178,7 +26178,7 @@ "f1": 0, "em": 0 }, - "predict": " Ереванский городской совет.", + "predict": " Ереванский городской совет", "sample": { "messages": [ { @@ -26219,7 +26219,7 @@ "info": { "prompt_len": 364, "generated_len": [ - 6 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -26229,7 +26229,7 @@ "f1": 0, "em": 0 }, - "predict": " Поеж сливается с рекой Белый Лух, в которую впадает Поеж.", + "predict": " Поеж.", "sample": { "messages": [ { @@ -26276,17 +26276,17 @@ "info": { "prompt_len": 365, "generated_len": [ - 53 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Неизвестно. В первом тексте не сообщается, какой город является родным для режиссёра фильма \"Дети Хуанг Ши\". Второй текст содержит биографическую информацию о Роджере Споттисвуде, но не содержит сведений о его родовом городе.", + "predict": " Оттава.", "sample": { "messages": [ { @@ -26327,17 +26327,17 @@ "info": { "prompt_len": 155, "generated_len": [ - 53 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2608695652173913, + "f1": 0.42857142857142855, "em": 0 }, - "predict": " Ереванский городской совет. Бабкен Адамович Колозян умер в Ереване, столице Армении, где действует Ереванский городской совет, являющийся органом законодательной власти.", + "predict": " Город Ереван имеет ереванский городской совет, который является органом законодательной власти.", "sample": { "messages": [ { @@ -26384,17 +26384,17 @@ "info": { "prompt_len": 332, "generated_len": [ - 36 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.3, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Руслан Николаевич Кухарук. В Тюмени, городе, где родился Валерий Аркадьевич Дьяконов, Руслан Николаевич Кухарук является главой администрации.", + "predict": " Руслан Николаевич Кухарук.", "sample": { "messages": [ { @@ -26435,17 +26435,17 @@ "info": { "prompt_len": 251, "generated_len": [ - 36 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.0909090909090909, + "f1": 0, "em": 0 }, - "predict": " Кеть. \n\nТексты сообщают, что Ёлтырева — приток Кеть, впадающей в Обь. Таким образом, Кеть является той рекой, питающейся от реки Ёлтырева.", + "predict": " Кеть.", "sample": { "messages": [ { @@ -26492,7 +26492,7 @@ "info": { "prompt_len": 376, "generated_len": [ - 47 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -26502,7 +26502,7 @@ "f1": 0, "em": 0 }, - "predict": " Сегунда лига.", + "predict": " Премьер- лига Англии", "sample": { "messages": [ { @@ -26543,7 +26543,7 @@ "info": { "prompt_len": 472, "generated_len": [ - 47 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -26553,7 +26553,7 @@ "f1": 0, "em": 0 }, - "predict": " Верхняя Целега сливается с рекой Мезень.", + "predict": " Мезень.", "sample": { "messages": [ { @@ -26594,7 +26594,7 @@ "info": { "prompt_len": 333, "generated_len": [ - 64 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -26604,7 +26604,7 @@ "f1": 0, "em": 0 }, - "predict": " Вэркы-Чатылькы. В первом тексте указано, что Вэркы-Чатылькы питается рекой, притоком которой является Чатылькы. В другом тексте Чатылькы названа притоком Тольки, но в вопросе речь идет именно о В", + "predict": " Вэркы-Чатылькы.", "sample": { "messages": [ { @@ -26645,7 +26645,7 @@ "info": { "prompt_len": 180, "generated_len": [ - 64 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -26655,7 +26655,7 @@ "f1": 0.5, "em": 0 }, - "predict": " на острове Идра.", + "predict": " на острове Идра", "sample": { "messages": [ { @@ -26696,17 +26696,17 @@ "info": { "prompt_len": 267, "generated_len": [ - 21 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.13333333333333336, + "f1": 0.4, "em": 0 }, - "predict": " Верховный Совет Украины работал в городе Авдеевка, где родилась Нина Ивановна Стрельникова (металлург).", + "predict": " Верховный Совет Украины.", "sample": { "messages": [ { @@ -26747,17 +26747,17 @@ "info": { "prompt_len": 160, "generated_len": [ - 21 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2857142857142857, + "f1": 0.2727272727272727, "em": 0 }, - "predict": " Город Ереван, где умер Геворк Амбарцумович Абаджян, имеет ереванский городской совет как законодательный орган, принимающий законы для города.", + "predict": " Город Ереван, где умер Геворк Амбарцумович Абаджян, имеет ереванским городским советом как законодательный орган, который принимает законы в городе.", "sample": { "messages": [ { @@ -26804,7 +26804,7 @@ "info": { "prompt_len": 266, "generated_len": [ - 38 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -26814,7 +26814,7 @@ "f1": 0, "em": 0 }, - "predict": " Река Белая Лобань сливается с рекой Чёрная Лобань, образуя основное русло реки Лобань, которая в свою очередь является правым притоком Кильмезя.", + "predict": " Река Белая Лобань.", "sample": { "messages": [ { @@ -26861,17 +26861,17 @@ "info": { "prompt_len": 377, "generated_len": [ - 38 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0, + "em": 0 }, - "predict": " Верхняя Лупья.", + "predict": " Тыва", "sample": { "messages": [ { @@ -26912,7 +26912,7 @@ "info": { "prompt_len": 194, "generated_len": [ - 6 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -26922,7 +26922,7 @@ "f1": 0, "em": 0 }, - "predict": " Малый Кундыш.", + "predict": " Малый Кундыш", "sample": { "messages": [ { @@ -26969,17 +26969,17 @@ "info": { "prompt_len": 344, "generated_len": [ - 6 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.6666666666666666, "em": 0 }, - "predict": " Профессор ветеринарной науки в Императорской медико-хирургической академии Санкт-Петербурга.", + "predict": " Император", "sample": { "messages": [ { @@ -27026,17 +27026,17 @@ "info": { "prompt_len": 590, "generated_len": [ - 25 + 21 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.19999999999999998, + "f1": 0.2857142857142857, "em": 0 }, - "predict": " Фиггис, режиссёр фильма \"Мистер Джонс\", родился в Карлайле, Англия.", + "predict": " Майк Фиггис родился в Карлайле, Англия.", "sample": { "messages": [ { @@ -27083,17 +27083,17 @@ "info": { "prompt_len": 208, "generated_len": [ - 25 + 21 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.24000000000000002, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " И. Р. Метшин. В Казани, где родилась Фарида Рашидовна Курбангалеева, мэр и глава администрации избирается депутатами Городской думы и занимает должность мэра.", + "predict": " И. Р. Метшин.", "sample": { "messages": [ { @@ -27134,7 +27134,7 @@ "info": { "prompt_len": 246, "generated_len": [ - 42 + 21 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -27144,7 +27144,7 @@ "f1": 0, "em": 0 }, - "predict": " Премьер- лига.", + "predict": " Премьер- лига", "sample": { "messages": [ { @@ -27185,7 +27185,7 @@ "info": { "prompt_len": 615, "generated_len": [ - 42 + 21 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -27195,7 +27195,7 @@ "f1": 0, "em": 0 }, - "predict": " Павел Коньков, избранный губернатором Ивановской области 14 сентября 2014 года. Виктор Дмитриевич Козлов родился в Ивановской области, поэтому глава администрации в регионе, где он родился, является Павел Коньковым.", + "predict": " Павел Коньков, губернатор Ивановской области.", "sample": { "messages": [ { @@ -27236,17 +27236,17 @@ "info": { "prompt_len": 530, "generated_len": [ - 53 + 21 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.17142857142857143, + "f1": 0.42857142857142855, "em": 0 }, - "predict": " В Ереване законодательный орган, работающий в городе, - это Ереванский городской совет. Степан Данилович Лисциан умер в Ереване, поэтому его деятельность как педагога и учёного проходила в рамках законодательных полномочий Ереванского городского совета.", + "predict": " В городе, где умер Степан Данилович Лисциан, работает Ереванский городской совет.", "sample": { "messages": [ { @@ -27293,7 +27293,7 @@ "info": { "prompt_len": 482, "generated_len": [ - 53 + 21 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -27344,7 +27344,7 @@ "info": { "prompt_len": 398, "generated_len": [ - 3 + 21 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -27354,7 +27354,7 @@ "f1": 0, "em": 0 }, - "predict": " Сенат.", + "predict": " Сенат", "sample": { "messages": [ { @@ -27395,7 +27395,7 @@ "info": { "prompt_len": 335, "generated_len": [ - 3 + 21 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -27446,17 +27446,17 @@ "info": { "prompt_len": 352, "generated_len": [ - 14 + 21 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.5, "em": 0 }, - "predict": " Не указан. В тексте не сообщается местонахождение захоронения Ян Вайсса.", + "predict": " В Йилемнице, Чехии.", "sample": { "messages": [ { @@ -27497,7 +27497,7 @@ "info": { "prompt_len": 351, "generated_len": [ - 14 + 21 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -27507,7 +27507,7 @@ "f1": 0, "em": 0 }, - "predict": " Режиссёром фильма \"В постели с врагом\" является Джозеф Портер Рубен, являющийся гражданином США.", + "predict": " режисёр фильма \"В постели с врагом\" — Джозеф Портер Рубен, гражданин США.", "sample": { "messages": [ { @@ -27554,17 +27554,17 @@ "info": { "prompt_len": 151, "generated_len": [ - 35 + 21 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.18181818181818182, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Люк Лемонье. В городе Гавра, где родился и вырос Андре Капле, главой администрации является Люк Лемонье, избранный по муниципальным выборам.", + "predict": " Люк Лемонье.", "sample": { "messages": [ { @@ -27605,17 +27605,17 @@ "info": { "prompt_len": 287, "generated_len": [ - 35 + 21 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.16666666666666669, + "f1": 0, "em": 0 }, - "predict": " Налиминка сливается с рекой Кельват, а Кельват впадает в реку Васюган.", + "predict": " река Кельват.", "sample": { "messages": [ { @@ -27662,7 +27662,7 @@ "info": { "prompt_len": 241, "generated_len": [ - 24 + 21 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -27672,7 +27672,7 @@ "f1": 0, "em": 0 }, - "predict": " Эльба (или Лаба) сливается с рекой Метуе.", + "predict": " Эльба (или Лаба)", "sample": { "messages": [ { @@ -27713,7 +27713,7 @@ "info": { "prompt_len": 151, "generated_len": [ - 24 + 21 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -27764,17 +27764,17 @@ "info": { "prompt_len": 191, "generated_len": [ - 49 + 21 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.06666666666666667, + "f1": 0, "em": 0 }, - "predict": " Большая Брусенка впадает в реку Сухона, которая является притоком Северной Двины.\n(Сухону следует считать одним из рукавов Северной Двины, так как она впадает в неё в районе Кубенского гидроузла.)", + "predict": " Большая Брусенка.", "sample": { "messages": [ { @@ -27815,7 +27815,7 @@ "info": { "prompt_len": 446, "generated_len": [ - 49 + 21 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -27825,7 +27825,7 @@ "f1": 0, "em": 0 }, - "predict": " Не существует прямого указания, что Леокадия Серафинович являлась главой администрации в городе, где она родилась. Леокадия Серафинович известна как польская актриса-кукловод, режиссёр, сценограф и педагог, работавшая в Познани, а не как глава администрации какого", + "predict": " Не указан. В тексте 1 не упоминается, кто является главой администрации в городе, где родилась Леокадия Серафинович.", "sample": { "messages": [ { @@ -27866,7 +27866,7 @@ "info": { "prompt_len": 441, "generated_len": [ - 64 + 34 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -27876,7 +27876,7 @@ "f1": 0, "em": 0 }, - "predict": " Верховный Совет СССР, Нижегородский округ.", + "predict": " Верховный Совет СССР РФ", "sample": { "messages": [ { @@ -27923,17 +27923,17 @@ "info": { "prompt_len": 326, "generated_len": [ - 64 + 34 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2857142857142857, + "f1": 0, "em": 0 }, - "predict": " Михаил Викторович Желудов. В городе, где родился Михаил Наумович Герчик (Брук), является Михаил Викторович Желудов, председателем городского совета.", + "predict": " Александр Студнев.", "sample": { "messages": [ { @@ -27974,7 +27974,7 @@ "info": { "prompt_len": 258, "generated_len": [ - 32 + 34 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -28031,7 +28031,7 @@ "info": { "prompt_len": 228, "generated_len": [ - 32 + 34 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -28082,17 +28082,17 @@ "info": { "prompt_len": 458, "generated_len": [ - 48 + 34 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.24000000000000002, + "f1": 0, "em": 0 }, - "predict": " В городе, где родился Гурген Тигранович Чолахян (Гюмри), вторым по величине городом Армении, главой администрации является Самвел Мисакович Баласанян с 2012 года.", + "predict": " В городе, где родился Гурген Тигранович Чолахян, Варданян, Микаел Оганесович является главой администрации.", "sample": { "messages": [ { @@ -28139,7 +28139,7 @@ "info": { "prompt_len": 375, "generated_len": [ - 48 + 34 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -28149,7 +28149,7 @@ "f1": 0, "em": 0 }, - "predict": " Ереванский городской совет работает в Ереване, городе, где родился Леон Арменович Тахтаджян.", + "predict": " Город Ереван имеет ереванский городской совет, который является законодательным органом. Леон Арменович Тахтаджян родился в Ереване, столице Армении.", "sample": { "messages": [ { @@ -28190,7 +28190,7 @@ "info": { "prompt_len": 247, "generated_len": [ - 24 + 34 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -28200,7 +28200,7 @@ "f1": 0, "em": 0 }, - "predict": " Ереванский городской совет.", + "predict": " Городской совет", "sample": { "messages": [ { @@ -28241,17 +28241,17 @@ "info": { "prompt_len": 242, "generated_len": [ - 24 + 34 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Губернатор Костромской области.", + "predict": " Сергей Константинович Ситников", "sample": { "messages": [ { @@ -28298,7 +28298,7 @@ "info": { "prompt_len": 353, "generated_len": [ - 28 + 34 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -28308,7 +28308,7 @@ "f1": 0, "em": 0 }, - "predict": " Костырко, Виктор Иванович, с 2002 по 2011 год был главой администрации Тирасполя.", + "predict": " Виктор Иванович Костырко.", "sample": { "messages": [ { @@ -28355,17 +28355,17 @@ "info": { "prompt_len": 603, "generated_len": [ - 28 + 34 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2666666666666667, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Евгений Тефтелев. Шадрин умер в Челябинске, а Евгений Тефтелев — глава администрации города.", + "predict": " Евгений Тефтелев", "sample": { "messages": [ { @@ -28412,7 +28412,7 @@ "info": { "prompt_len": 354, "generated_len": [ - 24 + 34 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -28422,7 +28422,7 @@ "f1": 0, "em": 0 }, - "predict": " Китай.", + "predict": " Китай", "sample": { "messages": [ { @@ -28469,7 +28469,7 @@ "info": { "prompt_len": 527, "generated_len": [ - 24 + 34 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -28479,7 +28479,7 @@ "f1": 0, "em": 0 }, - "predict": " Сенат и Правительствующий Сенат.", + "predict": " Верховный Совет", "sample": { "messages": [ { @@ -28520,17 +28520,17 @@ "info": { "prompt_len": 343, "generated_len": [ - 35 + 34 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.18181818181818182, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Евгений Тефтелев. А. П. Евченко родился в Челябинске, а в городе, где он родился, Евгений Тефтелев занимает должность главы администрации.", + "predict": " Евгений Тефтелев", "sample": { "messages": [ { @@ -28577,17 +28577,17 @@ "info": { "prompt_len": 448, "generated_len": [ - 35 + 34 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.33333333333333337, + "f1": 0.4, "em": 0 }, - "predict": " Законодательный орган города Еревана, где родился Левон Гумединович Варданян, называется Ереванский городской совет (городской советом).", + "predict": " Законодательный орган города, где родился Левон Гумединович Варданян, называется Ереванский городской совет.", "sample": { "messages": [ { @@ -28634,17 +28634,17 @@ "info": { "prompt_len": 214, "generated_len": [ - 64 + 34 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.08695652173913045, + "f1": 0, "em": 0 }, - "predict": " Варка-Сылькы. Тексты свидетельствуют, что Кыталькы — приток Варка-Сылькы (Варга-Сылькы), а Варка-Сылькы — одна из рек бассейна реки Таз, впадающей слева в Таз.", + "predict": " Варка-Сылькы", "sample": { "messages": [ { @@ -28685,17 +28685,17 @@ "info": { "prompt_len": 388, "generated_len": [ - 64 + 34 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.4615384615384615, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " И. Р. Метшин. В Казани мэр избирается депутатами Городской думы.", + "predict": " И. Р. Метшин", "sample": { "messages": [ { @@ -28736,17 +28736,17 @@ "info": { "prompt_len": 385, "generated_len": [ - 20 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.2666666666666667, "em": 0 }, - "predict": " Временный президент РФ.", + "predict": " В Российской империи, в которую Авдеев входил, должность главы государства называлась Император Всероссийский.", "sample": { "messages": [ { @@ -28787,7 +28787,7 @@ "info": { "prompt_len": 219, "generated_len": [ - 20 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -28797,7 +28797,7 @@ "f1": 0, "em": 0 }, - "predict": " президент Сирии", + "predict": " Президент", "sample": { "messages": [ { @@ -28844,17 +28844,17 @@ "info": { "prompt_len": 518, "generated_len": [ - 29 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.21052631578947367, + "f1": 0.23529411764705882, "em": 0 }, - "predict": " Юрий Цкипури является главой администрации в городе Туле, административном центре Тульской области, где родился Дмитрий Александрович Бурмистров.", + "predict": " Юрий Цкипури. В городе, где родился Дмитрий Александрович Бурмистров, его главой администрации является Юрий Цкипури.", "sample": { "messages": [ { @@ -28895,17 +28895,17 @@ "info": { "prompt_len": 344, "generated_len": [ - 29 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.06451612903225806, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Чёка (Чека, Чок).\n\nТексты 1 и 2 содержат сведения о двух соседних реках, Чёке и Ядкане. Согласно тексту 2, Чёка является притоком Тары, а Тара — притоком Иртыша. Следовательно, Чёка", + "predict": " Тары.", "sample": { "messages": [ { @@ -28958,7 +28958,7 @@ "info": { "prompt_len": 177, "generated_len": [ - 64 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -28968,7 +28968,7 @@ "f1": 0, "em": 0 }, - "predict": " Шварце-Лабер сливается с Дунаем.", + "predict": " Шварце-Лабер сливается с Дуною.", "sample": { "messages": [ { @@ -29015,17 +29015,17 @@ "info": { "prompt_len": 599, "generated_len": [ - 64 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.19999999999999998, + "f1": 0.3333333333333333, "em": 0 }, - "predict": " Городской думы Нижнего Новгорода и правительство Нижегородской области работают в Нижнем Новгороде, городе, где родился Дмитрий Анатольевич Индейцев.", + "predict": " Городской совет Нижнего Новгорода.", "sample": { "messages": [ { @@ -29072,7 +29072,7 @@ "info": { "prompt_len": 326, "generated_len": [ - 29 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -29082,7 +29082,7 @@ "f1": 0, "em": 0 }, - "predict": " Алитус. Миколас Мартинович Бурокявичюс родился в Алитусе, городе, расположенном в Литве.", + "predict": " Алитус.", "sample": { "messages": [ { @@ -29123,17 +29123,17 @@ "info": { "prompt_len": 235, "generated_len": [ - 29 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2666666666666667, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Евгений Тефтелев. Глава администрации в городе Челябинске, где родился дирижёр Виктор Григорьевич Лебедев.", + "predict": " Евгений Тефтелев", "sample": { "messages": [ { @@ -29180,7 +29180,7 @@ "info": { "prompt_len": 473, "generated_len": [ - 22 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -29237,17 +29237,17 @@ "info": { "prompt_len": 320, "generated_len": [ - 22 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.6666666666666666, "em": 0 }, - "predict": " Министр просвещения.", + "predict": " Император", "sample": { "messages": [ { @@ -29300,17 +29300,17 @@ "info": { "prompt_len": 364, "generated_len": [ - 25 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Мэр Казани. В Казани, куда родился Валерий Закирович Гатаев, мэр является главой местного городского муниципального образования.", + "predict": " И. Р. Метшин.", "sample": { "messages": [ { @@ -29351,7 +29351,7 @@ "info": { "prompt_len": 318, "generated_len": [ - 25 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -29361,7 +29361,7 @@ "f1": 0.8, "em": 0 }, - "predict": " Малая Горная Обь.", + "predict": " Малая Горная Обь", "sample": { "messages": [ { @@ -29402,7 +29402,7 @@ "info": { "prompt_len": 221, "generated_len": [ - 43 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -29412,7 +29412,7 @@ "f1": 0, "em": 0 }, - "predict": " Павел Коньков. В Ивановской области, регионе, где родился Борис Иванович Сизов, временно исполняющим обязанности губернатора является Павел Коньков с 16 октября 2013 года.", + "predict": " Павел Коньков", "sample": { "messages": [ { @@ -29453,17 +29453,17 @@ "info": { "prompt_len": 588, "generated_len": [ - 43 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.5, + "f1": 0, "em": 0 }, - "predict": " Молога. Река Атемежа втекает в Мологу, впадающую в Весьегонский залив Рыбинского водохранилища на Волге.", + "predict": " Молога.", "sample": { "messages": [ { @@ -29504,17 +29504,17 @@ "info": { "prompt_len": 574, "generated_len": [ - 32 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.125, + "f1": 0.23529411764705882, "em": 0 }, - "predict": " Городской законодательный орган, где появился на свет Александр Давидович Познанский, — Нижегородский городской Совет.", + "predict": " Городской орган, действующий в городе, где родился Александр Давидович Познанский, — Городская Дума Нижнего Новгорода.", "sample": { "messages": [ { @@ -29561,7 +29561,7 @@ "info": { "prompt_len": 526, "generated_len": [ - 32 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -29571,7 +29571,7 @@ "f1": 0, "em": 0 }, - "predict": " Министра культуры и искусств.", + "predict": " Константин Петрович Вильбоа занимал должность композитора и дирижёра в Российской империи.", "sample": { "messages": [ { @@ -29612,7 +29612,7 @@ "info": { "prompt_len": 277, "generated_len": [ - 9 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -29663,7 +29663,7 @@ "info": { "prompt_len": 351, "generated_len": [ - 9 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -29673,7 +29673,7 @@ "f1": 0, "em": 0 }, - "predict": " Узвай сливается с рекой Ирымка.", + "predict": " Узвай сливается с рекой Ирымкой.", "sample": { "messages": [ { @@ -29720,7 +29720,7 @@ "info": { "prompt_len": 301, "generated_len": [ - 22 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -29730,7 +29730,7 @@ "f1": 0.375, "em": 0 }, - "predict": " В Ереване законодательный орган, где умер Эдвард Михайлович Мирзоян, является Ереванский городской совет.", + "predict": " Город Ереван, где умер Эдвард Михайлович Мирзоян, имеет законодательный орган - Ереванский городской совет.", "sample": { "messages": [ { @@ -29777,7 +29777,7 @@ "info": { "prompt_len": 342, "generated_len": [ - 22 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -29834,7 +29834,7 @@ "info": { "prompt_len": 358, "generated_len": [ - 8 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -29844,7 +29844,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Ереванский городской совет.", + "predict": " Ереванский городской совет", "sample": { "messages": [ { @@ -29891,17 +29891,17 @@ "info": { "prompt_len": 226, "generated_len": [ - 8 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.1111111111111111, + "f1": 0.13333333333333336, "em": 0 }, - "predict": " В Российской империи должность главы государства, чьим гражданином был Степан Гаврилович Глотов, была императорская должность, именуемая \"Императором Всероссийским\". Титул \"Император Всероссийский\" был официально утверждён Петром I в 1721 году после победы в Северной войне", + "predict": " Глава государства в стране, гражданином которого был Степан Гаврилович Глотов, занимал должность императора.", "sample": { "messages": [ { @@ -29948,17 +29948,17 @@ "info": { "prompt_len": 475, "generated_len": [ - 64 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0.8, + "em": 0 }, - "predict": " Ереванский городской совет.", + "predict": " Городской совет", "sample": { "messages": [ { @@ -30005,17 +30005,17 @@ "info": { "prompt_len": 228, "generated_len": [ - 64 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.13333333333333333, + "f1": 0, "em": 0 }, - "predict": " Александр Викторович Архипов занимал должность главы государства в Российской империи, в качестве Императора Всероссийского. Титул Император Всероссийский был закреплен за царствовавшими императорами вплоть до Февральской революции 1917 года.", + "predict": " Александр Викторович Архипов занимал должность главы государства в Российской империи, в качестве Императора Всероссийского.", "sample": { "messages": [ { @@ -30062,7 +30062,7 @@ "info": { "prompt_len": 440, "generated_len": [ - 47 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -30072,7 +30072,7 @@ "f1": 0, "em": 0 }, - "predict": " Большая Улужай.", + "predict": " Большой Улужай.", "sample": { "messages": [ { @@ -30113,7 +30113,7 @@ "info": { "prompt_len": 166, "generated_len": [ - 47 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -30123,7 +30123,7 @@ "f1": 0, "em": 0 }, - "predict": " Ирень.", + "predict": " Ирень", "sample": { "messages": [ { @@ -30170,7 +30170,7 @@ "info": { "prompt_len": 168, "generated_len": [ - 4 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -30180,7 +30180,7 @@ "f1": 0, "em": 0 }, - "predict": " Пскем.", + "predict": " Ойгаинг", "sample": { "messages": [ { @@ -30221,7 +30221,7 @@ "info": { "prompt_len": 563, "generated_len": [ - 4 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -30231,7 +30231,7 @@ "f1": 0, "em": 0 }, - "predict": " Глава администрации в городе, где родился Геннадий Васильевич Средин (Казань), является мэром. Должность мэра в Казани избирается депутатами Городской думы из своего числа, как указано в приведённых в текстах сведениях о выборах мэра Казани.", + "predict": " В городе, где родился Геннадий Васильевич Средин (Казань), главой администрации является мэр.", "sample": { "messages": [ { @@ -30272,7 +30272,7 @@ "info": { "prompt_len": 291, "generated_len": [ - 53 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -30282,7 +30282,7 @@ "f1": 0, "em": 0 }, - "predict": " Литва.", + "predict": " Паневежский уезд", "sample": { "messages": [ { @@ -30329,7 +30329,7 @@ "info": { "prompt_len": 385, "generated_len": [ - 53 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -30380,7 +30380,7 @@ "info": { "prompt_len": 288, "generated_len": [ - 5 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -30390,7 +30390,7 @@ "f1": 0, "em": 0 }, - "predict": " Большой Юган.", + "predict": " Большой Юган", "sample": { "messages": [ { @@ -30437,17 +30437,17 @@ "info": { "prompt_len": 309, "generated_len": [ - 5 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.1081081081081081, + "f1": 0, "em": 0 }, - "predict": " Василий Васильевич Нечаев занимал должность археолога, архивариуса и историка, являясь гражданином Российской империи, страной, в которую входили Российская империя, как государство, существовавшее с 1721 по 1917 год. Титул Император Всероссийский принадлежал 14 императорам, включая Николая", + "predict": " Василий Васильевич Нечаев занимал должность археолога, архивариуса, историка и москвоведа.", "sample": { "messages": [ { @@ -30494,17 +30494,17 @@ "info": { "prompt_len": 381, "generated_len": [ - 64 + 35 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.4, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " И. Р. Метшин. В Казани И. Р. Метшин является мэром, главой администрации.", + "predict": " И. Р. Метшин", "sample": { "messages": [ { @@ -30545,7 +30545,7 @@ "info": { "prompt_len": 344, "generated_len": [ - 64 + 35 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -30555,7 +30555,7 @@ "f1": 0, "em": 0 }, - "predict": " Виталий Бахметьев, глава администрации Магнитогорска с 26 октября 2015 г., исполняющий обязанности с 25 декабря 2014 г.", + "predict": " Виталий Бахметьев. Согласно тексту 2, Виталий Бахметьев занимал должность главы администрации города Магнитогорска с 26 октября 2015 года.", "sample": { "messages": [ { @@ -30596,17 +30596,17 @@ "info": { "prompt_len": 322, "generated_len": [ - 38 + 35 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.4444444444444444, + "f1": 0.8, "em": 0 }, - "predict": " Городской совет Еревана и мэр Еревана.", + "predict": " Городской совет", "sample": { "messages": [ { @@ -30659,17 +30659,17 @@ "info": { "prompt_len": 194, "generated_len": [ - 38 + 35 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.23529411764705882, "em": 0 }, - "predict": " В Ереване законодательный орган, осуществляющий власть, является Ереванский городской совет.", + "predict": " Город Ереван, где родился Мовсес Геворкович Горгисян, имеет ереванским городским советом, который осуществляет законодательную власть.", "sample": { "messages": [ { @@ -30710,7 +30710,7 @@ "info": { "prompt_len": 247, "generated_len": [ - 20 + 35 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -30720,7 +30720,7 @@ "f1": 0, "em": 0 }, - "predict": " Город Мариуполь, где родился Рустам Иванович Аджи, имеет статус городского совета.", + "predict": " Город Мариуполь, Украина.", "sample": { "messages": [ { @@ -30767,17 +30767,17 @@ "info": { "prompt_len": 351, "generated_len": [ - 20 + 35 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0.6666666666666666, + "em": 0 }, - "predict": " Император Всероссийский.", + "predict": " Император", "sample": { "messages": [ { @@ -30830,17 +30830,17 @@ "info": { "prompt_len": 381, "generated_len": [ - 36 + 35 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.24000000000000002, + "f1": 0.33333333333333337, "em": 0 }, - "predict": " Лебедев Денис Юрьевич. В Коломне, где родился Виталий Анатольевич Нидбайкин, Лебедев Денис Юрьевич был избран главой городского округа в ноябре 2016 года.", + "predict": " В Коломне, городе, где родился Виталий Анатольевич Нидбайкин, главой городского округа является Лебедев Денис Юрьевич.", "sample": { "messages": [ { @@ -30887,17 +30887,17 @@ "info": { "prompt_len": 278, "generated_len": [ - 36 + 35 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.18181818181818182, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Евгений Тефтелев. Диана Александровна Циринг родилась в Челябинске, административном центре Челябинской области, где проживает Евгений Тефтелев, глава администрации города Челябинска.", + "predict": " Евгений Тефтелев.", "sample": { "messages": [ { @@ -30944,17 +30944,17 @@ "info": { "prompt_len": 423, "generated_len": [ - 37 + 35 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.25, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Мюнхен. Место рождения Рихарда Штрауса — Мюнхен.", + "predict": " Мюнхен", "sample": { "messages": [ { @@ -30995,17 +30995,17 @@ "info": { "prompt_len": 262, "generated_len": [ - 37 + 35 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.25, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Евгений Тефтелев. В Челябинске, где родился Александр Владимирович Турбанов, Евгений Тефтелев является главой администрации.", + "predict": " Евгений Тефтелев.", "sample": { "messages": [ { @@ -31052,7 +31052,7 @@ "info": { "prompt_len": 376, "generated_len": [ - 26 + 35 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -31062,7 +31062,7 @@ "f1": 0.6666666666666666, "em": 0 }, - "predict": " Император.", + "predict": " Император", "sample": { "messages": [ { @@ -31109,17 +31109,17 @@ "info": { "prompt_len": 364, "generated_len": [ - 26 + 35 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0.6666666666666666, + "em": 0 }, - "predict": " Тавда.", + "predict": " река Тавда", "sample": { "messages": [ { @@ -31166,7 +31166,7 @@ "info": { "prompt_len": 210, "generated_len": [ - 4 + 35 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -31223,7 +31223,7 @@ "info": { "prompt_len": 394, "generated_len": [ - 4 + 35 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -31233,7 +31233,7 @@ "f1": 0, "em": 0 }, - "predict": " Тоехта.", + "predict": " Тоехта", "sample": { "messages": [ { @@ -31274,17 +31274,17 @@ "info": { "prompt_len": 363, "generated_len": [ - 6 + 35 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0, + "em": 0 }, - "predict": " Северная Кельтма.", + "predict": " Воч", "sample": { "messages": [ { @@ -31343,7 +31343,7 @@ "info": { "prompt_len": 311, "generated_len": [ - 6 + 35 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -31353,7 +31353,7 @@ "f1": 0, "em": 0 }, - "predict": " Пиковский Ёган.", + "predict": " река Пиковский Ёган", "sample": { "messages": [ { @@ -31400,7 +31400,7 @@ "info": { "prompt_len": 233, "generated_len": [ - 8 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -31410,7 +31410,7 @@ "f1": 0, "em": 0 }, - "predict": " Лопань.", + "predict": " Лопань", "sample": { "messages": [ { @@ -31457,17 +31457,17 @@ "info": { "prompt_len": 545, "generated_len": [ - 8 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.33333333333333337, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Рустам Эмомали. В Душанбе, столице Таджикистана, Эрик Заурбекович Амбалов родился.", + "predict": " Рустам Эмомали.", "sample": { "messages": [ { @@ -31508,17 +31508,17 @@ "info": { "prompt_len": 304, "generated_len": [ - 28 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.3, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " И. Р. Метшин. В Казани главой администрации является мэр, должность мэра в городе избирается депутатами Городской думы.", + "predict": " И. Р. Метшин.", "sample": { "messages": [ { @@ -31565,17 +31565,17 @@ "info": { "prompt_len": 465, "generated_len": [ - 28 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.15384615384615385, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Евгений Тефтелев. Александр Анатольевич Тридчиков родился в Челябинске, а в городе, где он является главой администрации, Евгений Тефтелев, должность главы администрации занимает в Челябинске.", + "predict": " Евгений Тефтелев.", "sample": { "messages": [ { @@ -31622,7 +31622,7 @@ "info": { "prompt_len": 374, "generated_len": [ - 39 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -31632,7 +31632,7 @@ "f1": 0, "em": 0 }, - "predict": " Сурхохи.", + "predict": " Сурхохи", "sample": { "messages": [ { @@ -31691,17 +31691,17 @@ "info": { "prompt_len": 364, "generated_len": [ - 39 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.10526315789473684, + "f1": 0.5, "em": 0 }, - "predict": " Городской совет Нижнего Новгорода. Законодательный орган города Нижнего Новгорода, где родилась Елизавета Николаевна Званцева, является Городской Думой.", + "predict": " Городской совет", "sample": { "messages": [ { @@ -31748,7 +31748,7 @@ "info": { "prompt_len": 566, "generated_len": [ - 41 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -31758,7 +31758,7 @@ "f1": 0, "em": 0 }, - "predict": " В стране гражданства Увальдо Луны (Мексика) работает Конгресс. В тексте 2 подробно описан законодательный орган Мексики — Конгресс, состоящий из двухпалатного Сената и Палаты депутатов.", + "predict": " В стране гражданства Увальдо Луны работает Конгресс Мексики.", "sample": { "messages": [ { @@ -31799,7 +31799,7 @@ "info": { "prompt_len": 386, "generated_len": [ - 41 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -31809,7 +31809,7 @@ "f1": 0, "em": 0 }, - "predict": " Гукасян, Вардан Николаевич.", + "predict": " Варданян, Микаел Оганесович", "sample": { "messages": [ { @@ -31856,7 +31856,7 @@ "info": { "prompt_len": 500, "generated_len": [ - 19 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -31866,7 +31866,7 @@ "f1": 0, "em": 0 }, - "predict": " Лемъю. Трипанъёль сливается с рекой Лемъю.", + "predict": " Лемъю.", "sample": { "messages": [ { @@ -31907,17 +31907,17 @@ "info": { "prompt_len": 278, "generated_len": [ - 19 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.1904761904761905, + "f1": 0, "em": 0 }, - "predict": " Парламент Кот-д’Ивуара. Законодательный орган, принимающий законы в государстве Франсуа Зауи, является двухпалатным парламентом.", + "predict": " В государстве, гражданином которого является Франсуа Зауи, принимает законы парламент.", "sample": { "messages": [ { @@ -31958,7 +31958,7 @@ "info": { "prompt_len": 226, "generated_len": [ - 35 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -31968,7 +31968,7 @@ "f1": 0, "em": 0 }, - "predict": " Евгений Авилов, мэр Тулы с 19 марта 2012 года до формирования нового состава Тульской городской Думы в сентябре 2014 года.", + "predict": " Евгений Авилов, мэр города Тула, где родился Александр Иванович Савин.", "sample": { "messages": [ { @@ -32009,7 +32009,7 @@ "info": { "prompt_len": 306, "generated_len": [ - 35 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -32019,7 +32019,7 @@ "f1": 0, "em": 0 }, - "predict": " Пур.\n\nВ реке Сокумарре, притоком которой является река Сокумарре, впадает река Пур. Пур, как указано в данных водного реестра, является основным притоком в Пур, который в свою очередь является главной рекой бассейна реки Пур.", + "predict": " Пур.", "sample": { "messages": [ { @@ -32060,7 +32060,7 @@ "info": { "prompt_len": 298, "generated_len": [ - 51 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -32070,7 +32070,7 @@ "f1": 0.6666666666666666, "em": 0 }, - "predict": " Городская Дума Нижнего Новгорода.", + "predict": " Городская Дума Нижнего Новгорода", "sample": { "messages": [ { @@ -32117,7 +32117,7 @@ "info": { "prompt_len": 348, "generated_len": [ - 51 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -32127,7 +32127,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Олий Мажлис Республики Узбекистан.", + "predict": " Олий Мажлис Республики Узбекистан", "sample": { "messages": [ { @@ -32180,7 +32180,7 @@ "info": { "prompt_len": 514, "generated_len": [ - 10 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -32190,7 +32190,7 @@ "f1": 0, "em": 0 }, - "predict": " Дамир-Апаранчай.", + "predict": " Дамир-Апаранчай", "sample": { "messages": [ { @@ -32231,17 +32231,17 @@ "info": { "prompt_len": 395, "generated_len": [ - 10 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0, + "em": 0 }, - "predict": " Клязьма.", + "predict": " Лух", "sample": { "messages": [ { @@ -32294,17 +32294,17 @@ "info": { "prompt_len": 284, "generated_len": [ - 57 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.125, + "f1": 0.2222222222222222, "em": 0 }, - "predict": " Проклетие (гора Езерца).\n\nНаивысшая точка горного массива Проклетие, на границе Албании, Черногории и Сербии (Косово), составляет 2692 метра. Это место является наивысшей точкой горного хребта, к которому принадлежит Руговское ущелье.", + "predict": " Проклетие.\n\nНаивысшая точка горного хребта Проклетие, к которому принадлежит Руговское ущелье, является гора Езерца (2692 метра).", "sample": { "messages": [ { @@ -32345,7 +32345,7 @@ "info": { "prompt_len": 406, "generated_len": [ - 57 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -32355,7 +32355,7 @@ "f1": 0, "em": 0 }, - "predict": " Варданян, Микаел Оганесович.", + "predict": " Варданян, Микаел Оганесович", "sample": { "messages": [ { @@ -32402,17 +32402,17 @@ "info": { "prompt_len": 370, "generated_len": [ - 40 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.13333333333333333, + "f1": 0.6666666666666666, "em": 0 }, - "predict": " Городской думы Нижнего Новгорода работает в городе, где родился Александр Михайлович Прилуцкий. Нижегородский кремль, расположенный в центре Нижнего Новгорода, является официальной резиденцией Городской думы и правительства Нижегородской области.", + "predict": " Городской думы Нижнего Новгорода.", "sample": { "messages": [ { @@ -32459,7 +32459,7 @@ "info": { "prompt_len": 420, "generated_len": [ - 40 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -32469,7 +32469,7 @@ "f1": 0.5, "em": 0 }, - "predict": " Малая Горная Обь.", + "predict": " Малая Горная Обь", "sample": { "messages": [ { @@ -32516,7 +32516,7 @@ "info": { "prompt_len": 182, "generated_len": [ - 20 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -32526,7 +32526,7 @@ "f1": 0, "em": 0 }, - "predict": " Глава государства в Российской империи, гражданином которой был Михаил Иванович Соколов, занимал императорский титул.", + "predict": " Михаил Иванович Соколов занимал должность императора России.", "sample": { "messages": [ { @@ -32567,7 +32567,7 @@ "info": { "prompt_len": 246, "generated_len": [ - 20 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -32577,7 +32577,7 @@ "f1": 0, "em": 0 }, - "predict": " Нугрь. Река Машок втекает в Нугрь.", + "predict": " Машок сливается с рекой Нугр.", "sample": { "messages": [ { @@ -32624,17 +32624,17 @@ "info": { "prompt_len": 330, "generated_len": [ - 16 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.4, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Большой совет, созываемый с начала существования Венецианской республики.", + "predict": " Большой совет.", "sample": { "messages": [ { @@ -32675,7 +32675,7 @@ "info": { "prompt_len": 848, "generated_len": [ - 16 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -32685,7 +32685,7 @@ "f1": 0, "em": 0 }, - "predict": " Тавойоки.", + "predict": " Тавойоки", "sample": { "messages": [ { @@ -32796,10 +32796,10 @@ } { "metric": { - "f1": 0.8, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Титул Император Всероссийский.", + "predict": " Император Всероссийский.", "sample": { "messages": [ { @@ -32846,7 +32846,7 @@ "info": { "prompt_len": 315, "generated_len": [ - 7 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -32856,7 +32856,7 @@ "f1": 0, "em": 0 }, - "predict": " Айва.", + "predict": " Айва", "sample": { "messages": [ { @@ -32897,7 +32897,7 @@ "info": { "prompt_len": 251, "generated_len": [ - 7 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -32907,7 +32907,7 @@ "f1": 0, "em": 0 }, - "predict": " Толкуляй сливается с рекой Большая Азясь.", + "predict": " Большая Азясь.", "sample": { "messages": [ { @@ -32954,17 +32954,17 @@ "info": { "prompt_len": 223, "generated_len": [ - 34 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.25, + "f1": 0.375, "em": 0 }, - "predict": " Лебедев Денис Юрьевич. В городе, где родился Виталий Дмитриевич Бутерин, Коломна, его главой администрации в 2016 году был Лебедев Денис Юрьевич.", + "predict": " В городе, где родился Виталик Бутерин, его главой администрации является Лебедев Денис Юрьевич.", "sample": { "messages": [ { @@ -33011,17 +33011,17 @@ "info": { "prompt_len": 332, "generated_len": [ - 34 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.13333333333333333, + "f1": 0, "em": 0 }, - "predict": " Город Мариуполь, где родился и работал Пётр Иванович Васильев, принимает законы через Мариупольский горсовет.", + "predict": " Город Мариуполь, где родился Пётр Иванович Васильев, имеет статус городского самоуправления.", "sample": { "messages": [ { @@ -33068,17 +33068,17 @@ "info": { "prompt_len": 343, "generated_len": [ - 26 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Аварское Койсу.", + "predict": " Сулак", "sample": { "messages": [ { @@ -33125,17 +33125,17 @@ "info": { "prompt_len": 444, "generated_len": [ - 26 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.05128205128205127, + "f1": 0, "em": 0 }, - "predict": " Согла��но тексту, Марк Ноний Суфенат занимал должность квестора. Квесторы в Древнем Риме имели уголовную юрисдикцию, то есть юрисдикцию по уголовным делам. Следовательно, юрисдикция Марка Нония Суфената распространялась на территорию Рима и его ближайших провинций, включая Римскую Испанию и", + "predict": " В силу занимаемого поста претора Марк Ноний Суфенат имел юрисдикцию в пределах территории Римской империи, включая Рим и его окрестности.", "sample": { "messages": [ { @@ -33182,7 +33182,7 @@ "info": { "prompt_len": 332, "generated_len": [ - 64 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -33239,7 +33239,7 @@ "info": { "prompt_len": 377, "generated_len": [ - 64 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -33249,7 +33249,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Парламент.", + "predict": " Парламент", "sample": { "messages": [ { @@ -33296,7 +33296,7 @@ "info": { "prompt_len": 664, "generated_len": [ - 6 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -33306,7 +33306,7 @@ "f1": 0, "em": 0 }, - "predict": " Войтоловка.", + "predict": " Войтоловка", "sample": { "messages": [ { @@ -33353,7 +33353,7 @@ "info": { "prompt_len": 248, "generated_len": [ - 6 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -33363,7 +33363,7 @@ "f1": 0, "em": 0 }, - "predict": " Хайдун и Ночная.", + "predict": " Хайдун и Ночная", "sample": { "messages": [ { @@ -33410,7 +33410,7 @@ "info": { "prompt_len": 370, "generated_len": [ - 7 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -33420,7 +33420,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Немда.", + "predict": " Немда", "sample": { "messages": [ { @@ -33467,17 +33467,17 @@ "info": { "prompt_len": 275, "generated_len": [ - 7 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.7499999999999999, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Ереванский городской совет, в Ереване.", + "predict": " Ереванский городской совет.", "sample": { "messages": [ { @@ -33524,17 +33524,17 @@ "info": { "prompt_len": 239, "generated_len": [ - 14 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.7368421052631579, + "f1": 0, "em": 0 }, - "predict": " в д. Ташсу Казанского уезда Казанской губернии, Россия.", + "predict": " в Казани", "sample": { "messages": [ { @@ -33581,7 +33581,7 @@ "info": { "prompt_len": 602, "generated_len": [ - 14 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -33591,7 +33591,7 @@ "f1": 0, "em": 0 }, - "predict": " Лепля.", + "predict": " Лепля", "sample": { "messages": [ { @@ -33632,7 +33632,7 @@ "info": { "prompt_len": 223, "generated_len": [ - 21 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -33642,7 +33642,7 @@ "f1": 0, "em": 0 }, - "predict": " Юм.\nМаркова Речка, как указано в первом тексте, впадает в реку Юм.", + "predict": " Юм.", "sample": { "messages": [ { @@ -33695,7 +33695,7 @@ "info": { "prompt_len": 229, "generated_len": [ - 21 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -33705,7 +33705,7 @@ "f1": 0, "em": 0 }, - "predict": " Федеральный парламент Бельгии.", + "predict": " Федеральный парламент.", "sample": { "messages": [ { @@ -33746,7 +33746,7 @@ "info": { "prompt_len": 312, "generated_len": [ - 8 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -33756,7 +33756,7 @@ "f1": 0, "em": 0 }, - "predict": " Безбабченко, Андрей Иванович.", + "predict": " Костырко, Виктор Иванович", "sample": { "messages": [ { @@ -33803,7 +33803,7 @@ "info": { "prompt_len": 335, "generated_len": [ - 8 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -33866,17 +33866,17 @@ "info": { "prompt_len": 394, "generated_len": [ - 11 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.5714285714285715, + "f1": 0.6666666666666666, "em": 0 }, - "predict": " Городская Дума Нижнего Новгорода, Горький.", + "predict": " Городская Дума Нижнего Новгорода", "sample": { "messages": [ { @@ -33923,7 +33923,7 @@ "info": { "prompt_len": 350, "generated_len": [ - 11 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -33933,7 +33933,7 @@ "f1": 0, "em": 0 }, - "predict": " Вага.", + "predict": " Вага", "sample": { "messages": [ { @@ -33980,17 +33980,17 @@ "info": { "prompt_len": 313, "generated_len": [ - 64 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.08695652173913045, + "f1": 0.16666666666666669, "em": 0 }, - "predict": " Евгений Тефтелев. В Челябинске Евгений Тефтелев является главой администрации, и его деятельность связана с вопросами дорожной инфраструктуры, что, возможно, косвенно затрагивает качество городских дорог, что в контексте представленных текстов может косвенно коснуться его отношения с городом, где родился Николай Глазков. Тем не менее, не", + "predict": " Евгений Тефтелев. В тексте 2, где описывается Челябинск, говорится о том, что глава города Евгений Тефтелев подвергся критике за неудовлетворительную дорожную инфраструктуру.", "sample": { "messages": [ { @@ -34037,17 +34037,17 @@ "info": { "prompt_len": 443, "generated_len": [ - 64 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2222222222222222, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Евгений Васильевич Маслов. В городе, где родился Рубин Кабирович Абдуллин — Йошкар-Ола, главой администрации (мэр) с 28 декабря 2015 года является Евгений Васильевич Маслов.", + "predict": " Евгений Васильевич Маслов", "sample": { "messages": [ { @@ -34094,7 +34094,7 @@ "info": { "prompt_len": 352, "generated_len": [ - 47 + 29 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -34104,7 +34104,7 @@ "f1": 0, "em": 0 }, - "predict": " Безбабченко, Андрей Иванович.", + "predict": " Безбабченко, Андрей Иванович", "sample": { "messages": [ { @@ -34151,7 +34151,7 @@ "info": { "prompt_len": 527, "generated_len": [ - 47 + 29 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -34161,7 +34161,7 @@ "f1": 0, "em": 0 }, - "predict": " Карсон-Сити. В тексте 1 указано, что Карсон-Сити — столица штата Невада и самый большой город в нем, а в тексте 2, где описывается биография Стивена Сайсолака, сообщается, что он родился в городе Ка��сон-Сити.", + "predict": " Карсон-Сити.", "sample": { "messages": [ { @@ -34202,7 +34202,7 @@ "info": { "prompt_len": 374, "generated_len": [ - 58 + 29 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -34212,7 +34212,7 @@ "f1": 0, "em": 0 }, - "predict": " Лок сабха (Народная палата).\n\nВ первом тексте Хариш Ханде называется индийским социальным предпринимателем, основателем компании SELCO India, занимающейся электрификацией бедных районов Индии. Во втором тексте законодательная власть Индии называется Лок сабха (Народная палата).", + "predict": " Верховный суд Индии.", "sample": { "messages": [ { @@ -34259,7 +34259,7 @@ "info": { "prompt_len": 506, "generated_len": [ - 58 + 29 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -34269,7 +34269,7 @@ "f1": 0, "em": 0 }, - "predict": " Нюролька.", + "predict": " Нюролька", "sample": { "messages": [ { @@ -34316,7 +34316,7 @@ "info": { "prompt_len": 221, "generated_len": [ - 6 + 29 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -34373,7 +34373,7 @@ "info": { "prompt_len": 221, "generated_len": [ - 6 + 29 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -34383,7 +34383,7 @@ "f1": 0, "em": 0 }, - "predict": " Ик. Река Усень втекает в Нижнекамское водохранилище, которое образовалось из слияния с рекой Ик.", + "predict": " Ик.", "sample": { "messages": [ { @@ -34436,7 +34436,7 @@ "info": { "prompt_len": 391, "generated_len": [ - 26 + 29 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -34446,7 +34446,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Ереванский городской совет.", + "predict": " Ереванский городской совет", "sample": { "messages": [ { @@ -34493,7 +34493,7 @@ "info": { "prompt_len": 228, "generated_len": [ - 26 + 29 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -34503,7 +34503,7 @@ "f1": 0, "em": 0 }, - "predict": " Сирийская Арабская Республика.", + "predict": " Вице-президент", "sample": { "messages": [ { @@ -34550,7 +34550,7 @@ "info": { "prompt_len": 279, "generated_len": [ - 26 + 29 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -34560,7 +34560,7 @@ "f1": 0, "em": 0 }, - "predict": " В Российской империи должность главы государства была царской властью, чьим гражданином был Фёдор Михайлович Цомакион.", + "predict": " В Российской империи должность главы государства была императором.", "sample": { "messages": [ { @@ -34601,7 +34601,7 @@ "info": { "prompt_len": 236, "generated_len": [ - 26 + 29 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -34611,7 +34611,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Рустам Эмомали.", + "predict": " Рустам Эмомали", "sample": { "messages": [ { @@ -34652,7 +34652,7 @@ "info": { "prompt_len": 333, "generated_len": [ - 26 + 29 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -34662,7 +34662,7 @@ "f1": 0, "em": 0 }, - "predict": " Законодательный орган государства, гражданином которого является Джо Мадиат, называется Лок сабха (Народная палата).", + "predict": " Законодательный орган государства, гражданином которого является Джо Мадиат, называется \"Лок сабха\" (Народная палата).", "sample": { "messages": [ { @@ -34709,7 +34709,7 @@ "info": { "prompt_len": 643, "generated_len": [ - 26 + 29 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -34719,7 +34719,7 @@ "f1": 0, "em": 0 }, - "predict": " Законодательный орган города, где умер Наири Зарьян, является Ереванский городской совет (городской совет Еревана). Главой совета в данном случае является мэр Еревана.", + "predict": " Городской совет", "sample": { "messages": [ { @@ -34760,17 +34760,17 @@ "info": { "prompt_len": 313, "generated_len": [ - 38 + 29 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Губернатор Тульской области.", + "predict": " Алексей Дюмин", "sample": { "messages": [ { @@ -34811,17 +34811,17 @@ "info": { "prompt_len": 179, "generated_len": [ - 38 + 29 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Евгений Виллиевич Вальц, будучи уроженцем Душанбе, столицы Таджикистана, является главой администрации в Душанбе. В данном контексте Душанбе — столица Таджикистана, а не город, где родился Евгений Виллиевич Вальц.", + "predict": " Рустам Эмомали.", "sample": { "messages": [ { @@ -34862,17 +34862,17 @@ "info": { "prompt_len": 513, "generated_len": [ - 64 + 29 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.052631578947368425, + "f1": 0, "em": 0 }, - "predict": " Еринат.\nВ первом тексте Еринат называется \"левый приток реки Большой Абакан\", а во втором тексте Большой Абакан — \"один из главных притоков\" Еринаты. Следовательно, Еринат является притоком Большой Абакан, а в свою очередь Большой Абакан — приток", + "predict": " Еринат.", "sample": { "messages": [ { @@ -34913,17 +34913,17 @@ "info": { "prompt_len": 670, "generated_len": [ - 64 + 29 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.15789473684210528, + "f1": 0.35294117647058826, "em": 0 }, - "predict": " Лебедев Денис Юрьевич.\n\nВ документе 2, посвящённом Коломне, говорится, что 3 ноября 2016 года на заседании совета депутатов Коломны главой городского округа был избран Денис Юрьевич Лебедев. Ранее, в 2017 году, Коломна стала муниципальным округом,", + "predict": " В Коломне, городе, где родился Геннадий Васильевич Киселёв, глава администрации является Денис Юрьевич Лебедев.", "sample": { "messages": [ { @@ -34970,7 +34970,7 @@ "info": { "prompt_len": 336, "generated_len": [ - 64 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -35021,17 +35021,17 @@ "info": { "prompt_len": 387, "generated_len": [ - 64 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.1142857142857143, + "f1": 0.4, "em": 0 }, - "predict": " Городской думы Нижнего Новгорода и правительство Нижегородской области. Михаил Александрович Костюков родился в Нижнем Новгороде, который с 1932 по 1990 год назывался Горьком, и в настоящее время является городом областного подчинения Нижегородской области.", + "predict": " Городской думы Нижнего Новгорода и правительство Нижегородской области.", "sample": { "messages": [ { @@ -35078,17 +35078,17 @@ "info": { "prompt_len": 473, "generated_len": [ - 50 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2857142857142857, + "f1": 0.5, "em": 0 }, - "predict": " В городе, где умер Юрий Александрович Дементьев, законодательный орган называется Городская Дума.", + "predict": " Городской совет", "sample": { "messages": [ { @@ -35135,17 +35135,17 @@ "info": { "prompt_len": 482, "generated_len": [ - 50 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.1111111111111111, + "f1": 0.3076923076923077, "em": 0 }, - "predict": " Команда, за тренировки которой отвечает Крис Саттон, выступает в Лиге 1. Это указано в первом тексте, где говорится: \"В настоящее время выступает в Лиге 1, третьем по значимости дивизионе в системе футбольных лиг Англии.\"", + "predict": " Команда, за тренировки которой отвечает Крис Саттон, играет в Лиге 1.", "sample": { "messages": [ { @@ -35186,7 +35186,7 @@ "info": { "prompt_len": 425, "generated_len": [ - 47 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -35196,7 +35196,7 @@ "f1": 0, "em": 0 }, - "predict": " Большой Перекоп. Сермеж впадает в Большой Перекоп.", + "predict": " Большой Перекоп", "sample": { "messages": [ { @@ -35243,7 +35243,7 @@ "info": { "prompt_len": 316, "generated_len": [ - 47 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -35253,7 +35253,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Владимир Владимирович Владимиров.", + "predict": " Владимир Владимирович Владимиров", "sample": { "messages": [ { @@ -35294,7 +35294,7 @@ "info": { "prompt_len": 342, "generated_len": [ - 7 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -35351,7 +35351,7 @@ "info": { "prompt_len": 330, "generated_len": [ - 7 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -35408,7 +35408,7 @@ "info": { "prompt_len": 549, "generated_len": [ - 36 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -35418,7 +35418,7 @@ "f1": 0.21052631578947367, "em": 0 }, - "predict": " Золинген, Германия. Анатолий Резников скончался в возрасте 77 лет 31 января 2018 года в немецком городе Золинген.", + "predict": " Анатолий Резников, режиссёр фильма \"Леопольд и золотая рыбка\", скончался в городе Золинген, Германия, 31 января 2018 года.", "sample": { "messages": [ { @@ -35471,17 +35471,17 @@ "info": { "prompt_len": 330, "generated_len": [ - 36 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.15384615384615385, + "f1": 0, "em": 0 }, - "predict": " Большая Сумульта. \n\nКуруткан — приток Большой Сумульты, впадающей в мутную реку Катунь.", + "predict": " Большая Сумульта.", "sample": { "messages": [ { @@ -35528,7 +35528,7 @@ "info": { "prompt_len": 288, "generated_len": [ - 26 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -35538,7 +35538,7 @@ "f1": 0, "em": 0 }, - "predict": " Городской совет Мариупола.", + "predict": " Мариуполь", "sample": { "messages": [ { @@ -35585,7 +35585,7 @@ "info": { "prompt_len": 329, "generated_len": [ - 26 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -35595,7 +35595,7 @@ "f1": 0, "em": 0 }, - "predict": " Рахбара.", + "predict": " Президент", "sample": { "messages": [ { @@ -35642,17 +35642,17 @@ "info": { "prompt_len": 702, "generated_len": [ - 64 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.16666666666666669, "em": 0 }, - "predict": " Глава государства, ставший местом смерти Муаза ибн Джабаля, — халифат (или халифат). Му'аз ибн Джабаль был одним из первых халифов, принявших власть после смерти пророка Мухаммеда. Его могила в Иордании стала местом паломничества и почитания, что связано с его", + "predict": " Глава государства, ставшего местом смерти Муаза ибн Джабаля, занимает должность президента.", "sample": { "messages": [ { @@ -35699,17 +35699,17 @@ "info": { "prompt_len": 319, "generated_len": [ - 64 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.09302325581395349, + "f1": 0, "em": 0 }, - "predict": " В регионе, где родился Александр Николаевич Ситковский (Ставропольский край), исполняющим обязанности губернатора с 2013 года был Валерий Владимирович Владимиров, а в 2014 году избран губернатором. Таким образом, в Ставропольском крае в данный момент действует исполнительный орган власти — должность губернатора.", + "predict": " Вале́рий Вени́лийович Гаев́ковский является главой администрации в регионе, где родился Александр Николаевич Ситковский.", "sample": { "messages": [ { @@ -35750,17 +35750,17 @@ "info": { "prompt_len": 301, "generated_len": [ - 64 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.6666666666666666, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Городская Дума Нижнего Новгорода.", + "predict": " Городская Дума.", "sample": { "messages": [ { @@ -35807,17 +35807,17 @@ "info": { "prompt_len": 261, "generated_len": [ - 64 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2222222222222222, + "f1": 0.35294117647058826, "em": 0 }, - "predict": " Глава администрации в Казани, где родился Андрей Олегович Макаров, является мэром. Мэр Казани И. Р. Метшин занимает эту должность с 17 ноября 2005 года.", + "predict": " И. Р. Метшин является главой администрации в городе Казани, где родился Андрей Олегович Макаров.", "sample": { "messages": [ { @@ -35858,7 +35858,7 @@ "info": { "prompt_len": 321, "generated_len": [ - 41 + 21 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -35868,7 +35868,7 @@ "f1": 1.0, "em": 1 }, - "predict": " И. Р. Метшин.", + "predict": " И. Р. Метшин", "sample": { "messages": [ { @@ -35909,7 +35909,7 @@ "info": { "prompt_len": 336, "generated_len": [ - 41 + 21 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -35919,7 +35919,7 @@ "f1": 0, "em": 0 }, - "predict": " Виктор Сафьянов. В тексте 2 указано, что с 2010 по 2012 год в городе Орёл занимал должность главы администрации Василий Сафьянов.", + "predict": " Василий Новиков.", "sample": { "messages": [ { @@ -35960,7 +35960,7 @@ "info": { "prompt_len": 684, "generated_len": [ - 38 + 21 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -35970,7 +35970,7 @@ "f1": 0, "em": 0 }, - "predict": " Койбыш сливается с рекой Иня.", + "predict": " Иня.", "sample": { "messages": [ { @@ -36017,17 +36017,17 @@ "info": { "prompt_len": 316, "generated_len": [ - 38 + 21 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.1, + "f1": 0.6666666666666666, "em": 0 }, - "predict": " Городской совет Нижнего Новгорода. \n\nВладимир Николаевич Воробьев родился в Нижнем Новгороде, который с 1932 по 1990 год назывался Горьком. Нижегородский кремль, являющийся официальной резиденцией Городской думы Нижнего Новгорода, является законодческим органом местного самоуправления, центром местного самоуправления в городе.", + "predict": " Городская Дума Нижнего Новгорода.", "sample": { "messages": [ { @@ -36074,7 +36074,7 @@ "info": { "prompt_len": 425, "generated_len": [ - 64 + 21 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -36084,7 +36084,7 @@ "f1": 0, "em": 0 }, - "predict": " Глава государства в Исламской Республике Иран — президент. В тексте 2 четко указано, что президент является \"гарантированным конституцией главой исполнительной власти\" и \"назначает членов Совета министров и координирует работу правительства\". Таким образом, президент занимает высшую государственную должность в Иране, гражданином страны могла быть и Марина Кал", + "predict": " Глава государства в Иране, гражданкой которой была Марьян Калхор, занимает должность президента.", "sample": { "messages": [ { @@ -36131,17 +36131,17 @@ "info": { "prompt_len": 536, "generated_len": [ - 64 + 21 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2222222222222222, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " И. Р. Метшин является главой администрации в городе Казани, где умер актёр Наиль Шамсутдинович Шайхутдинов. Метшин занимает эту должность с 17 ноября 2005 года.", + "predict": " И. Р. Метшин.", "sample": { "messages": [ { @@ -36182,17 +36182,17 @@ "info": { "prompt_len": 331, "generated_len": [ - 49 + 21 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.18181818181818182, + "f1": 0, "em": 0 }, - "predict": " Премьер-лига. Тренер Андрис Йонкер работал с клубом \"Арсенал\" в Премьер-лиге.", + "predict": " Премьер-лига", "sample": { "messages": [ { @@ -36233,7 +36233,7 @@ "info": { "prompt_len": 567, "generated_len": [ - 49 + 21 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -36243,7 +36243,7 @@ "f1": 1.0, "em": 1 }, - "predict": " И. Р. Метшин.", + "predict": " И. Р. Метшин", "sample": { "messages": [ { @@ -36284,17 +36284,17 @@ "info": { "prompt_len": 313, "generated_len": [ - 58 + 21 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.058823529411764705, + "f1": 0, "em": 0 }, - "predict": " Законодательный орган, принимающий законы в государстве, гражданином которого является Селина Джейтли (индийская актриса и ф��томодель), — это парламент Индии. Этот парламент состоит из верхней палаты \"Раджья сабха\" и нижней палаты \"Лок сабхи\".", + "predict": " Верховный суд Индии.", "sample": { "messages": [ { @@ -36341,7 +36341,7 @@ "info": { "prompt_len": 599, "generated_len": [ - 58 + 21 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -36351,7 +36351,7 @@ "f1": 0, "em": 0 }, - "predict": " Мокрая Чеварда. Сухая Чеварда впадает в Мокрую Чевраду.", + "predict": " Мокрая Чеварда.", "sample": { "messages": [ { @@ -36398,17 +36398,17 @@ "info": { "prompt_len": 348, "generated_len": [ - 22 + 21 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Юрий Цкипури. Глава администрации Тулы, который сменил Евгения Авилова в должности мэра.", + "predict": " Евгений Авилов", "sample": { "messages": [ { @@ -36449,17 +36449,17 @@ "info": { "prompt_len": 442, "generated_len": [ - 22 + 21 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.06451612903225806, + "f1": 0, "em": 0 }, - "predict": " Альгология изучает водоросли как биологическую группу, изучая их морфологию, биология и экологию. Голлербах, ученик А. А. Еленкина, посвятил свою научную деятельность изучению альгологии, в том числе морфологии и систематики водорослей.", + "predict": " Альгология.", "sample": { "messages": [ { @@ -36500,7 +36500,7 @@ "info": { "prompt_len": 333, "generated_len": [ - 59 + 21 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -36510,7 +36510,7 @@ "f1": 0, "em": 0 }, - "predict": " Большая Золотанка сливается с рекой Улс. Устье Большая Золотанка находится в 11 км по левому берегу реки Улс.", + "predict": " Большая Золотанка сливается с рекой Улс.", "sample": { "messages": [ { @@ -36551,7 +36551,7 @@ "info": { "prompt_len": 193, "generated_len": [ - 59 + 21 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -36561,7 +36561,7 @@ "f1": 0, "em": 0 }, - "predict": " Безбабченко, Андрей Иванович. Он занимал должность главы администрации Тирасполя с 24 января 2012 года по 28 сентября 2016 года.", + "predict": " Безбабченко, Андрей Иванович", "sample": { "messages": [ { @@ -36608,17 +36608,17 @@ "info": { "prompt_len": 580, "generated_len": [ - 41 + 21 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.24000000000000002, + "f1": 0.4, "em": 0 }, - "predict": " Александр Сергиенко. Евгений Иванович Постников родился в городе Старый Оскол, административный центр Старооскольского городского округа, где сейчас возглавляет администрацию А. Н. Сергиенко.", + "predict": " Александр Сергиенко.", "sample": { "messages": [ { @@ -36659,7 +36659,7 @@ "info": { "prompt_len": 289, "generated_len": [ - 41 + 21 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -36669,7 +36669,7 @@ "f1": 0, "em": 0 }, - "predict": " Белая. Рамитница сливается с рекой Белая.", + "predict": " Белая.", "sample": { "messages": [ { @@ -36710,17 +36710,17 @@ "info": { "prompt_len": 222, "generated_len": [ - 29 + 32 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.375, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Законодательный орган города Еревана, где родился Микаэл Мовсесович Погосян, называется Ереванский городской совет.", + "predict": " Ереванский городской совет.", "sample": { "messages": [ { @@ -36767,7 +36767,7 @@ "info": { "prompt_len": 286, "generated_len": [ - 29 + 32 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -36777,7 +36777,7 @@ "f1": 0, "em": 0 }, - "predict": " Законодательный орган, принимающий законы в государстве Шарль Бельгийский, является парламент (верхняя палата парламента Бельгийского королевства — Сенат).", + "predict": " Федеральный парламент.", "sample": { "messages": [ { @@ -36830,7 +36830,7 @@ "info": { "prompt_len": 431, "generated_len": [ - 31 + 32 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -36881,7 +36881,7 @@ "info": { "prompt_len": 296, "generated_len": [ - 31 + 32 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -36891,7 +36891,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Большой совет.", + "predict": " Большой совет", "sample": { "messages": [ { @@ -36938,7 +36938,7 @@ "info": { "prompt_len": 604, "generated_len": [ - 41 + 32 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -36948,7 +36948,7 @@ "f1": 0, "em": 0 }, - "predict": " Город Мариуполь, куда умер Иван Никандрович Просвирнин, имеет статус городского округа Донецкой области Украины. Законодательный орган, принимающий законы в таких городах, является горсовет.", + "predict": " Город Мариуполь принимает законы.", "sample": { "messages": [ { @@ -36989,17 +36989,17 @@ "info": { "prompt_len": 486, "generated_len": [ - 41 + 32 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2608695652173913, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " И. Р. Метшин. Сара Гарифовна Садыкова родилась в Казани, а в городе Казани, где она выросла, главой администрации является мэр.", + "predict": " И. Р. Метшин.", "sample": { "messages": [ { @@ -37040,17 +37040,17 @@ "info": { "prompt_len": 438, "generated_len": [ - 33 + 32 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.3157894736842105, + "f1": 0.5, "em": 0 }, - "predict": " Город Ереван, где родилась Гоар Агабековна Енокян, законодательный орган, осуществляющий власть, — это Ереванский городской совет.", + "predict": " Город Ереван имеет законодательный орган — Ереванский городской совет.", "sample": { "messages": [ { @@ -37097,7 +37097,7 @@ "info": { "prompt_len": 465, "generated_len": [ - 33 + 32 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -37107,7 +37107,7 @@ "f1": 0, "em": 0 }, - "predict": " Северная Двина.\n\nИсточник данных показывает, что Шудог — приток Вычеги, а Вычегияйская речка относится к бассейну Северной Двины. Следовательно, Шудог впадает в Северную Двину.", + "predict": " Шудог.", "sample": { "messages": [ { @@ -37148,17 +37148,17 @@ "info": { "prompt_len": 278, "generated_len": [ - 46 + 32 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.15384615384615385, + "f1": 0.5, "em": 0 }, - "predict": " Городской совет Нижнего Новгорода. Андрей Глебович Покровский умер в Нижнем Новгороде, и законодательный орган, принимающий законы в этом городе, является Городской думы Нижнего Новгорода.", + "predict": " Городской Совет.", "sample": { "messages": [ { @@ -37205,17 +37205,17 @@ "info": { "prompt_len": 416, "generated_len": [ - 46 + 32 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.06060606060606061, + "f1": 0.6666666666666666, "em": 0 }, - "predict": " Федеральный парламент Бельгии принимает законы в государстве, гражданином которого является Филип Вольтер. В тексте 2 подробно описывается политическая система Бельгии, в том числе ее парламент и его полномочия, включая компетенцию принимать законы.", + "predict": " Федеральный парламент.", "sample": { "messages": [ { @@ -37262,17 +37262,17 @@ "info": { "prompt_len": 348, "generated_len": [ - 41 + 32 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.06451612903225806, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Мэр Казани. В Казани, как и в целом в Республике Татарстан, должность мэра избираема через Городскую Думу, а ее полномочия включают руководство городским управлением и исполнение местного законодательства.", + "predict": " И. Р. Метшин.", "sample": { "messages": [ { @@ -37313,7 +37313,7 @@ "info": { "prompt_len": 270, "generated_len": [ - 41 + 32 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -37364,17 +37364,17 @@ "info": { "prompt_len": 326, "generated_len": [ - 46 + 32 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.18181818181818182, + "f1": 0.35294117647058826, "em": 0 }, - "predict": " В Павлодарской области, где родился Аманулла Габдулхаевич Рамазанов, главой администрации является Бакыбаев Булат Жумабекович с 25 марта 2016 года.", + "predict": " В регионе, где родился Аманулла Габдулхаевич Рамазанов, его главой администрации является Скаков Абылкаир Бактыбаевич.", "sample": { "messages": [ { @@ -37433,17 +37433,17 @@ "info": { "prompt_len": 312, "generated_len": [ - 46 + 32 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.047619047619047616, + "f1": 0, "em": 0 }, - "predict": " Кеть. В первом тексте указано, что Кеть — правый приток Оби, а в другом тексте, где говорится о Чаршан, указывается, что Чаршан — приток Кеть. Таким образом, Чаршан питается от реки Кеть, а Кеть в свою очередь питается от реки Оби,", + "predict": " Чаршан.", "sample": { "messages": [ { @@ -37490,7 +37490,7 @@ "info": { "prompt_len": 383, "generated_len": [ - 64 + 32 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -37500,7 +37500,7 @@ "f1": 0, "em": 0 }, - "predict": " Мариуполь. Согласно тексту 2, Мариуполь — это название города, в котором умер Андрей Яковлевич Булыгин, и он является центром Мариупольской агломерации.", + "predict": " Мариуполь.", "sample": { "messages": [ { @@ -37547,7 +37547,7 @@ "info": { "prompt_len": 301, "generated_len": [ - 64 + 32 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -37557,7 +37557,7 @@ "f1": 0, "em": 0 }, - "predict": " Река Джихикалты сливается с рекой Калакором.", + "predict": " Калакор сливается с рекой Джихикалты.", "sample": { "messages": [ { @@ -37598,7 +37598,7 @@ "info": { "prompt_len": 441, "generated_len": [ - 14 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -37608,7 +37608,7 @@ "f1": 0, "em": 0 }, - "predict": " Яуза.", + "predict": " Яуза", "sample": { "messages": [ { @@ -37649,7 +37649,7 @@ "info": { "prompt_len": 268, "generated_len": [ - 14 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -37659,7 +37659,7 @@ "f1": 0, "em": 0 }, - "predict": " городской совет Армении.", + "predict": " Городской совет.", "sample": { "messages": [ { @@ -37700,17 +37700,17 @@ "info": { "prompt_len": 515, "generated_len": [ - 56 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.07142857142857142, + "f1": 0.5, "em": 0 }, - "predict": " Анай-Муди является наивысшей точкой гор, среди которых расположены Кардамоновы горы. Анай-Муди (2695 м) является высшей точкой Индии к югу от Гималаев, в частности, в пределах Кардамоновых гор.", + "predict": " Анай-Муди (2695 м).", "sample": { "messages": [ { @@ -37751,7 +37751,7 @@ "info": { "prompt_len": 470, "generated_len": [ - 56 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -37761,7 +37761,7 @@ "f1": 0, "em": 0 }, - "predict": " Город Мариуполь, где умерла Наталья Никитична Юргенс, подчиняется законодательству Донецкой области Украины. Законодательный орган Донецкой области — это Законодательный Совет Донецкой области.", + "predict": " Город Мариуполь, где умерла Наталья Никитична Юргенс, не имеет собственного законодательного органа, который принимал законы. В Мариуполе действует городской совет, который является исполнительным органом местного самоуправления. Законодательный орган города — это областной парламент Донецкой области Украины.", "sample": { "messages": [ { @@ -37808,7 +37808,7 @@ "info": { "prompt_len": 411, "generated_len": [ - 38 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -37818,7 +37818,7 @@ "f1": 0, "em": 0 }, - "predict": " Бисерть.", + "predict": " Бисерть", "sample": { "messages": [ { @@ -37865,7 +37865,7 @@ "info": { "prompt_len": 282, "generated_len": [ - 38 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -37875,7 +37875,7 @@ "f1": 0, "em": 0 }, - "predict": " Безбабченко, Андрей Иванович.", + "predict": " Безбабченко, Андрей Иванович", "sample": { "messages": [ { @@ -37922,7 +37922,7 @@ "info": { "prompt_len": 493, "generated_len": [ - 10 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -37932,7 +37932,7 @@ "f1": 0, "em": 0 }, - "predict": " Нилка сливается с рекой Нерль.", + "predict": " река Тошма.", "sample": { "messages": [ { @@ -37979,7 +37979,7 @@ "info": { "prompt_len": 389, "generated_len": [ - 10 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -37989,7 +37989,7 @@ "f1": 0, "em": 0 }, - "predict": " Пьюкинъёган.", + "predict": " Пьюкинъёган", "sample": { "messages": [ { @@ -38030,17 +38030,17 @@ "info": { "prompt_len": 185, "generated_len": [ - 8 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0.6666666666666666, + "em": 0 }, - "predict": " Император Всероссийский.", + "predict": " Император.", "sample": { "messages": [ { @@ -38099,17 +38099,17 @@ "info": { "prompt_len": 366, "generated_len": [ - 8 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.08888888888888888, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Большой совет. \n\nВ тексте 1 сообщается, что \"в 1172 году был впервые созван Большой совет, состоявший из выборных депутатов, который с тех пор стал высшим совещательным органом власти\". В тексте 2, в разделе \"История\", также говорится, что \"с начала республики общее народное собрание", + "predict": " Большой совет", "sample": { "messages": [ { @@ -38150,7 +38150,7 @@ "info": { "prompt_len": 685, "generated_len": [ - 64 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -38160,7 +38160,7 @@ "f1": 0, "em": 0 }, - "predict": " Сарёда. Река Сарёда сливается с рекой Дикарской Рассоха.", + "predict": " Сарёда", "sample": { "messages": [ { @@ -38201,17 +38201,17 @@ "info": { "prompt_len": 134, "generated_len": [ - 64 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.10526315789473684, + "f1": 0, "em": 0 }, - "predict": " В стране, чьим гражданином был Василий Иванович Покровский, была должность императора. Его звание Император Всероссийский было утверждено Петром I в 1721 году и сохранялось до Февраля 1917 года, когда состоялась Февральская революция и провозглашение Российской империи", + "predict": " В стране, чьим гражданином был Василий Иванович Покровский, была должность министра финансов Российской империи.", "sample": { "messages": [ { @@ -38258,17 +38258,17 @@ "info": { "prompt_len": 511, "generated_len": [ - 64 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.1, + "f1": 0, "em": 0 }, - "predict": " Северный Рейн-Вестфалия. Город Карл Карстенс родился в Бремене, который расположен в Северо-Западной провинции Северного Рейна-Вестфалии.", + "predict": " Северный Рейн-Вестфалия.", "sample": { "messages": [ { @@ -38309,7 +38309,7 @@ "info": { "prompt_len": 429, "generated_len": [ - 64 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -38319,7 +38319,7 @@ "f1": 0, "em": 0 }, - "predict": " Государство, честь которого отстаивал Ян Владимирович Вороговский, было Казахстан. Его родной город Талгар расположен в Казахстане, а он выступал за национальную сборную Казахстана и играл за бельгийский клуб \"Беерсхот\".", + "predict": " Казахстан.", "sample": { "messages": [ { @@ -38366,7 +38366,7 @@ "info": { "prompt_len": 539, "generated_len": [ - 45 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -38376,7 +38376,7 @@ "f1": 0, "em": 0 }, - "predict": " Иша. Река Карагуж питается от реки Иша, которая является ее основным притоком.", + "predict": " Иша.", "sample": { "messages": [ { @@ -38429,17 +38429,17 @@ "info": { "prompt_len": 377, "generated_len": [ - 45 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.25, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Молома. Река Вохомка питается от реки Молома.", + "predict": " Молома.", "sample": { "messages": [ { @@ -38486,7 +38486,7 @@ "info": { "prompt_len": 373, "generated_len": [ - 16 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -38496,7 +38496,7 @@ "f1": 0.3333333333333333, "em": 0 }, - "predict": " Городская Дума Нижнего Новгорода.", + "predict": " Городская Дума Нижнего Новгорода", "sample": { "messages": [ { @@ -38537,17 +38537,17 @@ "info": { "prompt_len": 351, "generated_len": [ - 16 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.14814814814814814, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Евгений Тефтелев. В Челябинске Иван Корнильевич Покровский был депутатом III Государственной Думы и почётным блюстителем городского училища, а также занимал должность главы города Евгения Тефтелева.", + "predict": " Евгений Тефтелев", "sample": { "messages": [ { @@ -38594,7 +38594,7 @@ "info": { "prompt_len": 722, "generated_len": [ - 47 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -38645,17 +38645,17 @@ "info": { "prompt_len": 242, "generated_len": [ - 47 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.4, + "f1": 0.5, "em": 0 }, - "predict": " Нижегородский городской совет.", + "predict": " Городской Совет", "sample": { "messages": [ { @@ -38702,17 +38702,17 @@ "info": { "prompt_len": 386, "generated_len": [ - 9 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Комитеты самоорганизации населения.", + "predict": " Горловский городской совет.", "sample": { "messages": [ { @@ -38753,17 +38753,17 @@ "info": { "prompt_len": 336, "generated_len": [ - 9 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.3333333333333333, + "f1": 0, "em": 0 }, - "predict": " Городская Дума Нижнего Новгорода.", + "predict": " Городская Дума.", "sample": { "messages": [ { @@ -38810,7 +38810,7 @@ "info": { "prompt_len": 396, "generated_len": [ - 7 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -38820,7 +38820,7 @@ "f1": 0, "em": 0 }, - "predict": " Драва.", + "predict": " Драва", "sample": { "messages": [ { @@ -38867,17 +38867,17 @@ "info": { "prompt_len": 237, "generated_len": [ - 7 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.5, + "f1": 0.2, "em": 0 }, - "predict": " Городской совет Нижнего Новгорода.", + "predict": " Городской Совет", "sample": { "messages": [ { @@ -38918,7 +38918,7 @@ "info": { "prompt_len": 630, "generated_len": [ - 7 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -38928,7 +38928,7 @@ "f1": 0, "em": 0 }, - "predict": " Виталий Бахметьев.", + "predict": " Виталий Бахметьев", "sample": { "messages": [ { @@ -38969,17 +38969,17 @@ "info": { "prompt_len": 266, "generated_len": [ - 7 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Мэр.\nВ Казани, городе, где родился Максим Расимович Шарафутдинов, главой администрации является мэр. В тексте 2 указано, что \"Главой города является мэр\", а должность мэра в Казани избирается депутатами Городской думы.", + "predict": " И. Р. Метшин.", "sample": { "messages": [ { @@ -39020,17 +39020,17 @@ "info": { "prompt_len": 322, "generated_len": [ - 62 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.1111111111111111, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Франсуа-Ксавье Виллен. В тексте 2, опубликованном в разделе \"Администрация\", сообщается, что глава администрации в городе Камбре, где умер Эндрю Чарльз Минарски, занимает должность члена партии \"Вставай, Франция\", входящей в блок Союз демократов и независимых.", + "predict": " Франсуа-Ксавье Виллен.", "sample": { "messages": [ { @@ -39071,7 +39071,7 @@ "info": { "prompt_len": 367, "generated_len": [ - 62 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -39081,7 +39081,7 @@ "f1": 1.0, "em": 1 }, - "predict": " И. Р. Метшин.", + "predict": " И. Р. Метшин", "sample": { "messages": [ { @@ -39122,17 +39122,17 @@ "info": { "prompt_len": 356, "generated_len": [ - 40 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2608695652173913, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " И. Р. Метшин. В Казани, где родился Наиль Абдуллович Сахибуллин, мэр избирается депутатами Городской думы и заседает в городской Ратуше.", + "predict": " И. Р. Метшин.", "sample": { "messages": [ { @@ -39173,17 +39173,17 @@ "info": { "prompt_len": 309, "generated_len": [ - 40 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.21428571428571425, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " И. Р. Метшин. В Казани, где родился Мансур Ахметович Музафаров, мэр и глава администрации избирается депутатами Городской думы, а его полномочия раз в пять лет.", + "predict": " И. Р. Метшин.", "sample": { "messages": [ { @@ -39224,17 +39224,17 @@ "info": { "prompt_len": 526, "generated_len": [ - 58 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.15384615384615385, + "f1": 0, "em": 0 }, - "predict": " Юрий Владимирович Галдун. Константин Васильевич Сивков родился в Белгороде, а в городе, где он работал главой администрации, Белгород, в декабре 2009 года занимал 2-е место в номинации \"Лучший глава местной администрации\" на конкурсе \"Лучшее муниципальное образование\".", + "predict": " В декабре 2009 года мэр Белгорода Василий Николаевич Потрясаев занимал 2-е место в номинации \"Лучший глава местной администрации\" на ежегодном конкурсе \"Лучшее муниципальное образование\".", "sample": { "messages": [ { @@ -39275,7 +39275,7 @@ "info": { "prompt_len": 269, "generated_len": [ - 58 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -39285,7 +39285,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Рустам Эмомали.", + "predict": " Рустам Эмомали", "sample": { "messages": [ { @@ -39326,17 +39326,17 @@ "info": { "prompt_len": 345, "generated_len": [ - 26 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2666666666666667, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Рустам Эмомали является главой администрации в городе Душанбе, где родился Акрам Ахматович Джураев.", + "predict": " Рустам Эмомали.", "sample": { "messages": [ { @@ -39377,7 +39377,7 @@ "info": { "prompt_len": 285, "generated_len": [ - 26 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -39428,7 +39428,7 @@ "info": { "prompt_len": 390, "generated_len": [ - 15 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -39438,7 +39438,7 @@ "f1": 0, "em": 0 }, - "predict": " Большой Юган сливается с рекой Угутка.", + "predict": " Большой Юган.", "sample": { "messages": [ { @@ -39485,17 +39485,17 @@ "info": { "prompt_len": 328, "generated_len": [ - 15 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0.6666666666666666, + "em": 0 }, - "predict": " Вятка.", + "predict": " река Вятка", "sample": { "messages": [ { @@ -39542,7 +39542,7 @@ "info": { "prompt_len": 328, "generated_len": [ - 15 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -39552,7 +39552,7 @@ "f1": 0, "em": 0 }, - "predict": " Шиес. Река Вожер сливается с рекой Шиес.", + "predict": " Шиес.", "sample": { "messages": [ { @@ -39599,7 +39599,7 @@ "info": { "prompt_len": 277, "generated_len": [ - 15 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -39609,7 +39609,7 @@ "f1": 0, "em": 0 }, - "predict": " Лок сабха (Народа палата)", + "predict": " Лок сабха (Народная палата)", "sample": { "messages": [ { @@ -39656,7 +39656,7 @@ "info": { "prompt_len": 522, "generated_len": [ - 11 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -39666,7 +39666,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Гонконг.", + "predict": " Гонконг", "sample": { "messages": [ { @@ -39707,17 +39707,17 @@ "info": { "prompt_len": 419, "generated_len": [ - 11 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.08333333333333334, + "f1": 0, "em": 0 }, - "predict": " каталанский язык.\n\nИзвестно, что Изабелла де Вильена была испанской религиозной писательницей, настоятельницей в Валенсии, считавшейся одним из первых авторов на каталанском языке.", + "predict": " каталанский.", "sample": { "messages": [ { @@ -39764,7 +39764,7 @@ "info": { "prompt_len": 441, "generated_len": [ - 43 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -39821,17 +39821,17 @@ "info": { "prompt_len": 330, "generated_len": [ - 43 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.05714285714285715, + "f1": 0.25, "em": 0 }, - "predict": " В Российской империи должность главы государства, чьим гражданином был Сергей Федорович Чубаров, была Императорская должность. Титул Император Всероссийского принадлежал Петру I, последним из 14 императоров, правивших Россией в период с 1721 по 1917 год.", + "predict": " В стране, чьим гражданином был Сергей Федорович Чубаров, должность главы государства занимала Император Всероссийский.", "sample": { "messages": [ { @@ -39884,7 +39884,7 @@ "info": { "prompt_len": 280, "generated_len": [ - 59 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -39894,7 +39894,7 @@ "f1": 0, "em": 0 }, - "predict": " Кисьма.", + "predict": " Кисьма", "sample": { "messages": [ { @@ -39935,17 +39935,17 @@ "info": { "prompt_len": 259, "generated_len": [ - 59 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.35294117647058826, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " И. Р. Метшин. В Казани мэр избирается Городской Думой, а ее председатель — мэр.", + "predict": " И. Р. Метшин", "sample": { "messages": [ { @@ -39986,17 +39986,17 @@ "info": { "prompt_len": 363, "generated_len": [ - 64 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.09756097560975609, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Большой совет. \n\nЗаконодательный орган государства, гражданином которого являлся Маркантонио Бассетти, назывался Большим советом. Этот орган впервые был созван в 1172 году после восстания, в котором погиб дож Витале II Микьель. Большой совет играл важную роль в ограничении власти д", + "predict": " Большой совет", "sample": { "messages": [ { @@ -40037,7 +40037,7 @@ "info": { "prompt_len": 575, "generated_len": [ - 64 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -40047,7 +40047,7 @@ "f1": 0, "em": 0 }, - "predict": " Пысса.", + "predict": " Пысса", "sample": { "messages": [ { @@ -40094,7 +40094,7 @@ "info": { "prompt_len": 227, "generated_len": [ - 9 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -40104,7 +40104,7 @@ "f1": 0, "em": 0 }, - "predict": " Данилюк, Сергей Валерьевич.", + "predict": " Безбабченко, Андрей Иванович", "sample": { "messages": [ { @@ -40151,17 +40151,17 @@ "info": { "prompt_len": 270, "generated_len": [ - 9 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.33333333333333337, + "f1": 0.3076923076923077, "em": 0 }, - "predict": " В Первой лиге играет команда, тренер которой зовут Карол Добиаш.", + "predict": " Команда, тренер которой зовут Карол Добиаш, играет в Первой лиге Чехии.", "sample": { "messages": [ { @@ -40202,17 +40202,17 @@ "info": { "prompt_len": 468, "generated_len": [ - 27 + 25 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.4, "em": 0 }, - "predict": " На территории Тихоокеанского (Тихоокеанского) света находится страна, которую в спорте представлял Хордан Ресабала.", + "predict": " В Южной Америке.", "sample": { "messages": [ { @@ -40253,17 +40253,17 @@ "info": { "prompt_len": 282, "generated_len": [ - 27 + 25 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.06060606060606061, + "f1": 0, "em": 0 }, - "predict": " Большая Сыя.\n\nСливающаяся с Большой Сыей река называется Белый Июс (Пихтерек). В тексте 2, описывая реку Белый Июс, сообщается, что она вливается в Чёрное Июсу, а Чёрное Июс�� — в Ч", + "predict": " Большая Сыя.", "sample": { "messages": [ { @@ -40310,7 +40310,7 @@ "info": { "prompt_len": 405, "generated_len": [ - 64 + 25 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -40361,7 +40361,7 @@ "info": { "prompt_len": 220, "generated_len": [ - 64 + 25 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -40412,17 +40412,17 @@ "info": { "prompt_len": 439, "generated_len": [ - 29 + 25 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Мэр. В Казани, городе, где родилась Евгения Максимовна Тарасова, должность главы администрации занимает мэр, а не Городская Дума.", + "predict": " И. Р. Метшин.", "sample": { "messages": [ { @@ -40463,17 +40463,17 @@ "info": { "prompt_len": 586, "generated_len": [ - 29 + 25 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.14285714285714288, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Астрахань. \n\nБорис Кустодиев, автор \"Группового портрета художников общества «Мир искусства»\", родился в Астрахани.", + "predict": " Астрахань.", "sample": { "messages": [ { @@ -40514,17 +40514,17 @@ "info": { "prompt_len": 570, "generated_len": [ - 30 + 25 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Юрий Цкипури.", + "predict": " Евгений Авилов", "sample": { "messages": [ { @@ -40565,7 +40565,7 @@ "info": { "prompt_len": 522, "generated_len": [ - 30 + 25 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -40575,7 +40575,7 @@ "f1": 0, "em": 0 }, - "predict": " Сарагулка.", + "predict": " Сарагулка", "sample": { "messages": [ { @@ -40616,17 +40616,17 @@ "info": { "prompt_len": 304, "generated_len": [ - 34 + 25 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.18181818181818182, "em": 0 }, - "predict": " Автор произведения \"Зеркало и свет\" — Хилари Мэнтел, фамилия при рождении — Томпсон, родилась она в Глоссопе, Дербишир.", + "predict": " Автор произведения \"Зеркало и свет\" родился в городе Глоссоп, Дербишир.", "sample": { "messages": [ { @@ -40667,17 +40667,17 @@ "info": { "prompt_len": 196, "generated_len": [ - 34 + 25 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.19999999999999998, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Ереван. Согласно тексту, Генрих Гамлетович Мхитарян родился в Ереване.", + "predict": " Ереван.", "sample": { "messages": [ { @@ -40718,7 +40718,7 @@ "info": { "prompt_len": 314, "generated_len": [ - 24 + 25 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -40728,7 +40728,7 @@ "f1": 0, "em": 0 }, - "predict": " Законодательный орган государства, в котором живет Ранвир Сингх Бхавнани, называется парламентом Индии.", + "predict": " Законодательная власть Индии называется парламентом.", "sample": { "messages": [ { @@ -40775,17 +40775,17 @@ "info": { "prompt_len": 549, "generated_len": [ - 24 + 25 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.21052631578947367, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Городская Дума. В нижегородском городе Нижний Новгород, где умер Тимофей Фёдорович Ковалёв, законодательный орган называется Городская Дума.", + "predict": " Городская Дума.", "sample": { "messages": [ { @@ -40832,7 +40832,7 @@ "info": { "prompt_len": 459, "generated_len": [ - 55 + 25 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -40842,7 +40842,7 @@ "f1": 0, "em": 0 }, - "predict": " Безбабченко, Андрей Иванович. В Тирасполе, городе, где родился Михаил Яковлевич Коптильников, Безбабченко Андрей Иванович занимал должность главы администрации с 24 января 2012 года по 28 сентября 2016 года.", + "predict": " Безбабченко, Андрей Иванович.", "sample": { "messages": [ { @@ -40889,17 +40889,17 @@ "info": { "prompt_len": 455, "generated_len": [ - 55 + 25 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.13333333333333333, + "f1": 0, "em": 0 }, - "predict": " В Российской империи должность главы государства, чьим гражданином был Адольф Борисович Минкус, была императорская должность Император Всероссийского. Титул Император Всероссийский существовал с Петра I до Февраля 1917 года.", + "predict": " В стране, чьим гражданином был Адольф Борисович Минкус, должность главы государства была Императрицей.", "sample": { "messages": [ { @@ -40940,17 +40940,17 @@ "info": { "prompt_len": 524, "generated_len": [ - 45 + 25 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.4, + "f1": 0, "em": 0 }, - "predict": " Император Российской империи.", + "predict": " В стране, чьим гражданином был Самуил Исаевич Файнберг, была Российская империя.", "sample": { "messages": [ { @@ -40997,7 +40997,7 @@ "info": { "prompt_len": 511, "generated_len": [ - 45 + 25 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -41048,7 +41048,7 @@ "info": { "prompt_len": 252, "generated_len": [ - 9 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -41099,17 +41099,17 @@ "info": { "prompt_len": 218, "generated_len": [ - 9 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.13953488372093023, "em": 0 }, - "predict": " Глава администрации в городе, где умер Борис Михайлович Козырев (Казань), является мэр.", + "predict": " И. Р. Метшин. В тексте 2, который описывает Казань, говорится о том, что \"Главой города является мэр\". В тексте 1, где упоминается Борис Михайлович Козырев, он указан как советский физик, который был членом-корреспондентом АН СССР. Таким образом, Борис Михайлович Козырев", "sample": { "messages": [ { @@ -41150,7 +41150,7 @@ "info": { "prompt_len": 249, "generated_len": [ - 39 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -41160,7 +41160,7 @@ "f1": 0, "em": 0 }, - "predict": " Михаил Викторович Желудов. В Бобруйске, городе, где родился Евсей Владимирович Эпштейн, Михаил Викторович Желудов является главой администрации, то есть председателем городского совета депутатов.", + "predict": " Михаил Викторович Желудов.", "sample": { "messages": [ { @@ -41201,17 +41201,17 @@ "info": { "prompt_len": 270, "generated_len": [ - 39 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.16, + "f1": 0.6666666666666666, "em": 0 }, - "predict": " Городской думы Нижнего Новгорода. \n\nЮрий Васильевич Голов умер в Нижнем Новгороде, и законодательный орган города, где он жил и работал, был Городской Думой.", + "predict": " Городская Дума Нижнего Новгорода.", "sample": { "messages": [ { @@ -41258,7 +41258,7 @@ "info": { "prompt_len": 377, "generated_len": [ - 35 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -41321,7 +41321,7 @@ "info": { "prompt_len": 355, "generated_len": [ - 35 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -41331,7 +41331,7 @@ "f1": 0.6666666666666666, "em": 0 }, - "predict": " Император.", + "predict": " Император", "sample": { "messages": [ { @@ -41372,17 +41372,17 @@ "info": { "prompt_len": 522, "generated_len": [ - 29 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.08, + "f1": 0.125, "em": 0 }, - "predict": " Уезды Московской губернии, в частности Дмитровский уезд, входили в Московскую губернию. Николай Александрович Ушаков умер в Дмитровском уезде Московской губернии.", + "predict": " Дмитровский уезд", "sample": { "messages": [ { @@ -41423,7 +41423,7 @@ "info": { "prompt_len": 479, "generated_len": [ - 29 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -41433,7 +41433,7 @@ "f1": 0, "em": 0 }, - "predict": " Шведское.", + "predict": " Шведское", "sample": { "messages": [ { @@ -41486,17 +41486,17 @@ "info": { "prompt_len": 344, "generated_len": [ - 56 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.09756097560975609, + "f1": 0.4, "em": 0 }, - "predict": " Городской думы Нижнего Новгорода и правительство Нижегородской области. Вячеслав Алексеевич Голубцов появился на свет в Нижнем Новгороде, который с 1932 по 1990 год назывался Горьком, и Нижний Новгород является официальной резиденцией Городской думы Нижнего Новгорода и правительством Нижегородской области.", + "predict": " Городской думы Нижнего Новгорода и правительство Нижегородской области.", "sample": { "messages": [ { @@ -41543,17 +41543,17 @@ "info": { "prompt_len": 342, "generated_len": [ - 56 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.19999999999999998, + "f1": 0.6666666666666666, "em": 0 }, - "predict": " Сараево, СФРЮ. Сестра Томислава Миличевича, Иван, родился в Сараеве.", + "predict": " Сараево, СФРЮ.", "sample": { "messages": [ { @@ -41594,17 +41594,17 @@ "info": { "prompt_len": 389, "generated_len": [ - 23 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.2, "em": 0 }, - "predict": " Нижегородский областной парламент.", + "predict": " Городской совет", "sample": { "messages": [ { @@ -41657,7 +41657,7 @@ "info": { "prompt_len": 459, "generated_len": [ - 23 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -41667,7 +41667,7 @@ "f1": 0, "em": 0 }, - "predict": " Нурмухамбет��в, Гауез Торсанович. В тексте 2 указано, что Нурмухамбетов, Гауез Торсанович занимал должность главы города Кустаная с января 2008 по февраль 2009 года, когда Алексей Петрович Бондаренко родился.", + "predict": " Нурмухамбетов, Гауез Торсанович.", "sample": { "messages": [ { @@ -41714,7 +41714,7 @@ "info": { "prompt_len": 355, "generated_len": [ - 62 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -41724,7 +41724,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Ижевск.", + "predict": " Ижевск", "sample": { "messages": [ { @@ -41765,7 +41765,7 @@ "info": { "prompt_len": 434, "generated_len": [ - 62 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -41775,7 +41775,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Ситников Сергей Константинович.", + "predict": " Ситников Сергей Константинович", "sample": { "messages": [ { @@ -41822,17 +41822,17 @@ "info": { "prompt_len": 298, "generated_len": [ - 20 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.13333333333333336, + "f1": 0.6666666666666666, "em": 0 }, - "predict": " Городской Совет Нижнего Новгорода принимает законы в городе, где умер Владимир Вячеславович Радзиевский.", + "predict": " Городская Дума Нижнего Новгорода.", "sample": { "messages": [ { @@ -41879,7 +41879,7 @@ "info": { "prompt_len": 359, "generated_len": [ - 20 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -41930,7 +41930,7 @@ "info": { "prompt_len": 259, "generated_len": [ - 10 + 13 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -41981,17 +41981,17 @@ "info": { "prompt_len": 352, "generated_len": [ - 10 + 13 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.6666666666666666, "em": 0 }, - "predict": " Река, питающаяся от реки Катым, называется Чепурья.", + "predict": " река Конды.", "sample": { "messages": [ { @@ -42038,7 +42038,7 @@ "info": { "prompt_len": 213, "generated_len": [ - 64 + 13 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -42048,7 +42048,7 @@ "f1": 0, "em": 0 }, - "predict": " Варданян, Микаел Оганесович. Гегам Георгиевич Флджян родился в Александрополе, административном центре Ширакской области Армении. В городе, где он родился, Варданян, Микаел Оганесович занимал должность мэра с 1994 по 1", + "predict": " Варданян, Микаел Оганесович.", "sample": { "messages": [ { @@ -42095,7 +42095,7 @@ "info": { "prompt_len": 460, "generated_len": [ - 64 + 13 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -42105,7 +42105,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Молома.", + "predict": " Молома", "sample": { "messages": [ { @@ -42152,7 +42152,7 @@ "info": { "prompt_len": 261, "generated_len": [ - 7 + 13 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -42162,7 +42162,7 @@ "f1": 0.6666666666666666, "em": 0 }, - "predict": " Городская Дума Нижнего Новгорода.", + "predict": " Городская Дума Нижнего Новгорода", "sample": { "messages": [ { @@ -42209,7 +42209,7 @@ "info": { "prompt_len": 408, "generated_len": [ - 7 + 13 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -42266,7 +42266,7 @@ "info": { "prompt_len": 301, "generated_len": [ - 20 + 13 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -42276,7 +42276,7 @@ "f1": 0, "em": 0 }, - "predict": " Река Мойка сливается с Екатерининским каналом, через который построен Пикалов мост.", + "predict": " Река Мойка.", "sample": { "messages": [ { @@ -42323,17 +42323,17 @@ "info": { "prompt_len": 484, "generated_len": [ - 20 + 13 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.06060606060606061, + "f1": 0.6666666666666666, "em": 0 }, - "predict": " Малый Ямсовей.\n\nСравнительный анализ текстов показывает, что Хайбедияха впадает в Малый Ямсовей, а Малый Ямсовей в свою очередь сливается с рекой Ямсовей. Таким образом, сливается река, в которую впадает Хайбедияха — Ямсовая.", + "predict": " Малый Ямсовей.", "sample": { "messages": [ { @@ -42374,7 +42374,7 @@ "info": { "prompt_len": 178, "generated_len": [ - 64 + 13 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -42425,7 +42425,7 @@ "info": { "prompt_len": 148, "generated_len": [ - 64 + 13 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -42435,7 +42435,7 @@ "f1": 0, "em": 0 }, - "predict": " Африка. Марокко, неевропейская страна, за которую выступал Софьян Буфаль.", + "predict": " Африканский регион, включающий Марокко.", "sample": { "messages": [ { @@ -42482,7 +42482,7 @@ "info": { "prompt_len": 391, "generated_len": [ - 19 + 13 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -42539,7 +42539,7 @@ "info": { "prompt_len": 289, "generated_len": [ - 19 + 13 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -42549,7 +42549,7 @@ "f1": 0, "em": 0 }, - "predict": " Жан Эпштейн родился в Варшаве.", + "predict": " В Варшаве.", "sample": { "messages": [ { @@ -42590,17 +42590,17 @@ "info": { "prompt_len": 214, "generated_len": [ - 42 + 13 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2222222222222222, + "f1": 0, "em": 0 }, - "predict": " Город Горловка, где родился Александр Степанович Бугаёв, имеет самоуправляющиеся органы местного самоуправления. В Горловском городском совете действуют Комитеты самоорганизации населения в различных районах города.", + "predict": " Горловский городской совет.", "sample": { "messages": [ { @@ -42641,17 +42641,17 @@ "info": { "prompt_len": 257, "generated_len": [ - 42 + 13 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2857142857142857, + "f1": 0.8, "em": 0 }, - "predict": " Законодательный орган города, где родился Василий Сергеевич Любченко, называется Горловский городской совет.", + "predict": " Горловский городской совет.", "sample": { "messages": [ { @@ -42692,7 +42692,7 @@ "info": { "prompt_len": 205, "generated_len": [ - 64 + 13 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -42702,7 +42702,7 @@ "f1": 0, "em": 0 }, - "predict": " Валерий Вениаминович Гаевский. В представленных текстах не сообщается напрямую о том, кто является главой администрации в регионе, где родился Андрей Андреевич Енжиевский. Однако известно, что Валерий Вениаминович Гаевский занимал должность губернатора Ставропольского края с 2008 по 2012 год, что соответствует срок", + "predict": " Вале́рий Вени́мирович Га́евский.", "sample": { "messages": [ { @@ -42743,7 +42743,7 @@ "info": { "prompt_len": 337, "generated_len": [ - 64 + 13 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -42753,7 +42753,7 @@ "f1": 0.3333333333333333, "em": 0 }, - "predict": " Верховный Совет ССР.", + "predict": " Верховный Совет ССР", "sample": { "messages": [ { @@ -42800,17 +42800,17 @@ "info": { "prompt_len": 417, "generated_len": [ - 29 + 9 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.4210526315789474, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Олий Мажлис Республики Узбекистан. В Узбекистане Олий Мажлис является высшей законодательной властью, осуществляющей законодательную власть.", + "predict": " Олий Мажлис Республики Узбекистан.", "sample": { "messages": [ { @@ -42857,7 +42857,7 @@ "info": { "prompt_len": 411, "generated_len": [ - 29 + 9 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -42920,7 +42920,7 @@ "info": { "prompt_len": 256, "generated_len": [ - 10 + 9 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -42930,7 +42930,7 @@ "f1": 0, "em": 0 }, - "predict": " Малая Вильва и Большая Вильва.", + "predict": " Малая Вильва и Большая Вильва", "sample": { "messages": [ { @@ -42971,7 +42971,7 @@ "info": { "prompt_len": 350, "generated_len": [ - 10 + 9 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -42981,7 +42981,7 @@ "f1": 0, "em": 0 }, - "predict": " Хобза сливается с Адагумом. В настоящее время Адагум впадает в Варнавинский сбросной канал, ранее впадал в Адагум.", + "predict": " Адагум", "sample": { "messages": [ { @@ -43022,7 +43022,7 @@ "info": { "prompt_len": 279, "generated_len": [ - 36 + 9 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -43032,7 +43032,7 @@ "f1": 0, "em": 0 }, - "predict": " Большая Нюню.", + "predict": " Большая Нюню", "sample": { "messages": [ { @@ -43073,17 +43073,17 @@ "info": { "prompt_len": 219, "generated_len": [ - 36 + 9 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.33333333333333337, + "f1": 0, "em": 0 }, - "predict": " Уда. \n\nТексты сообщают, что Чогар — левый приток Уды, а Уда в свою очередь впадает в Удскую губу Охотского моря.", + "predict": " Уда.", "sample": { "messages": [ { @@ -43136,17 +43136,17 @@ "info": { "prompt_len": 325, "generated_len": [ - 37 + 9 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0, + "em": 0 }, - "predict": " американский", + "predict": " США", "sample": { "messages": [ { @@ -43187,7 +43187,7 @@ "info": { "prompt_len": 331, "generated_len": [ - 37 + 9 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -43197,7 +43197,7 @@ "f1": 0, "em": 0 }, - "predict": " Бисерть.", + "predict": " Бисерть", "sample": { "messages": [ { @@ -43244,7 +43244,7 @@ "info": { "prompt_len": 258, "generated_len": [ - 6 + 9 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -43301,17 +43301,17 @@ "info": { "prompt_len": 266, "generated_len": [ - 6 + 9 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.23529411764705882, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Евгений Тефтелев. Согласно тексту, в Челябинске, где умер Наум Иосифович Каган, глава администрации Евгений Тефтелев.", + "predict": " Евгений Тефтелев.", "sample": { "messages": [ { @@ -43358,7 +43358,7 @@ "info": { "prompt_len": 316, "generated_len": [ - 29 + 9 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -43368,7 +43368,7 @@ "f1": 0, "em": 0 }, - "predict": " Большой Тап. Тайлоково, или Ивтурье, впадает в Большой Тап.", + "predict": " Большой Тап.", "sample": { "messages": [ { @@ -43421,7 +43421,7 @@ "info": { "prompt_len": 261, "generated_len": [ - 29 + 9 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -43431,7 +43431,7 @@ "f1": 0, "em": 0 }, - "predict": " Манциана, Папская область. Город Манциана, Папская область, является местом рождения художника Карла Брюллова, кисти которого принадлежит картина \"Итальянский полдень\".", + "predict": " Манциана, Папская область.", "sample": { "messages": [ { @@ -43472,17 +43472,17 @@ "info": { "prompt_len": 451, "generated_len": [ - 36 + 9 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0, + "em": 0 }, - "predict": " горсовет.", + "predict": " Мариуполь.", "sample": { "messages": [ { @@ -43529,7 +43529,7 @@ "info": { "prompt_len": 357, "generated_len": [ - 36 + 9 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -43539,7 +43539,7 @@ "f1": 0, "em": 0 }, - "predict": " Садакбай.", + "predict": " Садакбай", "sample": { "messages": [ { @@ -43580,7 +43580,7 @@ "info": { "prompt_len": 194, "generated_len": [ - 64 + 9 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -43590,7 +43590,7 @@ "f1": 0, "em": 0 }, - "predict": " Примера (Первого дивизиона Испании).\n\nВопрос: В какой лиге играет команда, тренера которой зовут Франсиско Хосе Карраско?\n\nОба текста описывают карьеру Франсиско Хосе Карраско, футболиста и тренера, но только второй из них содержит информацию о его клубной команде. Команда, за которую выступал Карраско", + "predict": " \"Атлетико Малагеньо\"", "sample": { "messages": [ { @@ -43637,17 +43637,17 @@ "info": { "prompt_len": 494, "generated_len": [ - 64 + 9 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.25, + "f1": 0.23529411764705882, "em": 0 }, - "predict": " Глава администрации в городе Саранск, административном центре Республики Мордовия, является Петр Николаевич Тултаев.", + "predict": " Глава администрации в городе Саранск, где родился Михаил Николаевич Барышев, является Петр Николаевич Тултаев.", "sample": { "messages": [ { @@ -43688,17 +43688,17 @@ "info": { "prompt_len": 308, "generated_len": [ - 35 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.33333333333333337, "em": 0 }, - "predict": " Сестра Яны Юрьвы Жилинскайте, Виктория Юрьва Жилинскайте, родилась в Урии, Ханты-Мансийский автономный округ.", + "predict": " В Урай, Ханты-Мансийский автономный округ.", "sample": { "messages": [ { @@ -43739,7 +43739,7 @@ "info": { "prompt_len": 521, "generated_len": [ - 35 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -43749,7 +43749,7 @@ "f1": 0, "em": 0 }, - "predict": " Виталий Марьянович Комарницкий являлся главой администрации Луганской области, в том месте, где родилась Татьяна Николаевна Черкасова. Комарницкий занимал эту должность с 22 ноября 2018 года до 25 октября 2019 года.", + "predict": " Виталий Марьянович Комарницкий был главой администрации Луганской области в апреле 2014 года, когда на части территории области была провозглашена Луганская Народная Республика.", "sample": { "messages": [ { @@ -43796,7 +43796,7 @@ "info": { "prompt_len": 289, "generated_len": [ - 54 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -43806,7 +43806,7 @@ "f1": 0, "em": 0 }, - "predict": " Город, где появился Арнольд Арамович Адамян, это Ереван. В Ереване действует ереванский городской совет, главой которого является мэр Еревана.", + "predict": " Ереванский городской совет.", "sample": { "messages": [ { @@ -43853,7 +43853,7 @@ "info": { "prompt_len": 257, "generated_len": [ - 54 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -43863,7 +43863,7 @@ "f1": 0, "em": 0 }, - "predict": " Градоначальник Петрозаводска.", + "predict": " Градоначальник", "sample": { "messages": [ { @@ -43904,7 +43904,7 @@ "info": { "prompt_len": 249, "generated_len": [ - 9 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -43914,7 +43914,7 @@ "f1": 0, "em": 0 }, - "predict": " Нэньцзян.", + "predict": " Нэньцзян", "sample": { "messages": [ { @@ -43961,7 +43961,7 @@ "info": { "prompt_len": 307, "generated_len": [ - 9 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -44012,17 +44012,17 @@ "info": { "prompt_len": 226, "generated_len": [ - 14 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Вологда.", + "predict": " Сухоны", "sample": { "messages": [ { @@ -44075,17 +44075,17 @@ "info": { "prompt_len": 393, "generated_len": [ - 14 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.5, + "f1": 0.6666666666666666, "em": 0 }, - "predict": " Федеральный парламент Бельгии.", + "predict": " Федеральный парламент.", "sample": { "messages": [ { @@ -44132,17 +44132,17 @@ "info": { "prompt_len": 368, "generated_len": [ - 54 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.19999999999999998, + "f1": 0, "em": 0 }, - "predict": " В городе, где родился Виктор Фёдорович Ерин (Казань), главой администрации является мэр, избираемый депутатами Городской думы. С 17 ноября 2005 года мэром Казани является И. Р. Метшин.", + "predict": " В городе, где родился Виктор Фёдорович Ерин (Казань), главой администрации является мэр.", "sample": { "messages": [ { @@ -44183,17 +44183,17 @@ "info": { "prompt_len": 447, "generated_len": [ - 54 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2857142857142857, + "f1": 0.14285714285714285, "em": 0 }, - "predict": " В городе, где умер Михаил Ильич Мочалов, главой администрации является Александр Ходырев.", + "predict": " В городе, где умер Михаил Ильич Мочалов, является главой администрации Валерий Ходырев.", "sample": { "messages": [ { @@ -44234,7 +44234,7 @@ "info": { "prompt_len": 344, "generated_len": [ - 25 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -44285,7 +44285,7 @@ "info": { "prompt_len": 200, "generated_len": [ - 25 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -44295,7 +44295,7 @@ "f1": 0, "em": 0 }, - "predict": " Малая Теренка.", + "predict": " Сутка.", "sample": { "messages": [ { @@ -44348,7 +44348,7 @@ "info": { "prompt_len": 429, "generated_len": [ - 19 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -44358,7 +44358,7 @@ "f1": 0, "em": 0 }, - "predict": " Лопан. \n\nТексты сообщают, что Пышья впадает в Лопан.", + "predict": " Лопан.", "sample": { "messages": [ { @@ -44405,17 +44405,17 @@ "info": { "prompt_len": 215, "generated_len": [ - 19 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.047619047619047616, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Мэр. В Казани, как и в большинстве городов России, мэр является главой администрации, избираемым депутатами Городской думы. Примечания.ru\nКомментарий: В Казани, как и в других городах-миллионниках России, должность мэра занимает выборный орган власти — Городская Дума, который созывает и", + "predict": " И. Р. Метшин.", "sample": { "messages": [ { @@ -44456,7 +44456,7 @@ "info": { "prompt_len": 506, "generated_len": [ - 64 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -44466,7 +44466,7 @@ "f1": 0, "em": 0 }, - "predict": " Газзаев тренирует \"Тобол\", казахстанский футбольный клуб, выступающий в Премьер-лиге Казахстана.", + "predict": " Лига Европы", "sample": { "messages": [ { @@ -44507,17 +44507,17 @@ "info": { "prompt_len": 494, "generated_len": [ - 64 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.39999999999999997, + "f1": 0.2, "em": 0 }, - "predict": " Город Нижний Новгород, административный центр Нижегородской области, где родилась Римма Ивановна Белякова, имеет официальный законодательный орган в лице Городской думы Нижнего Новгорода.", + "predict": " Городской совет.", "sample": { "messages": [ { @@ -44564,7 +44564,7 @@ "info": { "prompt_len": 581, "generated_len": [ - 33 + 35 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -44574,7 +44574,7 @@ "f1": 0.375, "em": 0 }, - "predict": " Ереванский городской совет работает в Ереване, столице Армении, где умер Жак Ншанович Суприкян.", + "predict": " В Ереване законодательный орган, который работает в городе, — это Ереванский городской совет.", "sample": { "messages": [ { @@ -44621,7 +44621,7 @@ "info": { "prompt_len": 284, "generated_len": [ - 33 + 35 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -44631,7 +44631,7 @@ "f1": 0, "em": 0 }, - "predict": " Хабинейёган. Текст 2 указывает, что Антипаю сливается с рекой Хабинейёган.", + "predict": " река Хас��вейёган.", "sample": { "messages": [ { @@ -44672,17 +44672,17 @@ "info": { "prompt_len": 254, "generated_len": [ - 31 + 35 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.09999999999999999, + "f1": 0.5, "em": 0 }, - "predict": " Городской совет Нижнего Новгорода. Законодательный орган, работающий в Нижнем Новгороде, где родился Модест Тихонович Третьяков, был Городской Думой.", + "predict": " Городской совет.", "sample": { "messages": [ { @@ -44729,7 +44729,7 @@ "info": { "prompt_len": 371, "generated_len": [ - 31 + 35 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -44739,7 +44739,7 @@ "f1": 0, "em": 0 }, - "predict": " Бича", + "predict": " Большая Бича", "sample": { "messages": [ { @@ -44780,7 +44780,7 @@ "info": { "prompt_len": 241, "generated_len": [ - 4 + 35 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -44790,7 +44790,7 @@ "f1": 0, "em": 0 }, - "predict": " Кутим.", + "predict": " Кутим", "sample": { "messages": [ { @@ -44843,17 +44843,17 @@ "info": { "prompt_len": 314, "generated_len": [ - 4 + 35 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.10526315789473684, + "f1": 0.1111111111111111, "em": 0 }, - "predict": " Бомбей. Город Бомбей, ныне известная как Калькутта, является местом рождения Махеша Бхатта, сценариста фильма \"Тёмная сторона желания 2\".", + "predict": " Бомбей. Город Бомбей является местом рождения режисёра Пуджа Бхатта, создателя сценария для фильма \"Тёмная сторона желания 2\".", "sample": { "messages": [ { @@ -44894,7 +44894,7 @@ "info": { "prompt_len": 544, "generated_len": [ - 64 + 35 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -44904,7 +44904,7 @@ "f1": 0, "em": 0 }, - "predict": " Хайрюзова.\n\nВопрос: Как называется река, питающаяся от реки, притоком которой является Чаномыч?\n\nОбоснование: В первом тексте сообщается, что Чаномыч — река на полуострове Камчатка, питающаяся от реки Хайрюзова. Во втором тексте Хайрюзова также называется", + "predict": " Хайрюзова.", "sample": { "messages": [ { @@ -44945,17 +44945,17 @@ "info": { "prompt_len": 271, "generated_len": [ - 64 + 35 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Губернатор Тульской области.", + "predict": " Алексей Дюмин", "sample": { "messages": [ { @@ -44996,7 +44996,7 @@ "info": { "prompt_len": 212, "generated_len": [ - 6 + 35 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -45006,7 +45006,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Юрий Цкипури.", + "predict": " Юрий Цкипури", "sample": { "messages": [ { @@ -45047,7 +45047,7 @@ "info": { "prompt_len": 471, "generated_len": [ - 6 + 35 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -45057,7 +45057,7 @@ "f1": 0, "em": 0 }, - "predict": " Павел Коньков. Глава администрации Ивановской области, где родился Александр Валерьевич Крутов.", + "predict": " Павел Коньков", "sample": { "messages": [ { @@ -45098,17 +45098,17 @@ "info": { "prompt_len": 501, "generated_len": [ - 21 + 35 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.5, "em": 0 }, - "predict": " Императрица.", + "predict": " Верховный Император.", "sample": { "messages": [ { @@ -45149,17 +45149,17 @@ "info": { "prompt_len": 545, "generated_len": [ - 21 + 35 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.06451612903225806, + "f1": 0.6666666666666666, "em": 0 }, - "predict": " Конгресс Сальвадора Пинеда работает в Мексике, а не в Сальвадоре Пинеде. В Мексике, где Сальвадор Пинеда родился в Мехико, Мексиканский Конгресс состоит из двух палат: Сената и Палаты депутатов.", + "predict": " Конгресс.", "sample": { "messages": [ { @@ -45200,17 +45200,17 @@ "info": { "prompt_len": 458, "generated_len": [ - 49 + 35 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.07692307692307693, + "f1": 0, "em": 0 }, - "predict": " Костромское наместничество было раньше Костромской губернии. Костромское наместничество существовало с 1778 по 1796 год, а Костромская губерния возникла в 1796 году.", + "predict": " Костромское наместничество.", "sample": { "messages": [ { @@ -45257,7 +45257,7 @@ "info": { "prompt_len": 269, "generated_len": [ - 49 + 35 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -45308,7 +45308,7 @@ "info": { "prompt_len": 243, "generated_len": [ - 20 + 35 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -45318,7 +45318,7 @@ "f1": 0.2666666666666667, "em": 0 }, - "predict": " Евгений Тефтелев является главой администрации в Челябинске, городе, где родился Денис Александрович Кудрявцев.", + "predict": " Евгений Тефтелев. В тексте 1 сказано, что Евгений Тефтелев является главой города Челябинска.", "sample": { "messages": [ { @@ -45365,17 +45365,17 @@ "info": { "prompt_len": 371, "generated_len": [ - 20 + 35 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.18181818181818182, + "f1": 0.33333333333333337, "em": 0 }, - "predict": " Родом сценарист фильма \"Куб Ноль\" — Эрни Барбараш из США.", + "predict": " Эрни Барбараш родом из США.", "sample": { "messages": [ { @@ -45416,17 +45416,17 @@ "info": { "prompt_len": 156, "generated_len": [ - 29 + 63 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.21052631578947367, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Евгений Тефтелев. Вячеслав Леонидович Войнов родился в Челябинске, а в городе Челябинске Евгений Тефтелев является главой администрации.", + "predict": " Евгений Тефтелев.", "sample": { "messages": [ { @@ -45473,17 +45473,17 @@ "info": { "prompt_len": 453, "generated_len": [ - 29 + 63 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2222222222222222, + "f1": 0.17142857142857143, "em": 0 }, - "predict": " Глава администрации в городе, где родился Роберт Юрьевич Ильясов, является мэр. Мэр Казани, И. Р. Метшин, избирается депутатами Городской думы раз в 5 лет.", + "predict": " И. Р. Метшин. В Казани, городе, где родился Роберт Юрьевич Ильясов, главой администрации является мэр, который избирается депутатами Городской думы из своего числа. В 2005 году И. Р. Метшин занимал эту должность.", "sample": { "messages": [ { @@ -45524,7 +45524,7 @@ "info": { "prompt_len": 277, "generated_len": [ - 42 + 63 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -45534,7 +45534,7 @@ "f1": 0.6666666666666666, "em": 0 }, - "predict": " Парламент Шри-Ланки.", + "predict": " Парламент Шри-Ланки", "sample": { "messages": [ { @@ -45581,7 +45581,7 @@ "info": { "prompt_len": 420, "generated_len": [ - 42 + 63 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -45591,7 +45591,7 @@ "f1": 0, "em": 0 }, - "predict": " Неркаю.", + "predict": " Неркаю", "sample": { "messages": [ { @@ -45632,17 +45632,17 @@ "info": { "prompt_len": 215, "generated_len": [ - 64 + 63 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.05128205128205129, + "f1": 0, "em": 0 }, - "predict": " Законодательный орган, работающий в стране гражданства Свами Рамдева, — парламент Индии. Свами Рамдев известен как глава правительства, назначаемый президентом Индии, и ведающий исполнительной властью. Законодательство Индии осуществляется верхней палатой парламента (Раджья сабха) и нижней палатой (Лок сабха),", + "predict": " Согласно тексту 1, Свами Рамдев является индийским гуру йоги, а в тексте 2 Индия — государство, в котором Свами Рамдев работает. Однако, в контексте законодательных органов, приведенных в тексте 2, законодательный орган, который работает в Индии, является парламентом.", "sample": { "messages": [ { @@ -45689,7 +45689,7 @@ "info": { "prompt_len": 428, "generated_len": [ - 64 + 63 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -45699,7 +45699,7 @@ "f1": 0, "em": 0 }, - "predict": " Город Горловка работает Горловским городским советом. Александр Ефимович Тюренков умер в Горловске.", + "predict": " Горловка Донецкой области Украины.", "sample": { "messages": [ { @@ -45740,7 +45740,7 @@ "info": { "prompt_len": 230, "generated_len": [ - 53 + 63 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -45750,7 +45750,7 @@ "f1": 0, "em": 0 }, - "predict": " Сенат. \n\nЗаконодательный орган государства, гражданином которого является Эмиль Тиббо, — Сенат. В тексте 2, где подробно описывается устройство Бельгийского парламента, указана, что нижняя палата называется Палатой представителей, а верхняя — Сенатом.", + "predict": " Сенат.", "sample": { "messages": [ { @@ -45797,7 +45797,7 @@ "info": { "prompt_len": 311, "generated_len": [ - 53 + 63 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -45807,7 +45807,7 @@ "f1": 0, "em": 0 }, - "predict": " Парламент Бельгии.", + "predict": " Парламент страны.", "sample": { "messages": [ { @@ -45854,7 +45854,7 @@ "info": { "prompt_len": 366, "generated_len": [ - 4 + 63 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -45864,7 +45864,7 @@ "f1": 0, "em": 0 }, - "predict": " Инсар.", + "predict": " Инсар", "sample": { "messages": [ { @@ -45911,7 +45911,7 @@ "info": { "prompt_len": 508, "generated_len": [ - 4 + 63 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -45921,7 +45921,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Ю��ий Владимирович Галдун.", + "predict": " Юрий Владимирович Галдун", "sample": { "messages": [ { @@ -45962,7 +45962,7 @@ "info": { "prompt_len": 377, "generated_len": [ - 6 + 63 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -45972,7 +45972,7 @@ "f1": 0, "em": 0 }, - "predict": " Куръёх.", + "predict": " Куръёх", "sample": { "messages": [ { @@ -46013,17 +46013,17 @@ "info": { "prompt_len": 208, "generated_len": [ - 6 + 63 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.1, + "f1": 0.5, "em": 0 }, - "predict": " Лига 2.\n\nВопрос: В какой лиге играет команда, за тренировки которой отвечает Омар Даф?\n\nОбоснование: В первом тексте сообщается, что Омар Даф играл за \"Сошо\", который выступает в Лиге 2. Во втором тексте указано, что \"Сошо\" — французский", + "predict": " Лига 2.", "sample": { "messages": [ { @@ -46064,7 +46064,7 @@ "info": { "prompt_len": 340, "generated_len": [ - 64 + 63 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -46121,7 +46121,7 @@ "info": { "prompt_len": 271, "generated_len": [ - 64 + 63 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -46131,7 +46131,7 @@ "f1": 0, "em": 0 }, - "predict": " Эдер. \n\nТексты сообщают, что Линсфербах — левый приток Эдера, поэтому Эдер является той рекой, питающейся от Линсфербаха.", + "predict": " Эдер", "sample": { "messages": [ { @@ -46178,7 +46178,7 @@ "info": { "prompt_len": 265, "generated_len": [ - 36 + 63 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -46188,7 +46188,7 @@ "f1": 0, "em": 0 }, - "predict": " Монт-Сокбаро.", + "predict": " Афаджато", "sample": { "messages": [ { @@ -46229,7 +46229,7 @@ "info": { "prompt_len": 310, "generated_len": [ - 36 + 63 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -46239,7 +46239,7 @@ "f1": 0, "em": 0 }, - "predict": " Литовская ССР.", + "predict": " Литовская ССР", "sample": { "messages": [ { @@ -46280,17 +46280,17 @@ "info": { "prompt_len": 285, "generated_len": [ - 5 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.6666666666666666, + "f1": 0, "em": 0 }, - "predict": " Император Всероссийский.", + "predict": " Профессор", "sample": { "messages": [ { @@ -46331,7 +46331,7 @@ "info": { "prompt_len": 241, "generated_len": [ - 5 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -46341,7 +46341,7 @@ "f1": 0, "em": 0 }, - "predict": " Шапкина (Текст 2)", + "predict": " Шапкина (Шапкина)", "sample": { "messages": [ { @@ -46388,7 +46388,7 @@ "info": { "prompt_len": 284, "generated_len": [ - 39 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -46398,7 +46398,7 @@ "f1": 0, "em": 0 }, - "predict": " Шяуляй. Корнелиюс Платялис родился в городе Шяуляй, который является четвёртым по численности населения городом Литвы и расположен на севере страны.", + "predict": " Шяуляйский район", "sample": { "messages": [ { @@ -46439,7 +46439,7 @@ "info": { "prompt_len": 291, "generated_len": [ - 39 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -46449,7 +46449,7 @@ "f1": 0, "em": 0 }, - "predict": " Вала.", + "predict": " Вала", "sample": { "messages": [ { @@ -46506,7 +46506,7 @@ "f1": 0, "em": 0 }, - "predict": " Мезень. Река Пежъю вливается в Мезень.", + "predict": " Мезень.", "sample": { "messages": [ { @@ -46560,10 +46560,10 @@ } { "metric": { - "f1": 0.05714285714285715, + "f1": 0, "em": 0 }, - "predict": " Большой Казым.\nБольшой Казым, являющийся притоком, впадает в реку Туртас, а Большая Туртас впадает в реку Малый Казым, который в свою очередь является притоком Большой Туртас. Таким образом, Большой Казым впадает в реку Туртас.", + "predict": " Большой Казым.", "sample": { "messages": [ { @@ -46604,7 +46604,7 @@ "info": { "prompt_len": 130, "generated_len": [ - 53 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -46614,7 +46614,7 @@ "f1": 0, "em": 0 }, - "predict": " Тавиньяно. В первом тексте говорится о Рестонике, а во втором о Тавиньяно, и Тавиньяно действительно питает Рестонику как приток.", + "predict": " Тавиньяно.", "sample": { "messages": [ { @@ -46655,17 +46655,17 @@ "info": { "prompt_len": 234, "generated_len": [ - 53 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.06451612903225806, + "f1": 0.33333333333333337, "em": 0 }, - "predict": " Саловаяха сливается с рекой Пур, в которую впадает Саловаяха. Устье Саловаяхи находится в 38 км по левому берегу реки Тыдэоттаяха, а устье Пур находится в 170 км от устья Саловаяхи.", + "predict": " Саловаяха сливается с рекой Пур.", "sample": { "messages": [ { @@ -46706,17 +46706,17 @@ "info": { "prompt_len": 219, "generated_len": [ - 64 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.05555555555555556, + "f1": 0, "em": 0 }, - "predict": " Северная Сосьва. \n\nВ тексте 1 указано, что Охаръя впадает в Северную Сосьву. В тексте 2 также говорится, что Северная Сосьва \"впадает в Обь слева (рукав Малая Обь) на 287 км от её устья\". Таким образом,", + "predict": " Большой и Малой Сосьвы.", "sample": { "messages": [ { @@ -46757,17 +46757,17 @@ "info": { "prompt_len": 260, "generated_len": [ - 64 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.07407407407407407, + "f1": 0, "em": 0 }, - "predict": " Место рождения дочери Дэвида Денни Эмили Денни — это Лицуа Борен. Эмили родилась 23 декабря 1853 года в Сиэтле, в семье Дэвида Денни и Луизы Борен.", + "predict": " Место рождения дочери Дэвида Денни — Лицуон-Спрингс.", "sample": { "messages": [ { @@ -46814,17 +46814,17 @@ "info": { "prompt_len": 496, "generated_len": [ - 51 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.6666666666666666, "em": 0 }, - "predict": " Никита Валерьевич Мещеряков родился в Минске, Белоруссия.", + "predict": " Минск, Беларусь.", "sample": { "messages": [ { @@ -46865,7 +46865,7 @@ "info": { "prompt_len": 281, "generated_len": [ - 51 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -46916,7 +46916,7 @@ "info": { "prompt_len": 306, "generated_len": [ - 8 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -46926,7 +46926,7 @@ "f1": 1.0, "em": 1 }, - "predict": " И. Р. Метшин.", + "predict": " И. Р. Метшин", "sample": { "messages": [ { @@ -46967,17 +46967,17 @@ "info": { "prompt_len": 252, "generated_len": [ - 8 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.18181818181818182, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Евгений Авилов. В городе, где родился Валерий Владимирович Поляков (Тула), Евгений Авилов являлся главой администрации с 19 марта 2012 года.", + "predict": " Евгений Авилов.", "sample": { "messages": [ { @@ -47018,17 +47018,17 @@ "info": { "prompt_len": 465, "generated_len": [ - 35 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.5, "em": 0 }, - "predict": " Византия", + "predict": " Византийская империя", "sample": { "messages": [ { @@ -47075,7 +47075,7 @@ "info": { "prompt_len": 682, "generated_len": [ - 35 + 17 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -47085,7 +47085,7 @@ "f1": 0, "em": 0 }, - "predict": " Заманты сливается с рекой Сейхан.", + "predict": " Сейхан.", "sample": { "messages": [ { @@ -47126,17 +47126,17 @@ "info": { "prompt_len": 253, "generated_len": [ - 26 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.11764705882352941, + "f1": 0, "em": 0 }, - "predict": " В НХЛ. Команда \"Даллас Старз\", которую тренирует Джим Монтгомери, выступает в лиге Национальной хоккейной лиги (НХЛ).", + "predict": " \"Даллас Старз\".", "sample": { "messages": [ { @@ -47189,7 +47189,7 @@ "info": { "prompt_len": 456, "generated_len": [ - 26 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -47199,7 +47199,7 @@ "f1": 0, "em": 0 }, - "predict": " Кострома. \n\nПётр Ильич Сурков умер в городе Балашиха, где он и был похоронен. Кострома — это его место рождения и место службы в Государственной Думе, куда он вступил в 1917 году. Таким образом, Кострома раньше Балашихи в административном отношении,", + "predict": " Балашиха.", "sample": { "messages": [ { @@ -47240,7 +47240,7 @@ "info": { "prompt_len": 233, "generated_len": [ - 64 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -47250,7 +47250,7 @@ "f1": 0, "em": 0 }, - "predict": " Сенат.", + "predict": " Сенат", "sample": { "messages": [ { @@ -47291,7 +47291,7 @@ "info": { "prompt_len": 718, "generated_len": [ - 64 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -47342,17 +47342,17 @@ "info": { "prompt_len": 191, "generated_len": [ - 26 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2857142857142857, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Люк Лемонье является главой администрации в городе Гавре, где родился Матиас Дюран-Рейнальдо.", + "predict": " Люк Лемонье.", "sample": { "messages": [ { @@ -47393,7 +47393,7 @@ "info": { "prompt_len": 270, "generated_len": [ - 26 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -47403,7 +47403,7 @@ "f1": 0, "em": 0 }, - "predict": " Большой Тап.", + "predict": " Большой Тап", "sample": { "messages": [ { @@ -47450,7 +47450,7 @@ "info": { "prompt_len": 329, "generated_len": [ - 8 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -47460,7 +47460,7 @@ "f1": 1.0, "em": 1 }, - "predict": " И. Р. Метшин.", + "predict": " И. Р. Метшин", "sample": { "messages": [ { @@ -47501,7 +47501,7 @@ "info": { "prompt_len": 276, "generated_len": [ - 8 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -47511,7 +47511,7 @@ "f1": 0, "em": 0 }, - "predict": " Видзью.", + "predict": " Видзью", "sample": { "messages": [ { @@ -47552,7 +47552,7 @@ "info": { "prompt_len": 204, "generated_len": [ - 59 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -47562,7 +47562,7 @@ "f1": 0, "em": 0 }, - "predict": " Безбабченко, Андрей Иванович. В Тирасполе, городе, где родился Станислав Андреевич Намашко, Безбабченко Андрей Иванович занимал должность 1-го секретаря горкома с 24 января 2012 года по 28 сентября 2016 года.", + "predict": " Безбабченко, Андрей Иванович.", "sample": { "messages": [ { @@ -47609,7 +47609,7 @@ "info": { "prompt_len": 622, "generated_len": [ - 59 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -47660,7 +47660,7 @@ "info": { "prompt_len": 236, "generated_len": [ - 17 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -47717,7 +47717,7 @@ "info": { "prompt_len": 203, "generated_len": [ - 17 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -47727,7 +47727,7 @@ "f1": 0, "em": 0 }, - "predict": " Пактол сливается с рекой Герм (или Гедиз в античности), впадающей в Эгейское море близ древней Фокеи.", + "predict": " Герм (Гедиз)", "sample": { "messages": [ { @@ -47792,7 +47792,7 @@ "info": { "prompt_len": 251, "generated_len": [ - 29 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -47802,7 +47802,7 @@ "f1": 0, "em": 0 }, - "predict": " Федеральный парламент.", + "predict": " Федеральный парламент", "sample": { "messages": [ { @@ -47843,7 +47843,7 @@ "info": { "prompt_len": 472, "generated_len": [ - 29 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -47853,7 +47853,7 @@ "f1": 0, "em": 0 }, - "predict": " Большая Печора.", + "predict": " Печора", "sample": { "messages": [ { @@ -47900,7 +47900,7 @@ "info": { "prompt_len": 285, "generated_len": [ - 22 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -47910,7 +47910,7 @@ "f1": 0, "em": 0 }, - "predict": " Город рождения Юлия Валерьевны Антиповой находится в Зеленоградском административном округе Москвы.", + "predict": " Город рождения Юлии Валерьевны Антиповой находится в Зеленоградском административном округе Москвы.", "sample": { "messages": [ { @@ -47957,7 +47957,7 @@ "info": { "prompt_len": 489, "generated_len": [ - 22 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -47967,7 +47967,7 @@ "f1": 0, "em": 0 }, - "predict": " Мезень", + "predict": " Большая Пыя", "sample": { "messages": [ { @@ -48008,7 +48008,7 @@ "info": { "prompt_len": 507, "generated_len": [ - 7 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -48065,17 +48065,17 @@ "info": { "prompt_len": 383, "generated_len": [ - 7 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.21052631578947367, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Николай Пестов. В городе, где родился Владимир Алексеевич ��омков (Подольск, Московская область), главой администрации является Николай Пестов.", + "predict": " Николай Пестов.", "sample": { "messages": [ { @@ -48116,17 +48116,17 @@ "info": { "prompt_len": 341, "generated_len": [ - 31 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2666666666666667, + "f1": 0.11764705882352941, "em": 0 }, - "predict": " Евгений Тефтелев является главой администрации в городе Челябинске, где родился Марат Зиннурович Зарипов.", + "predict": " Евгений Тефтелев. В тексте 1, где описывается Марат Зиннурович Зарипов, говорится, что он родился в Челябинске, а в тексте 2, о городе Челябинск, сообщается, что Евгений Тефтелев является главой администрации в Челябинске.", "sample": { "messages": [ { @@ -48173,7 +48173,7 @@ "info": { "prompt_len": 324, "generated_len": [ - 31 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -48183,7 +48183,7 @@ "f1": 0, "em": 0 }, - "predict": " Кыма.\n\nСравнив два текста, мы видим, что Визеньга, в которую впадает Визеньга, является правым притоком реки Кыма. Устье Визеньги находится в 11 км по левому берегу Кыма. Таким образом, сливается Визеньга с Кыма.", + "predict": " Визеньга.", "sample": { "messages": [ { @@ -48230,17 +48230,17 @@ "info": { "prompt_len": 172, "generated_len": [ - 64 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.5, + "f1": 0, "em": 0 }, - "predict": " Городской Совет Нижнего Новгорода.", + "predict": " Горсовет.", "sample": { "messages": [ { @@ -48299,7 +48299,7 @@ "info": { "prompt_len": 619, "generated_len": [ - 64 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -48356,7 +48356,7 @@ "info": { "prompt_len": 378, "generated_len": [ - 9 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -48407,7 +48407,7 @@ "info": { "prompt_len": 251, "generated_len": [ - 9 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -48417,7 +48417,7 @@ "f1": 0, "em": 0 }, - "predict": " Чермасан. \n\nТексты сообщают, что Киязы — левый приток Чермасана.", + "predict": " Чермасан.", "sample": { "messages": [ { @@ -48464,7 +48464,7 @@ "info": { "prompt_len": 234, "generated_len": [ - 22 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -48474,7 +48474,7 @@ "f1": 0.6666666666666666, "em": 0 }, - "predict": " Городская Дума Нижнего Новгорода.", + "predict": " Городская Дума Нижнего Новгорода", "sample": { "messages": [ { @@ -48521,17 +48521,17 @@ "info": { "prompt_len": 482, "generated_len": [ - 22 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.17391304347826084, + "f1": 0.21052631578947367, "em": 0 }, - "predict": " Юрий Цкипури. В городе, где родился Валерий Эдмундович Берлин (Тула), Юрий Цкипури являлся главой администрации, то есть мэром, в 2014 году.", + "predict": " Юрий Цкипури. В городе, где родился Валерий Эдмундович Берлин, Тула, должность мэра (главы администрации) занимает Юрий Цкипури.", "sample": { "messages": [ { @@ -48572,7 +48572,7 @@ "info": { "prompt_len": 430, "generated_len": [ - 40 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -48582,7 +48582,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Горловский городской совет.", + "predict": " Горловский городской совет", "sample": { "messages": [ { @@ -48623,7 +48623,7 @@ "info": { "prompt_len": 291, "generated_len": [ - 40 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -48633,7 +48633,7 @@ "f1": 0, "em": 0 }, - "predict": " Ендырь.", + "predict": " Ендырь", "sample": { "messages": [ { @@ -48674,7 +48674,7 @@ "info": { "prompt_len": 278, "generated_len": [ - 5 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -48725,7 +48725,7 @@ "info": { "prompt_len": 166, "generated_len": [ - 5 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -48735,7 +48735,7 @@ "f1": 0, "em": 0 }, - "predict": " Чхаидзе, Роберт.\n\nВ Батуми, городе, где родился Антоний Марцельевич Ходурский, Чхаидзе, Роберт являлся главой администрации с 2007 по 2012 год.", + "predict": " Роберт Чхаидзе.", "sample": { "messages": [ { @@ -48776,7 +48776,7 @@ "info": { "prompt_len": 263, "generated_len": [ - 64 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -48786,7 +48786,7 @@ "f1": 0, "em": 0 }, - "predict": " Средняя Юрма. В первом тексте сказано, что Средняя Юрма питается рекой, притоком которой является Большая Юрма, а в другом тексте, в числе притоков Юрмы, перечисляются Малая Юрма и Средняя Юрма. Таким образом, Средняя Юрма является притоком реки, у которой устье", + "predict": " Средняя Юрма.", "sample": { "messages": [ { @@ -48833,7 +48833,7 @@ "info": { "prompt_len": 166, "generated_len": [ - 64 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -48843,7 +48843,7 @@ "f1": 0, "em": 0 }, - "predict": " Яныг-Инквор.\n\nВопрос: Как называется река, питающаяся от реки, притоком которой является Яныг-Инквор?\n\nОбоснование: В первом тексте указано, что Яныг-Инквор — это река в Ханты-Мансийском автономном округе", + "predict": " Яныг-Инквор.", "sample": { "messages": [ { @@ -48884,7 +48884,7 @@ "info": { "prompt_len": 196, "generated_len": [ - 64 + 36 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -48894,7 +48894,7 @@ "f1": 0, "em": 0 }, - "predict": " Город Мариуполь, где родился Артём Анатольевич Клименко, имеет городской совет как законодательный орган.", + "predict": " Город Мариуполь, Украина, где родился Артём Анатольевич Клименко, является центром Мариупольской агломерации, которая является центром Донецкого областного совета.", "sample": { "messages": [ { @@ -48941,7 +48941,7 @@ "info": { "prompt_len": 332, "generated_len": [ - 64 + 36 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -48951,7 +48951,7 @@ "f1": 0, "em": 0 }, - "predict": " Собтыёган.", + "predict": " Собтыёган", "sample": { "messages": [ { @@ -48992,17 +48992,17 @@ "info": { "prompt_len": 344, "generated_len": [ - 29 + 36 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.3157894736842105, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Руслан Николаевич Кухарук. В Тюмени главой администрации является Руслан Николаевич Кухарук, избранный гла��ой Тюменской городской Думы.", + "predict": " Руслан Николаевич Кухарук", "sample": { "messages": [ { @@ -49043,7 +49043,7 @@ "info": { "prompt_len": 359, "generated_len": [ - 29 + 36 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -49053,7 +49053,7 @@ "f1": 0, "em": 0 }, - "predict": " Москва-река.", + "predict": " Москва-река", "sample": { "messages": [ { @@ -49100,7 +49100,7 @@ "info": { "prompt_len": 439, "generated_len": [ - 19 + 36 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -49110,7 +49110,7 @@ "f1": 0, "em": 0 }, - "predict": " Вятка.\nПыжманка является левым притоком реки Вятки.", + "predict": " Вятка.", "sample": { "messages": [ { @@ -49157,17 +49157,17 @@ "info": { "prompt_len": 341, "generated_len": [ - 19 + 36 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.6666666666666666, + "f1": 0.2, "em": 0 }, - "predict": " Городской думы Нижнего Новгорода.", + "predict": " Городской совет", "sample": { "messages": [ { @@ -49214,7 +49214,7 @@ "info": { "prompt_len": 437, "generated_len": [ - 7 + 36 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -49271,7 +49271,7 @@ "info": { "prompt_len": 307, "generated_len": [ - 7 + 36 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -49328,7 +49328,7 @@ "info": { "prompt_len": 428, "generated_len": [ - 11 + 36 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -49338,7 +49338,7 @@ "f1": 0, "em": 0 }, - "predict": " Глава государства в Исламской Республике Иран — президент.", + "predict": " Глава государства в Исламской Республике Иран занимает должность президента.", "sample": { "messages": [ { @@ -49391,7 +49391,7 @@ "info": { "prompt_len": 490, "generated_len": [ - 11 + 36 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -49401,7 +49401,7 @@ "f1": 0, "em": 0 }, - "predict": " Хоръёхан.\n\nТекст 1 говорит о Варсынгъёхане, а его устье находится в 23 км по левому берегу Хоръёхана. Текст 2 описывает Хоръёхан, у которого устье Варсынгъёхана. Таким образом, Варсынг", + "predict": " Хоръёхан.", "sample": { "messages": [ { @@ -49442,17 +49442,17 @@ "info": { "prompt_len": 169, "generated_len": [ - 64 + 36 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.04545454545454545, + "f1": 0, "em": 0 }, - "predict": " Вятка.\n\nСравнение данных двух текстов помогает определить ответ:\n1. В первом тексте говорится о Юртике, которая протекает в Кировской области и сливается с Вяткой в устье Вятки.\n2. Во втором тексте Вятка названа самой крупной рекой бассейна Камы, и она впадает в Кам", + "predict": " Вятка.", "sample": { "messages": [ { @@ -49505,17 +49505,17 @@ "info": { "prompt_len": 381, "generated_len": [ - 64 + 36 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0, + "em": 0 }, - "predict": " Васюган", + "predict": " Чижапка", "sample": { "messages": [ { @@ -49562,7 +49562,7 @@ "info": { "prompt_len": 321, "generated_len": [ - 5 + 36 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -49572,7 +49572,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Лебедев Денис Юрьевич.", + "predict": " Лебедев Денис Юрьевич", "sample": { "messages": [ { @@ -49619,7 +49619,7 @@ "info": { "prompt_len": 233, "generated_len": [ - 5 + 36 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -49629,7 +49629,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Снежка.", + "predict": " Снежка", "sample": { "messages": [ { @@ -49676,7 +49676,7 @@ "info": { "prompt_len": 437, "generated_len": [ - 15 + 36 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -49686,7 +49686,7 @@ "f1": 0, "em": 0 }, - "predict": " Кыбантывис (Кабан-Тывис)", + "predict": " Кыбантывис (Кабан-Тывис).", "sample": { "messages": [ { @@ -49733,17 +49733,17 @@ "info": { "prompt_len": 154, "generated_len": [ - 15 + 36 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.18181818181818182, "em": 0 }, - "predict": " Глава администрации в городе Тюмени, где родился Виктор Евгеньевич Леоненко, является Русланом Николаевичем Кухаруком. Его должность главы города Тюмени была утверждена 8 октября 2018 года.", + "predict": " Руслан Николаевич Кухарук. В городе Тюмени, где родился Виктор Евгеньевич Леоненко, его главой администрации является Руслан Николаевич Кухарук, который занимает должность главы Тюменской городской Думы с 8 октября 2018 года.", "sample": { "messages": [ { @@ -49784,7 +49784,7 @@ "info": { "prompt_len": 328, "generated_len": [ - 44 + 56 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -49794,7 +49794,7 @@ "f1": 0, "em": 0 }, - "predict": " Ереванский городской совет.", + "predict": " Ереванский городской совет", "sample": { "messages": [ { @@ -49835,17 +49835,17 @@ "info": { "prompt_len": 241, "generated_len": [ - 44 + 56 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2222222222222222, + "f1": 0.33333333333333337, "em": 0 }, - "predict": " Александров Дар. Борис Борисович Глинка родился в посёлке Александров Дар, ныне в черте города Кривой Рог.", + "predict": " В посёлке Александров Дар, ныне в черте города Кривой Рог.", "sample": { "messages": [ { @@ -49886,7 +49886,7 @@ "info": { "prompt_len": 243, "generated_len": [ - 26 + 56 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -49896,7 +49896,7 @@ "f1": 0.6666666666666666, "em": 0 }, - "predict": " Городская Дума Нижнего Новгорода.", + "predict": " Городская Дума Нижнего Новгорода", "sample": { "messages": [ { @@ -49943,7 +49943,7 @@ "info": { "prompt_len": 373, "generated_len": [ - 26 + 56 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -49994,17 +49994,17 @@ "info": { "prompt_len": 194, "generated_len": [ - 32 + 56 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.07142857142857142, "em": 0 }, - "predict": " Телюбай сливается с рекой Каерлык. Устье Телюбыя находится в 7 км по левому берегу реки Каерлык.", + "predict": " Телюбай сливается с рекой Урсул. Устье реки Урсул находится в 86 км по правому берегу реки Урсул у села Ело на высоте 1051,7 метра над уровнем моря.", "sample": { "messages": [ { @@ -50045,7 +50045,7 @@ "info": { "prompt_len": 187, "generated_len": [ - 32 + 56 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -50055,7 +50055,7 @@ "f1": 0, "em": 0 }, - "predict": " Валерий Георгиевич Зеренков.", + "predict": " Валерий Вениаминович Гаевский", "sample": { "messages": [ { @@ -50096,7 +50096,7 @@ "info": { "prompt_len": 465, "generated_len": [ - 7 + 56 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -50106,7 +50106,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Юрий Парахин.", + "predict": " Юрий Парахин", "sample": { "messages": [ { @@ -50147,17 +50147,17 @@ "info": { "prompt_len": 445, "generated_len": [ - 7 + 56 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.07692307692307693, + "f1": 0, "em": 0 }, - "predict": " Елизавета, герцогиня Брабантская, имеет бельгийский гражданский статус, так как она старшая дочь короля Бельгии Филиппа и его супруги королевы Матильды, и является наследницей трона Бельгии.", + "predict": " Елизавета, герцогиня Брабантская, имеет двойное гражданство: Бельгийский и Бельгийско-польское.", "sample": { "messages": [ { @@ -50204,17 +50204,17 @@ "info": { "prompt_len": 497, "generated_len": [ - 61 + 56 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.048780487804878044, + "f1": 0, "em": 0 }, - "predict": " Лига I.\n\nВ данном контексте тренер команды, которую возглавлял Жорже Кошта, \"Академика\", играл в первой лиге (Lига I). В тексте 2 указано, что \"ЧФР Клуж\" — румынский клуб, выступающий в высшей лиге чемпионата Румынии, а не в первой лиге.", + "predict": " В чемпионате Румынии.", "sample": { "messages": [ { @@ -50261,7 +50261,7 @@ "info": { "prompt_len": 316, "generated_len": [ - 61 + 56 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -50271,7 +50271,7 @@ "f1": 0, "em": 0 }, - "predict": " Щара.", + "predict": " Щара", "sample": { "messages": [ { @@ -50324,7 +50324,7 @@ "info": { "prompt_len": 329, "generated_len": [ - 6 + 56 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -50334,7 +50334,7 @@ "f1": 0, "em": 0 }, - "predict": " Ингуягун.", + "predict": " Ингуягун", "sample": { "messages": [ { @@ -50375,7 +50375,7 @@ "info": { "prompt_len": 240, "generated_len": [ - 6 + 56 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -50385,7 +50385,7 @@ "f1": 0, "em": 0 }, - "predict": " Ереванский городской совет, мэр Еревана.", + "predict": " Ереванский городской совет.", "sample": { "messages": [ { @@ -50426,17 +50426,17 @@ "info": { "prompt_len": 188, "generated_len": [ - 21 + 56 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2666666666666667, + "f1": 0.1142857142857143, "em": 0 }, - "predict": " Николай Пестов является главой администрации в городе Подольск, где родился Лев Николаевич Королёв.", + "predict": " Николай Пестов. В тексте 1, где описывается Лев Николаевич Королёв, говорится, что он родился в Подольск, а в тексте 2, о местном самоуправлении в Подоле, указывается, что Николай Пестов является главой города Подоля.", "sample": { "messages": [ { @@ -50477,7 +50477,7 @@ "info": { "prompt_len": 336, "generated_len": [ - 21 + 56 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -50487,7 +50487,7 @@ "f1": 0, "em": 0 }, - "predict": " Кобра.", + "predict": " Кобру", "sample": { "messages": [ { @@ -50547,10 +50547,10 @@ } { "metric": { - "f1": 0.05882352941176471, + "f1": 0, "em": 0 }, - "predict": " Ахко. В первом тексте сказано, что Бох-Джага впадает в реку Белка, а в втором тексте указана, что Ахко впадает в Белку. Таким образом, Ахко — это та самая река, приток которой является Бох-Джага.", + "predict": " Ахко.", "sample": { "messages": [ { @@ -50601,7 +50601,7 @@ "f1": 0, "em": 0 }, - "predict": " Ангарица сливается с рекой Юмиж, в которую впадает Ангарица. Устье Ангарицы находится в 54 км по правому берегу реки Юмиж.", + "predict": " Юмиж.", "sample": { "messages": [ { @@ -50642,7 +50642,7 @@ "info": { "prompt_len": 177, "generated_len": [ - 39 + 43 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -50652,7 +50652,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Санкт-Петербург.", + "predict": " Санкт-Петербург", "sample": { "messages": [ { @@ -50693,17 +50693,17 @@ "info": { "prompt_len": 235, "generated_len": [ - 39 + 43 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.08333333333333333, + "f1": 0, "em": 0 }, - "predict": " Ница. Текст 2 сообщает, что Ница — правый приток Туры, а Ница в тексте 1 является притоком Туры. Таким образом, Ница питает Кокуйку.", + "predict": " Ница.", "sample": { "messages": [ { @@ -50750,7 +50750,7 @@ "info": { "prompt_len": 194, "generated_len": [ - 44 + 43 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -50801,7 +50801,7 @@ "info": { "prompt_len": 676, "generated_len": [ - 44 + 43 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -50811,7 +50811,7 @@ "f1": 0, "em": 0 }, - "predict": " Место, где родился человек, обучавший Ле Корбюзье, — Париж. Ле Корбюзье обучался архитектуре в Школе изящных искусств в Париже, где впоследствии работал и стажировался.", + "predict": " Огюст Перре.", "sample": { "messages": [ { @@ -50852,7 +50852,7 @@ "info": { "prompt_len": 638, "generated_len": [ - 40 + 43 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -50862,7 +50862,7 @@ "f1": 0, "em": 0 }, - "predict": " Нерусса.", + "predict": " Нерусса", "sample": { "messages": [ { @@ -50909,17 +50909,17 @@ "info": { "prompt_len": 275, "generated_len": [ - 40 + 43 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.1111111111111111, + "f1": 0, "em": 0 }, - "predict": " Хулучай сливается с рекой Самур, впадающей в Каспийское море двумя рукавами: Самур и Малый Самур. Малый Самур, отделяющийся от основной реки в 22 км, впадает в море в 5,5 км северо-западнее основного рукава Самура.", + "predict": " Самур.", "sample": { "messages": [ { @@ -50960,17 +50960,17 @@ "info": { "prompt_len": 415, "generated_len": [ - 64 + 43 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.05263157894736842, + "f1": 0, "em": 0 }, - "predict": " Сегунда лига (Liga MX Segunda División).\n\nВопрос: В какой лиге играет команда, тренера которой зовут Карлос Де лос Кобос?\n\nОба текста упоминают, что Карлос Де лос Кобос выступал за клубы \"Амер��ка\", \"Монтеррей\" и \"Монтеррей\" в мексикан", + "predict": " \"Керетаро\". В первом тексте упоминается, что Карлос де лос Кобос Мартинес играл в клубе \"Керетаро\", который в данном контексте является высшей лигой Мексики.", "sample": { "messages": [ { @@ -51017,17 +51017,17 @@ "info": { "prompt_len": 564, "generated_len": [ - 64 + 43 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.15384615384615385, + "f1": 0.6666666666666666, "em": 0 }, - "predict": " Сулак. Река Сулак питается от реки Тобот, впадающей в неё в верховьях.", + "predict": " река Сулак.", "sample": { "messages": [ { @@ -51074,17 +51074,17 @@ "info": { "prompt_len": 369, "generated_len": [ - 22 + 43 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.6666666666666666, "em": 0 }, - "predict": " Река, питающаяся от реки Пелым, является Коутья.", + "predict": " Река Тавда.", "sample": { "messages": [ { @@ -51125,17 +51125,17 @@ "info": { "prompt_len": 184, "generated_len": [ - 22 + 43 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.06451612903225806, + "f1": 0.0689655172413793, "em": 0 }, - "predict": " Глава государства в Объединенной Республике Танзания, на который распространяется юрисдикция Апостольского нунциата в Танзании, является президент страны. В Танзании президент избирается населением на 5-летний срок, с возможностью второго срока подряд.", + "predict": " Глава государства в Объединённой Республике Танзания занимает должность президента. Согласно тексту, глава государства и глава правительства — президент, избираемый населением на 5-летний срок, с возможностью второго срока подряд.", "sample": { "messages": [ { @@ -51182,17 +51182,17 @@ "info": { "prompt_len": 557, "generated_len": [ - 57 + 43 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.35294117647058826, + "f1": 0, "em": 0 }, - "predict": " Город Ереван, законодательный орган в котором родился Гор Шаваршевич Малакян, называется Ереванский городской совет.", + "predict": " Город Ереван.", "sample": { "messages": [ { @@ -51239,7 +51239,7 @@ "info": { "prompt_len": 225, "generated_len": [ - 57 + 43 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -51249,7 +51249,7 @@ "f1": 0, "em": 0 }, - "predict": " Наука, которую посвятил Джордж Болл, изучала и исследовала систематику жесткокрылых, включая их систематическое разночтение, морфологию, экологии и поведенческие особенности. Болл занимался изучением энтомологии, в частности, систематикой и популяционной динамикой жесткокры", + "predict": " Джордж Болл посвятил своей научной деятельности систематике жесткокрылых.", "sample": { "messages": [ { @@ -51296,7 +51296,7 @@ "info": { "prompt_len": 798, "generated_len": [ - 64 + 43 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -51306,7 +51306,7 @@ "f1": 0, "em": 0 }, - "predict": " Евгений Карпов являлся главой администрации в городе, где родился Виктор Валерьевич Постников (Магас, Челябинской область, позднее с��авший городом-курсом Магнитогорска). Однако, в приведенном выше списке, Виталий Бахметьев указан как глава города с 26 октября 2015 года, что ближе всего", + "predict": " Евгений Карпов. В городе, где родился Виктор Валерьевич Постников (Магнитогорск), Евгений Карпов был главой администрации.", "sample": { "messages": [ { @@ -51347,17 +51347,17 @@ "info": { "prompt_len": 266, "generated_len": [ - 64 + 43 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2222222222222222, + "f1": 0, "em": 0 }, - "predict": " Тагаза сливается с рекой Бия, втекающей из Тондошки.", + "predict": " Тагаза сливается с рекой Тондошка.", "sample": { "messages": [ { @@ -51398,17 +51398,17 @@ "info": { "prompt_len": 200, "generated_len": [ - 28 + 43 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.1111111111111111, + "f1": 0.2, "em": 0 }, - "predict": " Губернатором Ульяновской области, где родился Владимир Васильевич Верин, в 2013 году был Сергей Игоревич Морозов.", + "predict": " Губернатором Ульяновской области является Сергей Иванович Морозов.", "sample": { "messages": [ { @@ -51455,7 +51455,7 @@ "info": { "prompt_len": 368, "generated_len": [ - 28 + 43 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -51465,7 +51465,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Сергей Константинович Ситников.", + "predict": " Сергей Константинович Ситников", "sample": { "messages": [ { @@ -51512,7 +51512,7 @@ "info": { "prompt_len": 371, "generated_len": [ - 47 + 21 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -51522,7 +51522,7 @@ "f1": 0, "em": 0 }, - "predict": " Малка.\n\nС Сармако сливается река Малка, которая в данных текстах является главной рекой, втекающей в Сармако. Устье Сармако находится в 123 км по правому берегу реки Малка.", + "predict": " Малка.", "sample": { "messages": [ { @@ -51569,7 +51569,7 @@ "info": { "prompt_len": 542, "generated_len": [ - 47 + 21 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -51627,10 +51627,10 @@ } { "metric": { - "f1": 0.5, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Олий Мажлис Республики Узбекистан. Этот законодательный орган осуществляет законодательную власть в Узбекистане.", + "predict": " Олий Мажлис Республики Узбекистан.", "sample": { "messages": [ { @@ -51740,17 +51740,17 @@ "info": { "prompt_len": 405, "generated_len": [ - 4 + 21 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.6666666666666666, "em": 0 }, - "predict": " Сенат.", + "predict": " Федеральный парламент", "sample": { "messages": [ { @@ -51803,7 +51803,7 @@ "info": { "prompt_len": 285, "generated_len": [ - 4 + 21 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -51813,7 +51813,7 @@ "f1": 1.0, "em": 1 }, - "predict": " И. Р. Метшин.", + "predict": " И. Р. Метшин", "sample": { "messages": [ { @@ -51854,7 +51854,7 @@ "info": { "prompt_len": 266, "generated_len": [ - 10 + 21 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -51864,7 +51864,7 @@ "f1": 0, "em": 0 }, - "predict": " Парламент Кот-д’Ивуара.", + "predict": " Парламент", "sample": { "messages": [ { @@ -51905,17 +51905,17 @@ "info": { "prompt_len": 375, "generated_len": [ - 10 + 21 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.0909090909090909, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " В городе, где родился Владимир Алексеевич Карлов, который был эпилептологом и членом РАН, главой администрации является Юрий Парахин. Его полномочия истекли в 2020 году, после чего должность временно не исполнялась, а с 2021 года главой администрации назначен новый глава города Виктор Саф", + "predict": " Юрий Парахин.", "sample": { "messages": [ { @@ -51956,7 +51956,7 @@ "info": { "prompt_len": 246, "generated_len": [ - 64 + 21 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -52013,7 +52013,7 @@ "info": { "prompt_len": 345, "generated_len": [ - 64 + 21 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -52023,7 +52023,7 @@ "f1": 0, "em": 0 }, - "predict": " В. А. Шершунов являлся главой администрации в регионе, где родился Николай Николаевич Траканов.", + "predict": " Игорь Николаевич Шершунов.", "sample": { "messages": [ { @@ -52070,17 +52070,17 @@ "info": { "prompt_len": 282, "generated_len": [ - 56 + 21 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.11764705882352941, + "f1": 0.2666666666666667, "em": 0 }, - "predict": " В стране, где была придумана винтовка Крнка (Российская империя), должность главы государства занимала Император Всероссийский. Титул Император являлся официальным титулом 14 правителей Российской империи, включая Петра I, до Февральской революции 1917 года.", + "predict": " В стране, где была придумана винтовка Крнка, должность главы государства занимала Император Всероссийский.", "sample": { "messages": [ { @@ -52121,7 +52121,7 @@ "info": { "prompt_len": 257, "generated_len": [ - 56 + 21 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -52184,7 +52184,7 @@ "info": { "prompt_len": 344, "generated_len": [ - 33 + 21 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -52194,7 +52194,7 @@ "f1": 0, "em": 0 }, - "predict": " Нейва. Алапаиха сливается с Нейвой, образуя Ницу, которая является притоком реки Туры, впадающей в Обь.", + "predict": " Алапаиха.", "sample": { "messages": [ { @@ -52235,7 +52235,7 @@ "info": { "prompt_len": 265, "generated_len": [ - 33 + 21 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -52245,7 +52245,7 @@ "f1": 0, "em": 0 }, - "predict": " Президент.", + "predict": " Президент", "sample": { "messages": [ { @@ -52302,7 +52302,7 @@ "f1": 0.25, "em": 0 }, - "predict": " В городе, где родился Дмитрий Анатольевич Блинов, главой администрации является Петр Николаевич Тултаев.", + "predict": " Глава администрации в городе, где родился Дмитрий Анатольевич Блинов, — Петр Николаевич Тултаев.", "sample": { "messages": [ { @@ -52353,7 +52353,7 @@ "f1": 0, "em": 0 }, - "predict": " Нурмухамбетов, Гауез Торсанович.", + "predict": " Жакупов, Базыл Шамуханович.", "sample": { "messages": [ { @@ -52400,17 +52400,17 @@ "info": { "prompt_len": 447, "generated_len": [ - 19 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.42857142857142855, + "f1": 0.3157894736842105, "em": 0 }, - "predict": " В Ереване законодательный орган, работающий в городе, является Ереванский городской совет.", + "predict": " В Ереване, городе, где родился Вули Аршакович Григорян, законодательный орган, осуществляющий власть, является Ереванский городской совет.", "sample": { "messages": [ { @@ -52457,17 +52457,17 @@ "info": { "prompt_len": 290, "generated_len": [ - 19 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0.375, + "em": 0 }, - "predict": " Ереванский городской совет.", + "predict": " Город Ереван, где родился Давид Вазгенович Мнацаканян, имеет законодательный орган - Ереванский городской совет.", "sample": { "messages": [ { @@ -52514,7 +52514,7 @@ "info": { "prompt_len": 212, "generated_len": [ - 8 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -52565,17 +52565,17 @@ "info": { "prompt_len": 399, "generated_len": [ - 8 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0, + "em": 0 }, - "predict": " Горловский городской совет.", + "predict": " Горловка.", "sample": { "messages": [ { @@ -52616,17 +52616,17 @@ "info": { "prompt_len": 415, "generated_len": [ - 30 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2222222222222222, + "f1": 0, "em": 0 }, - "predict": " В городе, где родился Аршак Семёнович Александров (Батуми), в настоящее время главой администрации является Комахидзе Лаша.", + "predict": " В городе, где родился Аршак Семёнович Александров, который родился в Батуме (ныне Батуми), в 2000 году был избран Абашидзе, Георгий Асланович, главой администрации.", "sample": { "messages": [ { @@ -52667,7 +52667,7 @@ "info": { "prompt_len": 247, "generated_len": [ - 30 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -52677,7 +52677,7 @@ "f1": 0, "em": 0 }, - "predict": " Печора. Большая Стариковка впадает в Печору.", + "predict": " Печора.", "sample": { "messages": [ { @@ -52724,17 +52724,17 @@ "info": { "prompt_len": 410, "generated_len": [ - 61 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.0625, + "f1": 0, "em": 0 }, - "predict": " Город Мариуполь, где умер Владимир Иванович Жарков, не имеет официальных городских органов, принимающих законы. Мариуполь является городом-побратимом Нарьян-Мару, а не принимает законы. Законодательный орган в Мариуполе — Мариупольский городской совет.", + "predict": " Город Мариуполь, где умер Владимир Иванович Жарков, принимает законы через городской совет.", "sample": { "messages": [ { @@ -52781,7 +52781,7 @@ "info": { "prompt_len": 270, "generated_len": [ - 61 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -52791,7 +52791,7 @@ "f1": 0, "em": 0 }, - "predict": " Москву.", + "predict": " Москва-река", "sample": { "messages": [ { @@ -52838,17 +52838,17 @@ "info": { "prompt_len": 417, "generated_len": [ - 42 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.25, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Михаил Викторович Желудов. В городе, где родился Сергей Анатольевич Широкий (Брест, Могилёвская область), в Бобруйске, главой администрации является Михаил Викторович Желудов.", + "predict": " Михаил Викторович Желудов.", "sample": { "messages": [ { @@ -52889,7 +52889,7 @@ "info": { "prompt_len": 214, "generated_len": [ - 42 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -52899,7 +52899,7 @@ "f1": 0, "em": 0 }, - "predict": " Чёрная Лобань сливается с рекой Белой Лобанью.", + "predict": " Белая Лобань.", "sample": { "messages": [ { @@ -52946,7 +52946,7 @@ "info": { "prompt_len": 311, "generated_len": [ - 64 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -52956,7 +52956,7 @@ "f1": 0, "em": 0 }, - "predict": " Волга.\n\nСама Домгиль сливается с Волгою, а Волга в свою очередь сливается с Волгой. Волга является левым притоком Волги, а Волга в свою очередь является правым притоком Волги. Поэтому Домгиль, как левый приток Волги, сливается с", + "predict": " Домгиль сливается с рекой Вычегой.", "sample": { "messages": [ { @@ -52997,17 +52997,17 @@ "info": { "prompt_len": 282, "generated_len": [ - 64 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.06666666666666667, + "f1": 0.16666666666666669, "em": 0 }, - "predict": " Дрепан в Вифинии, недалеко от Константинополя в Малой Азии. Согласно тексту, Елена родилась в городке Дрепан, что в Вифинии, и её имя стало названием дня, отмечаемого в Вологодской губернии.", + "predict": " В городе Дрепан в Вифинии, недалеко от Константинополя в Малой Азии.", "sample": { "messages": [ { @@ -53060,7 +53060,7 @@ "info": { "prompt_len": 352, "generated_len": [ - 51 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -53111,7 +53111,7 @@ "info": { "prompt_len": 269, "generated_len": [ - 51 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -53121,7 +53121,7 @@ "f1": 0, "em": 0 }, - "predict": " Ворона.", + "predict": " Ворона", "sample": { "messages": [ { @@ -53168,17 +53168,17 @@ "info": { "prompt_len": 198, "generated_len": [ - 5 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0, + "em": 0 }, - "predict": " Кильмезь", + "predict": " река Валы", "sample": { "messages": [ { @@ -53219,17 +53219,17 @@ "info": { "prompt_len": 220, "generated_len": [ - 5 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.1, + "f1": 0.6666666666666666, "em": 0 }, - "predict": " Республиканская партия. Седрик Ричмонд является членом Демократической партии, а Республиканская партия находится в оппозиции к Демократической партии в США.", + "predict": " Республиканская партия.", "sample": { "messages": [ { @@ -53276,7 +53276,7 @@ "info": { "prompt_len": 567, "generated_len": [ - 29 + 51 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -53286,7 +53286,7 @@ "f1": 0, "em": 0 }, - "predict": " Ереванский городской совет.", + "predict": " Ереванский городской совет", "sample": { "messages": [ { @@ -53327,7 +53327,7 @@ "info": { "prompt_len": 289, "generated_len": [ - 29 + 51 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -53337,7 +53337,7 @@ "f1": 0, "em": 0 }, - "predict": " Анатолий Алексеевич Кретов.", + "predict": " Анатолий Алексеевич Кретов", "sample": { "messages": [ { @@ -53378,17 +53378,17 @@ "info": { "prompt_len": 348, "generated_len": [ - 29 + 51 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.23529411764705882, + "f1": 0.13793103448275862, "em": 0 }, - "predict": " Юрий Цкипури, являющийся мэром города Тула, является главой администрации в городе, где родилась Катя Кищук.", + "predict": " Юрий Цкипури. Согласно тексту 2, в городе Тула, где родилась Катя Кщук, Юрий Цкипури был избран мэром 29 сентября 2014 года на первом заседании Тульской городской Думы.", "sample": { "messages": [ { @@ -53429,7 +53429,7 @@ "info": { "prompt_len": 338, "generated_len": [ - 29 + 51 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -53480,17 +53480,17 @@ "info": { "prompt_len": 229, "generated_len": [ - 35 + 51 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.18181818181818182, + "f1": 0.6666666666666666, "em": 0 }, - "predict": " Городской совет Нижнего Новгорода. Законодательный орган, принимающий законы в городе, где умер Никандр Иванович Глориантов, — Городская Дума Нижнего Новгорода.", + "predict": " Городская Дума Нижнего Новгорода.", "sample": { "messages": [ { @@ -53537,17 +53537,17 @@ "info": { "prompt_len": 574, "generated_len": [ - 35 + 51 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.33333333333333337, + "f1": 0.375, "em": 0 }, - "predict": " Законодательный орган города Еревана, где родился Давид Левонович Гарибян, называется Ереванский городской совет (городской советом).", + "predict": " Город Ереван, где родился Давид Левонович Гарибян, имеет законодательный орган - Ереванский городской совет.", "sample": { "messages": [ { @@ -53600,17 +53600,17 @@ "info": { "prompt_len": 311, "generated_len": [ - 29 + 51 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2857142857142857, + "f1": 0, "em": 0 }, - "predict": " Паневежский уезд и Паневежский район Литвы.", + "predict": " Паневежский уезд и Паневежский район.", "sample": { "messages": [ { @@ -53651,17 +53651,17 @@ "info": { "prompt_len": 233, "generated_len": [ - 29 + 51 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.05714285714285715, + "f1": 0, "em": 0 }, - "predict": " Кынгылат. В первом тексте указано, что Кынгылат — приток реки Нюролька, а в другом тексте Нюролька — правый приток Васюгана, что совпадает с данными водного реестра. Таким образом, Кынгылат питает реку Васюган, и поэтому", + "predict": " Ай-Кынгылат.", "sample": { "messages": [ { @@ -53708,7 +53708,7 @@ "info": { "prompt_len": 287, "generated_len": [ - 64 + 51 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -53718,7 +53718,7 @@ "f1": 0, "em": 0 }, - "predict": " Алиреза Неджати занимает должность президента Исламской Республики Иран. В тексте дана характеристика главы государства, и указывается, что президент назначается Советом экспертов и утверждается Высшим руководителем, что соответствует должности президента в Иране.", + "predict": " Алиреза Неджати занимает должность президента Исламской Республики Иран.", "sample": { "messages": [ { @@ -53765,7 +53765,7 @@ "info": { "prompt_len": 604, "generated_len": [ - 64 + 51 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -53775,7 +53775,7 @@ "f1": 1.0, "em": 1 }, - "predict": " И. Р. Метшин.", + "predict": " И. Р. Метшин", "sample": { "messages": [ { @@ -53816,7 +53816,7 @@ "info": { "prompt_len": 294, "generated_len": [ - 25 + 51 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -53826,7 +53826,7 @@ "f1": 0, "em": 0 }, - "predict": " Законодательный орган города, где родился Василий Васильевич Доленко, является Ереванский городской совет (МФА: Ереван).", + "predict": " Ереванский городской совет.", "sample": { "messages": [ { @@ -53867,7 +53867,7 @@ "info": { "prompt_len": 177, "generated_len": [ - 25 + 51 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -53877,7 +53877,7 @@ "f1": 0, "em": 0 }, - "predict": " Михаил Викторович Желудов. В городе, где родился Юрий Геннадьевич Свирков (Брук), Бобруйский городской исполнительный комитет является главой администрации. Его председатель Михаил Викторович Желудов назначается Президентом и утверждается депутатами горсовета.", + "predict": " Михаил Викторович Желудов.", "sample": { "messages": [ { @@ -53918,17 +53918,17 @@ "info": { "prompt_len": 246, "generated_len": [ - 50 + 51 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.19354838709677416, + "f1": 0.375, "em": 0 }, - "predict": " Иван Дмитриевич Павлов родился в Ставропольском крае, административный центр которого — город Ставрополь. В регионе, где родился Павлов, исполняющим обязанности губернатора и избранным губернатором является Владимир Владимирович Владимиров.", + "predict": " В регионе, где родился Иван Дмитриевич Павлов, Владимир Владимирович Владимиров является главой администрации.", "sample": { "messages": [ { @@ -53969,7 +53969,7 @@ "info": { "prompt_len": 329, "generated_len": [ - 50 + 51 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -53979,7 +53979,7 @@ "f1": 0, "em": 0 }, - "predict": " Уржумка.", + "predict": " Уржумка", "sample": { "messages": [ { @@ -54026,7 +54026,7 @@ "info": { "prompt_len": 307, "generated_len": [ - 64 + 51 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -54036,7 +54036,7 @@ "f1": 0, "em": 0 }, - "predict": " Казахстан.\n\nВ первом тексте Магавья Алимханович Ермеков — казахстанский учёный, гражданин Казахстана. Во втором тексте подробно описывается история Казахстана, его территории и культуры, включая период перестройки и развитие литературы. Таким образом, ясно, что страна, на территории которой жил Ермеков, прежде всего Казахстан.", + "predict": " Казахстан.", "sample": { "messages": [ { @@ -54083,7 +54083,7 @@ "info": { "prompt_len": 577, "generated_len": [ - 64 + 51 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -54093,7 +54093,7 @@ "f1": 0, "em": 0 }, - "predict": " Президентство.\n\nВ первом тексте сообщается, что Жан Тейруз — епископ Армянской католической церкви, а в другом, что Сирия — государство на Ближнем Востоке, граничащее с другими странами и насчитывавшее 70 лет государственности. Таким образом, в Сирии главой государства традиционно считается президент.", + "predict": " Президент.\n\nЖан Тейруз занимал должность главы государства в Сирии.", "sample": { "messages": [ { @@ -54140,17 +54140,17 @@ "info": { "prompt_len": 232, "generated_len": [ - 63 + 48 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.6666666666666666, + "f1": 0.2, "em": 0 }, - "predict": " Городской думы Нижнего Новгорода.", + "predict": " Городской совет", "sample": { "messages": [ { @@ -54197,7 +54197,7 @@ "info": { "prompt_len": 419, "generated_len": [ - 63 + 48 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -54207,7 +54207,7 @@ "f1": 1.0, "em": 1 }, - "predict": " И. Р. Метшин.", + "predict": " И. Р. Метшин", "sample": { "messages": [ { @@ -54248,7 +54248,7 @@ "info": { "prompt_len": 316, "generated_len": [ - 8 + 48 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -54258,7 +54258,7 @@ "f1": 0, "em": 0 }, - "predict": " Малый Елбаш.", + "predict": " Малый Елбаш", "sample": { "messages": [ { @@ -54299,7 +54299,7 @@ "info": { "prompt_len": 149, "generated_len": [ - 8 + 48 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -54309,7 +54309,7 @@ "f1": 0, "em": 0 }, - "predict": " Рутка. Река Вереза сливается с Руткой.", + "predict": " Рутка.", "sample": { "messages": [ { @@ -54362,7 +54362,7 @@ "info": { "prompt_len": 436, "generated_len": [ - 16 + 48 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -54372,7 +54372,7 @@ "f1": 0, "em": 0 }, - "predict": " Али Хаменеи. Глава государства в Исламской Республике Иран — президент.", + "predict": " Президент", "sample": { "messages": [ { @@ -54413,7 +54413,7 @@ "info": { "prompt_len": 516, "generated_len": [ - 16 + 48 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -54423,7 +54423,7 @@ "f1": 0, "em": 0 }, - "predict": " Уйма. \n\nИстоки Веймйока впадают в Уйму.", + "predict": " Уйма.", "sample": { "messages": [ { @@ -54464,7 +54464,7 @@ "info": { "prompt_len": 475, "generated_len": [ - 33 + 48 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -54474,7 +54474,7 @@ "f1": 0, "em": 0 }, - "predict": " Фаэтонка сливается с рекой Фортангой. Устье Фаэтонки находится в 25 км по левому берегу реки Фортанги.", + "predict": " Фаэтонка сливается с рекой Фортангой.", "sample": { "messages": [ { @@ -54521,7 +54521,7 @@ "info": { "prompt_len": 168, "generated_len": [ - 33 + 48 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -54531,7 +54531,7 @@ "f1": 0, "em": 0 }, - "predict": " Толька.", + "predict": " Толька", "sample": { "messages": [ { @@ -54572,17 +54572,17 @@ "info": { "prompt_len": 254, "generated_len": [ - 50 + 48 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.07407407407407407, + "f1": 0, "em": 0 }, - "predict": " Сенат и Палата депутатов. Согласно тексту 2, Мексика имеет двухпалатный парламент, в котором Сенат (128 мест) и Палата депутатов (500 мест) избираются на 3-летний срок.", + "predict": " Сенат", "sample": { "messages": [ { @@ -54623,7 +54623,7 @@ "info": { "prompt_len": 551, "generated_len": [ - 50 + 48 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -54633,7 +54633,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Брэила.", + "predict": " Брэила", "sample": { "messages": [ { @@ -54680,7 +54680,7 @@ "info": { "prompt_len": 517, "generated_len": [ - 22 + 48 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -54690,7 +54690,7 @@ "f1": 0, "em": 0 }, - "predict": " Большой Салым. \n\nТексты сообщают, что Чупал — левый приток Большой Салым.", + "predict": " Большой Салым.", "sample": { "messages": [ { @@ -54737,7 +54737,7 @@ "info": { "prompt_len": 264, "generated_len": [ - 22 + 48 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -54747,7 +54747,7 @@ "f1": 0, "em": 0 }, - "predict": " Смердиль сливается с Колпи рекой.", + "predict": " Колпь", "sample": { "messages": [ { @@ -54788,7 +54788,7 @@ "info": { "prompt_len": 329, "generated_len": [ - 20 + 48 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -54798,7 +54798,7 @@ "f1": 0, "em": 0 }, - "predict": " Родом сценарист фильма \"Завтрак на Плутоне\" Нил Патрик Джордан из Ирландии.", + "predict": " Родом сценарист фильма \"Завтрак на Плутоне\" Нил Патрик Джордан.", "sample": { "messages": [ { @@ -54839,7 +54839,7 @@ "info": { "prompt_len": 310, "generated_len": [ - 20 + 48 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -54849,7 +54849,7 @@ "f1": 0, "em": 0 }, - "predict": " Сенат.", + "predict": " Сенат", "sample": { "messages": [ { @@ -54890,17 +54890,17 @@ "info": { "prompt_len": 371, "generated_len": [ - 31 + 48 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.16, "em": 0 }, - "predict": " Саур-Могила является наивысшей точкой горного хребта Донецкий кряж, к которому принадлежит Шахтёрский район Донецкой области Украины.", + "predict": " Могила Мечетная. \n\nНаивысшая точка горного хребта Донецкий кряж, к которому принадлежит Саур-Могила, является Могила Мечетная, расположенная на высоте 366 метров над уровнем моря.", "sample": { "messages": [ { @@ -54947,17 +54947,17 @@ "info": { "prompt_len": 596, "generated_len": [ - 31 + 48 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Казань, глава администрации — мэр.", + "predict": " И. Р. Метшин.", "sample": { "messages": [ { @@ -55005,10 +55005,10 @@ } { "metric": { - "f1": 0.1111111111111111, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Нигибнебяяха сливается с рекой Пур, впадающей в протоку Латтапаруты, которая в свою очередь впадает в реку Пур.", + "predict": " Пур.", "sample": { "messages": [ { @@ -55056,10 +55056,10 @@ } { "metric": { - "f1": 0.15384615384615385, + "f1": 0, "em": 0 }, - "predict": " Команда, за тренировки которой отвечает Маурицио Тромбетта, играет в Лиге Чемпионов.", + "predict": " Маурицио Тромбетта работает тренером в клубе \"ЧФР-Клуж\", который играет в чемпионате Румынии.", "sample": { "messages": [ { @@ -55106,17 +55106,17 @@ "info": { "prompt_len": 404, "generated_len": [ - 34 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.11764705882352941, + "f1": 0.1111111111111111, "em": 0 }, - "predict": " В Премьер-лиге. Энтони Хадсон тренирует команду \"Тоттенхэм Хотспур\", которая выступает в Премьер-лиге, высшем дивизионе английского футбола.", + "predict": " Энтони Хадсон тренирует команду \"Тоттенхэм Хотспур\", которая играет в Премьер-лиге, высшем дивизионе в системе футбольных лиг Англии.", "sample": { "messages": [ { @@ -55157,7 +55157,7 @@ "info": { "prompt_len": 379, "generated_len": [ - 34 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -55167,7 +55167,7 @@ "f1": 0, "em": 0 }, - "predict": " Евгений Карпов. В Магнитогорске, городе, где умер Владимир Михайлович Огиевский, Виталий Бахметьев, занимавший должность главы администрации с 26 октября 2015 г., исполняя обязанности с 25 декабря 2014 г., являлся главой администрации в это время.", + "predict": " Евгений Карпов. В тексте 2 указано, что Евгений Карпов был главой города Магнитогорска с 2005 по 2009 годы.", "sample": { "messages": [ { @@ -55208,17 +55208,17 @@ "info": { "prompt_len": 398, "generated_len": [ - 62 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0, + "em": 0 }, - "predict": " Владимир Владимирович Владимиров.", + "predict": " Валерий Вениаминович Гаевский", "sample": { "messages": [ { @@ -55259,7 +55259,7 @@ "info": { "prompt_len": 308, "generated_len": [ - 62 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -55269,7 +55269,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Ереванский городской совет.", + "predict": " Ереванский городской совет", "sample": { "messages": [ { @@ -55316,17 +55316,17 @@ "info": { "prompt_len": 241, "generated_len": [ - 34 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.07407407407407407, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Мэр Казани. В Казани, как и в других городах Российской Федерации, мэр избирается жителями на выборах в Городскую Думу и является главой администрации города.", + "predict": " И. Р. Метшин.", "sample": { "messages": [ { @@ -55367,7 +55367,7 @@ "info": { "prompt_len": 330, "generated_len": [ - 34 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -55377,7 +55377,7 @@ "f1": 0, "em": 0 }, - "predict": " Косма.", + "predict": " Косма", "sample": { "messages": [ { @@ -55418,17 +55418,17 @@ "info": { "prompt_len": 160, "generated_len": [ - 64 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.046511627906976744, + "f1": 0, "em": 0 }, - "predict": " Лига I.\n\nВопрос: В какой лиге играет команда, за тренировки которой отвечает Дан Петреску?\n\nОба текста упоминают одну и ту же команду — ЧФР Клуж, но в одном из них (текст 2) указана и ее профессиональная лига, а в другом (текст", + "predict": " В чемпионате Румынии.", "sample": { "messages": [ { @@ -55475,7 +55475,7 @@ "info": { "prompt_len": 570, "generated_len": [ - 64 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -55532,7 +55532,7 @@ "info": { "prompt_len": 346, "generated_len": [ - 7 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -55542,7 +55542,7 @@ "f1": 0, "em": 0 }, - "predict": " Амня.", + "predict": " Амня", "sample": { "messages": [ { @@ -55589,17 +55589,17 @@ "info": { "prompt_len": 196, "generated_len": [ - 7 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Удай.", + "predict": " Сула", "sample": { "messages": [ { @@ -55646,17 +55646,17 @@ "info": { "prompt_len": 377, "generated_len": [ - 24 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.375, + "f1": 0, "em": 0 }, - "predict": " Глава администрации в городе Йошкар-Ола, столице Республики Марий Эл, является Евгений Васильевич Маслов.", + "predict": " Павел Вячеславович Плотников.", "sample": { "messages": [ { @@ -55697,17 +55697,17 @@ "info": { "prompt_len": 478, "generated_len": [ - 24 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.15384615384615385, + "f1": 0, "em": 0 }, - "predict": " Вятка.\nБольшая Озерница является притоком реки Вятка, а Вята впадает в Каму.", + "predict": " Вятка. Большая Озерница является притоком реки Вятки.", "sample": { "messages": [ { @@ -55754,7 +55754,7 @@ "info": { "prompt_len": 284, "generated_len": [ - 28 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -55764,7 +55764,7 @@ "f1": 0, "em": 0 }, - "predict": " Казахстан. Дмитрий Андреевич Мирошниченко выступал за казахстанский клуб \"Тобол\" Костанай и национальную сборную Казахстана.", + "predict": " Казахстан.", "sample": { "messages": [ { @@ -55817,7 +55817,7 @@ "info": { "prompt_len": 417, "generated_len": [ - 28 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -55827,7 +55827,7 @@ "f1": 0, "em": 0 }, - "predict": " Парабель.", + "predict": " Парабель", "sample": { "messages": [ { @@ -55874,7 +55874,7 @@ "info": { "prompt_len": 471, "generated_len": [ - 7 + 57 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -55884,7 +55884,7 @@ "f1": 0.6666666666666666, "em": 0 }, - "predict": " Городской думы Нижнего Новгорода.", + "predict": " Городская Дума Нижнего Новгорода.", "sample": { "messages": [ { @@ -55931,17 +55931,17 @@ "info": { "prompt_len": 464, "generated_len": [ - 7 + 57 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.3333333333333333, + "f1": 0.5, "em": 0 }, - "predict": " Городской Совет Нижнего Новгорода.", + "predict": " Городской Совет.", "sample": { "messages": [ { @@ -55988,7 +55988,7 @@ "info": { "prompt_len": 362, "generated_len": [ - 31 + 57 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -55998,7 +55998,7 @@ "f1": 0, "em": 0 }, - "predict": " Законодательный орган государства, граждани��ом которого является Амвросий Мадтха, называется \"Раджья сабха\" (Совет штатов).", + "predict": " Верховный суд", "sample": { "messages": [ { @@ -56045,17 +56045,17 @@ "info": { "prompt_len": 690, "generated_len": [ - 31 + 57 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.04545454545454545, + "f1": 0, "em": 0 }, - "predict": " Владимир Моисеевич Смирин посвятил себя изучению зоологии, в частности позвоночных животных, териологии (учение о млекопитающих) и анималистической живописи. Его наследие включало множество набросков и рисунков млекопитающих, в том числе портретов более 300 видов с натуры, что сделало его выдающимся зоологом и", + "predict": " Владимир Моисеевич Смирин посвятил своей жизни зоологии, териологии и анималистике. Его научные интересы и достижения в области зоологии включают создание уникальных портретов млекопитающих с натуры, в рамках проекта \"Атлас млекопитающих СССР\", что делает его известным как выдающийся художник-анималист.", "sample": { "messages": [ { @@ -56096,7 +56096,7 @@ "info": { "prompt_len": 176, "generated_len": [ - 64 + 57 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -56106,7 +56106,7 @@ "f1": 0, "em": 0 }, - "predict": " Амазонка. Река Жапура втекает в Амазонку.", + "predict": " Амазонка.", "sample": { "messages": [ { @@ -56153,7 +56153,7 @@ "info": { "prompt_len": 651, "generated_len": [ - 64 + 57 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -56163,7 +56163,7 @@ "f1": 0, "em": 0 }, - "predict": " Чемпионшип Англии.", + "predict": " В Английской Премьер-лиге.", "sample": { "messages": [ { @@ -56216,17 +56216,17 @@ "info": { "prompt_len": 565, "generated_len": [ - 46 + 57 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.0689655172413793, + "f1": 0, "em": 0 }, - "predict": " Варма. В первом тексте Варма названа как правый приток Мокши, а Мокша, как указано в втором тексте, является притоком реки Оки, что является общим для Вармы и Мокши.", + "predict": " Варма.", "sample": { "messages": [ { @@ -56279,7 +56279,7 @@ "info": { "prompt_len": 283, "generated_len": [ - 46 + 57 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -56330,17 +56330,17 @@ "info": { "prompt_len": 202, "generated_len": [ - 64 + 57 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2181818181818182, + "f1": 0.2, "em": 0 }, - "predict": " Городской совет Нижнего Новгорода. \n\nВ тексте 2 ясно указано, что Нижний Новгород — это \"второй по численности населения город в Приволжском федеральном округе и на реке Волге, административный центр Приволжского федерального округа и Нижегородской области\". Городской совет — это законодательный орган в городе, где появился на свет", + "predict": " Городской совет.", "sample": { "messages": [ { @@ -56393,7 +56393,7 @@ "info": { "prompt_len": 588, "generated_len": [ - 64 + 57 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -56403,7 +56403,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Ереванский городской совет.", + "predict": " Ереванский городской совет", "sample": { "messages": [ { @@ -56450,17 +56450,17 @@ "info": { "prompt_len": 268, "generated_len": [ - 31 + 57 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.11764705882352941, + "f1": 0.13333333333333333, "em": 0 }, - "predict": " Место рождения композитора Моисея Самуиловича Вайнберга, который написал музыку к фильму \"Шофёр поневоле\", — Варшава, Польша.", + "predict": " Место рождения композитора Моисея Вайнберга, который написал музыку к фильму \"Шофёр поневоле\", — Варшава.", "sample": { "messages": [ { @@ -56501,17 +56501,17 @@ "info": { "prompt_len": 602, "generated_len": [ - 31 + 57 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.13636363636363635, + "f1": 0.35294117647058826, "em": 0 }, - "predict": " Глава администрации в регионе, где родился Илья Михайлович Ващенко, в настоящее время является Сергей Анатольевич Кузьменко. Его полномочия истекли 16 сентября 2014 года, после чего должность временно не исполнялась, пока не был избран новый глава. В январе 2014 года должность временно", + "predict": " В регионе, где родился Илья Михайлович Ващенко, его главой администрации является Кузьменко Сергей Анатольевич.", "sample": { "messages": [ { @@ -56552,7 +56552,7 @@ "info": { "prompt_len": 536, "generated_len": [ - 64 + 57 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -56562,7 +56562,7 @@ "f1": 0.8571428571428571, "em": 0 }, - "predict": " Римская крепость Кастра Регина.", + "predict": " Римская крепость Кастра Регина", "sample": { "messages": [ { @@ -56609,7 +56609,7 @@ "info": { "prompt_len": 522, "generated_len": [ - 64 + 57 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -56678,7 +56678,7 @@ "info": { "prompt_len": 196, "generated_len": [ - 9 + 57 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -56688,7 +56688,7 @@ "f1": 0, "em": 0 }, - "predict": " Виталий Бахметьев, глава города.", + "predict": " Евгений Тефтелев", "sample": { "messages": [ { @@ -56729,17 +56729,17 @@ "info": { "prompt_len": 255, "generated_len": [ - 9 + 57 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.13333333333333333, + "f1": 0, "em": 0 }, - "predict": " Малый Сосьва. Хултурахт вливается в Северную Сосьву, а Северная Сосьва сливается с Обь слева.", + "predict": " Большой и Малой Сосьвы.", "sample": { "messages": [ { @@ -56780,7 +56780,7 @@ "info": { "prompt_len": 265, "generated_len": [ - 31 + 8 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -56837,7 +56837,7 @@ "info": { "prompt_len": 395, "generated_len": [ - 31 + 8 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -56847,7 +56847,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Евгений Тефтелев.", + "predict": " Евгений Тефтелев", "sample": { "messages": [ { @@ -56894,17 +56894,17 @@ "info": { "prompt_len": 374, "generated_len": [ - 6 + 8 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Баямо.", + "predict": " Гватемала", "sample": { "messages": [ { @@ -56945,17 +56945,17 @@ "info": { "prompt_len": 213, "generated_len": [ - 6 + 8 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.05555555555555555, + "f1": 0.4, "em": 0 }, - "predict": " Городской совет Нижнего Новгорода. Анатолий Юрьевич Москвин родился в Нижнем Новгороде, который с 1932 по 1990 год назывался Горьком, и с 22 октября 1990 года официально стал городом-героем и городом-заповедником, административным центром Нижегородской области.", + "predict": " Городской суд РФ.", "sample": { "messages": [ { @@ -57002,7 +57002,7 @@ "info": { "prompt_len": 413, "generated_len": [ - 64 + 8 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -57012,7 +57012,7 @@ "f1": 0, "em": 0 }, - "predict": " Нижегородский облисполком.", + "predict": " Горьковский облисполком", "sample": { "messages": [ { @@ -57059,7 +57059,7 @@ "info": { "prompt_len": 402, "generated_len": [ - 64 + 8 ], "generated_cumulative_logprob": "TODO: calculate for hf model" }