idolezal commited on
Commit
f03ebc5
1 Parent(s): 8bfc448

TODO: results_dataset_integrity_check()

Browse files
Files changed (1) hide show
  1. server.py +10 -0
server.py CHANGED
@@ -219,6 +219,16 @@ class LeaderboardServer:
219
  self.submission_id_to_model_title[submission_id] = metadata["team_name"] + "/" + metadata["model_name"]
220
  self.submission_id_to_data[submission_id] = {"results": data["results"], "metadata": metadata}
221
 
 
 
 
 
 
 
 
 
 
 
222
  @staticmethod
223
  def _model_tournament_table_highlight_true_and_false(x):
224
  return np.where(
 
219
  self.submission_id_to_model_title[submission_id] = metadata["team_name"] + "/" + metadata["model_name"]
220
  self.submission_id_to_data[submission_id] = {"results": data["results"], "metadata": metadata}
221
 
222
+ def results_dataset_integrity_check(self):
223
+ """
224
+ Zkontroluje, že:
225
+ - všechny modely byly v duelu se všemi
226
+ -- pokud ne, znemožní potvrzení nových submitů a udělá zbývající zápasy
227
+ -- kontroluje soubory v adresáři "/data" a soubor "tournament.json"
228
+ - v souboru "tournament.json" není `submission_id`, které by nemělo soubor v adresáři "/data"
229
+ """
230
+ pass # TODO: results_dataset_integrity_check()
231
+
232
  @staticmethod
233
  def _model_tournament_table_highlight_true_and_false(x):
234
  return np.where(