diff --git "a/tests/toydata/eval_results/AIR-Bench_24.05/bge-m3/NoReranker/results.json" "b/tests/toydata/eval_results/AIR-Bench_24.05/bge-m3/NoReranker/results.json" deleted file mode 100644--- "a/tests/toydata/eval_results/AIR-Bench_24.05/bge-m3/NoReranker/results.json" +++ /dev/null @@ -1,14492 +0,0 @@ -[ - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "qa", - "metric": "ndcg_at_1", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "fr", - "dataset": "default", - "value": 0.20086 - }, - { - "domain": "law", - "lang": "en", - "dataset": "default", - "value": 0.26162 - }, - { - "domain": "law", - "lang": "de", - "dataset": "default", - "value": 0.20116 - }, - { - "domain": "news", - "lang": "fr", - "dataset": "default", - "value": 0.53435 - }, - { - "domain": "news", - "lang": "en", - "dataset": "default", - "value": 0.4404 - }, - { - "domain": "news", - "lang": "zh", - "dataset": "default", - "value": 0.40059 - }, - { - "domain": "news", - "lang": "ar", - "dataset": "default", - "value": 0.53152 - }, - { - "domain": "news", - "lang": "hi", - "dataset": "default", - "value": 0.48355 - }, - { - "domain": "news", - "lang": "es", - "dataset": "default", - "value": 0.47964 - }, - { - "domain": "news", - "lang": "id", - "dataset": "default", - "value": 0.55605 - }, - { - "domain": "news", - "lang": "fa", - "dataset": "default", - "value": 0.51876 - }, - { - "domain": "news", - "lang": "ko", - "dataset": "default", - "value": 0.53905 - }, - { - "domain": "news", - "lang": "ja", - "dataset": "default", - "value": 0.50943 - }, - { - "domain": "news", - "lang": "de", - "dataset": "default", - "value": 0.51113 - }, - { - "domain": "news", - "lang": "bn", - "dataset": "default", - "value": 0.48749 - }, - { - "domain": "news", - "lang": "ru", - "dataset": "default", - "value": 0.5466 - }, - { - "domain": "healthcare", - "lang": "fr", - "dataset": "default", - "value": 0.4902 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "default", - "value": 0.49341 - }, - { - "domain": "healthcare", - "lang": "zh", - "dataset": "default", - "value": 0.498 - }, - { - "domain": "healthcare", - "lang": "es", - "dataset": "default", - "value": 0.61199 - }, - { - "domain": "healthcare", - "lang": "de", - "dataset": "default", - "value": 0.45246 - }, - { - "domain": "finance", - "lang": "fr", - "dataset": "default", - "value": 0.48994 - }, - { - "domain": "finance", - "lang": "en", - "dataset": "default", - "value": 0.48738 - }, - { - "domain": "finance", - "lang": "zh", - "dataset": "default", - "value": 0.43075 - }, - { - "domain": "finance", - "lang": "ar", - "dataset": "default", - "value": 0.39574 - }, - { - "domain": "wiki", - "lang": "fr", - "dataset": "default", - "value": 0.65239 - }, - { - "domain": "wiki", - "lang": "en", - "dataset": "default", - "value": 0.69754 - }, - { - "domain": "wiki", - "lang": "zh", - "dataset": "default", - "value": 0.6994 - }, - { - "domain": "wiki", - "lang": "ar", - "dataset": "default", - "value": 0.68044 - }, - { - "domain": "wiki", - "lang": "hi", - "dataset": "default", - "value": 0.775 - }, - { - "domain": "wiki", - "lang": "es", - "dataset": "default", - "value": 0.66739 - }, - { - "domain": "wiki", - "lang": "id", - "dataset": "default", - "value": 0.73562 - }, - { - "domain": "wiki", - "lang": "fa", - "dataset": "default", - "value": 0.70557 - }, - { - "domain": "wiki", - "lang": "ko", - "dataset": "default", - "value": 0.72688 - }, - { - "domain": "wiki", - "lang": "ja", - "dataset": "default", - "value": 0.68087 - }, - { - "domain": "wiki", - "lang": "de", - "dataset": "default", - "value": 0.64886 - }, - { - "domain": "wiki", - "lang": "bn", - "dataset": "default", - "value": 0.72802 - }, - { - "domain": "wiki", - "lang": "ru", - "dataset": "default", - "value": 0.64525 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "default", - "value": 0.43899 - }, - { - "domain": "science", - "lang": "ru", - "dataset": "default", - "value": 0.63459 - }, - { - "domain": "web", - "lang": "fr", - "dataset": "default", - "value": 0.53809 - }, - { - "domain": "web", - "lang": "en", - "dataset": "default", - "value": 0.53221 - }, - { - "domain": "web", - "lang": "zh", - "dataset": "default", - "value": 0.53155 - }, - { - "domain": "web", - "lang": "ar", - "dataset": "default", - "value": 0.55306 - }, - { - "domain": "web", - "lang": "hi", - "dataset": "default", - "value": 0.56922 - }, - { - "domain": "web", - "lang": "es", - "dataset": "default", - "value": 0.53874 - }, - { - "domain": "web", - "lang": "id", - "dataset": "default", - "value": 0.55088 - }, - { - "domain": "web", - "lang": "fa", - "dataset": "default", - "value": 0.5938 - }, - { - "domain": "web", - "lang": "ko", - "dataset": "default", - "value": 0.54698 - }, - { - "domain": "web", - "lang": "ja", - "dataset": "default", - "value": 0.55839 - }, - { - "domain": "web", - "lang": "de", - "dataset": "default", - "value": 0.55447 - }, - { - "domain": "web", - "lang": "bn", - "dataset": "default", - "value": 0.55548 - }, - { - "domain": "web", - "lang": "ru", - "dataset": "default", - "value": 0.57517 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "qa", - "metric": "ndcg_at_3", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "fr", - "dataset": "default", - "value": 0.18331 - }, - { - "domain": "law", - "lang": "en", - "dataset": "default", - "value": 0.24047 - }, - { - "domain": "law", - "lang": "de", - "dataset": "default", - "value": 0.18059 - }, - { - "domain": "news", - "lang": "fr", - "dataset": "default", - "value": 0.48632 - }, - { - "domain": "news", - "lang": "en", - "dataset": "default", - "value": 0.43908 - }, - { - "domain": "news", - "lang": "zh", - "dataset": "default", - "value": 0.38021 - }, - { - "domain": "news", - "lang": "ar", - "dataset": "default", - "value": 0.46039 - }, - { - "domain": "news", - "lang": "hi", - "dataset": "default", - "value": 0.41813 - }, - { - "domain": "news", - "lang": "es", - "dataset": "default", - "value": 0.4368 - }, - { - "domain": "news", - "lang": "id", - "dataset": "default", - "value": 0.48249 - }, - { - "domain": "news", - "lang": "fa", - "dataset": "default", - "value": 0.45349 - }, - { - "domain": "news", - "lang": "ko", - "dataset": "default", - "value": 0.48673 - }, - { - "domain": "news", - "lang": "ja", - "dataset": "default", - "value": 0.45919 - }, - { - "domain": "news", - "lang": "de", - "dataset": "default", - "value": 0.46276 - }, - { - "domain": "news", - "lang": "bn", - "dataset": "default", - "value": 0.52564 - }, - { - "domain": "news", - "lang": "ru", - "dataset": "default", - "value": 0.48407 - }, - { - "domain": "healthcare", - "lang": "fr", - "dataset": "default", - "value": 0.42002 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "default", - "value": 0.44348 - }, - { - "domain": "healthcare", - "lang": "zh", - "dataset": "default", - "value": 0.42871 - }, - { - "domain": "healthcare", - "lang": "es", - "dataset": "default", - "value": 0.51274 - }, - { - "domain": "healthcare", - "lang": "de", - "dataset": "default", - "value": 0.43937 - }, - { - "domain": "finance", - "lang": "fr", - "dataset": "default", - "value": 0.42743 - }, - { - "domain": "finance", - "lang": "en", - "dataset": "default", - "value": 0.49137 - }, - { - "domain": "finance", - "lang": "zh", - "dataset": "default", - "value": 0.38355 - }, - { - "domain": "finance", - "lang": "ar", - "dataset": "default", - "value": 0.40993 - }, - { - "domain": "wiki", - "lang": "fr", - "dataset": "default", - "value": 0.62086 - }, - { - "domain": "wiki", - "lang": "en", - "dataset": "default", - "value": 0.64641 - }, - { - "domain": "wiki", - "lang": "zh", - "dataset": "default", - "value": 0.59066 - }, - { - "domain": "wiki", - "lang": "ar", - "dataset": "default", - "value": 0.58416 - }, - { - "domain": "wiki", - "lang": "hi", - "dataset": "default", - "value": 0.66518 - }, - { - "domain": "wiki", - "lang": "es", - "dataset": "default", - "value": 0.6187 - }, - { - "domain": "wiki", - "lang": "id", - "dataset": "default", - "value": 0.63943 - }, - { - "domain": "wiki", - "lang": "fa", - "dataset": "default", - "value": 0.59534 - }, - { - "domain": "wiki", - "lang": "ko", - "dataset": "default", - "value": 0.60023 - }, - { - "domain": "wiki", - "lang": "ja", - "dataset": "default", - "value": 0.58508 - }, - { - "domain": "wiki", - "lang": "de", - "dataset": "default", - "value": 0.60594 - }, - { - "domain": "wiki", - "lang": "bn", - "dataset": "default", - "value": 0.61504 - }, - { - "domain": "wiki", - "lang": "ru", - "dataset": "default", - "value": 0.57075 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "default", - "value": 0.38602 - }, - { - "domain": "science", - "lang": "ru", - "dataset": "default", - "value": 0.54349 - }, - { - "domain": "web", - "lang": "fr", - "dataset": "default", - "value": 0.48758 - }, - { - "domain": "web", - "lang": "en", - "dataset": "default", - "value": 0.5067 - }, - { - "domain": "web", - "lang": "zh", - "dataset": "default", - "value": 0.48113 - }, - { - "domain": "web", - "lang": "ar", - "dataset": "default", - "value": 0.49726 - }, - { - "domain": "web", - "lang": "hi", - "dataset": "default", - "value": 0.53228 - }, - { - "domain": "web", - "lang": "es", - "dataset": "default", - "value": 0.49155 - }, - { - "domain": "web", - "lang": "id", - "dataset": "default", - "value": 0.51085 - }, - { - "domain": "web", - "lang": "fa", - "dataset": "default", - "value": 0.53187 - }, - { - "domain": "web", - "lang": "ko", - "dataset": "default", - "value": 0.50594 - }, - { - "domain": "web", - "lang": "ja", - "dataset": "default", - "value": 0.51057 - }, - { - "domain": "web", - "lang": "de", - "dataset": "default", - "value": 0.49487 - }, - { - "domain": "web", - "lang": "bn", - "dataset": "default", - "value": 0.51699 - }, - { - "domain": "web", - "lang": "ru", - "dataset": "default", - "value": 0.52144 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "qa", - "metric": "ndcg_at_5", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "fr", - "dataset": "default", - "value": 0.18251 - }, - { - "domain": "law", - "lang": "en", - "dataset": "default", - "value": 0.2473 - }, - { - "domain": "law", - "lang": "de", - "dataset": "default", - "value": 0.17851 - }, - { - "domain": "news", - "lang": "fr", - "dataset": "default", - "value": 0.47684 - }, - { - "domain": "news", - "lang": "en", - "dataset": "default", - "value": 0.44824 - }, - { - "domain": "news", - "lang": "zh", - "dataset": "default", - "value": 0.37904 - }, - { - "domain": "news", - "lang": "ar", - "dataset": "default", - "value": 0.43469 - }, - { - "domain": "news", - "lang": "hi", - "dataset": "default", - "value": 0.40271 - }, - { - "domain": "news", - "lang": "es", - "dataset": "default", - "value": 0.42474 - }, - { - "domain": "news", - "lang": "id", - "dataset": "default", - "value": 0.45926 - }, - { - "domain": "news", - "lang": "fa", - "dataset": "default", - "value": 0.42606 - }, - { - "domain": "news", - "lang": "ko", - "dataset": "default", - "value": 0.46404 - }, - { - "domain": "news", - "lang": "ja", - "dataset": "default", - "value": 0.44476 - }, - { - "domain": "news", - "lang": "de", - "dataset": "default", - "value": 0.45229 - }, - { - "domain": "news", - "lang": "bn", - "dataset": "default", - "value": 0.55326 - }, - { - "domain": "news", - "lang": "ru", - "dataset": "default", - "value": 0.46302 - }, - { - "domain": "healthcare", - "lang": "fr", - "dataset": "default", - "value": 0.39021 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "default", - "value": 0.45771 - }, - { - "domain": "healthcare", - "lang": "zh", - "dataset": "default", - "value": 0.40163 - }, - { - "domain": "healthcare", - "lang": "es", - "dataset": "default", - "value": 0.5021 - }, - { - "domain": "healthcare", - "lang": "de", - "dataset": "default", - "value": 0.45021 - }, - { - "domain": "finance", - "lang": "fr", - "dataset": "default", - "value": 0.40195 - }, - { - "domain": "finance", - "lang": "en", - "dataset": "default", - "value": 0.50558 - }, - { - "domain": "finance", - "lang": "zh", - "dataset": "default", - "value": 0.37544 - }, - { - "domain": "finance", - "lang": "ar", - "dataset": "default", - "value": 0.42647 - }, - { - "domain": "wiki", - "lang": "fr", - "dataset": "default", - "value": 0.63295 - }, - { - "domain": "wiki", - "lang": "en", - "dataset": "default", - "value": 0.66471 - }, - { - "domain": "wiki", - "lang": "zh", - "dataset": "default", - "value": 0.59908 - }, - { - "domain": "wiki", - "lang": "ar", - "dataset": "default", - "value": 0.57667 - }, - { - "domain": "wiki", - "lang": "hi", - "dataset": "default", - "value": 0.66065 - }, - { - "domain": "wiki", - "lang": "es", - "dataset": "default", - "value": 0.62783 - }, - { - "domain": "wiki", - "lang": "id", - "dataset": "default", - "value": 0.638 - }, - { - "domain": "wiki", - "lang": "fa", - "dataset": "default", - "value": 0.58609 - }, - { - "domain": "wiki", - "lang": "ko", - "dataset": "default", - "value": 0.59189 - }, - { - "domain": "wiki", - "lang": "ja", - "dataset": "default", - "value": 0.58327 - }, - { - "domain": "wiki", - "lang": "de", - "dataset": "default", - "value": 0.6243 - }, - { - "domain": "wiki", - "lang": "bn", - "dataset": "default", - "value": 0.61415 - }, - { - "domain": "wiki", - "lang": "ru", - "dataset": "default", - "value": 0.57512 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "default", - "value": 0.3879 - }, - { - "domain": "science", - "lang": "ru", - "dataset": "default", - "value": 0.52582 - }, - { - "domain": "web", - "lang": "fr", - "dataset": "default", - "value": 0.48511 - }, - { - "domain": "web", - "lang": "en", - "dataset": "default", - "value": 0.50712 - }, - { - "domain": "web", - "lang": "zh", - "dataset": "default", - "value": 0.47582 - }, - { - "domain": "web", - "lang": "ar", - "dataset": "default", - "value": 0.49968 - }, - { - "domain": "web", - "lang": "hi", - "dataset": "default", - "value": 0.53902 - }, - { - "domain": "web", - "lang": "es", - "dataset": "default", - "value": 0.48989 - }, - { - "domain": "web", - "lang": "id", - "dataset": "default", - "value": 0.50478 - }, - { - "domain": "web", - "lang": "fa", - "dataset": "default", - "value": 0.52701 - }, - { - "domain": "web", - "lang": "ko", - "dataset": "default", - "value": 0.51846 - }, - { - "domain": "web", - "lang": "ja", - "dataset": "default", - "value": 0.5176 - }, - { - "domain": "web", - "lang": "de", - "dataset": "default", - "value": 0.49343 - }, - { - "domain": "web", - "lang": "bn", - "dataset": "default", - "value": 0.52165 - }, - { - "domain": "web", - "lang": "ru", - "dataset": "default", - "value": 0.51719 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "qa", - "metric": "ndcg_at_10", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "fr", - "dataset": "default", - "value": 0.202 - }, - { - "domain": "law", - "lang": "en", - "dataset": "default", - "value": 0.26951 - }, - { - "domain": "law", - "lang": "de", - "dataset": "default", - "value": 0.2011 - }, - { - "domain": "news", - "lang": "fr", - "dataset": "default", - "value": 0.49516 - }, - { - "domain": "news", - "lang": "en", - "dataset": "default", - "value": 0.47336 - }, - { - "domain": "news", - "lang": "zh", - "dataset": "default", - "value": 0.41001 - }, - { - "domain": "news", - "lang": "ar", - "dataset": "default", - "value": 0.44932 - }, - { - "domain": "news", - "lang": "hi", - "dataset": "default", - "value": 0.42124 - }, - { - "domain": "news", - "lang": "es", - "dataset": "default", - "value": 0.447 - }, - { - "domain": "news", - "lang": "id", - "dataset": "default", - "value": 0.47453 - }, - { - "domain": "news", - "lang": "fa", - "dataset": "default", - "value": 0.43813 - }, - { - "domain": "news", - "lang": "ko", - "dataset": "default", - "value": 0.48135 - }, - { - "domain": "news", - "lang": "ja", - "dataset": "default", - "value": 0.47087 - }, - { - "domain": "news", - "lang": "de", - "dataset": "default", - "value": 0.4787 - }, - { - "domain": "news", - "lang": "bn", - "dataset": "default", - "value": 0.59026 - }, - { - "domain": "news", - "lang": "ru", - "dataset": "default", - "value": 0.48306 - }, - { - "domain": "healthcare", - "lang": "fr", - "dataset": "default", - "value": 0.39289 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "default", - "value": 0.49047 - }, - { - "domain": "healthcare", - "lang": "zh", - "dataset": "default", - "value": 0.42314 - }, - { - "domain": "healthcare", - "lang": "es", - "dataset": "default", - "value": 0.5305 - }, - { - "domain": "healthcare", - "lang": "de", - "dataset": "default", - "value": 0.48996 - }, - { - "domain": "finance", - "lang": "fr", - "dataset": "default", - "value": 0.41436 - }, - { - "domain": "finance", - "lang": "en", - "dataset": "default", - "value": 0.52921 - }, - { - "domain": "finance", - "lang": "zh", - "dataset": "default", - "value": 0.40227 - }, - { - "domain": "finance", - "lang": "ar", - "dataset": "default", - "value": 0.45763 - }, - { - "domain": "wiki", - "lang": "fr", - "dataset": "default", - "value": 0.66036 - }, - { - "domain": "wiki", - "lang": "en", - "dataset": "default", - "value": 0.69696 - }, - { - "domain": "wiki", - "lang": "zh", - "dataset": "default", - "value": 0.63516 - }, - { - "domain": "wiki", - "lang": "ar", - "dataset": "default", - "value": 0.59646 - }, - { - "domain": "wiki", - "lang": "hi", - "dataset": "default", - "value": 0.6902 - }, - { - "domain": "wiki", - "lang": "es", - "dataset": "default", - "value": 0.65401 - }, - { - "domain": "wiki", - "lang": "id", - "dataset": "default", - "value": 0.66297 - }, - { - "domain": "wiki", - "lang": "fa", - "dataset": "default", - "value": 0.61145 - }, - { - "domain": "wiki", - "lang": "ko", - "dataset": "default", - "value": 0.62361 - }, - { - "domain": "wiki", - "lang": "ja", - "dataset": "default", - "value": 0.60864 - }, - { - "domain": "wiki", - "lang": "de", - "dataset": "default", - "value": 0.64682 - }, - { - "domain": "wiki", - "lang": "bn", - "dataset": "default", - "value": 0.64326 - }, - { - "domain": "wiki", - "lang": "ru", - "dataset": "default", - "value": 0.60176 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "default", - "value": 0.41639 - }, - { - "domain": "science", - "lang": "ru", - "dataset": "default", - "value": 0.55185 - }, - { - "domain": "web", - "lang": "fr", - "dataset": "default", - "value": 0.5146 - }, - { - "domain": "web", - "lang": "en", - "dataset": "default", - "value": 0.53881 - }, - { - "domain": "web", - "lang": "zh", - "dataset": "default", - "value": 0.50202 - }, - { - "domain": "web", - "lang": "ar", - "dataset": "default", - "value": 0.52527 - }, - { - "domain": "web", - "lang": "hi", - "dataset": "default", - "value": 0.57061 - }, - { - "domain": "web", - "lang": "es", - "dataset": "default", - "value": 0.51779 - }, - { - "domain": "web", - "lang": "id", - "dataset": "default", - "value": 0.53144 - }, - { - "domain": "web", - "lang": "fa", - "dataset": "default", - "value": 0.55805 - }, - { - "domain": "web", - "lang": "ko", - "dataset": "default", - "value": 0.55285 - }, - { - "domain": "web", - "lang": "ja", - "dataset": "default", - "value": 0.54746 - }, - { - "domain": "web", - "lang": "de", - "dataset": "default", - "value": 0.51893 - }, - { - "domain": "web", - "lang": "bn", - "dataset": "default", - "value": 0.5553 - }, - { - "domain": "web", - "lang": "ru", - "dataset": "default", - "value": 0.54533 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "qa", - "metric": "ndcg_at_50", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "fr", - "dataset": "default", - "value": 0.26121 - }, - { - "domain": "law", - "lang": "en", - "dataset": "default", - "value": 0.3251 - }, - { - "domain": "law", - "lang": "de", - "dataset": "default", - "value": 0.26118 - }, - { - "domain": "news", - "lang": "fr", - "dataset": "default", - "value": 0.57818 - }, - { - "domain": "news", - "lang": "en", - "dataset": "default", - "value": 0.53967 - }, - { - "domain": "news", - "lang": "zh", - "dataset": "default", - "value": 0.49077 - }, - { - "domain": "news", - "lang": "ar", - "dataset": "default", - "value": 0.54763 - }, - { - "domain": "news", - "lang": "hi", - "dataset": "default", - "value": 0.51881 - }, - { - "domain": "news", - "lang": "es", - "dataset": "default", - "value": 0.54005 - }, - { - "domain": "news", - "lang": "id", - "dataset": "default", - "value": 0.58145 - }, - { - "domain": "news", - "lang": "fa", - "dataset": "default", - "value": 0.54961 - }, - { - "domain": "news", - "lang": "ko", - "dataset": "default", - "value": 0.58724 - }, - { - "domain": "news", - "lang": "ja", - "dataset": "default", - "value": 0.56083 - }, - { - "domain": "news", - "lang": "de", - "dataset": "default", - "value": 0.56491 - }, - { - "domain": "news", - "lang": "bn", - "dataset": "default", - "value": 0.63128 - }, - { - "domain": "news", - "lang": "ru", - "dataset": "default", - "value": 0.57611 - }, - { - "domain": "healthcare", - "lang": "fr", - "dataset": "default", - "value": 0.49994 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "default", - "value": 0.54759 - }, - { - "domain": "healthcare", - "lang": "zh", - "dataset": "default", - "value": 0.52125 - }, - { - "domain": "healthcare", - "lang": "es", - "dataset": "default", - "value": 0.61006 - }, - { - "domain": "healthcare", - "lang": "de", - "dataset": "default", - "value": 0.55998 - }, - { - "domain": "finance", - "lang": "fr", - "dataset": "default", - "value": 0.52079 - }, - { - "domain": "finance", - "lang": "en", - "dataset": "default", - "value": 0.56618 - }, - { - "domain": "finance", - "lang": "zh", - "dataset": "default", - "value": 0.48727 - }, - { - "domain": "finance", - "lang": "ar", - "dataset": "default", - "value": 0.50036 - }, - { - "domain": "wiki", - "lang": "fr", - "dataset": "default", - "value": 0.69944 - }, - { - "domain": "wiki", - "lang": "en", - "dataset": "default", - "value": 0.72937 - }, - { - "domain": "wiki", - "lang": "zh", - "dataset": "default", - "value": 0.68185 - }, - { - "domain": "wiki", - "lang": "ar", - "dataset": "default", - "value": 0.65621 - }, - { - "domain": "wiki", - "lang": "hi", - "dataset": "default", - "value": 0.74084 - }, - { - "domain": "wiki", - "lang": "es", - "dataset": "default", - "value": 0.69377 - }, - { - "domain": "wiki", - "lang": "id", - "dataset": "default", - "value": 0.71559 - }, - { - "domain": "wiki", - "lang": "fa", - "dataset": "default", - "value": 0.67661 - }, - { - "domain": "wiki", - "lang": "ko", - "dataset": "default", - "value": 0.68302 - }, - { - "domain": "wiki", - "lang": "ja", - "dataset": "default", - "value": 0.66438 - }, - { - "domain": "wiki", - "lang": "de", - "dataset": "default", - "value": 0.68574 - }, - { - "domain": "wiki", - "lang": "bn", - "dataset": "default", - "value": 0.69751 - }, - { - "domain": "wiki", - "lang": "ru", - "dataset": "default", - "value": 0.66044 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "default", - "value": 0.47708 - }, - { - "domain": "science", - "lang": "ru", - "dataset": "default", - "value": 0.63686 - }, - { - "domain": "web", - "lang": "fr", - "dataset": "default", - "value": 0.59266 - }, - { - "domain": "web", - "lang": "en", - "dataset": "default", - "value": 0.59854 - }, - { - "domain": "web", - "lang": "zh", - "dataset": "default", - "value": 0.57253 - }, - { - "domain": "web", - "lang": "ar", - "dataset": "default", - "value": 0.59855 - }, - { - "domain": "web", - "lang": "hi", - "dataset": "default", - "value": 0.63767 - }, - { - "domain": "web", - "lang": "es", - "dataset": "default", - "value": 0.59294 - }, - { - "domain": "web", - "lang": "id", - "dataset": "default", - "value": 0.61422 - }, - { - "domain": "web", - "lang": "fa", - "dataset": "default", - "value": 0.63746 - }, - { - "domain": "web", - "lang": "ko", - "dataset": "default", - "value": 0.61469 - }, - { - "domain": "web", - "lang": "ja", - "dataset": "default", - "value": 0.61337 - }, - { - "domain": "web", - "lang": "de", - "dataset": "default", - "value": 0.60013 - }, - { - "domain": "web", - "lang": "bn", - "dataset": "default", - "value": 0.62269 - }, - { - "domain": "web", - "lang": "ru", - "dataset": "default", - "value": 0.6235 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "qa", - "metric": "ndcg_at_100", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "fr", - "dataset": "default", - "value": 0.27993 - }, - { - "domain": "law", - "lang": "en", - "dataset": "default", - "value": 0.34058 - }, - { - "domain": "law", - "lang": "de", - "dataset": "default", - "value": 0.27928 - }, - { - "domain": "news", - "lang": "fr", - "dataset": "default", - "value": 0.60179 - }, - { - "domain": "news", - "lang": "en", - "dataset": "default", - "value": 0.55488 - }, - { - "domain": "news", - "lang": "zh", - "dataset": "default", - "value": 0.51095 - }, - { - "domain": "news", - "lang": "ar", - "dataset": "default", - "value": 0.57351 - }, - { - "domain": "news", - "lang": "hi", - "dataset": "default", - "value": 0.54926 - }, - { - "domain": "news", - "lang": "es", - "dataset": "default", - "value": 0.56443 - }, - { - "domain": "news", - "lang": "id", - "dataset": "default", - "value": 0.60849 - }, - { - "domain": "news", - "lang": "fa", - "dataset": "default", - "value": 0.57925 - }, - { - "domain": "news", - "lang": "ko", - "dataset": "default", - "value": 0.61073 - }, - { - "domain": "news", - "lang": "ja", - "dataset": "default", - "value": 0.58109 - }, - { - "domain": "news", - "lang": "de", - "dataset": "default", - "value": 0.58532 - }, - { - "domain": "news", - "lang": "bn", - "dataset": "default", - "value": 0.64181 - }, - { - "domain": "news", - "lang": "ru", - "dataset": "default", - "value": 0.60092 - }, - { - "domain": "healthcare", - "lang": "fr", - "dataset": "default", - "value": 0.53528 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "default", - "value": 0.56219 - }, - { - "domain": "healthcare", - "lang": "zh", - "dataset": "default", - "value": 0.54579 - }, - { - "domain": "healthcare", - "lang": "es", - "dataset": "default", - "value": 0.63281 - }, - { - "domain": "healthcare", - "lang": "de", - "dataset": "default", - "value": 0.57214 - }, - { - "domain": "finance", - "lang": "fr", - "dataset": "default", - "value": 0.55573 - }, - { - "domain": "finance", - "lang": "en", - "dataset": "default", - "value": 0.57335 - }, - { - "domain": "finance", - "lang": "zh", - "dataset": "default", - "value": 0.50471 - }, - { - "domain": "finance", - "lang": "ar", - "dataset": "default", - "value": 0.51367 - }, - { - "domain": "wiki", - "lang": "fr", - "dataset": "default", - "value": 0.70927 - }, - { - "domain": "wiki", - "lang": "en", - "dataset": "default", - "value": 0.73648 - }, - { - "domain": "wiki", - "lang": "zh", - "dataset": "default", - "value": 0.6929 - }, - { - "domain": "wiki", - "lang": "ar", - "dataset": "default", - "value": 0.67345 - }, - { - "domain": "wiki", - "lang": "hi", - "dataset": "default", - "value": 0.75344 - }, - { - "domain": "wiki", - "lang": "es", - "dataset": "default", - "value": 0.70384 - }, - { - "domain": "wiki", - "lang": "id", - "dataset": "default", - "value": 0.72763 - }, - { - "domain": "wiki", - "lang": "fa", - "dataset": "default", - "value": 0.69133 - }, - { - "domain": "wiki", - "lang": "ko", - "dataset": "default", - "value": 0.69803 - }, - { - "domain": "wiki", - "lang": "ja", - "dataset": "default", - "value": 0.67761 - }, - { - "domain": "wiki", - "lang": "de", - "dataset": "default", - "value": 0.69626 - }, - { - "domain": "wiki", - "lang": "bn", - "dataset": "default", - "value": 0.71228 - }, - { - "domain": "wiki", - "lang": "ru", - "dataset": "default", - "value": 0.67434 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "default", - "value": 0.49353 - }, - { - "domain": "science", - "lang": "ru", - "dataset": "default", - "value": 0.65893 - }, - { - "domain": "web", - "lang": "fr", - "dataset": "default", - "value": 0.60795 - }, - { - "domain": "web", - "lang": "en", - "dataset": "default", - "value": 0.61101 - }, - { - "domain": "web", - "lang": "zh", - "dataset": "default", - "value": 0.58747 - }, - { - "domain": "web", - "lang": "ar", - "dataset": "default", - "value": 0.61273 - }, - { - "domain": "web", - "lang": "hi", - "dataset": "default", - "value": 0.64941 - }, - { - "domain": "web", - "lang": "es", - "dataset": "default", - "value": 0.60968 - }, - { - "domain": "web", - "lang": "id", - "dataset": "default", - "value": 0.63255 - }, - { - "domain": "web", - "lang": "fa", - "dataset": "default", - "value": 0.65333 - }, - { - "domain": "web", - "lang": "ko", - "dataset": "default", - "value": 0.62965 - }, - { - "domain": "web", - "lang": "ja", - "dataset": "default", - "value": 0.62957 - }, - { - "domain": "web", - "lang": "de", - "dataset": "default", - "value": 0.61643 - }, - { - "domain": "web", - "lang": "bn", - "dataset": "default", - "value": 0.63699 - }, - { - "domain": "web", - "lang": "ru", - "dataset": "default", - "value": 0.63881 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "qa", - "metric": "ndcg_at_1000", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "fr", - "dataset": "default", - "value": 0.31378 - }, - { - "domain": "law", - "lang": "en", - "dataset": "default", - "value": 0.37556 - }, - { - "domain": "law", - "lang": "de", - "dataset": "default", - "value": 0.3158 - }, - { - "domain": "news", - "lang": "fr", - "dataset": "default", - "value": 0.62319 - }, - { - "domain": "news", - "lang": "en", - "dataset": "default", - "value": 0.57758 - }, - { - "domain": "news", - "lang": "zh", - "dataset": "default", - "value": 0.54425 - }, - { - "domain": "news", - "lang": "ar", - "dataset": "default", - "value": 0.59916 - }, - { - "domain": "news", - "lang": "hi", - "dataset": "default", - "value": 0.57669 - }, - { - "domain": "news", - "lang": "es", - "dataset": "default", - "value": 0.58951 - }, - { - "domain": "news", - "lang": "id", - "dataset": "default", - "value": 0.63277 - }, - { - "domain": "news", - "lang": "fa", - "dataset": "default", - "value": 0.60521 - }, - { - "domain": "news", - "lang": "ko", - "dataset": "default", - "value": 0.63247 - }, - { - "domain": "news", - "lang": "ja", - "dataset": "default", - "value": 0.60332 - }, - { - "domain": "news", - "lang": "de", - "dataset": "default", - "value": 0.60655 - }, - { - "domain": "news", - "lang": "bn", - "dataset": "default", - "value": 0.65102 - }, - { - "domain": "news", - "lang": "ru", - "dataset": "default", - "value": 0.624 - }, - { - "domain": "healthcare", - "lang": "fr", - "dataset": "default", - "value": 0.56974 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "default", - "value": 0.58487 - }, - { - "domain": "healthcare", - "lang": "zh", - "dataset": "default", - "value": 0.57959 - }, - { - "domain": "healthcare", - "lang": "es", - "dataset": "default", - "value": 0.65305 - }, - { - "domain": "healthcare", - "lang": "de", - "dataset": "default", - "value": 0.58818 - }, - { - "domain": "finance", - "lang": "fr", - "dataset": "default", - "value": 0.58775 - }, - { - "domain": "finance", - "lang": "en", - "dataset": "default", - "value": 0.58937 - }, - { - "domain": "finance", - "lang": "zh", - "dataset": "default", - "value": 0.53265 - }, - { - "domain": "finance", - "lang": "ar", - "dataset": "default", - "value": 0.54012 - }, - { - "domain": "wiki", - "lang": "fr", - "dataset": "default", - "value": 0.71986 - }, - { - "domain": "wiki", - "lang": "en", - "dataset": "default", - "value": 0.74405 - }, - { - "domain": "wiki", - "lang": "zh", - "dataset": "default", - "value": 0.70944 - }, - { - "domain": "wiki", - "lang": "ar", - "dataset": "default", - "value": 0.69004 - }, - { - "domain": "wiki", - "lang": "hi", - "dataset": "default", - "value": 0.76441 - }, - { - "domain": "wiki", - "lang": "es", - "dataset": "default", - "value": 0.71648 - }, - { - "domain": "wiki", - "lang": "id", - "dataset": "default", - "value": 0.73969 - }, - { - "domain": "wiki", - "lang": "fa", - "dataset": "default", - "value": 0.7066 - }, - { - "domain": "wiki", - "lang": "ko", - "dataset": "default", - "value": 0.71403 - }, - { - "domain": "wiki", - "lang": "ja", - "dataset": "default", - "value": 0.69232 - }, - { - "domain": "wiki", - "lang": "de", - "dataset": "default", - "value": 0.70656 - }, - { - "domain": "wiki", - "lang": "bn", - "dataset": "default", - "value": 0.72529 - }, - { - "domain": "wiki", - "lang": "ru", - "dataset": "default", - "value": 0.6888 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "default", - "value": 0.5257 - }, - { - "domain": "science", - "lang": "ru", - "dataset": "default", - "value": 0.67818 - }, - { - "domain": "web", - "lang": "fr", - "dataset": "default", - "value": 0.62462 - }, - { - "domain": "web", - "lang": "en", - "dataset": "default", - "value": 0.6276 - }, - { - "domain": "web", - "lang": "zh", - "dataset": "default", - "value": 0.61016 - }, - { - "domain": "web", - "lang": "ar", - "dataset": "default", - "value": 0.63077 - }, - { - "domain": "web", - "lang": "hi", - "dataset": "default", - "value": 0.66323 - }, - { - "domain": "web", - "lang": "es", - "dataset": "default", - "value": 0.62809 - }, - { - "domain": "web", - "lang": "id", - "dataset": "default", - "value": 0.64974 - }, - { - "domain": "web", - "lang": "fa", - "dataset": "default", - "value": 0.66935 - }, - { - "domain": "web", - "lang": "ko", - "dataset": "default", - "value": 0.64533 - }, - { - "domain": "web", - "lang": "ja", - "dataset": "default", - "value": 0.64626 - }, - { - "domain": "web", - "lang": "de", - "dataset": "default", - "value": 0.63364 - }, - { - "domain": "web", - "lang": "bn", - "dataset": "default", - "value": 0.6505 - }, - { - "domain": "web", - "lang": "ru", - "dataset": "default", - "value": 0.65527 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "qa", - "metric": "map_at_1", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "fr", - "dataset": "default", - "value": 0.05412 - }, - { - "domain": "law", - "lang": "en", - "dataset": "default", - "value": 0.10262 - }, - { - "domain": "law", - "lang": "de", - "dataset": "default", - "value": 0.04887 - }, - { - "domain": "news", - "lang": "fr", - "dataset": "default", - "value": 0.20167 - }, - { - "domain": "news", - "lang": "en", - "dataset": "default", - "value": 0.20012 - }, - { - "domain": "news", - "lang": "zh", - "dataset": "default", - "value": 0.12443 - }, - { - "domain": "news", - "lang": "ar", - "dataset": "default", - "value": 0.14347 - }, - { - "domain": "news", - "lang": "hi", - "dataset": "default", - "value": 0.14255 - }, - { - "domain": "news", - "lang": "es", - "dataset": "default", - "value": 0.1689 - }, - { - "domain": "news", - "lang": "id", - "dataset": "default", - "value": 0.1399 - }, - { - "domain": "news", - "lang": "fa", - "dataset": "default", - "value": 0.11778 - }, - { - "domain": "news", - "lang": "ko", - "dataset": "default", - "value": 0.13501 - }, - { - "domain": "news", - "lang": "ja", - "dataset": "default", - "value": 0.14555 - }, - { - "domain": "news", - "lang": "de", - "dataset": "default", - "value": 0.17593 - }, - { - "domain": "news", - "lang": "bn", - "dataset": "default", - "value": 0.33006 - }, - { - "domain": "news", - "lang": "ru", - "dataset": "default", - "value": 0.16607 - }, - { - "domain": "healthcare", - "lang": "fr", - "dataset": "default", - "value": 0.12512 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "default", - "value": 0.21743 - }, - { - "domain": "healthcare", - "lang": "zh", - "dataset": "default", - "value": 0.10245 - }, - { - "domain": "healthcare", - "lang": "es", - "dataset": "default", - "value": 0.25477 - }, - { - "domain": "healthcare", - "lang": "de", - "dataset": "default", - "value": 0.18368 - }, - { - "domain": "finance", - "lang": "fr", - "dataset": "default", - "value": 0.11819 - }, - { - "domain": "finance", - "lang": "en", - "dataset": "default", - "value": 0.30692 - }, - { - "domain": "finance", - "lang": "zh", - "dataset": "default", - "value": 0.11154 - }, - { - "domain": "finance", - "lang": "ar", - "dataset": "default", - "value": 0.2018 - }, - { - "domain": "wiki", - "lang": "fr", - "dataset": "default", - "value": 0.42277 - }, - { - "domain": "wiki", - "lang": "en", - "dataset": "default", - "value": 0.40668 - }, - { - "domain": "wiki", - "lang": "zh", - "dataset": "default", - "value": 0.37059 - }, - { - "domain": "wiki", - "lang": "ar", - "dataset": "default", - "value": 0.33475 - }, - { - "domain": "wiki", - "lang": "hi", - "dataset": "default", - "value": 0.40962 - }, - { - "domain": "wiki", - "lang": "es", - "dataset": "default", - "value": 0.42388 - }, - { - "domain": "wiki", - "lang": "id", - "dataset": "default", - "value": 0.39711 - }, - { - "domain": "wiki", - "lang": "fa", - "dataset": "default", - "value": 0.31906 - }, - { - "domain": "wiki", - "lang": "ko", - "dataset": "default", - "value": 0.32033 - }, - { - "domain": "wiki", - "lang": "ja", - "dataset": "default", - "value": 0.34479 - }, - { - "domain": "wiki", - "lang": "de", - "dataset": "default", - "value": 0.39668 - }, - { - "domain": "wiki", - "lang": "bn", - "dataset": "default", - "value": 0.37883 - }, - { - "domain": "wiki", - "lang": "ru", - "dataset": "default", - "value": 0.32119 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "default", - "value": 0.1918 - }, - { - "domain": "science", - "lang": "ru", - "dataset": "default", - "value": 0.23369 - }, - { - "domain": "web", - "lang": "fr", - "dataset": "default", - "value": 0.21762 - }, - { - "domain": "web", - "lang": "en", - "dataset": "default", - "value": 0.24772 - }, - { - "domain": "web", - "lang": "zh", - "dataset": "default", - "value": 0.20877 - }, - { - "domain": "web", - "lang": "ar", - "dataset": "default", - "value": 0.22703 - }, - { - "domain": "web", - "lang": "hi", - "dataset": "default", - "value": 0.25261 - }, - { - "domain": "web", - "lang": "es", - "dataset": "default", - "value": 0.22435 - }, - { - "domain": "web", - "lang": "id", - "dataset": "default", - "value": 0.21213 - }, - { - "domain": "web", - "lang": "fa", - "dataset": "default", - "value": 0.21605 - }, - { - "domain": "web", - "lang": "ko", - "dataset": "default", - "value": 0.26362 - }, - { - "domain": "web", - "lang": "ja", - "dataset": "default", - "value": 0.25658 - }, - { - "domain": "web", - "lang": "de", - "dataset": "default", - "value": 0.23398 - }, - { - "domain": "web", - "lang": "bn", - "dataset": "default", - "value": 0.26156 - }, - { - "domain": "web", - "lang": "ru", - "dataset": "default", - "value": 0.24011 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "qa", - "metric": "map_at_3", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "fr", - "dataset": "default", - "value": 0.09176 - }, - { - "domain": "law", - "lang": "en", - "dataset": "default", - "value": 0.15875 - }, - { - "domain": "law", - "lang": "de", - "dataset": "default", - "value": 0.08992 - }, - { - "domain": "news", - "lang": "fr", - "dataset": "default", - "value": 0.30345 - }, - { - "domain": "news", - "lang": "en", - "dataset": "default", - "value": 0.30739 - }, - { - "domain": "news", - "lang": "zh", - "dataset": "default", - "value": 0.21666 - }, - { - "domain": "news", - "lang": "ar", - "dataset": "default", - "value": 0.24013 - }, - { - "domain": "news", - "lang": "hi", - "dataset": "default", - "value": 0.22325 - }, - { - "domain": "news", - "lang": "es", - "dataset": "default", - "value": 0.25908 - }, - { - "domain": "news", - "lang": "id", - "dataset": "default", - "value": 0.2438 - }, - { - "domain": "news", - "lang": "fa", - "dataset": "default", - "value": 0.21472 - }, - { - "domain": "news", - "lang": "ko", - "dataset": "default", - "value": 0.24279 - }, - { - "domain": "news", - "lang": "ja", - "dataset": "default", - "value": 0.25086 - }, - { - "domain": "news", - "lang": "de", - "dataset": "default", - "value": 0.2807 - }, - { - "domain": "news", - "lang": "bn", - "dataset": "default", - "value": 0.44976 - }, - { - "domain": "news", - "lang": "ru", - "dataset": "default", - "value": 0.26782 - }, - { - "domain": "healthcare", - "lang": "fr", - "dataset": "default", - "value": 0.20957 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "default", - "value": 0.32969 - }, - { - "domain": "healthcare", - "lang": "zh", - "dataset": "default", - "value": 0.1943 - }, - { - "domain": "healthcare", - "lang": "es", - "dataset": "default", - "value": 0.34612 - }, - { - "domain": "healthcare", - "lang": "de", - "dataset": "default", - "value": 0.29452 - }, - { - "domain": "finance", - "lang": "fr", - "dataset": "default", - "value": 0.20923 - }, - { - "domain": "finance", - "lang": "en", - "dataset": "default", - "value": 0.41845 - }, - { - "domain": "finance", - "lang": "zh", - "dataset": "default", - "value": 0.20167 - }, - { - "domain": "finance", - "lang": "ar", - "dataset": "default", - "value": 0.33591 - }, - { - "domain": "wiki", - "lang": "fr", - "dataset": "default", - "value": 0.52578 - }, - { - "domain": "wiki", - "lang": "en", - "dataset": "default", - "value": 0.54481 - }, - { - "domain": "wiki", - "lang": "zh", - "dataset": "default", - "value": 0.47105 - }, - { - "domain": "wiki", - "lang": "ar", - "dataset": "default", - "value": 0.43534 - }, - { - "domain": "wiki", - "lang": "hi", - "dataset": "default", - "value": 0.52929 - }, - { - "domain": "wiki", - "lang": "es", - "dataset": "default", - "value": 0.51936 - }, - { - "domain": "wiki", - "lang": "id", - "dataset": "default", - "value": 0.50243 - }, - { - "domain": "wiki", - "lang": "fa", - "dataset": "default", - "value": 0.43133 - }, - { - "domain": "wiki", - "lang": "ko", - "dataset": "default", - "value": 0.43961 - }, - { - "domain": "wiki", - "lang": "ja", - "dataset": "default", - "value": 0.449 - }, - { - "domain": "wiki", - "lang": "de", - "dataset": "default", - "value": 0.50866 - }, - { - "domain": "wiki", - "lang": "bn", - "dataset": "default", - "value": 0.48479 - }, - { - "domain": "wiki", - "lang": "ru", - "dataset": "default", - "value": 0.43541 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "default", - "value": 0.27315 - }, - { - "domain": "science", - "lang": "ru", - "dataset": "default", - "value": 0.33888 - }, - { - "domain": "web", - "lang": "fr", - "dataset": "default", - "value": 0.31989 - }, - { - "domain": "web", - "lang": "en", - "dataset": "default", - "value": 0.36238 - }, - { - "domain": "web", - "lang": "zh", - "dataset": "default", - "value": 0.31639 - }, - { - "domain": "web", - "lang": "ar", - "dataset": "default", - "value": 0.3345 - }, - { - "domain": "web", - "lang": "hi", - "dataset": "default", - "value": 0.37678 - }, - { - "domain": "web", - "lang": "es", - "dataset": "default", - "value": 0.32317 - }, - { - "domain": "web", - "lang": "id", - "dataset": "default", - "value": 0.32652 - }, - { - "domain": "web", - "lang": "fa", - "dataset": "default", - "value": 0.33572 - }, - { - "domain": "web", - "lang": "ko", - "dataset": "default", - "value": 0.37206 - }, - { - "domain": "web", - "lang": "ja", - "dataset": "default", - "value": 0.36278 - }, - { - "domain": "web", - "lang": "de", - "dataset": "default", - "value": 0.3298 - }, - { - "domain": "web", - "lang": "bn", - "dataset": "default", - "value": 0.37682 - }, - { - "domain": "web", - "lang": "ru", - "dataset": "default", - "value": 0.34624 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "qa", - "metric": "map_at_5", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "fr", - "dataset": "default", - "value": 0.11143 - }, - { - "domain": "law", - "lang": "en", - "dataset": "default", - "value": 0.18187 - }, - { - "domain": "law", - "lang": "de", - "dataset": "default", - "value": 0.10919 - }, - { - "domain": "news", - "lang": "fr", - "dataset": "default", - "value": 0.34435 - }, - { - "domain": "news", - "lang": "en", - "dataset": "default", - "value": 0.34931 - }, - { - "domain": "news", - "lang": "zh", - "dataset": "default", - "value": 0.26092 - }, - { - "domain": "news", - "lang": "ar", - "dataset": "default", - "value": 0.28481 - }, - { - "domain": "news", - "lang": "hi", - "dataset": "default", - "value": 0.26194 - }, - { - "domain": "news", - "lang": "es", - "dataset": "default", - "value": 0.29569 - }, - { - "domain": "news", - "lang": "id", - "dataset": "default", - "value": 0.29275 - }, - { - "domain": "news", - "lang": "fa", - "dataset": "default", - "value": 0.26063 - }, - { - "domain": "news", - "lang": "ko", - "dataset": "default", - "value": 0.2948 - }, - { - "domain": "news", - "lang": "ja", - "dataset": "default", - "value": 0.29985 - }, - { - "domain": "news", - "lang": "de", - "dataset": "default", - "value": 0.32643 - }, - { - "domain": "news", - "lang": "bn", - "dataset": "default", - "value": 0.48333 - }, - { - "domain": "news", - "lang": "ru", - "dataset": "default", - "value": 0.31272 - }, - { - "domain": "healthcare", - "lang": "fr", - "dataset": "default", - "value": 0.24375 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "default", - "value": 0.36708 - }, - { - "domain": "healthcare", - "lang": "zh", - "dataset": "default", - "value": 0.24187 - }, - { - "domain": "healthcare", - "lang": "es", - "dataset": "default", - "value": 0.3822 - }, - { - "domain": "healthcare", - "lang": "de", - "dataset": "default", - "value": 0.343 - }, - { - "domain": "finance", - "lang": "fr", - "dataset": "default", - "value": 0.25197 - }, - { - "domain": "finance", - "lang": "en", - "dataset": "default", - "value": 0.4481 - }, - { - "domain": "finance", - "lang": "zh", - "dataset": "default", - "value": 0.24733 - }, - { - "domain": "finance", - "lang": "ar", - "dataset": "default", - "value": 0.36966 - }, - { - "domain": "wiki", - "lang": "fr", - "dataset": "default", - "value": 0.5536 - }, - { - "domain": "wiki", - "lang": "en", - "dataset": "default", - "value": 0.58667 - }, - { - "domain": "wiki", - "lang": "zh", - "dataset": "default", - "value": 0.50633 - }, - { - "domain": "wiki", - "lang": "ar", - "dataset": "default", - "value": 0.47187 - }, - { - "domain": "wiki", - "lang": "hi", - "dataset": "default", - "value": 0.56412 - }, - { - "domain": "wiki", - "lang": "es", - "dataset": "default", - "value": 0.54641 - }, - { - "domain": "wiki", - "lang": "id", - "dataset": "default", - "value": 0.53832 - }, - { - "domain": "wiki", - "lang": "fa", - "dataset": "default", - "value": 0.47085 - }, - { - "domain": "wiki", - "lang": "ko", - "dataset": "default", - "value": 0.47702 - }, - { - "domain": "wiki", - "lang": "ja", - "dataset": "default", - "value": 0.4796 - }, - { - "domain": "wiki", - "lang": "de", - "dataset": "default", - "value": 0.54081 - }, - { - "domain": "wiki", - "lang": "bn", - "dataset": "default", - "value": 0.51795 - }, - { - "domain": "wiki", - "lang": "ru", - "dataset": "default", - "value": 0.47179 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "default", - "value": 0.29924 - }, - { - "domain": "science", - "lang": "ru", - "dataset": "default", - "value": 0.38339 - }, - { - "domain": "web", - "lang": "fr", - "dataset": "default", - "value": 0.36363 - }, - { - "domain": "web", - "lang": "en", - "dataset": "default", - "value": 0.40319 - }, - { - "domain": "web", - "lang": "zh", - "dataset": "default", - "value": 0.35864 - }, - { - "domain": "web", - "lang": "ar", - "dataset": "default", - "value": 0.38129 - }, - { - "domain": "web", - "lang": "hi", - "dataset": "default", - "value": 0.4266 - }, - { - "domain": "web", - "lang": "es", - "dataset": "default", - "value": 0.36672 - }, - { - "domain": "web", - "lang": "id", - "dataset": "default", - "value": 0.37393 - }, - { - "domain": "web", - "lang": "fa", - "dataset": "default", - "value": 0.38942 - }, - { - "domain": "web", - "lang": "ko", - "dataset": "default", - "value": 0.41705 - }, - { - "domain": "web", - "lang": "ja", - "dataset": "default", - "value": 0.40479 - }, - { - "domain": "web", - "lang": "de", - "dataset": "default", - "value": 0.37129 - }, - { - "domain": "web", - "lang": "bn", - "dataset": "default", - "value": 0.41733 - }, - { - "domain": "web", - "lang": "ru", - "dataset": "default", - "value": 0.38999 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "qa", - "metric": "map_at_10", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "fr", - "dataset": "default", - "value": 0.13516 - }, - { - "domain": "law", - "lang": "en", - "dataset": "default", - "value": 0.20575 - }, - { - "domain": "law", - "lang": "de", - "dataset": "default", - "value": 0.13186 - }, - { - "domain": "news", - "lang": "fr", - "dataset": "default", - "value": 0.38852 - }, - { - "domain": "news", - "lang": "en", - "dataset": "default", - "value": 0.39157 - }, - { - "domain": "news", - "lang": "zh", - "dataset": "default", - "value": 0.30395 - }, - { - "domain": "news", - "lang": "ar", - "dataset": "default", - "value": 0.33297 - }, - { - "domain": "news", - "lang": "hi", - "dataset": "default", - "value": 0.30537 - }, - { - "domain": "news", - "lang": "es", - "dataset": "default", - "value": 0.33576 - }, - { - "domain": "news", - "lang": "id", - "dataset": "default", - "value": 0.35165 - }, - { - "domain": "news", - "lang": "fa", - "dataset": "default", - "value": 0.31293 - }, - { - "domain": "news", - "lang": "ko", - "dataset": "default", - "value": 0.35642 - }, - { - "domain": "news", - "lang": "ja", - "dataset": "default", - "value": 0.35609 - }, - { - "domain": "news", - "lang": "de", - "dataset": "default", - "value": 0.37293 - }, - { - "domain": "news", - "lang": "bn", - "dataset": "default", - "value": 0.50999 - }, - { - "domain": "news", - "lang": "ru", - "dataset": "default", - "value": 0.36411 - }, - { - "domain": "healthcare", - "lang": "fr", - "dataset": "default", - "value": 0.27802 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "default", - "value": 0.39575 - }, - { - "domain": "healthcare", - "lang": "zh", - "dataset": "default", - "value": 0.29748 - }, - { - "domain": "healthcare", - "lang": "es", - "dataset": "default", - "value": 0.41925 - }, - { - "domain": "healthcare", - "lang": "de", - "dataset": "default", - "value": 0.38966 - }, - { - "domain": "finance", - "lang": "fr", - "dataset": "default", - "value": 0.30116 - }, - { - "domain": "finance", - "lang": "en", - "dataset": "default", - "value": 0.47236 - }, - { - "domain": "finance", - "lang": "zh", - "dataset": "default", - "value": 0.29203 - }, - { - "domain": "finance", - "lang": "ar", - "dataset": "default", - "value": 0.39599 - }, - { - "domain": "wiki", - "lang": "fr", - "dataset": "default", - "value": 0.57592 - }, - { - "domain": "wiki", - "lang": "en", - "dataset": "default", - "value": 0.61743 - }, - { - "domain": "wiki", - "lang": "zh", - "dataset": "default", - "value": 0.53718 - }, - { - "domain": "wiki", - "lang": "ar", - "dataset": "default", - "value": 0.50268 - }, - { - "domain": "wiki", - "lang": "hi", - "dataset": "default", - "value": 0.59647 - }, - { - "domain": "wiki", - "lang": "es", - "dataset": "default", - "value": 0.57251 - }, - { - "domain": "wiki", - "lang": "id", - "dataset": "default", - "value": 0.56774 - }, - { - "domain": "wiki", - "lang": "fa", - "dataset": "default", - "value": 0.50619 - }, - { - "domain": "wiki", - "lang": "ko", - "dataset": "default", - "value": 0.51378 - }, - { - "domain": "wiki", - "lang": "ja", - "dataset": "default", - "value": 0.50705 - }, - { - "domain": "wiki", - "lang": "de", - "dataset": "default", - "value": 0.56178 - }, - { - "domain": "wiki", - "lang": "bn", - "dataset": "default", - "value": 0.54737 - }, - { - "domain": "wiki", - "lang": "ru", - "dataset": "default", - "value": 0.50172 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "default", - "value": 0.32427 - }, - { - "domain": "science", - "lang": "ru", - "dataset": "default", - "value": 0.42937 - }, - { - "domain": "web", - "lang": "fr", - "dataset": "default", - "value": 0.40574 - }, - { - "domain": "web", - "lang": "en", - "dataset": "default", - "value": 0.44448 - }, - { - "domain": "web", - "lang": "zh", - "dataset": "default", - "value": 0.39898 - }, - { - "domain": "web", - "lang": "ar", - "dataset": "default", - "value": 0.42008 - }, - { - "domain": "web", - "lang": "hi", - "dataset": "default", - "value": 0.46832 - }, - { - "domain": "web", - "lang": "es", - "dataset": "default", - "value": 0.41009 - }, - { - "domain": "web", - "lang": "id", - "dataset": "default", - "value": 0.41984 - }, - { - "domain": "web", - "lang": "fa", - "dataset": "default", - "value": 0.44187 - }, - { - "domain": "web", - "lang": "ko", - "dataset": "default", - "value": 0.45396 - }, - { - "domain": "web", - "lang": "ja", - "dataset": "default", - "value": 0.44129 - }, - { - "domain": "web", - "lang": "de", - "dataset": "default", - "value": 0.41069 - }, - { - "domain": "web", - "lang": "bn", - "dataset": "default", - "value": 0.45872 - }, - { - "domain": "web", - "lang": "ru", - "dataset": "default", - "value": 0.43519 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "qa", - "metric": "map_at_50", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "fr", - "dataset": "default", - "value": 0.15754 - }, - { - "domain": "law", - "lang": "en", - "dataset": "default", - "value": 0.22706 - }, - { - "domain": "law", - "lang": "de", - "dataset": "default", - "value": 0.15394 - }, - { - "domain": "news", - "lang": "fr", - "dataset": "default", - "value": 0.42784 - }, - { - "domain": "news", - "lang": "en", - "dataset": "default", - "value": 0.42311 - }, - { - "domain": "news", - "lang": "zh", - "dataset": "default", - "value": 0.34096 - }, - { - "domain": "news", - "lang": "ar", - "dataset": "default", - "value": 0.37991 - }, - { - "domain": "news", - "lang": "hi", - "dataset": "default", - "value": 0.3487 - }, - { - "domain": "news", - "lang": "es", - "dataset": "default", - "value": 0.37773 - }, - { - "domain": "news", - "lang": "id", - "dataset": "default", - "value": 0.40647 - }, - { - "domain": "news", - "lang": "fa", - "dataset": "default", - "value": 0.36745 - }, - { - "domain": "news", - "lang": "ko", - "dataset": "default", - "value": 0.41275 - }, - { - "domain": "news", - "lang": "ja", - "dataset": "default", - "value": 0.401 - }, - { - "domain": "news", - "lang": "de", - "dataset": "default", - "value": 0.413 - }, - { - "domain": "news", - "lang": "bn", - "dataset": "default", - "value": 0.52502 - }, - { - "domain": "news", - "lang": "ru", - "dataset": "default", - "value": 0.40841 - }, - { - "domain": "healthcare", - "lang": "fr", - "dataset": "default", - "value": 0.32306 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "default", - "value": 0.4178 - }, - { - "domain": "healthcare", - "lang": "zh", - "dataset": "default", - "value": 0.34508 - }, - { - "domain": "healthcare", - "lang": "es", - "dataset": "default", - "value": 0.45383 - }, - { - "domain": "healthcare", - "lang": "de", - "dataset": "default", - "value": 0.42216 - }, - { - "domain": "finance", - "lang": "fr", - "dataset": "default", - "value": 0.35072 - }, - { - "domain": "finance", - "lang": "en", - "dataset": "default", - "value": 0.48768 - }, - { - "domain": "finance", - "lang": "zh", - "dataset": "default", - "value": 0.33145 - }, - { - "domain": "finance", - "lang": "ar", - "dataset": "default", - "value": 0.41213 - }, - { - "domain": "wiki", - "lang": "fr", - "dataset": "default", - "value": 0.59203 - }, - { - "domain": "wiki", - "lang": "en", - "dataset": "default", - "value": 0.63241 - }, - { - "domain": "wiki", - "lang": "zh", - "dataset": "default", - "value": 0.55709 - }, - { - "domain": "wiki", - "lang": "ar", - "dataset": "default", - "value": 0.52982 - }, - { - "domain": "wiki", - "lang": "hi", - "dataset": "default", - "value": 0.6195 - }, - { - "domain": "wiki", - "lang": "es", - "dataset": "default", - "value": 0.58956 - }, - { - "domain": "wiki", - "lang": "id", - "dataset": "default", - "value": 0.59181 - }, - { - "domain": "wiki", - "lang": "fa", - "dataset": "default", - "value": 0.53619 - }, - { - "domain": "wiki", - "lang": "ko", - "dataset": "default", - "value": 0.54097 - }, - { - "domain": "wiki", - "lang": "ja", - "dataset": "default", - "value": 0.53239 - }, - { - "domain": "wiki", - "lang": "de", - "dataset": "default", - "value": 0.57771 - }, - { - "domain": "wiki", - "lang": "bn", - "dataset": "default", - "value": 0.57071 - }, - { - "domain": "wiki", - "lang": "ru", - "dataset": "default", - "value": 0.52801 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "default", - "value": 0.34688 - }, - { - "domain": "science", - "lang": "ru", - "dataset": "default", - "value": 0.47025 - }, - { - "domain": "web", - "lang": "fr", - "dataset": "default", - "value": 0.44179 - }, - { - "domain": "web", - "lang": "en", - "dataset": "default", - "value": 0.47143 - }, - { - "domain": "web", - "lang": "zh", - "dataset": "default", - "value": 0.43268 - }, - { - "domain": "web", - "lang": "ar", - "dataset": "default", - "value": 0.45396 - }, - { - "domain": "web", - "lang": "hi", - "dataset": "default", - "value": 0.50063 - }, - { - "domain": "web", - "lang": "es", - "dataset": "default", - "value": 0.44475 - }, - { - "domain": "web", - "lang": "id", - "dataset": "default", - "value": 0.45975 - }, - { - "domain": "web", - "lang": "fa", - "dataset": "default", - "value": 0.48326 - }, - { - "domain": "web", - "lang": "ko", - "dataset": "default", - "value": 0.48055 - }, - { - "domain": "web", - "lang": "ja", - "dataset": "default", - "value": 0.47131 - }, - { - "domain": "web", - "lang": "de", - "dataset": "default", - "value": 0.44877 - }, - { - "domain": "web", - "lang": "bn", - "dataset": "default", - "value": 0.48914 - }, - { - "domain": "web", - "lang": "ru", - "dataset": "default", - "value": 0.47312 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "qa", - "metric": "map_at_100", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "fr", - "dataset": "default", - "value": 0.16046 - }, - { - "domain": "law", - "lang": "en", - "dataset": "default", - "value": 0.22948 - }, - { - "domain": "law", - "lang": "de", - "dataset": "default", - "value": 0.15673 - }, - { - "domain": "news", - "lang": "fr", - "dataset": "default", - "value": 0.43259 - }, - { - "domain": "news", - "lang": "en", - "dataset": "default", - "value": 0.42581 - }, - { - "domain": "news", - "lang": "zh", - "dataset": "default", - "value": 0.34468 - }, - { - "domain": "news", - "lang": "ar", - "dataset": "default", - "value": 0.38556 - }, - { - "domain": "news", - "lang": "hi", - "dataset": "default", - "value": 0.35511 - }, - { - "domain": "news", - "lang": "es", - "dataset": "default", - "value": 0.38273 - }, - { - "domain": "news", - "lang": "id", - "dataset": "default", - "value": 0.41262 - }, - { - "domain": "news", - "lang": "fa", - "dataset": "default", - "value": 0.37434 - }, - { - "domain": "news", - "lang": "ko", - "dataset": "default", - "value": 0.41825 - }, - { - "domain": "news", - "lang": "ja", - "dataset": "default", - "value": 0.40536 - }, - { - "domain": "news", - "lang": "de", - "dataset": "default", - "value": 0.4174 - }, - { - "domain": "news", - "lang": "bn", - "dataset": "default", - "value": 0.52655 - }, - { - "domain": "news", - "lang": "ru", - "dataset": "default", - "value": 0.41372 - }, - { - "domain": "healthcare", - "lang": "fr", - "dataset": "default", - "value": 0.33058 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "default", - "value": 0.42012 - }, - { - "domain": "healthcare", - "lang": "zh", - "dataset": "default", - "value": 0.35038 - }, - { - "domain": "healthcare", - "lang": "es", - "dataset": "default", - "value": 0.45856 - }, - { - "domain": "healthcare", - "lang": "de", - "dataset": "default", - "value": 0.42437 - }, - { - "domain": "finance", - "lang": "fr", - "dataset": "default", - "value": 0.35847 - }, - { - "domain": "finance", - "lang": "en", - "dataset": "default", - "value": 0.48876 - }, - { - "domain": "finance", - "lang": "zh", - "dataset": "default", - "value": 0.33476 - }, - { - "domain": "finance", - "lang": "ar", - "dataset": "default", - "value": 0.41397 - }, - { - "domain": "wiki", - "lang": "fr", - "dataset": "default", - "value": 0.59378 - }, - { - "domain": "wiki", - "lang": "en", - "dataset": "default", - "value": 0.63364 - }, - { - "domain": "wiki", - "lang": "zh", - "dataset": "default", - "value": 0.55903 - }, - { - "domain": "wiki", - "lang": "ar", - "dataset": "default", - "value": 0.53297 - }, - { - "domain": "wiki", - "lang": "hi", - "dataset": "default", - "value": 0.62194 - }, - { - "domain": "wiki", - "lang": "es", - "dataset": "default", - "value": 0.59137 - }, - { - "domain": "wiki", - "lang": "id", - "dataset": "default", - "value": 0.59419 - }, - { - "domain": "wiki", - "lang": "fa", - "dataset": "default", - "value": 0.53912 - }, - { - "domain": "wiki", - "lang": "ko", - "dataset": "default", - "value": 0.54388 - }, - { - "domain": "wiki", - "lang": "ja", - "dataset": "default", - "value": 0.53493 - }, - { - "domain": "wiki", - "lang": "de", - "dataset": "default", - "value": 0.57953 - }, - { - "domain": "wiki", - "lang": "bn", - "dataset": "default", - "value": 0.57348 - }, - { - "domain": "wiki", - "lang": "ru", - "dataset": "default", - "value": 0.53065 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "default", - "value": 0.34965 - }, - { - "domain": "science", - "lang": "ru", - "dataset": "default", - "value": 0.47509 - }, - { - "domain": "web", - "lang": "fr", - "dataset": "default", - "value": 0.44493 - }, - { - "domain": "web", - "lang": "en", - "dataset": "default", - "value": 0.47363 - }, - { - "domain": "web", - "lang": "zh", - "dataset": "default", - "value": 0.43547 - }, - { - "domain": "web", - "lang": "ar", - "dataset": "default", - "value": 0.45678 - }, - { - "domain": "web", - "lang": "hi", - "dataset": "default", - "value": 0.50288 - }, - { - "domain": "web", - "lang": "es", - "dataset": "default", - "value": 0.44817 - }, - { - "domain": "web", - "lang": "id", - "dataset": "default", - "value": 0.46372 - }, - { - "domain": "web", - "lang": "fa", - "dataset": "default", - "value": 0.4866 - }, - { - "domain": "web", - "lang": "ko", - "dataset": "default", - "value": 0.48336 - }, - { - "domain": "web", - "lang": "ja", - "dataset": "default", - "value": 0.47432 - }, - { - "domain": "web", - "lang": "de", - "dataset": "default", - "value": 0.45222 - }, - { - "domain": "web", - "lang": "bn", - "dataset": "default", - "value": 0.49194 - }, - { - "domain": "web", - "lang": "ru", - "dataset": "default", - "value": 0.47632 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "qa", - "metric": "map_at_1000", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "fr", - "dataset": "default", - "value": 0.16273 - }, - { - "domain": "law", - "lang": "en", - "dataset": "default", - "value": 0.23145 - }, - { - "domain": "law", - "lang": "de", - "dataset": "default", - "value": 0.15897 - }, - { - "domain": "news", - "lang": "fr", - "dataset": "default", - "value": 0.43491 - }, - { - "domain": "news", - "lang": "en", - "dataset": "default", - "value": 0.42734 - }, - { - "domain": "news", - "lang": "zh", - "dataset": "default", - "value": 0.34724 - }, - { - "domain": "news", - "lang": "ar", - "dataset": "default", - "value": 0.38857 - }, - { - "domain": "news", - "lang": "hi", - "dataset": "default", - "value": 0.35835 - }, - { - "domain": "news", - "lang": "es", - "dataset": "default", - "value": 0.38568 - }, - { - "domain": "news", - "lang": "id", - "dataset": "default", - "value": 0.41579 - }, - { - "domain": "news", - "lang": "fa", - "dataset": "default", - "value": 0.37752 - }, - { - "domain": "news", - "lang": "ko", - "dataset": "default", - "value": 0.42087 - }, - { - "domain": "news", - "lang": "ja", - "dataset": "default", - "value": 0.40757 - }, - { - "domain": "news", - "lang": "de", - "dataset": "default", - "value": 0.41963 - }, - { - "domain": "news", - "lang": "bn", - "dataset": "default", - "value": 0.5271 - }, - { - "domain": "news", - "lang": "ru", - "dataset": "default", - "value": 0.41652 - }, - { - "domain": "healthcare", - "lang": "fr", - "dataset": "default", - "value": 0.33538 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "default", - "value": 0.42166 - }, - { - "domain": "healthcare", - "lang": "zh", - "dataset": "default", - "value": 0.35347 - }, - { - "domain": "healthcare", - "lang": "es", - "dataset": "default", - "value": 0.46088 - }, - { - "domain": "healthcare", - "lang": "de", - "dataset": "default", - "value": 0.4255 - }, - { - "domain": "finance", - "lang": "fr", - "dataset": "default", - "value": 0.36289 - }, - { - "domain": "finance", - "lang": "en", - "dataset": "default", - "value": 0.48944 - }, - { - "domain": "finance", - "lang": "zh", - "dataset": "default", - "value": 0.3371 - }, - { - "domain": "finance", - "lang": "ar", - "dataset": "default", - "value": 0.41545 - }, - { - "domain": "wiki", - "lang": "fr", - "dataset": "default", - "value": 0.59468 - }, - { - "domain": "wiki", - "lang": "en", - "dataset": "default", - "value": 0.63416 - }, - { - "domain": "wiki", - "lang": "zh", - "dataset": "default", - "value": 0.56027 - }, - { - "domain": "wiki", - "lang": "ar", - "dataset": "default", - "value": 0.53464 - }, - { - "domain": "wiki", - "lang": "hi", - "dataset": "default", - "value": 0.62294 - }, - { - "domain": "wiki", - "lang": "es", - "dataset": "default", - "value": 0.59244 - }, - { - "domain": "wiki", - "lang": "id", - "dataset": "default", - "value": 0.59539 - }, - { - "domain": "wiki", - "lang": "fa", - "dataset": "default", - "value": 0.54077 - }, - { - "domain": "wiki", - "lang": "ko", - "dataset": "default", - "value": 0.54546 - }, - { - "domain": "wiki", - "lang": "ja", - "dataset": "default", - "value": 0.53616 - }, - { - "domain": "wiki", - "lang": "de", - "dataset": "default", - "value": 0.58035 - }, - { - "domain": "wiki", - "lang": "bn", - "dataset": "default", - "value": 0.57471 - }, - { - "domain": "wiki", - "lang": "ru", - "dataset": "default", - "value": 0.53198 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "default", - "value": 0.35183 - }, - { - "domain": "science", - "lang": "ru", - "dataset": "default", - "value": 0.47753 - }, - { - "domain": "web", - "lang": "fr", - "dataset": "default", - "value": 0.44635 - }, - { - "domain": "web", - "lang": "en", - "dataset": "default", - "value": 0.47496 - }, - { - "domain": "web", - "lang": "zh", - "dataset": "default", - "value": 0.43714 - }, - { - "domain": "web", - "lang": "ar", - "dataset": "default", - "value": 0.45837 - }, - { - "domain": "web", - "lang": "hi", - "dataset": "default", - "value": 0.50406 - }, - { - "domain": "web", - "lang": "es", - "dataset": "default", - "value": 0.45001 - }, - { - "domain": "web", - "lang": "id", - "dataset": "default", - "value": 0.46556 - }, - { - "domain": "web", - "lang": "fa", - "dataset": "default", - "value": 0.48816 - }, - { - "domain": "web", - "lang": "ko", - "dataset": "default", - "value": 0.48472 - }, - { - "domain": "web", - "lang": "ja", - "dataset": "default", - "value": 0.47584 - }, - { - "domain": "web", - "lang": "de", - "dataset": "default", - "value": 0.4538 - }, - { - "domain": "web", - "lang": "bn", - "dataset": "default", - "value": 0.49312 - }, - { - "domain": "web", - "lang": "ru", - "dataset": "default", - "value": 0.47801 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "qa", - "metric": "recall_at_1", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "fr", - "dataset": "default", - "value": 0.05412 - }, - { - "domain": "law", - "lang": "en", - "dataset": "default", - "value": 0.10262 - }, - { - "domain": "law", - "lang": "de", - "dataset": "default", - "value": 0.04887 - }, - { - "domain": "news", - "lang": "fr", - "dataset": "default", - "value": 0.20167 - }, - { - "domain": "news", - "lang": "en", - "dataset": "default", - "value": 0.20012 - }, - { - "domain": "news", - "lang": "zh", - "dataset": "default", - "value": 0.12443 - }, - { - "domain": "news", - "lang": "ar", - "dataset": "default", - "value": 0.14347 - }, - { - "domain": "news", - "lang": "hi", - "dataset": "default", - "value": 0.14255 - }, - { - "domain": "news", - "lang": "es", - "dataset": "default", - "value": 0.1689 - }, - { - "domain": "news", - "lang": "id", - "dataset": "default", - "value": 0.1399 - }, - { - "domain": "news", - "lang": "fa", - "dataset": "default", - "value": 0.11778 - }, - { - "domain": "news", - "lang": "ko", - "dataset": "default", - "value": 0.13501 - }, - { - "domain": "news", - "lang": "ja", - "dataset": "default", - "value": 0.14555 - }, - { - "domain": "news", - "lang": "de", - "dataset": "default", - "value": 0.17593 - }, - { - "domain": "news", - "lang": "bn", - "dataset": "default", - "value": 0.33006 - }, - { - "domain": "news", - "lang": "ru", - "dataset": "default", - "value": 0.16607 - }, - { - "domain": "healthcare", - "lang": "fr", - "dataset": "default", - "value": 0.12512 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "default", - "value": 0.21743 - }, - { - "domain": "healthcare", - "lang": "zh", - "dataset": "default", - "value": 0.10245 - }, - { - "domain": "healthcare", - "lang": "es", - "dataset": "default", - "value": 0.25477 - }, - { - "domain": "healthcare", - "lang": "de", - "dataset": "default", - "value": 0.18368 - }, - { - "domain": "finance", - "lang": "fr", - "dataset": "default", - "value": 0.11819 - }, - { - "domain": "finance", - "lang": "en", - "dataset": "default", - "value": 0.30692 - }, - { - "domain": "finance", - "lang": "zh", - "dataset": "default", - "value": 0.11154 - }, - { - "domain": "finance", - "lang": "ar", - "dataset": "default", - "value": 0.2018 - }, - { - "domain": "wiki", - "lang": "fr", - "dataset": "default", - "value": 0.42277 - }, - { - "domain": "wiki", - "lang": "en", - "dataset": "default", - "value": 0.40668 - }, - { - "domain": "wiki", - "lang": "zh", - "dataset": "default", - "value": 0.37059 - }, - { - "domain": "wiki", - "lang": "ar", - "dataset": "default", - "value": 0.33475 - }, - { - "domain": "wiki", - "lang": "hi", - "dataset": "default", - "value": 0.40962 - }, - { - "domain": "wiki", - "lang": "es", - "dataset": "default", - "value": 0.42388 - }, - { - "domain": "wiki", - "lang": "id", - "dataset": "default", - "value": 0.39711 - }, - { - "domain": "wiki", - "lang": "fa", - "dataset": "default", - "value": 0.31906 - }, - { - "domain": "wiki", - "lang": "ko", - "dataset": "default", - "value": 0.32033 - }, - { - "domain": "wiki", - "lang": "ja", - "dataset": "default", - "value": 0.34479 - }, - { - "domain": "wiki", - "lang": "de", - "dataset": "default", - "value": 0.39668 - }, - { - "domain": "wiki", - "lang": "bn", - "dataset": "default", - "value": 0.37883 - }, - { - "domain": "wiki", - "lang": "ru", - "dataset": "default", - "value": 0.32119 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "default", - "value": 0.1918 - }, - { - "domain": "science", - "lang": "ru", - "dataset": "default", - "value": 0.23369 - }, - { - "domain": "web", - "lang": "fr", - "dataset": "default", - "value": 0.21762 - }, - { - "domain": "web", - "lang": "en", - "dataset": "default", - "value": 0.24772 - }, - { - "domain": "web", - "lang": "zh", - "dataset": "default", - "value": 0.20877 - }, - { - "domain": "web", - "lang": "ar", - "dataset": "default", - "value": 0.22703 - }, - { - "domain": "web", - "lang": "hi", - "dataset": "default", - "value": 0.25261 - }, - { - "domain": "web", - "lang": "es", - "dataset": "default", - "value": 0.22435 - }, - { - "domain": "web", - "lang": "id", - "dataset": "default", - "value": 0.21213 - }, - { - "domain": "web", - "lang": "fa", - "dataset": "default", - "value": 0.21605 - }, - { - "domain": "web", - "lang": "ko", - "dataset": "default", - "value": 0.26362 - }, - { - "domain": "web", - "lang": "ja", - "dataset": "default", - "value": 0.25658 - }, - { - "domain": "web", - "lang": "de", - "dataset": "default", - "value": 0.23398 - }, - { - "domain": "web", - "lang": "bn", - "dataset": "default", - "value": 0.26156 - }, - { - "domain": "web", - "lang": "ru", - "dataset": "default", - "value": 0.24011 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "qa", - "metric": "recall_at_3", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "fr", - "dataset": "default", - "value": 0.11424 - }, - { - "domain": "law", - "lang": "en", - "dataset": "default", - "value": 0.19337 - }, - { - "domain": "law", - "lang": "de", - "dataset": "default", - "value": 0.1134 - }, - { - "domain": "news", - "lang": "fr", - "dataset": "default", - "value": 0.34694 - }, - { - "domain": "news", - "lang": "en", - "dataset": "default", - "value": 0.35722 - }, - { - "domain": "news", - "lang": "zh", - "dataset": "default", - "value": 0.257 - }, - { - "domain": "news", - "lang": "ar", - "dataset": "default", - "value": 0.26925 - }, - { - "domain": "news", - "lang": "hi", - "dataset": "default", - "value": 0.25468 - }, - { - "domain": "news", - "lang": "es", - "dataset": "default", - "value": 0.30227 - }, - { - "domain": "news", - "lang": "id", - "dataset": "default", - "value": 0.27403 - }, - { - "domain": "news", - "lang": "fa", - "dataset": "default", - "value": 0.24639 - }, - { - "domain": "news", - "lang": "ko", - "dataset": "default", - "value": 0.27683 - }, - { - "domain": "news", - "lang": "ja", - "dataset": "default", - "value": 0.28745 - }, - { - "domain": "news", - "lang": "de", - "dataset": "default", - "value": 0.31921 - }, - { - "domain": "news", - "lang": "bn", - "dataset": "default", - "value": 0.53605 - }, - { - "domain": "news", - "lang": "ru", - "dataset": "default", - "value": 0.30358 - }, - { - "domain": "healthcare", - "lang": "fr", - "dataset": "default", - "value": 0.24223 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "default", - "value": 0.38011 - }, - { - "domain": "healthcare", - "lang": "zh", - "dataset": "default", - "value": 0.22476 - }, - { - "domain": "healthcare", - "lang": "es", - "dataset": "default", - "value": 0.38181 - }, - { - "domain": "healthcare", - "lang": "de", - "dataset": "default", - "value": 0.35148 - }, - { - "domain": "finance", - "lang": "fr", - "dataset": "default", - "value": 0.2355 - }, - { - "domain": "finance", - "lang": "en", - "dataset": "default", - "value": 0.46681 - }, - { - "domain": "finance", - "lang": "zh", - "dataset": "default", - "value": 0.23971 - }, - { - "domain": "finance", - "lang": "ar", - "dataset": "default", - "value": 0.39012 - }, - { - "domain": "wiki", - "lang": "fr", - "dataset": "default", - "value": 0.59285 - }, - { - "domain": "wiki", - "lang": "en", - "dataset": "default", - "value": 0.59662 - }, - { - "domain": "wiki", - "lang": "zh", - "dataset": "default", - "value": 0.51326 - }, - { - "domain": "wiki", - "lang": "ar", - "dataset": "default", - "value": 0.47147 - }, - { - "domain": "wiki", - "lang": "hi", - "dataset": "default", - "value": 0.5693 - }, - { - "domain": "wiki", - "lang": "es", - "dataset": "default", - "value": 0.567 - }, - { - "domain": "wiki", - "lang": "id", - "dataset": "default", - "value": 0.54702 - }, - { - "domain": "wiki", - "lang": "fa", - "dataset": "default", - "value": 0.47292 - }, - { - "domain": "wiki", - "lang": "ko", - "dataset": "default", - "value": 0.48192 - }, - { - "domain": "wiki", - "lang": "ja", - "dataset": "default", - "value": 0.49954 - }, - { - "domain": "wiki", - "lang": "de", - "dataset": "default", - "value": 0.57184 - }, - { - "domain": "wiki", - "lang": "bn", - "dataset": "default", - "value": 0.5252 - }, - { - "domain": "wiki", - "lang": "ru", - "dataset": "default", - "value": 0.48903 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "default", - "value": 0.31892 - }, - { - "domain": "science", - "lang": "ru", - "dataset": "default", - "value": 0.38024 - }, - { - "domain": "web", - "lang": "fr", - "dataset": "default", - "value": 0.3691 - }, - { - "domain": "web", - "lang": "en", - "dataset": "default", - "value": 0.41829 - }, - { - "domain": "web", - "lang": "zh", - "dataset": "default", - "value": 0.36122 - }, - { - "domain": "web", - "lang": "ar", - "dataset": "default", - "value": 0.3838 - }, - { - "domain": "web", - "lang": "hi", - "dataset": "default", - "value": 0.43161 - }, - { - "domain": "web", - "lang": "es", - "dataset": "default", - "value": 0.37161 - }, - { - "domain": "web", - "lang": "id", - "dataset": "default", - "value": 0.37631 - }, - { - "domain": "web", - "lang": "fa", - "dataset": "default", - "value": 0.38314 - }, - { - "domain": "web", - "lang": "ko", - "dataset": "default", - "value": 0.42342 - }, - { - "domain": "web", - "lang": "ja", - "dataset": "default", - "value": 0.41906 - }, - { - "domain": "web", - "lang": "de", - "dataset": "default", - "value": 0.37422 - }, - { - "domain": "web", - "lang": "bn", - "dataset": "default", - "value": 0.42842 - }, - { - "domain": "web", - "lang": "ru", - "dataset": "default", - "value": 0.39358 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "qa", - "metric": "recall_at_5", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "fr", - "dataset": "default", - "value": 0.15732 - }, - { - "domain": "law", - "lang": "en", - "dataset": "default", - "value": 0.24424 - }, - { - "domain": "law", - "lang": "de", - "dataset": "default", - "value": 0.15565 - }, - { - "domain": "news", - "lang": "fr", - "dataset": "default", - "value": 0.42161 - }, - { - "domain": "news", - "lang": "en", - "dataset": "default", - "value": 0.43534 - }, - { - "domain": "news", - "lang": "zh", - "dataset": "default", - "value": 0.3406 - }, - { - "domain": "news", - "lang": "ar", - "dataset": "default", - "value": 0.34579 - }, - { - "domain": "news", - "lang": "hi", - "dataset": "default", - "value": 0.32826 - }, - { - "domain": "news", - "lang": "es", - "dataset": "default", - "value": 0.37317 - }, - { - "domain": "news", - "lang": "id", - "dataset": "default", - "value": 0.35617 - }, - { - "domain": "news", - "lang": "fa", - "dataset": "default", - "value": 0.32347 - }, - { - "domain": "news", - "lang": "ko", - "dataset": "default", - "value": 0.3624 - }, - { - "domain": "news", - "lang": "ja", - "dataset": "default", - "value": 0.37363 - }, - { - "domain": "news", - "lang": "de", - "dataset": "default", - "value": 0.40026 - }, - { - "domain": "news", - "lang": "bn", - "dataset": "default", - "value": 0.62669 - }, - { - "domain": "news", - "lang": "ru", - "dataset": "default", - "value": 0.38278 - }, - { - "domain": "healthcare", - "lang": "fr", - "dataset": "default", - "value": 0.30452 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "default", - "value": 0.46587 - }, - { - "domain": "healthcare", - "lang": "zh", - "dataset": "default", - "value": 0.30881 - }, - { - "domain": "healthcare", - "lang": "es", - "dataset": "default", - "value": 0.45255 - }, - { - "domain": "healthcare", - "lang": "de", - "dataset": "default", - "value": 0.44851 - }, - { - "domain": "finance", - "lang": "fr", - "dataset": "default", - "value": 0.30803 - }, - { - "domain": "finance", - "lang": "en", - "dataset": "default", - "value": 0.53015 - }, - { - "domain": "finance", - "lang": "zh", - "dataset": "default", - "value": 0.32521 - }, - { - "domain": "finance", - "lang": "ar", - "dataset": "default", - "value": 0.45634 - }, - { - "domain": "wiki", - "lang": "fr", - "dataset": "default", - "value": 0.65811 - }, - { - "domain": "wiki", - "lang": "en", - "dataset": "default", - "value": 0.67772 - }, - { - "domain": "wiki", - "lang": "zh", - "dataset": "default", - "value": 0.58747 - }, - { - "domain": "wiki", - "lang": "ar", - "dataset": "default", - "value": 0.53765 - }, - { - "domain": "wiki", - "lang": "hi", - "dataset": "default", - "value": 0.63195 - }, - { - "domain": "wiki", - "lang": "es", - "dataset": "default", - "value": 0.62875 - }, - { - "domain": "wiki", - "lang": "id", - "dataset": "default", - "value": 0.61598 - }, - { - "domain": "wiki", - "lang": "fa", - "dataset": "default", - "value": 0.54613 - }, - { - "domain": "wiki", - "lang": "ko", - "dataset": "default", - "value": 0.55479 - }, - { - "domain": "wiki", - "lang": "ja", - "dataset": "default", - "value": 0.56564 - }, - { - "domain": "wiki", - "lang": "de", - "dataset": "default", - "value": 0.64592 - }, - { - "domain": "wiki", - "lang": "bn", - "dataset": "default", - "value": 0.59265 - }, - { - "domain": "wiki", - "lang": "ru", - "dataset": "default", - "value": 0.56735 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "default", - "value": 0.37966 - }, - { - "domain": "science", - "lang": "ru", - "dataset": "default", - "value": 0.46262 - }, - { - "domain": "web", - "lang": "fr", - "dataset": "default", - "value": 0.45673 - }, - { - "domain": "web", - "lang": "en", - "dataset": "default", - "value": 0.49503 - }, - { - "domain": "web", - "lang": "zh", - "dataset": "default", - "value": 0.44107 - }, - { - "domain": "web", - "lang": "ar", - "dataset": "default", - "value": 0.47522 - }, - { - "domain": "web", - "lang": "hi", - "dataset": "default", - "value": 0.52488 - }, - { - "domain": "web", - "lang": "es", - "dataset": "default", - "value": 0.45716 - }, - { - "domain": "web", - "lang": "id", - "dataset": "default", - "value": 0.46357 - }, - { - "domain": "web", - "lang": "fa", - "dataset": "default", - "value": 0.48009 - }, - { - "domain": "web", - "lang": "ko", - "dataset": "default", - "value": 0.51656 - }, - { - "domain": "web", - "lang": "ja", - "dataset": "default", - "value": 0.50891 - }, - { - "domain": "web", - "lang": "de", - "dataset": "default", - "value": 0.45777 - }, - { - "domain": "web", - "lang": "bn", - "dataset": "default", - "value": 0.5073 - }, - { - "domain": "web", - "lang": "ru", - "dataset": "default", - "value": 0.47747 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "qa", - "metric": "recall_at_10", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "fr", - "dataset": "default", - "value": 0.22893 - }, - { - "domain": "law", - "lang": "en", - "dataset": "default", - "value": 0.31227 - }, - { - "domain": "law", - "lang": "de", - "dataset": "default", - "value": 0.23018 - }, - { - "domain": "news", - "lang": "fr", - "dataset": "default", - "value": 0.52489 - }, - { - "domain": "news", - "lang": "en", - "dataset": "default", - "value": 0.53221 - }, - { - "domain": "news", - "lang": "zh", - "dataset": "default", - "value": 0.45739 - }, - { - "domain": "news", - "lang": "ar", - "dataset": "default", - "value": 0.46054 - }, - { - "domain": "news", - "lang": "hi", - "dataset": "default", - "value": 0.43897 - }, - { - "domain": "news", - "lang": "es", - "dataset": "default", - "value": 0.4795 - }, - { - "domain": "news", - "lang": "id", - "dataset": "default", - "value": 0.49004 - }, - { - "domain": "news", - "lang": "fa", - "dataset": "default", - "value": 0.44511 - }, - { - "domain": "news", - "lang": "ko", - "dataset": "default", - "value": 0.49683 - }, - { - "domain": "news", - "lang": "ja", - "dataset": "default", - "value": 0.50087 - }, - { - "domain": "news", - "lang": "de", - "dataset": "default", - "value": 0.51479 - }, - { - "domain": "news", - "lang": "bn", - "dataset": "default", - "value": 0.72682 - }, - { - "domain": "news", - "lang": "ru", - "dataset": "default", - "value": 0.50564 - }, - { - "domain": "healthcare", - "lang": "fr", - "dataset": "default", - "value": 0.39365 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "default", - "value": 0.55569 - }, - { - "domain": "healthcare", - "lang": "zh", - "dataset": "default", - "value": 0.43793 - }, - { - "domain": "healthcare", - "lang": "es", - "dataset": "default", - "value": 0.55773 - }, - { - "domain": "healthcare", - "lang": "de", - "dataset": "default", - "value": 0.57373 - }, - { - "domain": "finance", - "lang": "fr", - "dataset": "default", - "value": 0.423 - }, - { - "domain": "finance", - "lang": "en", - "dataset": "default", - "value": 0.5973 - }, - { - "domain": "finance", - "lang": "zh", - "dataset": "default", - "value": 0.43259 - }, - { - "domain": "finance", - "lang": "ar", - "dataset": "default", - "value": 0.5386 - }, - { - "domain": "wiki", - "lang": "fr", - "dataset": "default", - "value": 0.73135 - }, - { - "domain": "wiki", - "lang": "en", - "dataset": "default", - "value": 0.76124 - }, - { - "domain": "wiki", - "lang": "zh", - "dataset": "default", - "value": 0.68223 - }, - { - "domain": "wiki", - "lang": "ar", - "dataset": "default", - "value": 0.61635 - }, - { - "domain": "wiki", - "lang": "hi", - "dataset": "default", - "value": 0.71841 - }, - { - "domain": "wiki", - "lang": "es", - "dataset": "default", - "value": 0.70465 - }, - { - "domain": "wiki", - "lang": "id", - "dataset": "default", - "value": 0.69528 - }, - { - "domain": "wiki", - "lang": "fa", - "dataset": "default", - "value": 0.63998 - }, - { - "domain": "wiki", - "lang": "ko", - "dataset": "default", - "value": 0.65268 - }, - { - "domain": "wiki", - "lang": "ja", - "dataset": "default", - "value": 0.64759 - }, - { - "domain": "wiki", - "lang": "de", - "dataset": "default", - "value": 0.71189 - }, - { - "domain": "wiki", - "lang": "bn", - "dataset": "default", - "value": 0.67754 - }, - { - "domain": "wiki", - "lang": "ru", - "dataset": "default", - "value": 0.64959 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "default", - "value": 0.46528 - }, - { - "domain": "science", - "lang": "ru", - "dataset": "default", - "value": 0.5762 - }, - { - "domain": "web", - "lang": "fr", - "dataset": "default", - "value": 0.5688 - }, - { - "domain": "web", - "lang": "en", - "dataset": "default", - "value": 0.60089 - }, - { - "domain": "web", - "lang": "zh", - "dataset": "default", - "value": 0.54589 - }, - { - "domain": "web", - "lang": "ar", - "dataset": "default", - "value": 0.57582 - }, - { - "domain": "web", - "lang": "hi", - "dataset": "default", - "value": 0.63854 - }, - { - "domain": "web", - "lang": "es", - "dataset": "default", - "value": 0.56707 - }, - { - "domain": "web", - "lang": "id", - "dataset": "default", - "value": 0.58081 - }, - { - "domain": "web", - "lang": "fa", - "dataset": "default", - "value": 0.60034 - }, - { - "domain": "web", - "lang": "ko", - "dataset": "default", - "value": 0.62041 - }, - { - "domain": "web", - "lang": "ja", - "dataset": "default", - "value": 0.60904 - }, - { - "domain": "web", - "lang": "de", - "dataset": "default", - "value": 0.56515 - }, - { - "domain": "web", - "lang": "bn", - "dataset": "default", - "value": 0.62069 - }, - { - "domain": "web", - "lang": "ru", - "dataset": "default", - "value": 0.59344 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "qa", - "metric": "recall_at_50", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "fr", - "dataset": "default", - "value": 0.3915 - }, - { - "domain": "law", - "lang": "en", - "dataset": "default", - "value": 0.47872 - }, - { - "domain": "law", - "lang": "de", - "dataset": "default", - "value": 0.39487 - }, - { - "domain": "news", - "lang": "fr", - "dataset": "default", - "value": 0.7408 - }, - { - "domain": "news", - "lang": "en", - "dataset": "default", - "value": 0.71854 - }, - { - "domain": "news", - "lang": "zh", - "dataset": "default", - "value": 0.67416 - }, - { - "domain": "news", - "lang": "ar", - "dataset": "default", - "value": 0.71316 - }, - { - "domain": "news", - "lang": "hi", - "dataset": "default", - "value": 0.69311 - }, - { - "domain": "news", - "lang": "es", - "dataset": "default", - "value": 0.7221 - }, - { - "domain": "news", - "lang": "id", - "dataset": "default", - "value": 0.75626 - }, - { - "domain": "news", - "lang": "fa", - "dataset": "default", - "value": 0.72236 - }, - { - "domain": "news", - "lang": "ko", - "dataset": "default", - "value": 0.76049 - }, - { - "domain": "news", - "lang": "ja", - "dataset": "default", - "value": 0.73318 - }, - { - "domain": "news", - "lang": "de", - "dataset": "default", - "value": 0.7423 - }, - { - "domain": "news", - "lang": "bn", - "dataset": "default", - "value": 0.8674 - }, - { - "domain": "news", - "lang": "ru", - "dataset": "default", - "value": 0.74629 - }, - { - "domain": "healthcare", - "lang": "fr", - "dataset": "default", - "value": 0.66091 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "default", - "value": 0.72975 - }, - { - "domain": "healthcare", - "lang": "zh", - "dataset": "default", - "value": 0.68627 - }, - { - "domain": "healthcare", - "lang": "es", - "dataset": "default", - "value": 0.77933 - }, - { - "domain": "healthcare", - "lang": "de", - "dataset": "default", - "value": 0.78183 - }, - { - "domain": "finance", - "lang": "fr", - "dataset": "default", - "value": 0.68614 - }, - { - "domain": "finance", - "lang": "en", - "dataset": "default", - "value": 0.71718 - }, - { - "domain": "finance", - "lang": "zh", - "dataset": "default", - "value": 0.66131 - }, - { - "domain": "finance", - "lang": "ar", - "dataset": "default", - "value": 0.6784 - }, - { - "domain": "wiki", - "lang": "fr", - "dataset": "default", - "value": 0.84705 - }, - { - "domain": "wiki", - "lang": "en", - "dataset": "default", - "value": 0.85861 - }, - { - "domain": "wiki", - "lang": "zh", - "dataset": "default", - "value": 0.82185 - }, - { - "domain": "wiki", - "lang": "ar", - "dataset": "default", - "value": 0.78732 - }, - { - "domain": "wiki", - "lang": "hi", - "dataset": "default", - "value": 0.8684 - }, - { - "domain": "wiki", - "lang": "es", - "dataset": "default", - "value": 0.82222 - }, - { - "domain": "wiki", - "lang": "id", - "dataset": "default", - "value": 0.84655 - }, - { - "domain": "wiki", - "lang": "fa", - "dataset": "default", - "value": 0.82362 - }, - { - "domain": "wiki", - "lang": "ko", - "dataset": "default", - "value": 0.82325 - }, - { - "domain": "wiki", - "lang": "ja", - "dataset": "default", - "value": 0.80639 - }, - { - "domain": "wiki", - "lang": "de", - "dataset": "default", - "value": 0.82845 - }, - { - "domain": "wiki", - "lang": "bn", - "dataset": "default", - "value": 0.83813 - }, - { - "domain": "wiki", - "lang": "ru", - "dataset": "default", - "value": 0.81797 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "default", - "value": 0.65029 - }, - { - "domain": "science", - "lang": "ru", - "dataset": "default", - "value": 0.80189 - }, - { - "domain": "web", - "lang": "fr", - "dataset": "default", - "value": 0.78298 - }, - { - "domain": "web", - "lang": "en", - "dataset": "default", - "value": 0.77423 - }, - { - "domain": "web", - "lang": "zh", - "dataset": "default", - "value": 0.74057 - }, - { - "domain": "web", - "lang": "ar", - "dataset": "default", - "value": 0.78478 - }, - { - "domain": "web", - "lang": "hi", - "dataset": "default", - "value": 0.83052 - }, - { - "domain": "web", - "lang": "es", - "dataset": "default", - "value": 0.77186 - }, - { - "domain": "web", - "lang": "id", - "dataset": "default", - "value": 0.80201 - }, - { - "domain": "web", - "lang": "fa", - "dataset": "default", - "value": 0.81354 - }, - { - "domain": "web", - "lang": "ko", - "dataset": "default", - "value": 0.799 - }, - { - "domain": "web", - "lang": "ja", - "dataset": "default", - "value": 0.79451 - }, - { - "domain": "web", - "lang": "de", - "dataset": "default", - "value": 0.78242 - }, - { - "domain": "web", - "lang": "bn", - "dataset": "default", - "value": 0.81641 - }, - { - "domain": "web", - "lang": "ru", - "dataset": "default", - "value": 0.80434 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "qa", - "metric": "recall_at_100", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "fr", - "dataset": "default", - "value": 0.46315 - }, - { - "domain": "law", - "lang": "en", - "dataset": "default", - "value": 0.54387 - }, - { - "domain": "law", - "lang": "de", - "dataset": "default", - "value": 0.4647 - }, - { - "domain": "news", - "lang": "fr", - "dataset": "default", - "value": 0.8273 - }, - { - "domain": "news", - "lang": "en", - "dataset": "default", - "value": 0.78039 - }, - { - "domain": "news", - "lang": "zh", - "dataset": "default", - "value": 0.75306 - }, - { - "domain": "news", - "lang": "ar", - "dataset": "default", - "value": 0.80494 - }, - { - "domain": "news", - "lang": "hi", - "dataset": "default", - "value": 0.80431 - }, - { - "domain": "news", - "lang": "es", - "dataset": "default", - "value": 0.81241 - }, - { - "domain": "news", - "lang": "id", - "dataset": "default", - "value": 0.85056 - }, - { - "domain": "news", - "lang": "fa", - "dataset": "default", - "value": 0.82385 - }, - { - "domain": "news", - "lang": "ko", - "dataset": "default", - "value": 0.84328 - }, - { - "domain": "news", - "lang": "ja", - "dataset": "default", - "value": 0.80745 - }, - { - "domain": "news", - "lang": "de", - "dataset": "default", - "value": 0.81658 - }, - { - "domain": "news", - "lang": "bn", - "dataset": "default", - "value": 0.92095 - }, - { - "domain": "news", - "lang": "ru", - "dataset": "default", - "value": 0.83689 - }, - { - "domain": "healthcare", - "lang": "fr", - "dataset": "default", - "value": 0.78331 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "default", - "value": 0.79583 - }, - { - "domain": "healthcare", - "lang": "zh", - "dataset": "default", - "value": 0.77593 - }, - { - "domain": "healthcare", - "lang": "es", - "dataset": "default", - "value": 0.86684 - }, - { - "domain": "healthcare", - "lang": "de", - "dataset": "default", - "value": 0.83442 - }, - { - "domain": "finance", - "lang": "fr", - "dataset": "default", - "value": 0.80466 - }, - { - "domain": "finance", - "lang": "en", - "dataset": "default", - "value": 0.75283 - }, - { - "domain": "finance", - "lang": "zh", - "dataset": "default", - "value": 0.72846 - }, - { - "domain": "finance", - "lang": "ar", - "dataset": "default", - "value": 0.74 - }, - { - "domain": "wiki", - "lang": "fr", - "dataset": "default", - "value": 0.88911 - }, - { - "domain": "wiki", - "lang": "en", - "dataset": "default", - "value": 0.89034 - }, - { - "domain": "wiki", - "lang": "zh", - "dataset": "default", - "value": 0.86882 - }, - { - "domain": "wiki", - "lang": "ar", - "dataset": "default", - "value": 0.85765 - }, - { - "domain": "wiki", - "lang": "hi", - "dataset": "default", - "value": 0.92053 - }, - { - "domain": "wiki", - "lang": "es", - "dataset": "default", - "value": 0.86331 - }, - { - "domain": "wiki", - "lang": "id", - "dataset": "default", - "value": 0.89472 - }, - { - "domain": "wiki", - "lang": "fa", - "dataset": "default", - "value": 0.8822 - }, - { - "domain": "wiki", - "lang": "ko", - "dataset": "default", - "value": 0.88405 - }, - { - "domain": "wiki", - "lang": "ja", - "dataset": "default", - "value": 0.86067 - }, - { - "domain": "wiki", - "lang": "de", - "dataset": "default", - "value": 0.87433 - }, - { - "domain": "wiki", - "lang": "bn", - "dataset": "default", - "value": 0.89941 - }, - { - "domain": "wiki", - "lang": "ru", - "dataset": "default", - "value": 0.87361 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "default", - "value": 0.72112 - }, - { - "domain": "science", - "lang": "ru", - "dataset": "default", - "value": 0.88422 - }, - { - "domain": "web", - "lang": "fr", - "dataset": "default", - "value": 0.84187 - }, - { - "domain": "web", - "lang": "en", - "dataset": "default", - "value": 0.8259 - }, - { - "domain": "web", - "lang": "zh", - "dataset": "default", - "value": 0.80153 - }, - { - "domain": "web", - "lang": "ar", - "dataset": "default", - "value": 0.84168 - }, - { - "domain": "web", - "lang": "hi", - "dataset": "default", - "value": 0.87977 - }, - { - "domain": "web", - "lang": "es", - "dataset": "default", - "value": 0.83622 - }, - { - "domain": "web", - "lang": "id", - "dataset": "default", - "value": 0.87041 - }, - { - "domain": "web", - "lang": "fa", - "dataset": "default", - "value": 0.87604 - }, - { - "domain": "web", - "lang": "ko", - "dataset": "default", - "value": 0.85987 - }, - { - "domain": "web", - "lang": "ja", - "dataset": "default", - "value": 0.86005 - }, - { - "domain": "web", - "lang": "de", - "dataset": "default", - "value": 0.84458 - }, - { - "domain": "web", - "lang": "bn", - "dataset": "default", - "value": 0.87404 - }, - { - "domain": "web", - "lang": "ru", - "dataset": "default", - "value": 0.86295 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "qa", - "metric": "recall_at_1000", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "fr", - "dataset": "default", - "value": 0.64007 - }, - { - "domain": "law", - "lang": "en", - "dataset": "default", - "value": 0.76027 - }, - { - "domain": "law", - "lang": "de", - "dataset": "default", - "value": 0.66007 - }, - { - "domain": "news", - "lang": "fr", - "dataset": "default", - "value": 0.92901 - }, - { - "domain": "news", - "lang": "en", - "dataset": "default", - "value": 0.90868 - }, - { - "domain": "news", - "lang": "zh", - "dataset": "default", - "value": 0.92651 - }, - { - "domain": "news", - "lang": "ar", - "dataset": "default", - "value": 0.92222 - }, - { - "domain": "news", - "lang": "hi", - "dataset": "default", - "value": 0.9279 - }, - { - "domain": "news", - "lang": "es", - "dataset": "default", - "value": 0.9261 - }, - { - "domain": "news", - "lang": "id", - "dataset": "default", - "value": 0.95597 - }, - { - "domain": "news", - "lang": "fa", - "dataset": "default", - "value": 0.93846 - }, - { - "domain": "news", - "lang": "ko", - "dataset": "default", - "value": 0.94168 - }, - { - "domain": "news", - "lang": "ja", - "dataset": "default", - "value": 0.91477 - }, - { - "domain": "news", - "lang": "de", - "dataset": "default", - "value": 0.92015 - }, - { - "domain": "news", - "lang": "bn", - "dataset": "default", - "value": 0.98443 - }, - { - "domain": "news", - "lang": "ru", - "dataset": "default", - "value": 0.94147 - }, - { - "domain": "healthcare", - "lang": "fr", - "dataset": "default", - "value": 0.92598 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "default", - "value": 0.92816 - }, - { - "domain": "healthcare", - "lang": "zh", - "dataset": "default", - "value": 0.9414 - }, - { - "domain": "healthcare", - "lang": "es", - "dataset": "default", - "value": 0.9664 - }, - { - "domain": "healthcare", - "lang": "de", - "dataset": "default", - "value": 0.93522 - }, - { - "domain": "finance", - "lang": "fr", - "dataset": "default", - "value": 0.93909 - }, - { - "domain": "finance", - "lang": "en", - "dataset": "default", - "value": 0.87033 - }, - { - "domain": "finance", - "lang": "zh", - "dataset": "default", - "value": 0.87373 - }, - { - "domain": "finance", - "lang": "ar", - "dataset": "default", - "value": 0.9244 - }, - { - "domain": "wiki", - "lang": "fr", - "dataset": "default", - "value": 0.94609 - }, - { - "domain": "wiki", - "lang": "en", - "dataset": "default", - "value": 0.93745 - }, - { - "domain": "wiki", - "lang": "zh", - "dataset": "default", - "value": 0.96126 - }, - { - "domain": "wiki", - "lang": "ar", - "dataset": "default", - "value": 0.94407 - }, - { - "domain": "wiki", - "lang": "hi", - "dataset": "default", - "value": 0.97986 - }, - { - "domain": "wiki", - "lang": "es", - "dataset": "default", - "value": 0.93223 - }, - { - "domain": "wiki", - "lang": "id", - "dataset": "default", - "value": 0.95595 - }, - { - "domain": "wiki", - "lang": "fa", - "dataset": "default", - "value": 0.95837 - }, - { - "domain": "wiki", - "lang": "ko", - "dataset": "default", - "value": 0.96733 - }, - { - "domain": "wiki", - "lang": "ja", - "dataset": "default", - "value": 0.94076 - }, - { - "domain": "wiki", - "lang": "de", - "dataset": "default", - "value": 0.93331 - }, - { - "domain": "wiki", - "lang": "bn", - "dataset": "default", - "value": 0.96811 - }, - { - "domain": "wiki", - "lang": "ru", - "dataset": "default", - "value": 0.95082 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "default", - "value": 0.90905 - }, - { - "domain": "science", - "lang": "ru", - "dataset": "default", - "value": 0.97217 - }, - { - "domain": "web", - "lang": "fr", - "dataset": "default", - "value": 0.93042 - }, - { - "domain": "web", - "lang": "en", - "dataset": "default", - "value": 0.91966 - }, - { - "domain": "web", - "lang": "zh", - "dataset": "default", - "value": 0.92875 - }, - { - "domain": "web", - "lang": "ar", - "dataset": "default", - "value": 0.93921 - }, - { - "domain": "web", - "lang": "hi", - "dataset": "default", - "value": 0.96062 - }, - { - "domain": "web", - "lang": "es", - "dataset": "default", - "value": 0.92967 - }, - { - "domain": "web", - "lang": "id", - "dataset": "default", - "value": 0.95648 - }, - { - "domain": "web", - "lang": "fa", - "dataset": "default", - "value": 0.96112 - }, - { - "domain": "web", - "lang": "ko", - "dataset": "default", - "value": 0.9446 - }, - { - "domain": "web", - "lang": "ja", - "dataset": "default", - "value": 0.94556 - }, - { - "domain": "web", - "lang": "de", - "dataset": "default", - "value": 0.93515 - }, - { - "domain": "web", - "lang": "bn", - "dataset": "default", - "value": 0.95119 - }, - { - "domain": "web", - "lang": "ru", - "dataset": "default", - "value": 0.94518 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "qa", - "metric": "precision_at_1", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "fr", - "dataset": "default", - "value": 0.20086 - }, - { - "domain": "law", - "lang": "en", - "dataset": "default", - "value": 0.26162 - }, - { - "domain": "law", - "lang": "de", - "dataset": "default", - "value": 0.20116 - }, - { - "domain": "news", - "lang": "fr", - "dataset": "default", - "value": 0.53435 - }, - { - "domain": "news", - "lang": "en", - "dataset": "default", - "value": 0.4404 - }, - { - "domain": "news", - "lang": "zh", - "dataset": "default", - "value": 0.40059 - }, - { - "domain": "news", - "lang": "ar", - "dataset": "default", - "value": 0.53152 - }, - { - "domain": "news", - "lang": "hi", - "dataset": "default", - "value": 0.48355 - }, - { - "domain": "news", - "lang": "es", - "dataset": "default", - "value": 0.47964 - }, - { - "domain": "news", - "lang": "id", - "dataset": "default", - "value": 0.55605 - }, - { - "domain": "news", - "lang": "fa", - "dataset": "default", - "value": 0.51876 - }, - { - "domain": "news", - "lang": "ko", - "dataset": "default", - "value": 0.53905 - }, - { - "domain": "news", - "lang": "ja", - "dataset": "default", - "value": 0.50943 - }, - { - "domain": "news", - "lang": "de", - "dataset": "default", - "value": 0.51113 - }, - { - "domain": "news", - "lang": "bn", - "dataset": "default", - "value": 0.48749 - }, - { - "domain": "news", - "lang": "ru", - "dataset": "default", - "value": 0.5466 - }, - { - "domain": "healthcare", - "lang": "fr", - "dataset": "default", - "value": 0.4902 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "default", - "value": 0.49341 - }, - { - "domain": "healthcare", - "lang": "zh", - "dataset": "default", - "value": 0.498 - }, - { - "domain": "healthcare", - "lang": "es", - "dataset": "default", - "value": 0.61199 - }, - { - "domain": "healthcare", - "lang": "de", - "dataset": "default", - "value": 0.45246 - }, - { - "domain": "finance", - "lang": "fr", - "dataset": "default", - "value": 0.48994 - }, - { - "domain": "finance", - "lang": "en", - "dataset": "default", - "value": 0.48738 - }, - { - "domain": "finance", - "lang": "zh", - "dataset": "default", - "value": 0.43075 - }, - { - "domain": "finance", - "lang": "ar", - "dataset": "default", - "value": 0.39574 - }, - { - "domain": "wiki", - "lang": "fr", - "dataset": "default", - "value": 0.65239 - }, - { - "domain": "wiki", - "lang": "en", - "dataset": "default", - "value": 0.69754 - }, - { - "domain": "wiki", - "lang": "zh", - "dataset": "default", - "value": 0.6994 - }, - { - "domain": "wiki", - "lang": "ar", - "dataset": "default", - "value": 0.68044 - }, - { - "domain": "wiki", - "lang": "hi", - "dataset": "default", - "value": 0.775 - }, - { - "domain": "wiki", - "lang": "es", - "dataset": "default", - "value": 0.66739 - }, - { - "domain": "wiki", - "lang": "id", - "dataset": "default", - "value": 0.73562 - }, - { - "domain": "wiki", - "lang": "fa", - "dataset": "default", - "value": 0.70557 - }, - { - "domain": "wiki", - "lang": "ko", - "dataset": "default", - "value": 0.72688 - }, - { - "domain": "wiki", - "lang": "ja", - "dataset": "default", - "value": 0.68087 - }, - { - "domain": "wiki", - "lang": "de", - "dataset": "default", - "value": 0.64886 - }, - { - "domain": "wiki", - "lang": "bn", - "dataset": "default", - "value": 0.72802 - }, - { - "domain": "wiki", - "lang": "ru", - "dataset": "default", - "value": 0.64525 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "default", - "value": 0.43899 - }, - { - "domain": "science", - "lang": "ru", - "dataset": "default", - "value": 0.63459 - }, - { - "domain": "web", - "lang": "fr", - "dataset": "default", - "value": 0.53809 - }, - { - "domain": "web", - "lang": "en", - "dataset": "default", - "value": 0.53221 - }, - { - "domain": "web", - "lang": "zh", - "dataset": "default", - "value": 0.53155 - }, - { - "domain": "web", - "lang": "ar", - "dataset": "default", - "value": 0.55306 - }, - { - "domain": "web", - "lang": "hi", - "dataset": "default", - "value": 0.56922 - }, - { - "domain": "web", - "lang": "es", - "dataset": "default", - "value": 0.53874 - }, - { - "domain": "web", - "lang": "id", - "dataset": "default", - "value": 0.55088 - }, - { - "domain": "web", - "lang": "fa", - "dataset": "default", - "value": 0.5938 - }, - { - "domain": "web", - "lang": "ko", - "dataset": "default", - "value": 0.54698 - }, - { - "domain": "web", - "lang": "ja", - "dataset": "default", - "value": 0.55839 - }, - { - "domain": "web", - "lang": "de", - "dataset": "default", - "value": 0.55447 - }, - { - "domain": "web", - "lang": "bn", - "dataset": "default", - "value": 0.55548 - }, - { - "domain": "web", - "lang": "ru", - "dataset": "default", - "value": 0.57517 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "qa", - "metric": "precision_at_3", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "fr", - "dataset": "default", - "value": 0.16117 - }, - { - "domain": "law", - "lang": "en", - "dataset": "default", - "value": 0.18344 - }, - { - "domain": "law", - "lang": "de", - "dataset": "default", - "value": 0.16208 - }, - { - "domain": "news", - "lang": "fr", - "dataset": "default", - "value": 0.37599 - }, - { - "domain": "news", - "lang": "en", - "dataset": "default", - "value": 0.32482 - }, - { - "domain": "news", - "lang": "zh", - "dataset": "default", - "value": 0.33014 - }, - { - "domain": "news", - "lang": "ar", - "dataset": "default", - "value": 0.39589 - }, - { - "domain": "news", - "lang": "hi", - "dataset": "default", - "value": 0.35002 - }, - { - "domain": "news", - "lang": "es", - "dataset": "default", - "value": 0.34937 - }, - { - "domain": "news", - "lang": "id", - "dataset": "default", - "value": 0.42306 - }, - { - "domain": "news", - "lang": "fa", - "dataset": "default", - "value": 0.40572 - }, - { - "domain": "news", - "lang": "ko", - "dataset": "default", - "value": 0.43285 - }, - { - "domain": "news", - "lang": "ja", - "dataset": "default", - "value": 0.39381 - }, - { - "domain": "news", - "lang": "de", - "dataset": "default", - "value": 0.37587 - }, - { - "domain": "news", - "lang": "bn", - "dataset": "default", - "value": 0.29738 - }, - { - "domain": "news", - "lang": "ru", - "dataset": "default", - "value": 0.40705 - }, - { - "domain": "healthcare", - "lang": "fr", - "dataset": "default", - "value": 0.3635 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "default", - "value": 0.32504 - }, - { - "domain": "healthcare", - "lang": "zh", - "dataset": "default", - "value": 0.394 - }, - { - "domain": "healthcare", - "lang": "es", - "dataset": "default", - "value": 0.37136 - }, - { - "domain": "healthcare", - "lang": "de", - "dataset": "default", - "value": 0.33796 - }, - { - "domain": "finance", - "lang": "fr", - "dataset": "default", - "value": 0.37892 - }, - { - "domain": "finance", - "lang": "en", - "dataset": "default", - "value": 0.29574 - }, - { - "domain": "finance", - "lang": "zh", - "dataset": "default", - "value": 0.34211 - }, - { - "domain": "finance", - "lang": "ar", - "dataset": "default", - "value": 0.28766 - }, - { - "domain": "wiki", - "lang": "fr", - "dataset": "default", - "value": 0.3448 - }, - { - "domain": "wiki", - "lang": "en", - "dataset": "default", - "value": 0.40328 - }, - { - "domain": "wiki", - "lang": "zh", - "dataset": "default", - "value": 0.37326 - }, - { - "domain": "wiki", - "lang": "ar", - "dataset": "default", - "value": 0.38893 - }, - { - "domain": "wiki", - "lang": "hi", - "dataset": "default", - "value": 0.42721 - }, - { - "domain": "wiki", - "lang": "es", - "dataset": "default", - "value": 0.35242 - }, - { - "domain": "wiki", - "lang": "id", - "dataset": "default", - "value": 0.40107 - }, - { - "domain": "wiki", - "lang": "fa", - "dataset": "default", - "value": 0.41642 - }, - { - "domain": "wiki", - "lang": "ko", - "dataset": "default", - "value": 0.42124 - }, - { - "domain": "wiki", - "lang": "ja", - "dataset": "default", - "value": 0.37756 - }, - { - "domain": "wiki", - "lang": "de", - "dataset": "default", - "value": 0.35209 - }, - { - "domain": "wiki", - "lang": "bn", - "dataset": "default", - "value": 0.38851 - }, - { - "domain": "wiki", - "lang": "ru", - "dataset": "default", - "value": 0.37731 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "default", - "value": 0.27581 - }, - { - "domain": "science", - "lang": "ru", - "dataset": "default", - "value": 0.42161 - }, - { - "domain": "web", - "lang": "fr", - "dataset": "default", - "value": 0.37154 - }, - { - "domain": "web", - "lang": "en", - "dataset": "default", - "value": 0.36042 - }, - { - "domain": "web", - "lang": "zh", - "dataset": "default", - "value": 0.3707 - }, - { - "domain": "web", - "lang": "ar", - "dataset": "default", - "value": 0.37195 - }, - { - "domain": "web", - "lang": "hi", - "dataset": "default", - "value": 0.39236 - }, - { - "domain": "web", - "lang": "es", - "dataset": "default", - "value": 0.36672 - }, - { - "domain": "web", - "lang": "id", - "dataset": "default", - "value": 0.39626 - }, - { - "domain": "web", - "lang": "fa", - "dataset": "default", - "value": 0.42122 - }, - { - "domain": "web", - "lang": "ko", - "dataset": "default", - "value": 0.35625 - }, - { - "domain": "web", - "lang": "ja", - "dataset": "default", - "value": 0.36221 - }, - { - "domain": "web", - "lang": "de", - "dataset": "default", - "value": 0.3629 - }, - { - "domain": "web", - "lang": "bn", - "dataset": "default", - "value": 0.36527 - }, - { - "domain": "web", - "lang": "ru", - "dataset": "default", - "value": 0.38705 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "qa", - "metric": "precision_at_5", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "fr", - "dataset": "default", - "value": 0.14103 - }, - { - "domain": "law", - "lang": "en", - "dataset": "default", - "value": 0.14906 - }, - { - "domain": "law", - "lang": "de", - "dataset": "default", - "value": 0.13849 - }, - { - "domain": "news", - "lang": "fr", - "dataset": "default", - "value": 0.30484 - }, - { - "domain": "news", - "lang": "en", - "dataset": "default", - "value": 0.26718 - }, - { - "domain": "news", - "lang": "zh", - "dataset": "default", - "value": 0.2785 - }, - { - "domain": "news", - "lang": "ar", - "dataset": "default", - "value": 0.32407 - }, - { - "domain": "news", - "lang": "hi", - "dataset": "default", - "value": 0.29213 - }, - { - "domain": "news", - "lang": "es", - "dataset": "default", - "value": 0.28157 - }, - { - "domain": "news", - "lang": "id", - "dataset": "default", - "value": 0.35192 - }, - { - "domain": "news", - "lang": "fa", - "dataset": "default", - "value": 0.33997 - }, - { - "domain": "news", - "lang": "ko", - "dataset": "default", - "value": 0.36337 - }, - { - "domain": "news", - "lang": "ja", - "dataset": "default", - "value": 0.32975 - }, - { - "domain": "news", - "lang": "de", - "dataset": "default", - "value": 0.30371 - }, - { - "domain": "news", - "lang": "bn", - "dataset": "default", - "value": 0.2195 - }, - { - "domain": "news", - "lang": "ru", - "dataset": "default", - "value": 0.33018 - }, - { - "domain": "healthcare", - "lang": "fr", - "dataset": "default", - "value": 0.28974 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "default", - "value": 0.24846 - }, - { - "domain": "healthcare", - "lang": "zh", - "dataset": "default", - "value": 0.3336 - }, - { - "domain": "healthcare", - "lang": "es", - "dataset": "default", - "value": 0.28826 - }, - { - "domain": "healthcare", - "lang": "de", - "dataset": "default", - "value": 0.27994 - }, - { - "domain": "finance", - "lang": "fr", - "dataset": "default", - "value": 0.31279 - }, - { - "domain": "finance", - "lang": "en", - "dataset": "default", - "value": 0.21625 - }, - { - "domain": "finance", - "lang": "zh", - "dataset": "default", - "value": 0.29141 - }, - { - "domain": "finance", - "lang": "ar", - "dataset": "default", - "value": 0.21532 - }, - { - "domain": "wiki", - "lang": "fr", - "dataset": "default", - "value": 0.24508 - }, - { - "domain": "wiki", - "lang": "en", - "dataset": "default", - "value": 0.29566 - }, - { - "domain": "wiki", - "lang": "zh", - "dataset": "default", - "value": 0.27232 - }, - { - "domain": "wiki", - "lang": "ar", - "dataset": "default", - "value": 0.29151 - }, - { - "domain": "wiki", - "lang": "hi", - "dataset": "default", - "value": 0.30471 - }, - { - "domain": "wiki", - "lang": "es", - "dataset": "default", - "value": 0.25116 - }, - { - "domain": "wiki", - "lang": "id", - "dataset": "default", - "value": 0.29279 - }, - { - "domain": "wiki", - "lang": "fa", - "dataset": "default", - "value": 0.30979 - }, - { - "domain": "wiki", - "lang": "ko", - "dataset": "default", - "value": 0.30896 - }, - { - "domain": "wiki", - "lang": "ja", - "dataset": "default", - "value": 0.27249 - }, - { - "domain": "wiki", - "lang": "de", - "dataset": "default", - "value": 0.25655 - }, - { - "domain": "wiki", - "lang": "bn", - "dataset": "default", - "value": 0.28008 - }, - { - "domain": "wiki", - "lang": "ru", - "dataset": "default", - "value": 0.28066 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "default", - "value": 0.20996 - }, - { - "domain": "science", - "lang": "ru", - "dataset": "default", - "value": 0.33386 - }, - { - "domain": "web", - "lang": "fr", - "dataset": "default", - "value": 0.29568 - }, - { - "domain": "web", - "lang": "en", - "dataset": "default", - "value": 0.28053 - }, - { - "domain": "web", - "lang": "zh", - "dataset": "default", - "value": 0.29206 - }, - { - "domain": "web", - "lang": "ar", - "dataset": "default", - "value": 0.2994 - }, - { - "domain": "web", - "lang": "hi", - "dataset": "default", - "value": 0.31089 - }, - { - "domain": "web", - "lang": "es", - "dataset": "default", - "value": 0.29386 - }, - { - "domain": "web", - "lang": "id", - "dataset": "default", - "value": 0.31947 - }, - { - "domain": "web", - "lang": "fa", - "dataset": "default", - "value": 0.34549 - }, - { - "domain": "web", - "lang": "ko", - "dataset": "default", - "value": 0.28266 - }, - { - "domain": "web", - "lang": "ja", - "dataset": "default", - "value": 0.28476 - }, - { - "domain": "web", - "lang": "de", - "dataset": "default", - "value": 0.2919 - }, - { - "domain": "web", - "lang": "bn", - "dataset": "default", - "value": 0.28491 - }, - { - "domain": "web", - "lang": "ru", - "dataset": "default", - "value": 0.31087 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "qa", - "metric": "precision_at_10", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "fr", - "dataset": "default", - "value": 0.10681 - }, - { - "domain": "law", - "lang": "en", - "dataset": "default", - "value": 0.10451 - }, - { - "domain": "law", - "lang": "de", - "dataset": "default", - "value": 0.10535 - }, - { - "domain": "news", - "lang": "fr", - "dataset": "default", - "value": 0.21222 - }, - { - "domain": "news", - "lang": "en", - "dataset": "default", - "value": 0.18413 - }, - { - "domain": "news", - "lang": "zh", - "dataset": "default", - "value": 0.19617 - }, - { - "domain": "news", - "lang": "ar", - "dataset": "default", - "value": 0.23073 - }, - { - "domain": "news", - "lang": "hi", - "dataset": "default", - "value": 0.21073 - }, - { - "domain": "news", - "lang": "es", - "dataset": "default", - "value": 0.19852 - }, - { - "domain": "news", - "lang": "id", - "dataset": "default", - "value": 0.25826 - }, - { - "domain": "news", - "lang": "fa", - "dataset": "default", - "value": 0.24769 - }, - { - "domain": "news", - "lang": "ko", - "dataset": "default", - "value": 0.26697 - }, - { - "domain": "news", - "lang": "ja", - "dataset": "default", - "value": 0.23774 - }, - { - "domain": "news", - "lang": "de", - "dataset": "default", - "value": 0.21402 - }, - { - "domain": "news", - "lang": "bn", - "dataset": "default", - "value": 0.13563 - }, - { - "domain": "news", - "lang": "ru", - "dataset": "default", - "value": 0.23499 - }, - { - "domain": "healthcare", - "lang": "fr", - "dataset": "default", - "value": 0.20128 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "default", - "value": 0.15688 - }, - { - "domain": "healthcare", - "lang": "zh", - "dataset": "default", - "value": 0.24393 - }, - { - "domain": "healthcare", - "lang": "es", - "dataset": "default", - "value": 0.19434 - }, - { - "domain": "healthcare", - "lang": "de", - "dataset": "default", - "value": 0.19139 - }, - { - "domain": "finance", - "lang": "fr", - "dataset": "default", - "value": 0.23089 - }, - { - "domain": "finance", - "lang": "en", - "dataset": "default", - "value": 0.13336 - }, - { - "domain": "finance", - "lang": "zh", - "dataset": "default", - "value": 0.20429 - }, - { - "domain": "finance", - "lang": "ar", - "dataset": "default", - "value": 0.13566 - }, - { - "domain": "wiki", - "lang": "fr", - "dataset": "default", - "value": 0.14754 - }, - { - "domain": "wiki", - "lang": "en", - "dataset": "default", - "value": 0.17771 - }, - { - "domain": "wiki", - "lang": "zh", - "dataset": "default", - "value": 0.16942 - }, - { - "domain": "wiki", - "lang": "ar", - "dataset": "default", - "value": 0.18236 - }, - { - "domain": "wiki", - "lang": "hi", - "dataset": "default", - "value": 0.18588 - }, - { - "domain": "wiki", - "lang": "es", - "dataset": "default", - "value": 0.155 - }, - { - "domain": "wiki", - "lang": "id", - "dataset": "default", - "value": 0.18026 - }, - { - "domain": "wiki", - "lang": "fa", - "dataset": "default", - "value": 0.19586 - }, - { - "domain": "wiki", - "lang": "ko", - "dataset": "default", - "value": 0.1961 - }, - { - "domain": "wiki", - "lang": "ja", - "dataset": "default", - "value": 0.16934 - }, - { - "domain": "wiki", - "lang": "de", - "dataset": "default", - "value": 0.1505 - }, - { - "domain": "wiki", - "lang": "bn", - "dataset": "default", - "value": 0.17225 - }, - { - "domain": "wiki", - "lang": "ru", - "dataset": "default", - "value": 0.17539 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "default", - "value": 0.13668 - }, - { - "domain": "science", - "lang": "ru", - "dataset": "default", - "value": 0.22598 - }, - { - "domain": "web", - "lang": "fr", - "dataset": "default", - "value": 0.20062 - }, - { - "domain": "web", - "lang": "en", - "dataset": "default", - "value": 0.18726 - }, - { - "domain": "web", - "lang": "zh", - "dataset": "default", - "value": 0.19525 - }, - { - "domain": "web", - "lang": "ar", - "dataset": "default", - "value": 0.19641 - }, - { - "domain": "web", - "lang": "hi", - "dataset": "default", - "value": 0.20232 - }, - { - "domain": "web", - "lang": "es", - "dataset": "default", - "value": 0.20219 - }, - { - "domain": "web", - "lang": "id", - "dataset": "default", - "value": 0.21858 - }, - { - "domain": "web", - "lang": "fa", - "dataset": "default", - "value": 0.23656 - }, - { - "domain": "web", - "lang": "ko", - "dataset": "default", - "value": 0.18304 - }, - { - "domain": "web", - "lang": "ja", - "dataset": "default", - "value": 0.18701 - }, - { - "domain": "web", - "lang": "de", - "dataset": "default", - "value": 0.19644 - }, - { - "domain": "web", - "lang": "bn", - "dataset": "default", - "value": 0.19008 - }, - { - "domain": "web", - "lang": "ru", - "dataset": "default", - "value": 0.21157 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "qa", - "metric": "precision_at_50", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "fr", - "dataset": "default", - "value": 0.03742 - }, - { - "domain": "law", - "lang": "en", - "dataset": "default", - "value": 0.03384 - }, - { - "domain": "law", - "lang": "de", - "dataset": "default", - "value": 0.03711 - }, - { - "domain": "news", - "lang": "fr", - "dataset": "default", - "value": 0.06678 - }, - { - "domain": "news", - "lang": "en", - "dataset": "default", - "value": 0.05387 - }, - { - "domain": "news", - "lang": "zh", - "dataset": "default", - "value": 0.06131 - }, - { - "domain": "news", - "lang": "ar", - "dataset": "default", - "value": 0.0756 - }, - { - "domain": "news", - "lang": "hi", - "dataset": "default", - "value": 0.07104 - }, - { - "domain": "news", - "lang": "es", - "dataset": "default", - "value": 0.06687 - }, - { - "domain": "news", - "lang": "id", - "dataset": "default", - "value": 0.08479 - }, - { - "domain": "news", - "lang": "fa", - "dataset": "default", - "value": 0.08437 - }, - { - "domain": "news", - "lang": "ko", - "dataset": "default", - "value": 0.08582 - }, - { - "domain": "news", - "lang": "ja", - "dataset": "default", - "value": 0.07316 - }, - { - "domain": "news", - "lang": "de", - "dataset": "default", - "value": 0.06715 - }, - { - "domain": "news", - "lang": "bn", - "dataset": "default", - "value": 0.03432 - }, - { - "domain": "news", - "lang": "ru", - "dataset": "default", - "value": 0.07454 - }, - { - "domain": "healthcare", - "lang": "fr", - "dataset": "default", - "value": 0.074 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "default", - "value": 0.04392 - }, - { - "domain": "healthcare", - "lang": "zh", - "dataset": "default", - "value": 0.07792 - }, - { - "domain": "healthcare", - "lang": "es", - "dataset": "default", - "value": 0.05992 - }, - { - "domain": "healthcare", - "lang": "de", - "dataset": "default", - "value": 0.05423 - }, - { - "domain": "finance", - "lang": "fr", - "dataset": "default", - "value": 0.081 - }, - { - "domain": "finance", - "lang": "en", - "dataset": "default", - "value": 0.0342 - }, - { - "domain": "finance", - "lang": "zh", - "dataset": "default", - "value": 0.06294 - }, - { - "domain": "finance", - "lang": "ar", - "dataset": "default", - "value": 0.03564 - }, - { - "domain": "wiki", - "lang": "fr", - "dataset": "default", - "value": 0.03846 - }, - { - "domain": "wiki", - "lang": "en", - "dataset": "default", - "value": 0.04232 - }, - { - "domain": "wiki", - "lang": "zh", - "dataset": "default", - "value": 0.04438 - }, - { - "domain": "wiki", - "lang": "ar", - "dataset": "default", - "value": 0.05153 - }, - { - "domain": "wiki", - "lang": "hi", - "dataset": "default", - "value": 0.04876 - }, - { - "domain": "wiki", - "lang": "es", - "dataset": "default", - "value": 0.04041 - }, - { - "domain": "wiki", - "lang": "id", - "dataset": "default", - "value": 0.04881 - }, - { - "domain": "wiki", - "lang": "fa", - "dataset": "default", - "value": 0.05544 - }, - { - "domain": "wiki", - "lang": "ko", - "dataset": "default", - "value": 0.0537 - }, - { - "domain": "wiki", - "lang": "ja", - "dataset": "default", - "value": 0.04723 - }, - { - "domain": "wiki", - "lang": "de", - "dataset": "default", - "value": 0.03905 - }, - { - "domain": "wiki", - "lang": "bn", - "dataset": "default", - "value": 0.04692 - }, - { - "domain": "wiki", - "lang": "ru", - "dataset": "default", - "value": 0.04917 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "default", - "value": 0.04097 - }, - { - "domain": "science", - "lang": "ru", - "dataset": "default", - "value": 0.06873 - }, - { - "domain": "web", - "lang": "fr", - "dataset": "default", - "value": 0.0603 - }, - { - "domain": "web", - "lang": "en", - "dataset": "default", - "value": 0.05122 - }, - { - "domain": "web", - "lang": "zh", - "dataset": "default", - "value": 0.05709 - }, - { - "domain": "web", - "lang": "ar", - "dataset": "default", - "value": 0.05716 - }, - { - "domain": "web", - "lang": "hi", - "dataset": "default", - "value": 0.05637 - }, - { - "domain": "web", - "lang": "es", - "dataset": "default", - "value": 0.06035 - }, - { - "domain": "web", - "lang": "id", - "dataset": "default", - "value": 0.06622 - }, - { - "domain": "web", - "lang": "fa", - "dataset": "default", - "value": 0.06829 - }, - { - "domain": "web", - "lang": "ko", - "dataset": "default", - "value": 0.05155 - }, - { - "domain": "web", - "lang": "ja", - "dataset": "default", - "value": 0.05394 - }, - { - "domain": "web", - "lang": "de", - "dataset": "default", - "value": 0.06091 - }, - { - "domain": "web", - "lang": "bn", - "dataset": "default", - "value": 0.05451 - }, - { - "domain": "web", - "lang": "ru", - "dataset": "default", - "value": 0.06307 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "qa", - "metric": "precision_at_100", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "fr", - "dataset": "default", - "value": 0.02209 - }, - { - "domain": "law", - "lang": "en", - "dataset": "default", - "value": 0.01934 - }, - { - "domain": "law", - "lang": "de", - "dataset": "default", - "value": 0.02171 - }, - { - "domain": "news", - "lang": "fr", - "dataset": "default", - "value": 0.03787 - }, - { - "domain": "news", - "lang": "en", - "dataset": "default", - "value": 0.0294 - }, - { - "domain": "news", - "lang": "zh", - "dataset": "default", - "value": 0.03408 - }, - { - "domain": "news", - "lang": "ar", - "dataset": "default", - "value": 0.04294 - }, - { - "domain": "news", - "lang": "hi", - "dataset": "default", - "value": 0.04135 - }, - { - "domain": "news", - "lang": "es", - "dataset": "default", - "value": 0.03802 - }, - { - "domain": "news", - "lang": "id", - "dataset": "default", - "value": 0.04795 - }, - { - "domain": "news", - "lang": "fa", - "dataset": "default", - "value": 0.04834 - }, - { - "domain": "news", - "lang": "ko", - "dataset": "default", - "value": 0.04763 - }, - { - "domain": "news", - "lang": "ja", - "dataset": "default", - "value": 0.04038 - }, - { - "domain": "news", - "lang": "de", - "dataset": "default", - "value": 0.03749 - }, - { - "domain": "news", - "lang": "bn", - "dataset": "default", - "value": 0.01824 - }, - { - "domain": "news", - "lang": "ru", - "dataset": "default", - "value": 0.04207 - }, - { - "domain": "healthcare", - "lang": "fr", - "dataset": "default", - "value": 0.04444 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "default", - "value": 0.02392 - }, - { - "domain": "healthcare", - "lang": "zh", - "dataset": "default", - "value": 0.04361 - }, - { - "domain": "healthcare", - "lang": "es", - "dataset": "default", - "value": 0.03395 - }, - { - "domain": "healthcare", - "lang": "de", - "dataset": "default", - "value": 0.02888 - }, - { - "domain": "finance", - "lang": "fr", - "dataset": "default", - "value": 0.04805 - }, - { - "domain": "finance", - "lang": "en", - "dataset": "default", - "value": 0.01795 - }, - { - "domain": "finance", - "lang": "zh", - "dataset": "default", - "value": 0.0345 - }, - { - "domain": "finance", - "lang": "ar", - "dataset": "default", - "value": 0.0196 - }, - { - "domain": "wiki", - "lang": "fr", - "dataset": "default", - "value": 0.02067 - }, - { - "domain": "wiki", - "lang": "en", - "dataset": "default", - "value": 0.02211 - }, - { - "domain": "wiki", - "lang": "zh", - "dataset": "default", - "value": 0.02379 - }, - { - "domain": "wiki", - "lang": "ar", - "dataset": "default", - "value": 0.02858 - }, - { - "domain": "wiki", - "lang": "hi", - "dataset": "default", - "value": 0.02632 - }, - { - "domain": "wiki", - "lang": "es", - "dataset": "default", - "value": 0.0218 - }, - { - "domain": "wiki", - "lang": "id", - "dataset": "default", - "value": 0.02639 - }, - { - "domain": "wiki", - "lang": "fa", - "dataset": "default", - "value": 0.03014 - }, - { - "domain": "wiki", - "lang": "ko", - "dataset": "default", - "value": 0.02928 - }, - { - "domain": "wiki", - "lang": "ja", - "dataset": "default", - "value": 0.02572 - }, - { - "domain": "wiki", - "lang": "de", - "dataset": "default", - "value": 0.021 - }, - { - "domain": "wiki", - "lang": "bn", - "dataset": "default", - "value": 0.02572 - }, - { - "domain": "wiki", - "lang": "ru", - "dataset": "default", - "value": 0.02686 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "default", - "value": 0.02294 - }, - { - "domain": "science", - "lang": "ru", - "dataset": "default", - "value": 0.03846 - }, - { - "domain": "web", - "lang": "fr", - "dataset": "default", - "value": 0.0328 - }, - { - "domain": "web", - "lang": "en", - "dataset": "default", - "value": 0.02753 - }, - { - "domain": "web", - "lang": "zh", - "dataset": "default", - "value": 0.03093 - }, - { - "domain": "web", - "lang": "ar", - "dataset": "default", - "value": 0.03095 - }, - { - "domain": "web", - "lang": "hi", - "dataset": "default", - "value": 0.02998 - }, - { - "domain": "web", - "lang": "es", - "dataset": "default", - "value": 0.03314 - }, - { - "domain": "web", - "lang": "id", - "dataset": "default", - "value": 0.03644 - }, - { - "domain": "web", - "lang": "fa", - "dataset": "default", - "value": 0.03679 - }, - { - "domain": "web", - "lang": "ko", - "dataset": "default", - "value": 0.02811 - }, - { - "domain": "web", - "lang": "ja", - "dataset": "default", - "value": 0.0296 - }, - { - "domain": "web", - "lang": "de", - "dataset": "default", - "value": 0.03331 - }, - { - "domain": "web", - "lang": "bn", - "dataset": "default", - "value": 0.02959 - }, - { - "domain": "web", - "lang": "ru", - "dataset": "default", - "value": 0.03423 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "qa", - "metric": "precision_at_1000", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "fr", - "dataset": "default", - "value": 0.00296 - }, - { - "domain": "law", - "lang": "en", - "dataset": "default", - "value": 0.00254 - }, - { - "domain": "law", - "lang": "de", - "dataset": "default", - "value": 0.00295 - }, - { - "domain": "news", - "lang": "fr", - "dataset": "default", - "value": 0.00426 - }, - { - "domain": "news", - "lang": "en", - "dataset": "default", - "value": 0.00336 - }, - { - "domain": "news", - "lang": "zh", - "dataset": "default", - "value": 0.00411 - }, - { - "domain": "news", - "lang": "ar", - "dataset": "default", - "value": 0.00488 - }, - { - "domain": "news", - "lang": "hi", - "dataset": "default", - "value": 0.00478 - }, - { - "domain": "news", - "lang": "es", - "dataset": "default", - "value": 0.00437 - }, - { - "domain": "news", - "lang": "id", - "dataset": "default", - "value": 0.00537 - }, - { - "domain": "news", - "lang": "fa", - "dataset": "default", - "value": 0.00546 - }, - { - "domain": "news", - "lang": "ko", - "dataset": "default", - "value": 0.00527 - }, - { - "domain": "news", - "lang": "ja", - "dataset": "default", - "value": 0.00453 - }, - { - "domain": "news", - "lang": "de", - "dataset": "default", - "value": 0.00421 - }, - { - "domain": "news", - "lang": "bn", - "dataset": "default", - "value": 0.00194 - }, - { - "domain": "news", - "lang": "ru", - "dataset": "default", - "value": 0.00474 - }, - { - "domain": "healthcare", - "lang": "fr", - "dataset": "default", - "value": 0.00531 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "default", - "value": 0.00279 - }, - { - "domain": "healthcare", - "lang": "zh", - "dataset": "default", - "value": 0.00514 - }, - { - "domain": "healthcare", - "lang": "es", - "dataset": "default", - "value": 0.0038 - }, - { - "domain": "healthcare", - "lang": "de", - "dataset": "default", - "value": 0.00313 - }, - { - "domain": "finance", - "lang": "fr", - "dataset": "default", - "value": 0.00559 - }, - { - "domain": "finance", - "lang": "en", - "dataset": "default", - "value": 0.00199 - }, - { - "domain": "finance", - "lang": "zh", - "dataset": "default", - "value": 0.00401 - }, - { - "domain": "finance", - "lang": "ar", - "dataset": "default", - "value": 0.00229 - }, - { - "domain": "wiki", - "lang": "fr", - "dataset": "default", - "value": 0.00226 - }, - { - "domain": "wiki", - "lang": "en", - "dataset": "default", - "value": 0.00232 - }, - { - "domain": "wiki", - "lang": "zh", - "dataset": "default", - "value": 0.00269 - }, - { - "domain": "wiki", - "lang": "ar", - "dataset": "default", - "value": 0.00318 - }, - { - "domain": "wiki", - "lang": "hi", - "dataset": "default", - "value": 0.00283 - }, - { - "domain": "wiki", - "lang": "es", - "dataset": "default", - "value": 0.00242 - }, - { - "domain": "wiki", - "lang": "id", - "dataset": "default", - "value": 0.00287 - }, - { - "domain": "wiki", - "lang": "fa", - "dataset": "default", - "value": 0.00331 - }, - { - "domain": "wiki", - "lang": "ko", - "dataset": "default", - "value": 0.00323 - }, - { - "domain": "wiki", - "lang": "ja", - "dataset": "default", - "value": 0.00285 - }, - { - "domain": "wiki", - "lang": "de", - "dataset": "default", - "value": 0.00228 - }, - { - "domain": "wiki", - "lang": "bn", - "dataset": "default", - "value": 0.00281 - }, - { - "domain": "wiki", - "lang": "ru", - "dataset": "default", - "value": 0.00296 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "default", - "value": 0.00287 - }, - { - "domain": "science", - "lang": "ru", - "dataset": "default", - "value": 0.00426 - }, - { - "domain": "web", - "lang": "fr", - "dataset": "default", - "value": 0.00361 - }, - { - "domain": "web", - "lang": "en", - "dataset": "default", - "value": 0.00304 - }, - { - "domain": "web", - "lang": "zh", - "dataset": "default", - "value": 0.00353 - }, - { - "domain": "web", - "lang": "ar", - "dataset": "default", - "value": 0.00343 - }, - { - "domain": "web", - "lang": "hi", - "dataset": "default", - "value": 0.00323 - }, - { - "domain": "web", - "lang": "es", - "dataset": "default", - "value": 0.00369 - }, - { - "domain": "web", - "lang": "id", - "dataset": "default", - "value": 0.004 - }, - { - "domain": "web", - "lang": "fa", - "dataset": "default", - "value": 0.00399 - }, - { - "domain": "web", - "lang": "ko", - "dataset": "default", - "value": 0.0031 - }, - { - "domain": "web", - "lang": "ja", - "dataset": "default", - "value": 0.0033 - }, - { - "domain": "web", - "lang": "de", - "dataset": "default", - "value": 0.00368 - }, - { - "domain": "web", - "lang": "bn", - "dataset": "default", - "value": 0.00318 - }, - { - "domain": "web", - "lang": "ru", - "dataset": "default", - "value": 0.00377 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "qa", - "metric": "mrr_at_1", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "fr", - "dataset": "default", - "value": 0.20086 - }, - { - "domain": "law", - "lang": "en", - "dataset": "default", - "value": 0.26162 - }, - { - "domain": "law", - "lang": "de", - "dataset": "default", - "value": 0.20116 - }, - { - "domain": "news", - "lang": "fr", - "dataset": "default", - "value": 0.53435 - }, - { - "domain": "news", - "lang": "en", - "dataset": "default", - "value": 0.4404 - }, - { - "domain": "news", - "lang": "zh", - "dataset": "default", - "value": 0.40059 - }, - { - "domain": "news", - "lang": "ar", - "dataset": "default", - "value": 0.53152 - }, - { - "domain": "news", - "lang": "hi", - "dataset": "default", - "value": 0.48355 - }, - { - "domain": "news", - "lang": "es", - "dataset": "default", - "value": 0.47964 - }, - { - "domain": "news", - "lang": "id", - "dataset": "default", - "value": 0.55605 - }, - { - "domain": "news", - "lang": "fa", - "dataset": "default", - "value": 0.51876 - }, - { - "domain": "news", - "lang": "ko", - "dataset": "default", - "value": 0.53905 - }, - { - "domain": "news", - "lang": "ja", - "dataset": "default", - "value": 0.50943 - }, - { - "domain": "news", - "lang": "de", - "dataset": "default", - "value": 0.51113 - }, - { - "domain": "news", - "lang": "bn", - "dataset": "default", - "value": 0.48749 - }, - { - "domain": "news", - "lang": "ru", - "dataset": "default", - "value": 0.5466 - }, - { - "domain": "healthcare", - "lang": "fr", - "dataset": "default", - "value": 0.4902 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "default", - "value": 0.49341 - }, - { - "domain": "healthcare", - "lang": "zh", - "dataset": "default", - "value": 0.498 - }, - { - "domain": "healthcare", - "lang": "es", - "dataset": "default", - "value": 0.61199 - }, - { - "domain": "healthcare", - "lang": "de", - "dataset": "default", - "value": 0.45246 - }, - { - "domain": "finance", - "lang": "fr", - "dataset": "default", - "value": 0.48994 - }, - { - "domain": "finance", - "lang": "en", - "dataset": "default", - "value": 0.48738 - }, - { - "domain": "finance", - "lang": "zh", - "dataset": "default", - "value": 0.43075 - }, - { - "domain": "finance", - "lang": "ar", - "dataset": "default", - "value": 0.39574 - }, - { - "domain": "wiki", - "lang": "fr", - "dataset": "default", - "value": 0.65239 - }, - { - "domain": "wiki", - "lang": "en", - "dataset": "default", - "value": 0.69754 - }, - { - "domain": "wiki", - "lang": "zh", - "dataset": "default", - "value": 0.6994 - }, - { - "domain": "wiki", - "lang": "ar", - "dataset": "default", - "value": 0.68044 - }, - { - "domain": "wiki", - "lang": "hi", - "dataset": "default", - "value": 0.775 - }, - { - "domain": "wiki", - "lang": "es", - "dataset": "default", - "value": 0.66739 - }, - { - "domain": "wiki", - "lang": "id", - "dataset": "default", - "value": 0.73562 - }, - { - "domain": "wiki", - "lang": "fa", - "dataset": "default", - "value": 0.70557 - }, - { - "domain": "wiki", - "lang": "ko", - "dataset": "default", - "value": 0.72688 - }, - { - "domain": "wiki", - "lang": "ja", - "dataset": "default", - "value": 0.68087 - }, - { - "domain": "wiki", - "lang": "de", - "dataset": "default", - "value": 0.64886 - }, - { - "domain": "wiki", - "lang": "bn", - "dataset": "default", - "value": 0.72802 - }, - { - "domain": "wiki", - "lang": "ru", - "dataset": "default", - "value": 0.64525 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "default", - "value": 0.43899 - }, - { - "domain": "science", - "lang": "ru", - "dataset": "default", - "value": 0.63459 - }, - { - "domain": "web", - "lang": "fr", - "dataset": "default", - "value": 0.53809 - }, - { - "domain": "web", - "lang": "en", - "dataset": "default", - "value": 0.53221 - }, - { - "domain": "web", - "lang": "zh", - "dataset": "default", - "value": 0.53155 - }, - { - "domain": "web", - "lang": "ar", - "dataset": "default", - "value": 0.55306 - }, - { - "domain": "web", - "lang": "hi", - "dataset": "default", - "value": 0.56922 - }, - { - "domain": "web", - "lang": "es", - "dataset": "default", - "value": 0.53874 - }, - { - "domain": "web", - "lang": "id", - "dataset": "default", - "value": 0.55088 - }, - { - "domain": "web", - "lang": "fa", - "dataset": "default", - "value": 0.5938 - }, - { - "domain": "web", - "lang": "ko", - "dataset": "default", - "value": 0.54698 - }, - { - "domain": "web", - "lang": "ja", - "dataset": "default", - "value": 0.55839 - }, - { - "domain": "web", - "lang": "de", - "dataset": "default", - "value": 0.55447 - }, - { - "domain": "web", - "lang": "bn", - "dataset": "default", - "value": 0.55548 - }, - { - "domain": "web", - "lang": "ru", - "dataset": "default", - "value": 0.57517 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "qa", - "metric": "mrr_at_3", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "fr", - "dataset": "default", - "value": 0.25968 - }, - { - "domain": "law", - "lang": "en", - "dataset": "default", - "value": 0.32096 - }, - { - "domain": "law", - "lang": "de", - "dataset": "default", - "value": 0.26025 - }, - { - "domain": "news", - "lang": "fr", - "dataset": "default", - "value": 0.61858 - }, - { - "domain": "news", - "lang": "en", - "dataset": "default", - "value": 0.51716 - }, - { - "domain": "news", - "lang": "zh", - "dataset": "default", - "value": 0.49632 - }, - { - "domain": "news", - "lang": "ar", - "dataset": "default", - "value": 0.60733 - }, - { - "domain": "news", - "lang": "hi", - "dataset": "default", - "value": 0.56712 - }, - { - "domain": "news", - "lang": "es", - "dataset": "default", - "value": 0.57057 - }, - { - "domain": "news", - "lang": "id", - "dataset": "default", - "value": 0.63164 - }, - { - "domain": "news", - "lang": "fa", - "dataset": "default", - "value": 0.60558 - }, - { - "domain": "news", - "lang": "ko", - "dataset": "default", - "value": 0.62946 - }, - { - "domain": "news", - "lang": "ja", - "dataset": "default", - "value": 0.59422 - }, - { - "domain": "news", - "lang": "de", - "dataset": "default", - "value": 0.59261 - }, - { - "domain": "news", - "lang": "bn", - "dataset": "default", - "value": 0.5732 - }, - { - "domain": "news", - "lang": "ru", - "dataset": "default", - "value": 0.62722 - }, - { - "domain": "healthcare", - "lang": "fr", - "dataset": "default", - "value": 0.57629 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "default", - "value": 0.57003 - }, - { - "domain": "healthcare", - "lang": "zh", - "dataset": "default", - "value": 0.58189 - }, - { - "domain": "healthcare", - "lang": "es", - "dataset": "default", - "value": 0.67485 - }, - { - "domain": "healthcare", - "lang": "de", - "dataset": "default", - "value": 0.54233 - }, - { - "domain": "finance", - "lang": "fr", - "dataset": "default", - "value": 0.56369 - }, - { - "domain": "finance", - "lang": "en", - "dataset": "default", - "value": 0.54522 - }, - { - "domain": "finance", - "lang": "zh", - "dataset": "default", - "value": 0.51674 - }, - { - "domain": "finance", - "lang": "ar", - "dataset": "default", - "value": 0.46298 - }, - { - "domain": "wiki", - "lang": "fr", - "dataset": "default", - "value": 0.73081 - }, - { - "domain": "wiki", - "lang": "en", - "dataset": "default", - "value": 0.75639 - }, - { - "domain": "wiki", - "lang": "zh", - "dataset": "default", - "value": 0.7567 - }, - { - "domain": "wiki", - "lang": "ar", - "dataset": "default", - "value": 0.73469 - }, - { - "domain": "wiki", - "lang": "hi", - "dataset": "default", - "value": 0.82635 - }, - { - "domain": "wiki", - "lang": "es", - "dataset": "default", - "value": 0.7349 - }, - { - "domain": "wiki", - "lang": "id", - "dataset": "default", - "value": 0.79473 - }, - { - "domain": "wiki", - "lang": "fa", - "dataset": "default", - "value": 0.76167 - }, - { - "domain": "wiki", - "lang": "ko", - "dataset": "default", - "value": 0.78456 - }, - { - "domain": "wiki", - "lang": "ja", - "dataset": "default", - "value": 0.74616 - }, - { - "domain": "wiki", - "lang": "de", - "dataset": "default", - "value": 0.72139 - }, - { - "domain": "wiki", - "lang": "bn", - "dataset": "default", - "value": 0.7769 - }, - { - "domain": "wiki", - "lang": "ru", - "dataset": "default", - "value": 0.7185 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "default", - "value": 0.51264 - }, - { - "domain": "science", - "lang": "ru", - "dataset": "default", - "value": 0.71635 - }, - { - "domain": "web", - "lang": "fr", - "dataset": "default", - "value": 0.62091 - }, - { - "domain": "web", - "lang": "en", - "dataset": "default", - "value": 0.61274 - }, - { - "domain": "web", - "lang": "zh", - "dataset": "default", - "value": 0.61111 - }, - { - "domain": "web", - "lang": "ar", - "dataset": "default", - "value": 0.62942 - }, - { - "domain": "web", - "lang": "hi", - "dataset": "default", - "value": 0.65027 - }, - { - "domain": "web", - "lang": "es", - "dataset": "default", - "value": 0.62683 - }, - { - "domain": "web", - "lang": "id", - "dataset": "default", - "value": 0.64086 - }, - { - "domain": "web", - "lang": "fa", - "dataset": "default", - "value": 0.67836 - }, - { - "domain": "web", - "lang": "ko", - "dataset": "default", - "value": 0.62796 - }, - { - "domain": "web", - "lang": "ja", - "dataset": "default", - "value": 0.64501 - }, - { - "domain": "web", - "lang": "de", - "dataset": "default", - "value": 0.63408 - }, - { - "domain": "web", - "lang": "bn", - "dataset": "default", - "value": 0.63198 - }, - { - "domain": "web", - "lang": "ru", - "dataset": "default", - "value": 0.65741 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "qa", - "metric": "mrr_at_5", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "fr", - "dataset": "default", - "value": 0.27561 - }, - { - "domain": "law", - "lang": "en", - "dataset": "default", - "value": 0.33244 - }, - { - "domain": "law", - "lang": "de", - "dataset": "default", - "value": 0.27534 - }, - { - "domain": "news", - "lang": "fr", - "dataset": "default", - "value": 0.63254 - }, - { - "domain": "news", - "lang": "en", - "dataset": "default", - "value": 0.53442 - }, - { - "domain": "news", - "lang": "zh", - "dataset": "default", - "value": 0.51421 - }, - { - "domain": "news", - "lang": "ar", - "dataset": "default", - "value": 0.61969 - }, - { - "domain": "news", - "lang": "hi", - "dataset": "default", - "value": 0.58522 - }, - { - "domain": "news", - "lang": "es", - "dataset": "default", - "value": 0.58655 - }, - { - "domain": "news", - "lang": "id", - "dataset": "default", - "value": 0.64683 - }, - { - "domain": "news", - "lang": "fa", - "dataset": "default", - "value": 0.62207 - }, - { - "domain": "news", - "lang": "ko", - "dataset": "default", - "value": 0.64512 - }, - { - "domain": "news", - "lang": "ja", - "dataset": "default", - "value": 0.60975 - }, - { - "domain": "news", - "lang": "de", - "dataset": "default", - "value": 0.60644 - }, - { - "domain": "news", - "lang": "bn", - "dataset": "default", - "value": 0.59075 - }, - { - "domain": "news", - "lang": "ru", - "dataset": "default", - "value": 0.6432 - }, - { - "domain": "healthcare", - "lang": "fr", - "dataset": "default", - "value": 0.59025 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "default", - "value": 0.58533 - }, - { - "domain": "healthcare", - "lang": "zh", - "dataset": "default", - "value": 0.59872 - }, - { - "domain": "healthcare", - "lang": "es", - "dataset": "default", - "value": 0.68926 - }, - { - "domain": "healthcare", - "lang": "de", - "dataset": "default", - "value": 0.55958 - }, - { - "domain": "finance", - "lang": "fr", - "dataset": "default", - "value": 0.58187 - }, - { - "domain": "finance", - "lang": "en", - "dataset": "default", - "value": 0.5535 - }, - { - "domain": "finance", - "lang": "zh", - "dataset": "default", - "value": 0.53609 - }, - { - "domain": "finance", - "lang": "ar", - "dataset": "default", - "value": 0.47123 - }, - { - "domain": "wiki", - "lang": "fr", - "dataset": "default", - "value": 0.74015 - }, - { - "domain": "wiki", - "lang": "en", - "dataset": "default", - "value": 0.76555 - }, - { - "domain": "wiki", - "lang": "zh", - "dataset": "default", - "value": 0.76622 - }, - { - "domain": "wiki", - "lang": "ar", - "dataset": "default", - "value": 0.74362 - }, - { - "domain": "wiki", - "lang": "hi", - "dataset": "default", - "value": 0.83124 - }, - { - "domain": "wiki", - "lang": "es", - "dataset": "default", - "value": 0.74621 - }, - { - "domain": "wiki", - "lang": "id", - "dataset": "default", - "value": 0.80249 - }, - { - "domain": "wiki", - "lang": "fa", - "dataset": "default", - "value": 0.77059 - }, - { - "domain": "wiki", - "lang": "ko", - "dataset": "default", - "value": 0.7933 - }, - { - "domain": "wiki", - "lang": "ja", - "dataset": "default", - "value": 0.75608 - }, - { - "domain": "wiki", - "lang": "de", - "dataset": "default", - "value": 0.73414 - }, - { - "domain": "wiki", - "lang": "bn", - "dataset": "default", - "value": 0.78641 - }, - { - "domain": "wiki", - "lang": "ru", - "dataset": "default", - "value": 0.72974 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "default", - "value": 0.5265 - }, - { - "domain": "science", - "lang": "ru", - "dataset": "default", - "value": 0.72941 - }, - { - "domain": "web", - "lang": "fr", - "dataset": "default", - "value": 0.63491 - }, - { - "domain": "web", - "lang": "en", - "dataset": "default", - "value": 0.62621 - }, - { - "domain": "web", - "lang": "zh", - "dataset": "default", - "value": 0.62317 - }, - { - "domain": "web", - "lang": "ar", - "dataset": "default", - "value": 0.64601 - }, - { - "domain": "web", - "lang": "hi", - "dataset": "default", - "value": 0.66345 - }, - { - "domain": "web", - "lang": "es", - "dataset": "default", - "value": 0.64119 - }, - { - "domain": "web", - "lang": "id", - "dataset": "default", - "value": 0.65435 - }, - { - "domain": "web", - "lang": "fa", - "dataset": "default", - "value": 0.69254 - }, - { - "domain": "web", - "lang": "ko", - "dataset": "default", - "value": 0.64572 - }, - { - "domain": "web", - "lang": "ja", - "dataset": "default", - "value": 0.66005 - }, - { - "domain": "web", - "lang": "de", - "dataset": "default", - "value": 0.65059 - }, - { - "domain": "web", - "lang": "bn", - "dataset": "default", - "value": 0.64593 - }, - { - "domain": "web", - "lang": "ru", - "dataset": "default", - "value": 0.67233 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "qa", - "metric": "mrr_at_10", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "fr", - "dataset": "default", - "value": 0.28687 - }, - { - "domain": "law", - "lang": "en", - "dataset": "default", - "value": 0.33976 - }, - { - "domain": "law", - "lang": "de", - "dataset": "default", - "value": 0.28947 - }, - { - "domain": "news", - "lang": "fr", - "dataset": "default", - "value": 0.64111 - }, - { - "domain": "news", - "lang": "en", - "dataset": "default", - "value": 0.54249 - }, - { - "domain": "news", - "lang": "zh", - "dataset": "default", - "value": 0.52556 - }, - { - "domain": "news", - "lang": "ar", - "dataset": "default", - "value": 0.63058 - }, - { - "domain": "news", - "lang": "hi", - "dataset": "default", - "value": 0.59681 - }, - { - "domain": "news", - "lang": "es", - "dataset": "default", - "value": 0.59811 - }, - { - "domain": "news", - "lang": "id", - "dataset": "default", - "value": 0.65802 - }, - { - "domain": "news", - "lang": "fa", - "dataset": "default", - "value": 0.63457 - }, - { - "domain": "news", - "lang": "ko", - "dataset": "default", - "value": 0.65473 - }, - { - "domain": "news", - "lang": "ja", - "dataset": "default", - "value": 0.6192 - }, - { - "domain": "news", - "lang": "de", - "dataset": "default", - "value": 0.61752 - }, - { - "domain": "news", - "lang": "bn", - "dataset": "default", - "value": 0.6008 - }, - { - "domain": "news", - "lang": "ru", - "dataset": "default", - "value": 0.65247 - }, - { - "domain": "healthcare", - "lang": "fr", - "dataset": "default", - "value": 0.60081 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "default", - "value": 0.5932 - }, - { - "domain": "healthcare", - "lang": "zh", - "dataset": "default", - "value": 0.60913 - }, - { - "domain": "healthcare", - "lang": "es", - "dataset": "default", - "value": 0.69909 - }, - { - "domain": "healthcare", - "lang": "de", - "dataset": "default", - "value": 0.56853 - }, - { - "domain": "finance", - "lang": "fr", - "dataset": "default", - "value": 0.59238 - }, - { - "domain": "finance", - "lang": "en", - "dataset": "default", - "value": 0.55778 - }, - { - "domain": "finance", - "lang": "zh", - "dataset": "default", - "value": 0.54555 - }, - { - "domain": "finance", - "lang": "ar", - "dataset": "default", - "value": 0.47767 - }, - { - "domain": "wiki", - "lang": "fr", - "dataset": "default", - "value": 0.74636 - }, - { - "domain": "wiki", - "lang": "en", - "dataset": "default", - "value": 0.77023 - }, - { - "domain": "wiki", - "lang": "zh", - "dataset": "default", - "value": 0.77215 - }, - { - "domain": "wiki", - "lang": "ar", - "dataset": "default", - "value": 0.74789 - }, - { - "domain": "wiki", - "lang": "hi", - "dataset": "default", - "value": 0.83505 - }, - { - "domain": "wiki", - "lang": "es", - "dataset": "default", - "value": 0.75035 - }, - { - "domain": "wiki", - "lang": "id", - "dataset": "default", - "value": 0.80733 - }, - { - "domain": "wiki", - "lang": "fa", - "dataset": "default", - "value": 0.77531 - }, - { - "domain": "wiki", - "lang": "ko", - "dataset": "default", - "value": 0.798 - }, - { - "domain": "wiki", - "lang": "ja", - "dataset": "default", - "value": 0.76177 - }, - { - "domain": "wiki", - "lang": "de", - "dataset": "default", - "value": 0.73947 - }, - { - "domain": "wiki", - "lang": "bn", - "dataset": "default", - "value": 0.79109 - }, - { - "domain": "wiki", - "lang": "ru", - "dataset": "default", - "value": 0.73552 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "default", - "value": 0.53561 - }, - { - "domain": "science", - "lang": "ru", - "dataset": "default", - "value": 0.73629 - }, - { - "domain": "web", - "lang": "fr", - "dataset": "default", - "value": 0.64474 - }, - { - "domain": "web", - "lang": "en", - "dataset": "default", - "value": 0.63385 - }, - { - "domain": "web", - "lang": "zh", - "dataset": "default", - "value": 0.63121 - }, - { - "domain": "web", - "lang": "ar", - "dataset": "default", - "value": 0.65224 - }, - { - "domain": "web", - "lang": "hi", - "dataset": "default", - "value": 0.67119 - }, - { - "domain": "web", - "lang": "es", - "dataset": "default", - "value": 0.64903 - }, - { - "domain": "web", - "lang": "id", - "dataset": "default", - "value": 0.66404 - }, - { - "domain": "web", - "lang": "fa", - "dataset": "default", - "value": 0.6992 - }, - { - "domain": "web", - "lang": "ko", - "dataset": "default", - "value": 0.65343 - }, - { - "domain": "web", - "lang": "ja", - "dataset": "default", - "value": 0.66865 - }, - { - "domain": "web", - "lang": "de", - "dataset": "default", - "value": 0.65866 - }, - { - "domain": "web", - "lang": "bn", - "dataset": "default", - "value": 0.65463 - }, - { - "domain": "web", - "lang": "ru", - "dataset": "default", - "value": 0.68055 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "qa", - "metric": "mrr_at_50", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "fr", - "dataset": "default", - "value": 0.29466 - }, - { - "domain": "law", - "lang": "en", - "dataset": "default", - "value": 0.34695 - }, - { - "domain": "law", - "lang": "de", - "dataset": "default", - "value": 0.29718 - }, - { - "domain": "news", - "lang": "fr", - "dataset": "default", - "value": 0.64578 - }, - { - "domain": "news", - "lang": "en", - "dataset": "default", - "value": 0.54814 - }, - { - "domain": "news", - "lang": "zh", - "dataset": "default", - "value": 0.53126 - }, - { - "domain": "news", - "lang": "ar", - "dataset": "default", - "value": 0.63616 - }, - { - "domain": "news", - "lang": "hi", - "dataset": "default", - "value": 0.60252 - }, - { - "domain": "news", - "lang": "es", - "dataset": "default", - "value": 0.60354 - }, - { - "domain": "news", - "lang": "id", - "dataset": "default", - "value": 0.66235 - }, - { - "domain": "news", - "lang": "fa", - "dataset": "default", - "value": 0.63922 - }, - { - "domain": "news", - "lang": "ko", - "dataset": "default", - "value": 0.65871 - }, - { - "domain": "news", - "lang": "ja", - "dataset": "default", - "value": 0.62433 - }, - { - "domain": "news", - "lang": "de", - "dataset": "default", - "value": 0.62254 - }, - { - "domain": "news", - "lang": "bn", - "dataset": "default", - "value": 0.60521 - }, - { - "domain": "news", - "lang": "ru", - "dataset": "default", - "value": 0.65742 - }, - { - "domain": "healthcare", - "lang": "fr", - "dataset": "default", - "value": 0.60735 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "default", - "value": 0.59826 - }, - { - "domain": "healthcare", - "lang": "zh", - "dataset": "default", - "value": 0.61387 - }, - { - "domain": "healthcare", - "lang": "es", - "dataset": "default", - "value": 0.70251 - }, - { - "domain": "healthcare", - "lang": "de", - "dataset": "default", - "value": 0.5728 - }, - { - "domain": "finance", - "lang": "fr", - "dataset": "default", - "value": 0.599 - }, - { - "domain": "finance", - "lang": "en", - "dataset": "default", - "value": 0.5614 - }, - { - "domain": "finance", - "lang": "zh", - "dataset": "default", - "value": 0.55135 - }, - { - "domain": "finance", - "lang": "ar", - "dataset": "default", - "value": 0.48295 - }, - { - "domain": "wiki", - "lang": "fr", - "dataset": "default", - "value": 0.74869 - }, - { - "domain": "wiki", - "lang": "en", - "dataset": "default", - "value": 0.77179 - }, - { - "domain": "wiki", - "lang": "zh", - "dataset": "default", - "value": 0.77413 - }, - { - "domain": "wiki", - "lang": "ar", - "dataset": "default", - "value": 0.75092 - }, - { - "domain": "wiki", - "lang": "hi", - "dataset": "default", - "value": 0.83674 - }, - { - "domain": "wiki", - "lang": "es", - "dataset": "default", - "value": 0.75244 - }, - { - "domain": "wiki", - "lang": "id", - "dataset": "default", - "value": 0.80892 - }, - { - "domain": "wiki", - "lang": "fa", - "dataset": "default", - "value": 0.77778 - }, - { - "domain": "wiki", - "lang": "ko", - "dataset": "default", - "value": 0.79956 - }, - { - "domain": "wiki", - "lang": "ja", - "dataset": "default", - "value": 0.76354 - }, - { - "domain": "wiki", - "lang": "de", - "dataset": "default", - "value": 0.74133 - }, - { - "domain": "wiki", - "lang": "bn", - "dataset": "default", - "value": 0.79368 - }, - { - "domain": "wiki", - "lang": "ru", - "dataset": "default", - "value": 0.73825 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "default", - "value": 0.54088 - }, - { - "domain": "science", - "lang": "ru", - "dataset": "default", - "value": 0.73891 - }, - { - "domain": "web", - "lang": "fr", - "dataset": "default", - "value": 0.64876 - }, - { - "domain": "web", - "lang": "en", - "dataset": "default", - "value": 0.63846 - }, - { - "domain": "web", - "lang": "zh", - "dataset": "default", - "value": 0.63521 - }, - { - "domain": "web", - "lang": "ar", - "dataset": "default", - "value": 0.6566 - }, - { - "domain": "web", - "lang": "hi", - "dataset": "default", - "value": 0.67516 - }, - { - "domain": "web", - "lang": "es", - "dataset": "default", - "value": 0.65328 - }, - { - "domain": "web", - "lang": "id", - "dataset": "default", - "value": 0.66824 - }, - { - "domain": "web", - "lang": "fa", - "dataset": "default", - "value": 0.70213 - }, - { - "domain": "web", - "lang": "ko", - "dataset": "default", - "value": 0.65713 - }, - { - "domain": "web", - "lang": "ja", - "dataset": "default", - "value": 0.67208 - }, - { - "domain": "web", - "lang": "de", - "dataset": "default", - "value": 0.66307 - }, - { - "domain": "web", - "lang": "bn", - "dataset": "default", - "value": 0.65865 - }, - { - "domain": "web", - "lang": "ru", - "dataset": "default", - "value": 0.68412 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "qa", - "metric": "mrr_at_100", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "fr", - "dataset": "default", - "value": 0.29541 - }, - { - "domain": "law", - "lang": "en", - "dataset": "default", - "value": 0.34756 - }, - { - "domain": "law", - "lang": "de", - "dataset": "default", - "value": 0.29803 - }, - { - "domain": "news", - "lang": "fr", - "dataset": "default", - "value": 0.64617 - }, - { - "domain": "news", - "lang": "en", - "dataset": "default", - "value": 0.5486 - }, - { - "domain": "news", - "lang": "zh", - "dataset": "default", - "value": 0.53183 - }, - { - "domain": "news", - "lang": "ar", - "dataset": "default", - "value": 0.6364 - }, - { - "domain": "news", - "lang": "hi", - "dataset": "default", - "value": 0.60293 - }, - { - "domain": "news", - "lang": "es", - "dataset": "default", - "value": 0.60389 - }, - { - "domain": "news", - "lang": "id", - "dataset": "default", - "value": 0.66262 - }, - { - "domain": "news", - "lang": "fa", - "dataset": "default", - "value": 0.63945 - }, - { - "domain": "news", - "lang": "ko", - "dataset": "default", - "value": 0.6589 - }, - { - "domain": "news", - "lang": "ja", - "dataset": "default", - "value": 0.62453 - }, - { - "domain": "news", - "lang": "de", - "dataset": "default", - "value": 0.62281 - }, - { - "domain": "news", - "lang": "bn", - "dataset": "default", - "value": 0.6057 - }, - { - "domain": "news", - "lang": "ru", - "dataset": "default", - "value": 0.65769 - }, - { - "domain": "healthcare", - "lang": "fr", - "dataset": "default", - "value": 0.60767 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "default", - "value": 0.59868 - }, - { - "domain": "healthcare", - "lang": "zh", - "dataset": "default", - "value": 0.61414 - }, - { - "domain": "healthcare", - "lang": "es", - "dataset": "default", - "value": 0.70275 - }, - { - "domain": "healthcare", - "lang": "de", - "dataset": "default", - "value": 0.57308 - }, - { - "domain": "finance", - "lang": "fr", - "dataset": "default", - "value": 0.59938 - }, - { - "domain": "finance", - "lang": "en", - "dataset": "default", - "value": 0.56173 - }, - { - "domain": "finance", - "lang": "zh", - "dataset": "default", - "value": 0.55171 - }, - { - "domain": "finance", - "lang": "ar", - "dataset": "default", - "value": 0.48362 - }, - { - "domain": "wiki", - "lang": "fr", - "dataset": "default", - "value": 0.74882 - }, - { - "domain": "wiki", - "lang": "en", - "dataset": "default", - "value": 0.77193 - }, - { - "domain": "wiki", - "lang": "zh", - "dataset": "default", - "value": 0.77428 - }, - { - "domain": "wiki", - "lang": "ar", - "dataset": "default", - "value": 0.75121 - }, - { - "domain": "wiki", - "lang": "hi", - "dataset": "default", - "value": 0.83685 - }, - { - "domain": "wiki", - "lang": "es", - "dataset": "default", - "value": 0.75263 - }, - { - "domain": "wiki", - "lang": "id", - "dataset": "default", - "value": 0.80902 - }, - { - "domain": "wiki", - "lang": "fa", - "dataset": "default", - "value": 0.77798 - }, - { - "domain": "wiki", - "lang": "ko", - "dataset": "default", - "value": 0.79971 - }, - { - "domain": "wiki", - "lang": "ja", - "dataset": "default", - "value": 0.76368 - }, - { - "domain": "wiki", - "lang": "de", - "dataset": "default", - "value": 0.7415 - }, - { - "domain": "wiki", - "lang": "bn", - "dataset": "default", - "value": 0.79385 - }, - { - "domain": "wiki", - "lang": "ru", - "dataset": "default", - "value": 0.73841 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "default", - "value": 0.54134 - }, - { - "domain": "science", - "lang": "ru", - "dataset": "default", - "value": 0.73906 - }, - { - "domain": "web", - "lang": "fr", - "dataset": "default", - "value": 0.64898 - }, - { - "domain": "web", - "lang": "en", - "dataset": "default", - "value": 0.63873 - }, - { - "domain": "web", - "lang": "zh", - "dataset": "default", - "value": 0.63555 - }, - { - "domain": "web", - "lang": "ar", - "dataset": "default", - "value": 0.65681 - }, - { - "domain": "web", - "lang": "hi", - "dataset": "default", - "value": 0.67539 - }, - { - "domain": "web", - "lang": "es", - "dataset": "default", - "value": 0.65356 - }, - { - "domain": "web", - "lang": "id", - "dataset": "default", - "value": 0.66841 - }, - { - "domain": "web", - "lang": "fa", - "dataset": "default", - "value": 0.70234 - }, - { - "domain": "web", - "lang": "ko", - "dataset": "default", - "value": 0.65739 - }, - { - "domain": "web", - "lang": "ja", - "dataset": "default", - "value": 0.67238 - }, - { - "domain": "web", - "lang": "de", - "dataset": "default", - "value": 0.66328 - }, - { - "domain": "web", - "lang": "bn", - "dataset": "default", - "value": 0.65888 - }, - { - "domain": "web", - "lang": "ru", - "dataset": "default", - "value": 0.68433 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "qa", - "metric": "mrr_at_1000", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "fr", - "dataset": "default", - "value": 0.29588 - }, - { - "domain": "law", - "lang": "en", - "dataset": "default", - "value": 0.34808 - }, - { - "domain": "law", - "lang": "de", - "dataset": "default", - "value": 0.29859 - }, - { - "domain": "news", - "lang": "fr", - "dataset": "default", - "value": 0.64629 - }, - { - "domain": "news", - "lang": "en", - "dataset": "default", - "value": 0.54891 - }, - { - "domain": "news", - "lang": "zh", - "dataset": "default", - "value": 0.53206 - }, - { - "domain": "news", - "lang": "ar", - "dataset": "default", - "value": 0.63652 - }, - { - "domain": "news", - "lang": "hi", - "dataset": "default", - "value": 0.60303 - }, - { - "domain": "news", - "lang": "es", - "dataset": "default", - "value": 0.60398 - }, - { - "domain": "news", - "lang": "id", - "dataset": "default", - "value": 0.6627 - }, - { - "domain": "news", - "lang": "fa", - "dataset": "default", - "value": 0.6395 - }, - { - "domain": "news", - "lang": "ko", - "dataset": "default", - "value": 0.65897 - }, - { - "domain": "news", - "lang": "ja", - "dataset": "default", - "value": 0.62464 - }, - { - "domain": "news", - "lang": "de", - "dataset": "default", - "value": 0.62291 - }, - { - "domain": "news", - "lang": "bn", - "dataset": "default", - "value": 0.60586 - }, - { - "domain": "news", - "lang": "ru", - "dataset": "default", - "value": 0.65774 - }, - { - "domain": "healthcare", - "lang": "fr", - "dataset": "default", - "value": 0.60775 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "default", - "value": 0.59891 - }, - { - "domain": "healthcare", - "lang": "zh", - "dataset": "default", - "value": 0.61431 - }, - { - "domain": "healthcare", - "lang": "es", - "dataset": "default", - "value": 0.70285 - }, - { - "domain": "healthcare", - "lang": "de", - "dataset": "default", - "value": 0.57332 - }, - { - "domain": "finance", - "lang": "fr", - "dataset": "default", - "value": 0.59944 - }, - { - "domain": "finance", - "lang": "en", - "dataset": "default", - "value": 0.56205 - }, - { - "domain": "finance", - "lang": "zh", - "dataset": "default", - "value": 0.55193 - }, - { - "domain": "finance", - "lang": "ar", - "dataset": "default", - "value": 0.48419 - }, - { - "domain": "wiki", - "lang": "fr", - "dataset": "default", - "value": 0.74888 - }, - { - "domain": "wiki", - "lang": "en", - "dataset": "default", - "value": 0.77203 - }, - { - "domain": "wiki", - "lang": "zh", - "dataset": "default", - "value": 0.77435 - }, - { - "domain": "wiki", - "lang": "ar", - "dataset": "default", - "value": 0.75132 - }, - { - "domain": "wiki", - "lang": "hi", - "dataset": "default", - "value": 0.83689 - }, - { - "domain": "wiki", - "lang": "es", - "dataset": "default", - "value": 0.75271 - }, - { - "domain": "wiki", - "lang": "id", - "dataset": "default", - "value": 0.80906 - }, - { - "domain": "wiki", - "lang": "fa", - "dataset": "default", - "value": 0.77807 - }, - { - "domain": "wiki", - "lang": "ko", - "dataset": "default", - "value": 0.7998 - }, - { - "domain": "wiki", - "lang": "ja", - "dataset": "default", - "value": 0.76377 - }, - { - "domain": "wiki", - "lang": "de", - "dataset": "default", - "value": 0.74158 - }, - { - "domain": "wiki", - "lang": "bn", - "dataset": "default", - "value": 0.79392 - }, - { - "domain": "wiki", - "lang": "ru", - "dataset": "default", - "value": 0.73849 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "default", - "value": 0.54167 - }, - { - "domain": "science", - "lang": "ru", - "dataset": "default", - "value": 0.73912 - }, - { - "domain": "web", - "lang": "fr", - "dataset": "default", - "value": 0.64912 - }, - { - "domain": "web", - "lang": "en", - "dataset": "default", - "value": 0.6389 - }, - { - "domain": "web", - "lang": "zh", - "dataset": "default", - "value": 0.63571 - }, - { - "domain": "web", - "lang": "ar", - "dataset": "default", - "value": 0.65697 - }, - { - "domain": "web", - "lang": "hi", - "dataset": "default", - "value": 0.67553 - }, - { - "domain": "web", - "lang": "es", - "dataset": "default", - "value": 0.65368 - }, - { - "domain": "web", - "lang": "id", - "dataset": "default", - "value": 0.66847 - }, - { - "domain": "web", - "lang": "fa", - "dataset": "default", - "value": 0.70245 - }, - { - "domain": "web", - "lang": "ko", - "dataset": "default", - "value": 0.65748 - }, - { - "domain": "web", - "lang": "ja", - "dataset": "default", - "value": 0.67247 - }, - { - "domain": "web", - "lang": "de", - "dataset": "default", - "value": 0.6634 - }, - { - "domain": "web", - "lang": "bn", - "dataset": "default", - "value": 0.65902 - }, - { - "domain": "web", - "lang": "ru", - "dataset": "default", - "value": 0.6844 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "long-doc", - "metric": "ndcg_at_1", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_400K-500K", - "value": 0.63363 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_600K-700K", - "value": 0.64497 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_500K-600K", - "value": 0.62717 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_2", - "value": 0.59437 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_30K-40K_10-merged", - "value": 0.7038 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_40K-50K_5-merged", - "value": 0.54464 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_1", - "value": 0.59946 - }, - { - "domain": "book", - "lang": "en", - "dataset": "origin-of-species_darwin", - "value": 0.53825 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gemini", - "value": 0.44578 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gpt3", - "value": 0.40356 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "llm-survey", - "value": 0.47339 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "long-doc", - "metric": "ndcg_at_3", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_400K-500K", - "value": 0.56443 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_600K-700K", - "value": 0.55962 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_500K-600K", - "value": 0.5328 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_2", - "value": 0.52332 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_30K-40K_10-merged", - "value": 0.63449 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_40K-50K_5-merged", - "value": 0.48778 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_1", - "value": 0.5409 - }, - { - "domain": "book", - "lang": "en", - "dataset": "origin-of-species_darwin", - "value": 0.47304 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gemini", - "value": 0.58983 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gpt3", - "value": 0.48582 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "llm-survey", - "value": 0.44348 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "long-doc", - "metric": "ndcg_at_5", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_400K-500K", - "value": 0.54922 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_600K-700K", - "value": 0.54356 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_500K-600K", - "value": 0.53461 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_2", - "value": 0.54014 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_30K-40K_10-merged", - "value": 0.62543 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_40K-50K_5-merged", - "value": 0.48659 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_1", - "value": 0.54972 - }, - { - "domain": "book", - "lang": "en", - "dataset": "origin-of-species_darwin", - "value": 0.48401 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gemini", - "value": 0.6149 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gpt3", - "value": 0.51546 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "llm-survey", - "value": 0.46858 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "long-doc", - "metric": "ndcg_at_10", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_400K-500K", - "value": 0.59214 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_600K-700K", - "value": 0.57029 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_500K-600K", - "value": 0.58092 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_2", - "value": 0.5885 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_30K-40K_10-merged", - "value": 0.66719 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_40K-50K_5-merged", - "value": 0.51834 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_1", - "value": 0.59108 - }, - { - "domain": "book", - "lang": "en", - "dataset": "origin-of-species_darwin", - "value": 0.53137 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gemini", - "value": 0.63883 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gpt3", - "value": 0.55608 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "llm-survey", - "value": 0.51485 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "long-doc", - "metric": "ndcg_at_50", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_400K-500K", - "value": 0.67848 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_600K-700K", - "value": 0.6572 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_500K-600K", - "value": 0.66302 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_2", - "value": 0.65669 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_30K-40K_10-merged", - "value": 0.74693 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_40K-50K_5-merged", - "value": 0.59693 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_1", - "value": 0.64846 - }, - { - "domain": "book", - "lang": "en", - "dataset": "origin-of-species_darwin", - "value": 0.61595 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gemini", - "value": 0.66395 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gpt3", - "value": 0.60749 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "llm-survey", - "value": 0.57894 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "long-doc", - "metric": "ndcg_at_100", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_400K-500K", - "value": 0.69014 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_600K-700K", - "value": 0.67115 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_500K-600K", - "value": 0.67587 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_2", - "value": 0.66945 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_30K-40K_10-merged", - "value": 0.75881 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_40K-50K_5-merged", - "value": 0.60907 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_1", - "value": 0.6629 - }, - { - "domain": "book", - "lang": "en", - "dataset": "origin-of-species_darwin", - "value": 0.62929 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gemini", - "value": 0.66914 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gpt3", - "value": 0.6156 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "llm-survey", - "value": 0.59363 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "long-doc", - "metric": "ndcg_at_1000", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_400K-500K", - "value": 0.70416 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_600K-700K", - "value": 0.68982 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_500K-600K", - "value": 0.68896 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_2", - "value": 0.67891 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_30K-40K_10-merged", - "value": 0.7642 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_40K-50K_5-merged", - "value": 0.63168 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_1", - "value": 0.67993 - }, - { - "domain": "book", - "lang": "en", - "dataset": "origin-of-species_darwin", - "value": 0.64499 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gemini", - "value": 0.67358 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gpt3", - "value": 0.6204 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "llm-survey", - "value": 0.6097 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "long-doc", - "metric": "map_at_1", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_400K-500K", - "value": 0.18839 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_600K-700K", - "value": 0.18982 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_500K-600K", - "value": 0.20713 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_2", - "value": 0.28245 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_30K-40K_10-merged", - "value": 0.24857 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_40K-50K_5-merged", - "value": 0.2319 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_1", - "value": 0.31481 - }, - { - "domain": "book", - "lang": "en", - "dataset": "origin-of-species_darwin", - "value": 0.23724 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gemini", - "value": 0.44578 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gpt3", - "value": 0.32715 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "llm-survey", - "value": 0.22335 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "long-doc", - "metric": "map_at_3", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_400K-500K", - "value": 0.33603 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_600K-700K", - "value": 0.33359 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_500K-600K", - "value": 0.34554 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_2", - "value": 0.40609 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_30K-40K_10-merged", - "value": 0.42465 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_40K-50K_5-merged", - "value": 0.359 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_1", - "value": 0.43465 - }, - { - "domain": "book", - "lang": "en", - "dataset": "origin-of-species_darwin", - "value": 0.34985 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gemini", - "value": 0.55489 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gpt3", - "value": 0.44106 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "llm-survey", - "value": 0.345 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "long-doc", - "metric": "map_at_5", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_400K-500K", - "value": 0.40258 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_600K-700K", - "value": 0.39345 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_500K-600K", - "value": 0.40382 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_2", - "value": 0.44833 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_30K-40K_10-merged", - "value": 0.49026 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_40K-50K_5-merged", - "value": 0.39724 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_1", - "value": 0.46524 - }, - { - "domain": "book", - "lang": "en", - "dataset": "origin-of-species_darwin", - "value": 0.39131 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gemini", - "value": 0.56894 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gpt3", - "value": 0.46207 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "llm-survey", - "value": 0.38643 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "long-doc", - "metric": "map_at_10", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_400K-500K", - "value": 0.47267 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_600K-700K", - "value": 0.45039 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_500K-600K", - "value": 0.46013 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_2", - "value": 0.48351 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_30K-40K_10-merged", - "value": 0.55304 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_40K-50K_5-merged", - "value": 0.4288 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_1", - "value": 0.49554 - }, - { - "domain": "book", - "lang": "en", - "dataset": "origin-of-species_darwin", - "value": 0.43159 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gemini", - "value": 0.57913 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gpt3", - "value": 0.4814 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "llm-survey", - "value": 0.42128 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "long-doc", - "metric": "map_at_50", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_400K-500K", - "value": 0.52013 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_600K-700K", - "value": 0.49539 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_500K-600K", - "value": 0.501 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_2", - "value": 0.51091 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_30K-40K_10-merged", - "value": 0.59749 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_40K-50K_5-merged", - "value": 0.46259 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_1", - "value": 0.51594 - }, - { - "domain": "book", - "lang": "en", - "dataset": "origin-of-species_darwin", - "value": 0.4677 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gemini", - "value": 0.58466 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gpt3", - "value": 0.49554 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "llm-survey", - "value": 0.44485 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "long-doc", - "metric": "map_at_100", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_400K-500K", - "value": 0.52254 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_600K-700K", - "value": 0.4983 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_500K-600K", - "value": 0.50366 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_2", - "value": 0.5131 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_30K-40K_10-merged", - "value": 0.60006 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_40K-50K_5-merged", - "value": 0.46465 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_1", - "value": 0.51853 - }, - { - "domain": "book", - "lang": "en", - "dataset": "origin-of-species_darwin", - "value": 0.47001 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gemini", - "value": 0.58511 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gpt3", - "value": 0.4966 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "llm-survey", - "value": 0.44716 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "long-doc", - "metric": "map_at_1000", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_400K-500K", - "value": 0.52372 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_600K-700K", - "value": 0.50013 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_500K-600K", - "value": 0.50481 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_2", - "value": 0.51389 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_30K-40K_10-merged", - "value": 0.60062 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_40K-50K_5-merged", - "value": 0.4663 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_1", - "value": 0.51999 - }, - { - "domain": "book", - "lang": "en", - "dataset": "origin-of-species_darwin", - "value": 0.4713 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gemini", - "value": 0.58533 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gpt3", - "value": 0.49693 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "llm-survey", - "value": 0.4482 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "long-doc", - "metric": "recall_at_1", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_400K-500K", - "value": 0.18839 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_600K-700K", - "value": 0.18982 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_500K-600K", - "value": 0.20713 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_2", - "value": 0.28245 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_30K-40K_10-merged", - "value": 0.24857 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_40K-50K_5-merged", - "value": 0.2319 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_1", - "value": 0.31481 - }, - { - "domain": "book", - "lang": "en", - "dataset": "origin-of-species_darwin", - "value": 0.23724 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gemini", - "value": 0.44578 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gpt3", - "value": 0.32715 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "llm-survey", - "value": 0.22335 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "long-doc", - "metric": "recall_at_3", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_400K-500K", - "value": 0.37629 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_600K-700K", - "value": 0.37536 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_500K-600K", - "value": 0.38407 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_2", - "value": 0.45666 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_30K-40K_10-merged", - "value": 0.46935 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_40K-50K_5-merged", - "value": 0.40395 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_1", - "value": 0.4905 - }, - { - "domain": "book", - "lang": "en", - "dataset": "origin-of-species_darwin", - "value": 0.38632 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gemini", - "value": 0.69076 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gpt3", - "value": 0.54797 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "llm-survey", - "value": 0.39966 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "long-doc", - "metric": "recall_at_5", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_400K-500K", - "value": 0.48228 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_600K-700K", - "value": 0.47603 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_500K-600K", - "value": 0.49961 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_2", - "value": 0.54794 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_30K-40K_10-merged", - "value": 0.57378 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_40K-50K_5-merged", - "value": 0.47593 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_1", - "value": 0.5584 - }, - { - "domain": "book", - "lang": "en", - "dataset": "origin-of-species_darwin", - "value": 0.47395 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gemini", - "value": 0.751 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gpt3", - "value": 0.61029 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "llm-survey", - "value": 0.49481 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "long-doc", - "metric": "recall_at_10", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_400K-500K", - "value": 0.6359 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_600K-700K", - "value": 0.606 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_500K-600K", - "value": 0.64119 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_2", - "value": 0.67308 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_30K-40K_10-merged", - "value": 0.70978 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_40K-50K_5-merged", - "value": 0.56454 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_1", - "value": 0.65637 - }, - { - "domain": "book", - "lang": "en", - "dataset": "origin-of-species_darwin", - "value": 0.59413 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gemini", - "value": 0.82329 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gpt3", - "value": 0.71934 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "llm-survey", - "value": 0.61246 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "long-doc", - "metric": "recall_at_50", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_400K-500K", - "value": 0.86737 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_600K-700K", - "value": 0.8432 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_500K-600K", - "value": 0.87396 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_2", - "value": 0.88929 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_30K-40K_10-merged", - "value": 0.92413 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_40K-50K_5-merged", - "value": 0.80033 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_1", - "value": 0.84016 - }, - { - "domain": "book", - "lang": "en", - "dataset": "origin-of-species_darwin", - "value": 0.85108 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gemini", - "value": 0.93574 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gpt3", - "value": 0.92507 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "llm-survey", - "value": 0.82564 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "long-doc", - "metric": "recall_at_100", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_400K-500K", - "value": 0.91717 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_600K-700K", - "value": 0.89949 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_500K-600K", - "value": 0.92717 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_2", - "value": 0.94563 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_30K-40K_10-merged", - "value": 0.97235 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_40K-50K_5-merged", - "value": 0.85298 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_1", - "value": 0.90235 - }, - { - "domain": "book", - "lang": "en", - "dataset": "origin-of-species_darwin", - "value": 0.90892 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gemini", - "value": 0.96787 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gpt3", - "value": 0.9686 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "llm-survey", - "value": 0.89631 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "long-doc", - "metric": "recall_at_1000", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_400K-500K", - "value": 0.997 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_600K-700K", - "value": 0.99852 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_500K-600K", - "value": 0.99663 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_2", - "value": 1.0 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_30K-40K_10-merged", - "value": 1.0 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_40K-50K_5-merged", - "value": 0.99157 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_1", - "value": 1.0 - }, - { - "domain": "book", - "lang": "en", - "dataset": "origin-of-species_darwin", - "value": 0.99966 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gemini", - "value": 1.0 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gpt3", - "value": 1.0 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "llm-survey", - "value": 1.0 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "long-doc", - "metric": "precision_at_1", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_400K-500K", - "value": 0.63363 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_600K-700K", - "value": 0.64497 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_500K-600K", - "value": 0.62717 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_2", - "value": 0.59437 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_30K-40K_10-merged", - "value": 0.7038 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_40K-50K_5-merged", - "value": 0.54464 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_1", - "value": 0.59946 - }, - { - "domain": "book", - "lang": "en", - "dataset": "origin-of-species_darwin", - "value": 0.53825 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gemini", - "value": 0.44578 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gpt3", - "value": 0.40356 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "llm-survey", - "value": 0.47339 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "long-doc", - "metric": "precision_at_3", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_400K-500K", - "value": 0.48949 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_600K-700K", - "value": 0.46943 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_500K-600K", - "value": 0.43834 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_2", - "value": 0.36808 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_30K-40K_10-merged", - "value": 0.5154 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_40K-50K_5-merged", - "value": 0.36508 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_1", - "value": 0.35484 - }, - { - "domain": "book", - "lang": "en", - "dataset": "origin-of-species_darwin", - "value": 0.34517 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gemini", - "value": 0.23025 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gpt3", - "value": 0.23937 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "llm-survey", - "value": 0.31933 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "long-doc", - "metric": "precision_at_5", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_400K-500K", - "value": 0.3982 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_600K-700K", - "value": 0.37515 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_500K-600K", - "value": 0.35318 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_2", - "value": 0.27775 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_30K-40K_10-merged", - "value": 0.41467 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_40K-50K_5-merged", - "value": 0.2756 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_1", - "value": 0.26129 - }, - { - "domain": "book", - "lang": "en", - "dataset": "origin-of-species_darwin", - "value": 0.27104 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gemini", - "value": 0.1502 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gpt3", - "value": 0.16736 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "llm-survey", - "value": 0.24706 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "long-doc", - "metric": "precision_at_10", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_400K-500K", - "value": 0.27658 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_600K-700K", - "value": 0.25385 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_500K-600K", - "value": 0.23815 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_2", - "value": 0.17521 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_30K-40K_10-merged", - "value": 0.275 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_40K-50K_5-merged", - "value": 0.17292 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_1", - "value": 0.16237 - }, - { - "domain": "book", - "lang": "en", - "dataset": "origin-of-species_darwin", - "value": 0.1806 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gemini", - "value": 0.08233 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gpt3", - "value": 0.10237 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "llm-survey", - "value": 0.1605 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "long-doc", - "metric": "precision_at_50", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_400K-500K", - "value": 0.07724 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_600K-700K", - "value": 0.07343 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_500K-600K", - "value": 0.06728 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_2", - "value": 0.04885 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_30K-40K_10-merged", - "value": 0.07484 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_40K-50K_5-merged", - "value": 0.0519 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_1", - "value": 0.04452 - }, - { - "domain": "book", - "lang": "en", - "dataset": "origin-of-species_darwin", - "value": 0.05393 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gemini", - "value": 0.01871 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gpt3", - "value": 0.02706 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "llm-survey", - "value": 0.04398 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "long-doc", - "metric": "precision_at_100", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_400K-500K", - "value": 0.04036 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_600K-700K", - "value": 0.03911 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_500K-600K", - "value": 0.03564 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_2", - "value": 0.02614 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_30K-40K_10-merged", - "value": 0.03927 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_40K-50K_5-merged", - "value": 0.02765 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_1", - "value": 0.02433 - }, - { - "domain": "book", - "lang": "en", - "dataset": "origin-of-species_darwin", - "value": 0.0288 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gemini", - "value": 0.00968 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gpt3", - "value": 0.01424 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "llm-survey", - "value": 0.02373 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "long-doc", - "metric": "precision_at_1000", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_400K-500K", - "value": 0.00428 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_600K-700K", - "value": 0.00426 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_500K-600K", - "value": 0.00382 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_2", - "value": 0.00276 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_30K-40K_10-merged", - "value": 0.00404 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_40K-50K_5-merged", - "value": 0.0031 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_1", - "value": 0.00271 - }, - { - "domain": "book", - "lang": "en", - "dataset": "origin-of-species_darwin", - "value": 0.00313 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gemini", - "value": 0.001 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gpt3", - "value": 0.00147 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "llm-survey", - "value": 0.00259 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "long-doc", - "metric": "mrr_at_1", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_400K-500K", - "value": 0.63363 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_600K-700K", - "value": 0.64497 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_500K-600K", - "value": 0.62717 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_2", - "value": 0.59437 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_30K-40K_10-merged", - "value": 0.7038 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_40K-50K_5-merged", - "value": 0.54464 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_1", - "value": 0.59946 - }, - { - "domain": "book", - "lang": "en", - "dataset": "origin-of-species_darwin", - "value": 0.53825 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gemini", - "value": 0.44578 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gpt3", - "value": 0.40356 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "llm-survey", - "value": 0.47339 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "long-doc", - "metric": "mrr_at_3", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_400K-500K", - "value": 0.71271 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_600K-700K", - "value": 0.71647 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_500K-600K", - "value": 0.69509 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_2", - "value": 0.66808 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_30K-40K_10-merged", - "value": 0.77717 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_40K-50K_5-merged", - "value": 0.60764 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_1", - "value": 0.67159 - }, - { - "domain": "book", - "lang": "en", - "dataset": "origin-of-species_darwin", - "value": 0.6102 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gemini", - "value": 0.55489 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gpt3", - "value": 0.50593 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "llm-survey", - "value": 0.54575 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "long-doc", - "metric": "mrr_at_5", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_400K-500K", - "value": 0.72307 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_600K-700K", - "value": 0.72623 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_500K-600K", - "value": 0.71561 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_2", - "value": 0.68131 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_30K-40K_10-merged", - "value": 0.79035 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_40K-50K_5-merged", - "value": 0.62044 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_1", - "value": 0.68665 - }, - { - "domain": "book", - "lang": "en", - "dataset": "origin-of-species_darwin", - "value": 0.62413 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gemini", - "value": 0.56894 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gpt3", - "value": 0.52047 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "llm-survey", - "value": 0.5613 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "long-doc", - "metric": "mrr_at_10", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_400K-500K", - "value": 0.73023 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_600K-700K", - "value": 0.73209 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_500K-600K", - "value": 0.71962 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_2", - "value": 0.69099 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_30K-40K_10-merged", - "value": 0.79406 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_40K-50K_5-merged", - "value": 0.62625 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_1", - "value": 0.69422 - }, - { - "domain": "book", - "lang": "en", - "dataset": "origin-of-species_darwin", - "value": 0.63419 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gemini", - "value": 0.57913 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gpt3", - "value": 0.53471 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "llm-survey", - "value": 0.57337 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "long-doc", - "metric": "mrr_at_50", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_400K-500K", - "value": 0.73311 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_600K-700K", - "value": 0.73562 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_500K-600K", - "value": 0.72366 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_2", - "value": 0.6961 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_30K-40K_10-merged", - "value": 0.79649 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_40K-50K_5-merged", - "value": 0.63201 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_1", - "value": 0.69831 - }, - { - "domain": "book", - "lang": "en", - "dataset": "origin-of-species_darwin", - "value": 0.64133 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gemini", - "value": 0.58466 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gpt3", - "value": 0.54204 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "llm-survey", - "value": 0.58043 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "long-doc", - "metric": "mrr_at_100", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_400K-500K", - "value": 0.7334 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_600K-700K", - "value": 0.73587 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_500K-600K", - "value": 0.72384 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_2", - "value": 0.69634 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_30K-40K_10-merged", - "value": 0.79658 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_40K-50K_5-merged", - "value": 0.63241 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_1", - "value": 0.6985 - }, - { - "domain": "book", - "lang": "en", - "dataset": "origin-of-species_darwin", - "value": 0.6416 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gemini", - "value": 0.58511 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gpt3", - "value": 0.54239 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "llm-survey", - "value": 0.58085 - } - ] - }, - { - "config": { - "retrieval_model": "bge-m3", - "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", - "reranking_model": "NoReranker", - "reranking_model_link": null, - "task": "long-doc", - "metric": "mrr_at_1000", - "timestamp": "2024-10-03T03:14:48Z", - "is_anonymous": false, - "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" - }, - "results": [ - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_400K-500K", - "value": 0.73355 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_600K-700K", - "value": 0.73604 - }, - { - "domain": "law", - "lang": "en", - "dataset": "lex_files_500K-600K", - "value": 0.72394 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_2", - "value": 0.69639 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_30K-40K_10-merged", - "value": 0.79661 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_40K-50K_5-merged", - "value": 0.63277 - }, - { - "domain": "healthcare", - "lang": "en", - "dataset": "pubmed_100K-200K_1", - "value": 0.69861 - }, - { - "domain": "book", - "lang": "en", - "dataset": "origin-of-species_darwin", - "value": 0.64173 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gemini", - "value": 0.58533 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "gpt3", - "value": 0.54249 - }, - { - "domain": "arxiv", - "lang": "en", - "dataset": "llm-survey", - "value": 0.5811 - } - ] - } -] \ No newline at end of file