manzilzaheer
commited on
Commit
•
0335639
1
Parent(s):
ce2665c
Update README.md
Browse files
README.md
CHANGED
@@ -2334,297 +2334,6 @@ model-index:
|
|
2334 |
value: 54.53
|
2335 |
task:
|
2336 |
type: Retrieval
|
2337 |
-
- dataset:
|
2338 |
-
config: default
|
2339 |
-
name: MTEB CQADupstackRetrieval (default)
|
2340 |
-
revision: CQADupstackRetrieval_is_a_combined_dataset
|
2341 |
-
split: test
|
2342 |
-
type: CQADupstackRetrieval_is_a_combined_dataset
|
2343 |
-
metrics:
|
2344 |
-
- type: ndcg_at_1
|
2345 |
-
value: 40.20541666666666
|
2346 |
-
- type: ndcg_at_3
|
2347 |
-
value: 46.669083333333326
|
2348 |
-
- type: ndcg_at_5
|
2349 |
-
value: 49.367083333333326
|
2350 |
-
- type: ndcg_at_10
|
2351 |
-
value: 52.187666666666665
|
2352 |
-
- type: ndcg_at_20
|
2353 |
-
value: 54.32208333333334
|
2354 |
-
- type: ndcg_at_100
|
2355 |
-
value: 57.03583333333334
|
2356 |
-
- type: ndcg_at_1000
|
2357 |
-
value: 58.49916666666666
|
2358 |
-
- type: map_at_1
|
2359 |
-
value: 33.821
|
2360 |
-
- type: map_at_3
|
2361 |
-
value: 42.414833333333334
|
2362 |
-
- type: map_at_5
|
2363 |
-
value: 44.435916666666664
|
2364 |
-
- type: map_at_10
|
2365 |
-
value: 45.97216666666667
|
2366 |
-
- type: map_at_20
|
2367 |
-
value: 46.74225
|
2368 |
-
- type: map_at_100
|
2369 |
-
value: 47.283833333333334
|
2370 |
-
- type: map_at_1000
|
2371 |
-
value: 47.376666666666665
|
2372 |
-
- type: recall_at_1
|
2373 |
-
value: 33.821
|
2374 |
-
- type: recall_at_3
|
2375 |
-
value: 50.55849999999998
|
2376 |
-
- type: recall_at_5
|
2377 |
-
value: 57.59116666666667
|
2378 |
-
- type: recall_at_10
|
2379 |
-
value: 65.90283333333333
|
2380 |
-
- type: recall_at_20
|
2381 |
-
value: 73.60616666666667
|
2382 |
-
- type: recall_at_100
|
2383 |
-
value: 86.37716666666665
|
2384 |
-
- type: recall_at_1000
|
2385 |
-
value: 96.07316666666664
|
2386 |
-
- type: precision_at_1
|
2387 |
-
value: 40.20541666666666
|
2388 |
-
- type: precision_at_3
|
2389 |
-
value: 21.70416666666667
|
2390 |
-
- type: precision_at_5
|
2391 |
-
value: 15.336500000000001
|
2392 |
-
- type: precision_at_10
|
2393 |
-
value: 9.181833333333334
|
2394 |
-
- type: precision_at_20
|
2395 |
-
value: 5.337833333333332
|
2396 |
-
- type: precision_at_100
|
2397 |
-
value: 1.365333333333333
|
2398 |
-
- type: precision_at_1000
|
2399 |
-
value: 0.1665
|
2400 |
-
- type: mrr_at_1
|
2401 |
-
value: 40.205324999999995
|
2402 |
-
- type: mrr_at_3
|
2403 |
-
value: 47.71851666666666
|
2404 |
-
- type: mrr_at_5
|
2405 |
-
value: 49.28709166666667
|
2406 |
-
- type: mrr_at_10
|
2407 |
-
value: 50.312025000000006
|
2408 |
-
- type: mrr_at_20
|
2409 |
-
value: 50.79848333333333
|
2410 |
-
- type: mrr_at_100
|
2411 |
-
value: 51.077783333333336
|
2412 |
-
- type: mrr_at_1000
|
2413 |
-
value: 51.11320833333334
|
2414 |
-
- type: nauc_ndcg_at_1_max
|
2415 |
-
value: 27.959433333333333
|
2416 |
-
- type: nauc_ndcg_at_1_std
|
2417 |
-
value: -5.1863
|
2418 |
-
- type: nauc_ndcg_at_1_diff1
|
2419 |
-
value: 51.2957
|
2420 |
-
- type: nauc_ndcg_at_3_max
|
2421 |
-
value: 26.203025000000004
|
2422 |
-
- type: nauc_ndcg_at_3_std
|
2423 |
-
value: -6.255891666666667
|
2424 |
-
- type: nauc_ndcg_at_3_diff1
|
2425 |
-
value: 46.468316666666674
|
2426 |
-
- type: nauc_ndcg_at_5_max
|
2427 |
-
value: 27.49124166666667
|
2428 |
-
- type: nauc_ndcg_at_5_std
|
2429 |
-
value: -5.559333333333335
|
2430 |
-
- type: nauc_ndcg_at_5_diff1
|
2431 |
-
value: 45.99999166666666
|
2432 |
-
- type: nauc_ndcg_at_10_max
|
2433 |
-
value: 28.059758333333335
|
2434 |
-
- type: nauc_ndcg_at_10_std
|
2435 |
-
value: -4.480933333333334
|
2436 |
-
- type: nauc_ndcg_at_10_diff1
|
2437 |
-
value: 45.66293333333335
|
2438 |
-
- type: nauc_ndcg_at_20_max
|
2439 |
-
value: 28.445833333333333
|
2440 |
-
- type: nauc_ndcg_at_20_std
|
2441 |
-
value: -3.4845083333333338
|
2442 |
-
- type: nauc_ndcg_at_20_diff1
|
2443 |
-
value: 45.688449999999996
|
2444 |
-
- type: nauc_ndcg_at_100_max
|
2445 |
-
value: 28.945174999999995
|
2446 |
-
- type: nauc_ndcg_at_100_std
|
2447 |
-
value: -2.521816666666667
|
2448 |
-
- type: nauc_ndcg_at_100_diff1
|
2449 |
-
value: 45.820041666666675
|
2450 |
-
- type: nauc_ndcg_at_1000_max
|
2451 |
-
value: 28.690624999999997
|
2452 |
-
- type: nauc_ndcg_at_1000_std
|
2453 |
-
value: -2.9268416666666663
|
2454 |
-
- type: nauc_ndcg_at_1000_diff1
|
2455 |
-
value: 46.183749999999996
|
2456 |
-
- type: nauc_map_at_1_max
|
2457 |
-
value: 22.903666666666666
|
2458 |
-
- type: nauc_map_at_1_std
|
2459 |
-
value: -8.212708333333333
|
2460 |
-
- type: nauc_map_at_1_diff1
|
2461 |
-
value: 52.467391666666664
|
2462 |
-
- type: nauc_map_at_3_max
|
2463 |
-
value: 24.647175000000008
|
2464 |
-
- type: nauc_map_at_3_std
|
2465 |
-
value: -7.754766666666667
|
2466 |
-
- type: nauc_map_at_3_diff1
|
2467 |
-
value: 48.078491666666665
|
2468 |
-
- type: nauc_map_at_5_max
|
2469 |
-
value: 25.908183333333334
|
2470 |
-
- type: nauc_map_at_5_std
|
2471 |
-
value: -7.041600000000001
|
2472 |
-
- type: nauc_map_at_5_diff1
|
2473 |
-
value: 47.696650000000005
|
2474 |
-
- type: nauc_map_at_10_max
|
2475 |
-
value: 26.48871666666666
|
2476 |
-
- type: nauc_map_at_10_std
|
2477 |
-
value: -6.2858166666666655
|
2478 |
-
- type: nauc_map_at_10_diff1
|
2479 |
-
value: 47.451991666666665
|
2480 |
-
- type: nauc_map_at_20_max
|
2481 |
-
value: 26.760866666666665
|
2482 |
-
- type: nauc_map_at_20_std
|
2483 |
-
value: -5.832466666666664
|
2484 |
-
- type: nauc_map_at_20_diff1
|
2485 |
-
value: 47.43503333333334
|
2486 |
-
- type: nauc_map_at_100_max
|
2487 |
-
value: 26.92709166666667
|
2488 |
-
- type: nauc_map_at_100_std
|
2489 |
-
value: -5.530858333333334
|
2490 |
-
- type: nauc_map_at_100_diff1
|
2491 |
-
value: 47.4343
|
2492 |
-
- type: nauc_map_at_1000_max
|
2493 |
-
value: 26.909024999999996
|
2494 |
-
- type: nauc_map_at_1000_std
|
2495 |
-
value: -5.502908333333333
|
2496 |
-
- type: nauc_map_at_1000_diff1
|
2497 |
-
value: 47.443708333333326
|
2498 |
-
- type: nauc_recall_at_1_max
|
2499 |
-
value: 22.903666666666666
|
2500 |
-
- type: nauc_recall_at_1_std
|
2501 |
-
value: -8.212708333333333
|
2502 |
-
- type: nauc_recall_at_1_diff1
|
2503 |
-
value: 52.467391666666664
|
2504 |
-
- type: nauc_recall_at_3_max
|
2505 |
-
value: 23.38484166666667
|
2506 |
-
- type: nauc_recall_at_3_std
|
2507 |
-
value: -7.751666666666666
|
2508 |
-
- type: nauc_recall_at_3_diff1
|
2509 |
-
value: 42.268116666666664
|
2510 |
-
- type: nauc_recall_at_5_max
|
2511 |
-
value: 26.351625000000002
|
2512 |
-
- type: nauc_recall_at_5_std
|
2513 |
-
value: -5.687058333333334
|
2514 |
-
- type: nauc_recall_at_5_diff1
|
2515 |
-
value: 39.880075
|
2516 |
-
- type: nauc_recall_at_10_max
|
2517 |
-
value: 28.123716666666667
|
2518 |
-
- type: nauc_recall_at_10_std
|
2519 |
-
value: -1.9335916666666664
|
2520 |
-
- type: nauc_recall_at_10_diff1
|
2521 |
-
value: 37.67715833333334
|
2522 |
-
- type: nauc_recall_at_20_max
|
2523 |
-
value: 30.026233333333334
|
2524 |
-
- type: nauc_recall_at_20_std
|
2525 |
-
value: 3.7864750000000003
|
2526 |
-
- type: nauc_recall_at_20_diff1
|
2527 |
-
value: 36.37902499999999
|
2528 |
-
- type: nauc_recall_at_100_max
|
2529 |
-
value: 38.34054166666665
|
2530 |
-
- type: nauc_recall_at_100_std
|
2531 |
-
value: 19.742633333333334
|
2532 |
-
- type: nauc_recall_at_100_diff1
|
2533 |
-
value: 33.567858333333334
|
2534 |
-
- type: nauc_recall_at_1000_max
|
2535 |
-
value: 49.25595
|
2536 |
-
- type: nauc_recall_at_1000_std
|
2537 |
-
value: 43.51984166666667
|
2538 |
-
- type: nauc_recall_at_1000_diff1
|
2539 |
-
value: 33.28621666666666
|
2540 |
-
- type: nauc_precision_at_1_max
|
2541 |
-
value: 27.959433333333333
|
2542 |
-
- type: nauc_precision_at_1_std
|
2543 |
-
value: -5.1863
|
2544 |
-
- type: nauc_precision_at_1_diff1
|
2545 |
-
value: 51.2957
|
2546 |
-
- type: nauc_precision_at_3_max
|
2547 |
-
value: 25.37675833333333
|
2548 |
-
- type: nauc_precision_at_3_std
|
2549 |
-
value: -0.09907499999999982
|
2550 |
-
- type: nauc_precision_at_3_diff1
|
2551 |
-
value: 27.616416666666666
|
2552 |
-
- type: nauc_precision_at_5_max
|
2553 |
-
value: 26.26798333333334
|
2554 |
-
- type: nauc_precision_at_5_std
|
2555 |
-
value: 3.9784666666666664
|
2556 |
-
- type: nauc_precision_at_5_diff1
|
2557 |
-
value: 19.944983333333333
|
2558 |
-
- type: nauc_precision_at_10_max
|
2559 |
-
value: 23.977883333333335
|
2560 |
-
- type: nauc_precision_at_10_std
|
2561 |
-
value: 9.17605
|
2562 |
-
- type: nauc_precision_at_10_diff1
|
2563 |
-
value: 11.407491666666665
|
2564 |
-
- type: nauc_precision_at_20_max
|
2565 |
-
value: 21.376025
|
2566 |
-
- type: nauc_precision_at_20_std
|
2567 |
-
value: 13.474358333333333
|
2568 |
-
- type: nauc_precision_at_20_diff1
|
2569 |
-
value: 4.836375
|
2570 |
-
- type: nauc_precision_at_100_max
|
2571 |
-
value: 14.341025000000002
|
2572 |
-
- type: nauc_precision_at_100_std
|
2573 |
-
value: 17.450875
|
2574 |
-
- type: nauc_precision_at_100_diff1
|
2575 |
-
value: -5.609583333333335
|
2576 |
-
- type: nauc_precision_at_1000_max
|
2577 |
-
value: 4.704733333333333
|
2578 |
-
- type: nauc_precision_at_1000_std
|
2579 |
-
value: 13.05885
|
2580 |
-
- type: nauc_precision_at_1000_diff1
|
2581 |
-
value: -12.96958333333333
|
2582 |
-
- type: nauc_mrr_at_1_max
|
2583 |
-
value: 27.959433333333333
|
2584 |
-
- type: nauc_mrr_at_1_std
|
2585 |
-
value: -5.1863
|
2586 |
-
- type: nauc_mrr_at_1_diff1
|
2587 |
-
value: 51.2957
|
2588 |
-
- type: nauc_mrr_at_3_max
|
2589 |
-
value: 28.132708333333333
|
2590 |
-
- type: nauc_mrr_at_3_std
|
2591 |
-
value: -4.832091666666667
|
2592 |
-
- type: nauc_mrr_at_3_diff1
|
2593 |
-
value: 47.59564166666668
|
2594 |
-
- type: nauc_mrr_at_5_max
|
2595 |
-
value: 28.779724999999996
|
2596 |
-
- type: nauc_mrr_at_5_std
|
2597 |
-
value: -4.348183333333334
|
2598 |
-
- type: nauc_mrr_at_5_diff1
|
2599 |
-
value: 47.218791666666675
|
2600 |
-
- type: nauc_mrr_at_10_max
|
2601 |
-
value: 28.822750000000003
|
2602 |
-
- type: nauc_mrr_at_10_std
|
2603 |
-
value: -4.052833333333333
|
2604 |
-
- type: nauc_mrr_at_10_diff1
|
2605 |
-
value: 47.15955833333334
|
2606 |
-
- type: nauc_mrr_at_20_max
|
2607 |
-
value: 28.85099166666667
|
2608 |
-
- type: nauc_mrr_at_20_std
|
2609 |
-
value: -3.8913500000000005
|
2610 |
-
- type: nauc_mrr_at_20_diff1
|
2611 |
-
value: 47.183975000000004
|
2612 |
-
- type: nauc_mrr_at_100_max
|
2613 |
-
value: 28.868125
|
2614 |
-
- type: nauc_mrr_at_100_std
|
2615 |
-
value: -3.853541666666666
|
2616 |
-
- type: nauc_mrr_at_100_diff1
|
2617 |
-
value: 47.23730000000002
|
2618 |
-
- type: nauc_mrr_at_1000_max
|
2619 |
-
value: 28.862125
|
2620 |
-
- type: nauc_mrr_at_1000_std
|
2621 |
-
value: -3.8645333333333336
|
2622 |
-
- type: nauc_mrr_at_1000_diff1
|
2623 |
-
value: 47.24678333333334
|
2624 |
-
- type: main_score
|
2625 |
-
value: 52.187666666666665
|
2626 |
-
task:
|
2627 |
-
type: Retrieval
|
2628 |
- dataset:
|
2629 |
config: default
|
2630 |
name: MTEB CQADupstackRetrieval (default)
|
@@ -7912,4 +7621,3 @@ We use the [BGE-EN-ICL training data](https://huggingface.co/datasets/cfli/bge-f
|
|
7912 |
* Andrew McCallum
|
7913 |
* Rob Fergus
|
7914 |
* Manzil Zaheer
|
7915 |
-
|
|
|
2334 |
value: 54.53
|
2335 |
task:
|
2336 |
type: Retrieval
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2337 |
- dataset:
|
2338 |
config: default
|
2339 |
name: MTEB CQADupstackRetrieval (default)
|
|
|
7621 |
* Andrew McCallum
|
7622 |
* Rob Fergus
|
7623 |
* Manzil Zaheer
|
|