Commit
•
7499757
1
Parent(s):
b71ce57
Update README.md
Browse files
README.md
CHANGED
|
@@ -38,11 +38,14 @@ library_name: transformers
|
|
| 38 |
|
| 39 |
Здесь приведена лишь часть лидерборда, подробнее смотрите в репозитории бенчмарка.
|
| 40 |
|
|
|
|
|
|
|
|
|
|
| 41 |
| Model Name | Winrate | 95% CI | Average # Tokens |
|
| 42 |
|--------------------------------------------------|--------|--------------------|------------------|
|
| 43 |
| gpt-4-1106-preview | 90.9 | (-1.3, 1.0) | 541 |
|
| 44 |
| gpt-4o-mini | 83.9 | (-1.8, 1.1) | 448 |
|
| 45 |
-
| **vikhr-nemo-12b-instruct-r-21-09-24** | **79.8** | (-2.2, 1.9) | **627** |
|
| 46 |
| gemma-2-9b-it-sppo-iter3 | 73.6 | (-1.6, 2.2) | 509 |
|
| 47 |
| gemma-2-9b-it | 69.2 | (-2.5, 1.9) | 459 |
|
| 48 |
| t-lite-instruct-0.1 | 64.7 | (-2.1, 1.7) | 810 |
|
|
|
|
| 38 |
|
| 39 |
Здесь приведена лишь часть лидерборда, подробнее смотрите в репозитории бенчмарка.
|
| 40 |
|
| 41 |
+
|
| 42 |
+
180 сэмплов из арены утекло в трейн, спасибо Илье за информацию!
|
| 43 |
+
|
| 44 |
| Model Name | Winrate | 95% CI | Average # Tokens |
|
| 45 |
|--------------------------------------------------|--------|--------------------|------------------|
|
| 46 |
| gpt-4-1106-preview | 90.9 | (-1.3, 1.0) | 541 |
|
| 47 |
| gpt-4o-mini | 83.9 | (-1.8, 1.1) | 448 |
|
| 48 |
+
| **vikhr-nemo-12b-instruct-r-21-09-24(180 leaked)** | **79.8** | (-2.2, 1.9) | **627** |
|
| 49 |
| gemma-2-9b-it-sppo-iter3 | 73.6 | (-1.6, 2.2) | 509 |
|
| 50 |
| gemma-2-9b-it | 69.2 | (-2.5, 1.9) | 459 |
|
| 51 |
| t-lite-instruct-0.1 | 64.7 | (-2.1, 1.7) | 810 |
|