koziev ilya commited on
Commit
af5f111
1 Parent(s): 8fd5e39

mentioning cossim_f1 metrics for rubert-tiny and rubert-base

Browse files
Files changed (1) hide show
  1. README.md +9 -2
README.md CHANGED
@@ -23,12 +23,19 @@ widget:
23
  дает оценку того, содержит ли текст ответ на заданный вопрос. В [проекте диалоговой системы](https://github.com/Koziev/chatbot)
24
  она используется для семантического поиска записей в базе фактов по заданному собеседником вопросу.
25
 
26
- Модель основана на [cointegrated/rubert-tiny2](https://huggingface.co/cointegrated/rubert-tiny2). Она имеет очень небольшой размер и быстро выполняет инференс даже на CPU.
 
 
 
 
 
 
 
27
 
28
 
29
  ## Использование с библиотекой (Sentence-Transformers)
30
 
31
- Для удобства установите [sentence-transformers](https://www.SBERT.net):
32
 
33
  ```
34
  pip install -U sentence-transformers
 
23
  дает оценку того, содержит ли текст ответ на заданный вопрос. В [проекте диалоговой системы](https://github.com/Koziev/chatbot)
24
  она используется для семантического поиска записей в базе фактов по заданному собеседником вопросу.
25
 
26
+ # Скорость и точность
27
+
28
+ Модель основана на [cointegrated/rubert-tiny2](https://huggingface.co/cointegrated/rubert-tiny2).
29
+ Она имеет очень небольшой размер и быстро выполняет инференс даже на CPU.
30
+
31
+ Максимальное значение метрики cossim_f1 на тестовой выборке (10% датасета) равно **0.986**.
32
+
33
+ При использовании модели sberbank-ai/ruBert-base в качестве базовой, максимум cossim_f1 составляет **0.992**.
34
 
35
 
36
  ## Использование с библиотекой (Sentence-Transformers)
37
 
38
+ Необходимо установить [sentence-transformers](https://www.SBERT.net):
39
 
40
  ```
41
  pip install -U sentence-transformers