Update README.md

README.md

@@ -12,7 +12,7 @@ metrics:
 - f1
 library_name: transformers
 model-index:
-- name: sage-fredt5-large
+- name: sage-fredt5-distilled-95m
   results:
     - task:
         type: text-generation
@@ -22,15 +22,15 @@ model-index:
       metrics:
       - name: F1 (spell)
         type: f1_spell
-        value: 62.2
+        value: 78.9
         verified: false
       - name: F1 (punct)
         type: f1_punct
-        value: 60.2
+        value: 83.6
         verified: false
       - name: F1 (case)
         type: f1_case
-        value: 78.1
+        value: 93.5
         verified: false
     - task:
         type: text-generation
@@ -40,15 +40,15 @@ model-index:
       metrics:
       - name: F1 (spell)
         type: f1_spell
-        value: 46.3
+        value: 73.4
         verified: false
       - name: F1 (punct)
         type: f1_punct
-        value: 21.6
+        value: 65.0
         verified: false
       - name: F1 (case)
         type: f1_case
-        value: 34.0
+        value: 77.9
         verified: false
     - task:
         type: text-generation
@@ -58,15 +58,15 @@ model-index:
       metrics:
       - name: F1 (spell)
         type: f1_spell
-        value: 42.7
+        value: 64.9
         verified: false
       - name: F1 (punct)
         type: f1_punct
-        value: 15.7
+        value: 70.0
         verified: false
       - name: F1 (case)
         type: f1_case
-        value: 41.9
+        value: 68.7
         verified: false
     - task:
         type: text-generation
@@ -76,25 +76,25 @@ model-index:
       metrics:
       - name: F1 (spell)
         type: f1_spell
-        value: 46.3
+        value: 52.7
         verified: false
       - name: F1 (punct)
         type: f1_punct
-        value: 20.2
+        value: 42.1
         verified: false
       - name: F1 (case)
         type: f1_case
-        value: 12.6
+        value: 36.3
         verified: false
 ---
-# sage-fredt5-large
+# sage-fredt5-distilled-95m
 
 ![banner](images/sage_banner.jpg)
 
 ## Summary
 
 The model corrects spelling and punctuation errors and typos by bringing all the words in the text to the norm of the Russian language.
-Corrector had been trained based on the model [FRED-T5-large](https://huggingface.co/ai-forever/FRED-T5-large). 
+Corrector is a distilled version of the original model that had been trained based on the [FRED-T5-1.7B](https://huggingface.co/ai-forever/FRED-T5-1.7B) architecture. 
 An extensive dataset with “artificial” errors was taken as a training corpus: the corpus was assembled on the basis of the Russian-language Wikipedia and transcripts of Russian-language videos, then typos and spelling errors were automatically introduced into it using the library [SAGE](https://github.com/ai-forever/sage).
 
 ## Public references
@@ -106,9 +106,9 @@ An extensive dataset with “artificial” errors was taken as a training corpus
 ## Examples
 | Input | Output |
 | --- | --- |
-| И не чсно прохожим в этот день непогожйи почему я веселый такйо | И не ясно прохожим в этот день непогожий, почему я веселый такой. |
-| Каждй день воттак делой, и спена балеть нибудет. А вотак каждый день ниделай | Каждый день вот так делай и спина болеть не будет. А вот так каждый день не делай. |
-| Основая цель мероприятия  практическая отработка навыков по оказанию помощи гражданам, попавшим в ДТП а также повышение и совершенствование уровня профессиональной подготовки сотрудников МЧС при проведении аварийно-спасательных работ по ликвидации последствий дорожно-транспортных проишествий сокращение временных показателей реагирования. | Основная цель мероприятия — практическая отработка навыков по оказанию помощи гражданам, попавшим в ДТП, а также повышение и совершенствование уровня профессиональной подготовки сотрудников МЧС при проведении аварийно-спасательных работ по ликвидации последствий дорожно-транспортных происшествий, сокращение временных показателей реагирования |
+| И не чсно прохожим в этот день непогожйи почему я веселый такйо | И не ясно прохожим в этот день непогожий, почему я весёлый такой? |
+| Каждй день воттак делой, и спена балеть нибудет. А вотак каждый день ниделай | Каждый день вот так делай, и спена болеть не будет. А вот так каждый день — ни делай. |
+| Основая цель мероприятия  практическая отработка навыков по оказанию помощи гражданам, попавшим в ДТП а также повышение и совершенствование уровня профессиональной подготовки сотрудников МЧС при проведении аварийно-спасательных работ по ликвидации последствий дорожно-транспортных проишествий сокращение временных показателей реагирования. | Основная цель мероприятия - практическая отработка навыков по оказанию помощи гражданам, попавшим в ДТП, а также повышение и совершенствование уровня профессиональной подготовки сотрудников МЧС при проведении аварийно-спасательных работ по ликвидации последствий дорожно-транспортных происшествий, сокращение временных показателей реагирования. |
 |  |  |
 
 ## Metrics
@@ -123,8 +123,7 @@ We compare our solution with both open automatic spell checkers and the ChatGPT
 **RUSpellRU**
 | Model | Pr. (spell) | Rec. (spell) | F1 (spell) | Pr. (punc) | Rec. (punc) | F1 (punc) | Pr. (case) | Rec. (case) | F1 (case) |
 | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | 
-| sage-fredt5-large | 57.3 | 68.0 | 62.2 | 86.7 | 46.1 | 60.2 | 92.1 | 67.8 | 78.1 |
-| sage-fredt5-large (ft) | 88.4 | 80.9 | 84.5 | 88.2 | 85.3 | 86.8 | 95.5 | 94.0 | 94.7 |
+| sage-fredt5-distilled-95m | 83.5 | 74.8 | 78.9 | 86.8 | 80.6 | 83.6 | 94.4 | 92.5 | 93.5 |
 | sage-ai-service | 90.3 | 86.3 | 88.2 | 90.3 | 86.6 | 88.4 | 95.2 | 95.9 | 95.6 |
 | gpt-3.5-turbo | 33.6 | 58.5 | 42.7 | 85.9 | 64.6 | 73.7 | 84.9 | 73.9 | 79.0 |
 | gpt-4 | 54.9 | 76.7 | 64.0 | 84.0 | 82.3 | 83.2 | 91.5 | 90.2 | 90.9 |
@@ -133,8 +132,7 @@ We compare our solution with both open automatic spell checkers and the ChatGPT
 **MultidomainGold**
 | Model | Pr. (spell) | Rec. (spell) | F1 (spell) | Pr. (punc) | Rec. (punc) | F1 (punc) | Pr. (case) | Rec. (case) | F1 (case) |
 | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | 
-| sage-fredt5-large | 43.4 | 49.7 | 46.3 | 21.8 | 21.3 | 21.6 | 58.8 | 23.9 | 34.0 |
-| sage-fredt5-large (ft) | 80.3 | 75.1 | 77.6 | 69.0 | 66.5 | 67.7 | 78.6 | 80.0 | 79.3 |
+| sage-fredt5-distilled-95m | 77.2 | 69.9 | 73.4 | 66.8 | 63.4 | 65.0 | 76.8 | 79.1 | 77.9 |
 | sage-ai-service | 81.6 | 77.7 | 79.6 | 70.2 | 67.5 | 68.8 | 80.5 | 80.5 | 80.5 |
 | gpt-3.5-turbo | 18.8 | 48.1 | 27.1 | 42.0 | 31.8 | 36.2 | 47.1 | 51.3 | 49.1 |
 | gpt-4 | 25.4 | 68.0 | 37.0 | 57.8 | 54.3 | 56.0 | 54.0 | 67.5 | 60.0 |
@@ -143,8 +141,7 @@ We compare our solution with both open automatic spell checkers and the ChatGPT
 **MedSpellChecker**
 | Model | Pr. (spell) | Rec. (spell) | F1 (spell) | Pr. (punc) | Rec. (punc) | F1 (punc) | Pr. (case) | Rec. (case) | F1 (case) |
 | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | 
-| sage-fredt5-large | 35.2 | 54.5 | 42.8 | 19.2 | 13.2 | 15.7 | 48.7 | 36.8 | 41.9 |
-| sage-fredt5-large (ft) | 72.5 | 72.2 | 72.3 | 74.6 | 66.4 | 70.3 | 79.3 | 85.1 | 82.1 |
+| sage-fredt5-distilled-95m | 65.1 | 64.8 | 64.9 | 78.6 | 63.1 | 70.0 | 63.5 | 74.7 | 68.7 |
 | sage-ai-service | 71.3 | 73.5 | 72.4 | 75.1 | 69.2 | 72.0 | 80.9 | 72.8 | 76.6|
 | gpt-3.5-turbo | 14.7 | 45.9 | 22.3 | 69.9 | 52.3 | 59.8 | 26.4 | 41.8 | 32.3 |
 | gpt-4 | 37.8 | 72.3 | 49.6 | 81.4 | 64.3 | 71.9 | 73.0 | 62.1 | 67.1 |
@@ -153,18 +150,20 @@ We compare our solution with both open automatic spell checkers and the ChatGPT
 **GitHubTypoCorpusRu**
 | Model | Pr. (spell) | Rec. (spell) | F1 (spell) | Pr. (punc) | Rec. (punc) | F1 (punc) | Pr. (case) | Rec. (case) | F1 (case) |
 | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | 
-| sage-fredt5-large | 46.0 | 46.6 | 46.3 | 22.7 | 18.3 | 20.2 | 12.0 | 13.2 | 12.6 |
-| sage-fredt5-large (ft) | 67.5 | 53.2 | 59.5 | 48.5  | 38.0 | 42.6 | 37.3 | 50.0 | 42.7 |
+| sage-fredt5-distilled-95m | 57.8 | 48.5 | 52.7 | 45.2 | 39.5 | 42.1 | 29.9 | 46.2 | 36.3 |
 | sage-ai-service | 70.8 | 56.3 | 62.7 | 48.9 | 35.8 | 41.4 | 32.9 | 45.3 | 38.1|
 | gpt-3.5-turbo | 23.7 | 38.7 | 29.4 | 37.6 | 23.3 | 28.7 | 19.6 | 35.9 | 25.3 |
 | gpt-4 | 27.0 | 52.8 | 35.7 | 45.9 | 32.6 | 38.2 | 25.7 | 36.8 | 30.2 |
 
+
 ## How to use
 ```python
 from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
-tokenizer = AutoTokenizer.from_pretrained("ai-forever/sage-fredt5-large")
-model = AutoModelForSeq2SeqLM.from_pretrained("ai-forever/sage-fredt5-large")
+
+tokenizer = AutoTokenizer.from_pretrained("ai-forever/sage-fredt5-distilled-95m")
+model = AutoModelForSeq2SeqLM.from_pretrained("ai-forever/sage-fredt5-distilled-95m")
 model.to("cuda:0")
+
 sentence = "И не чсно прохожим в этот день непогожйи почему я веселый такйо"
 text = "<LM>" + sentence
 with torch.inference_mode():
@@ -178,12 +177,12 @@ with torch.inference_mode():
     )
     res = res.cpu().tolist()
     res = tokenizer.batch_decode(res, skip_special_tokens=True)
+
 print(res)
-# ["И не ясно прохожим в этот день непогожий, почему я веселый такой."]
+# ["И не ясно прохожим в этот день непогожий, почему я весёлый такой?"]
 ```
 
 ## Limitations
-- The model is intended to be fine-tuned on sets with natural errors for better performance. The realized model is a pre-train and pre-train task is different from the usual spell checking in terms of density of the noise in a corpus and its origin;
 - Complex formatting may cause some trouble in output generation.
 
 ## Resources
@@ -194,7 +193,7 @@ print(res)
 - [sage-mt5-large](https://huggingface.co/ai-forever/sage-mt5-large), HuggingFace
 
 ## License
-Model [FRED-T5-large](https://huggingface.co/ai-forever/FRED-T5-large), on the basis of which our solution is made, and its source code are supplied under the MIT license. 
+Model [FRED-T5-1.7B](https://huggingface.co/ai-forever/FRED-T5-1.7B), on the basis of which our solution is made, and its source code are supplied under the MIT license. 
 Our solution comes with MIT license also.
 
 ## Specifications