Update README.md
Browse files
README.md
CHANGED
|
@@ -10,6 +10,8 @@ pipeline_tag: text-generation
|
|
| 10 |
|
| 11 |
## Model description
|
| 12 |
|
|
|
|
|
|
|
| 13 |
Инструктивная версия адаптированной на русский язык модели Qwen2.5-7B. В модели был заменен токенизатор, затем произведено дообучение (Continued pretraining) на русскоязычном корпусе, после чего была применена техника LEP (Learned Embedding Propagation, paper will be soon).
|
| 14 |
|
| 15 |
Благодаря новому токенизатору (расширенный tiktoken cl100k с помощью униграм токенизатора на 48 т. токенов) скорость генерации* русскоязычных текстов возрасла до 60% по сравнению с исходной моделью Qwen-2.5-7B-Instruct.
|
|
|
|
| 10 |
|
| 11 |
## Model description
|
| 12 |
|
| 13 |
+
WORK IN PROGRESS!!!
|
| 14 |
+
|
| 15 |
Инструктивная версия адаптированной на русский язык модели Qwen2.5-7B. В модели был заменен токенизатор, затем произведено дообучение (Continued pretraining) на русскоязычном корпусе, после чего была применена техника LEP (Learned Embedding Propagation, paper will be soon).
|
| 16 |
|
| 17 |
Благодаря новому токенизатору (расширенный tiktoken cl100k с помощью униграм токенизатора на 48 т. токенов) скорость генерации* русскоязычных текстов возрасла до 60% по сравнению с исходной моделью Qwen-2.5-7B-Instruct.
|