Upload README.md

README.md

@@ -1,62 +1,94 @@
 ---
+name: ruadaptqwen2.5-32B-instruct
+license: apache-2.0
+tags:
+- refalmachine
+- multilingual
+- text-generation
+- text2text-generation
+- natural language
+- translate
+- RefalMachine
+- Alibaba Cloud
+- Qwen
+type:
+- 24GB
+- 32GB
+- llm
+- chat
+- multilingual
+- refalmachine
+- qwen2
+config:
+- ctx=32768
+- 5bit
+- 4bit
+resolutions:
 datasets:
 - IlyaGusev/saiga_scored
 - IlyaGusev/saiga_preferences
 - dichspace/darulm
 language:
+- en
 - ru
+size:
+- 19818080576
+- 23225788736
+use:
+shortcomings:
+sources:
+- Tikhomirov M., Chernyshev D. Facilitating large language model Russian adaptation with Learned Embedding Propagation // 2024 (will be soon)
+- https://arxiv.org/abs/2312.02598
+funded_by:
+train_hardware:
 pipeline_tag: text-generation
-license: apache-2.0
+examples: (response) "А льп ак а — домашнее моз олен ого животное, предполож ительно произошедшеe от вик ун ьи ( виг они ). Раз воДят в высок огор ном по я се Южной Америки ( Ан Ды ). На сегодняшний день там обитает около трӫх миллионов аль пак, большая часть из которых нас еляет Перу. Вы ращ ивают аль пак для стр иж ки шерсти, из которой делают тёпл ые и мягкие од ея ла, пл ед ы и одежду, а из мех а делают предметы ДЛя дома."
+---
+[repo_clone_112924](https://huggingface.co/msu-rcc-lair/RuadaptQwen2.5-32B-instruct-GGUF)
+```
 ---
-
-## Описание модели
-
-GGUF версия. WORK IN PROGRESS!!! Текущая версия v1.
-
-Инструктивная версия адаптированной на русский язык модели Qwen2.5-32B. В модели был заменен токенизатор, затем произведено дообучение (Continued pretraining) на русскоязычном корпусе, после чего была применена техника LEP (Learned Embedding Propagation, paper will be soon).
-
-Благодаря новому токенизатору (расширенный tiktoken cl100k с помощью униграм токенизатора на 48 т. токенов) скорость генерации* русскоязычных текстов возрасла до 60% по сравнению с исходной моделью Qwen-2.5-32B-Instruct.
-
-*Под скоростью генерации подразумевается количество русскоязычных символов/слов в секунду на одинаковых текстовых последовательностях.
-
-## Попробовать
-
-Модель можно попробовать в поднятом Space (внизу в параметрах выбор модели): 
-https://huggingface.co/spaces/RefalMachine/RuadaptQwen2.5
-
-## Токенизация
-
-
-![image/png](https://cdn-uploads.huggingface.co/production/uploads/652cedbdf120598322ae358a/O4eQEhnowETEatDPcmArB.png)
-
-
-![image/png](https://cdn-uploads.huggingface.co/production/uploads/652cedbdf120598322ae358a/oW0Q6LzD_Py3GdH0kfqu4.png)
-
-## Метрики и оценка качества
-
-Модель была оценена на Ru-Arena-General, MERA, llmtf_open
-
-#### Результаты на Ru-Arena-General
-
-TODO
-
-#### Результаты на MERA
-
-Для сабмита на MERA был подготовлен кастомный системный промпт, который смягчает недостатки оценки на кодовых задачах. Для сравнения был также сделан сабмит с этим же системным промптом оригинальной модели.
-
-![image/png](https://cdn-uploads.huggingface.co/production/uploads/652cedbdf120598322ae358a/PwPTdwp0synSCE2Nn75xE.png)
-
-
-#### Результаты на llmtf_open
-
-TODO
-
-## How to cite:
-
-Tikhomirov M., Chernyshev D. Facilitating large language model Russian adaptation with Learned Embedding Propagation // 2024 (will be soon)
-
-Tikhomirov M., Chernyshev D. Impact of Tokenization on LLaMa Russian Adaptation //2023 Ivannikov Ispras Open Conference (ISPRAS). – IEEE, 2023. – С. 163-168.
-
-## Предупреждение
-
-Ответы модели не отражают мнения авторов, а лишь повторяют знания полученные из данных на всех этапах обучения (предобучение, смена токенизатора, обучение на инструкциях, калибровка качества ответов). Модель была получена из сторонней предобученной модели, **контроль за предобучением** которой **не является ответственностью текущих авторов**. ��ри создании данной версии модели не производилось никаких дополнительных действий, направленных на изменение заложенных в LLM "мнений". Используйте с осторожностью.
+name: ruadapt-qwen2.5-32B-instruct
+license: apache-2.0
+tags:
+- refalmachine
+- multilingual
+- text-generation
+- text2text-generation
+- natural language
+- translate
+- RefalMachine
+- Alibaba Cloud
+- Qwen
+type:
+- 24GB
+- 32GB
+- llm
+- chat
+- multilingual
+- refalmachine
+- qwen2
+config:
+- ctx=32768
+- 5bit
+- 4bit
+resolutions:
+datasets:
+- IlyaGusev/saiga_scored
+- IlyaGusev/saiga_preferences
+- dichspace/darulm
+language:
+- en
+- ru
+size:
+- 19818080576
+- 23225788736
+use:
+shortcomings:
+sources:
+- Tikhomirov M., Chernyshev D. Facilitating large language model Russian adaptation with Learned Embedding Propagation // 2024 (will be soon)
+- https://arxiv.org/abs/2312.02598
+funded_by:
+train_hardware:
+pipeline_tag: text-generation
+examples: (response) "А льп ак а — домашнее моз олен ого животное, предполож ительно произошедшеe от вик ун ьи ( виг они ). Раз воДят в высок огор ном по я се Южной Америки ( Ан Ды ). На сегодняшний день там обитает около трӫх миллионов аль пак, большая часть из которых нас еляет Перу. Вы ращ ивают аль пак для стр иж ки шерсти, из которой делают тёпл ые и мягкие од ея ла, пл ед ы и одежду, а из мех а делают предметы ДЛя дома."
+```