Safetensors
English
Russian
mistral
hivaze commited on
Commit
a16509b
1 Parent(s): c8febca

Initial version of README

Browse files
Files changed (1) hide show
  1. README.md +35 -1
README.md CHANGED
@@ -1,3 +1,37 @@
1
  ---
2
  license: apache-2.0
3
- ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
  ---
2
  license: apache-2.0
3
+ datasets:
4
+ - Vikhrmodels/GrandMaster-PRO-MAX
5
+ - Vikhrmodels/Grounded-RAG-RU-v2
6
+ language:
7
+ - en
8
+ - ru
9
+ base_model:
10
+ - mistralai/Mistral-Nemo-Instruct-2407
11
+ ---
12
+
13
+ ## Vikhr-Nemo-12B-Instruct-R-21-09-24
14
+
15
+ ### Описание
16
+
17
+ **Vikhr-Nemo** - это наша фалгманская умнимодальная LLM (Large Language Model) представляющая из себя улучшенную версию [mistralai/Mistral-Nemo-Instruct-2407](https://huggingface.co/mistralai/Mistral-Nemo-Instruct-2407) командой **VikhrModels**, адаптированную преимущественно для русского и английского языков. Для ее обучения мы использовали несколько этапов включаюзих в себя **SFT** и **SMPO** - нашу собственную вариацию DPO, подробнее читайте в секции *"Как эта модель создавалась"*.
18
+
19
+ Модель оптимизированна для различных вариантов использования, включая рассуждения, обобщение и ответы на вопросы. Vikhr-Nemo обладает возможностью многоязычной генерации, и высокопроизводительными возможностями RAG. Модель иммет лучшие оценки среди прочих на наших инструктивных и RAG бенчарках и, поэтому, мы верим, что в некоторыых случаях может использоваться как локальная замена для gpt-4o-mini от OpenAI.
20
+
21
+ Весь использованный код для обучения выложен в нашем репозитории [effective_llm_alignment](https://github.com/VikhrModels/leffective_llm_alignment/) на GitHub, а основаные датасеты дсотупны в нашем [профиле на HF](https://huggingface.co/Vikhrmodels).
22
+
23
+ ### Особенности
24
+ 1. Высокое качество генераций на русском и английском языках, а также некоторых других языках, благодаря датасету Grandmaster-PRO-MAX и исходной модели.
25
+ 2. Поддержка системных промптов для регулриования стиля ответов
26
+ 3. Поддержка до 128k токенов контекста благодаря исходной модели
27
+ 4. Grounded RAG режим - модель имеет специальную роль documents и специальный режим работы для поиска идентификаторов релевантных вопросу пользователя документов и использования их для ответа на вопрос, вдохновлено аналогичной способность модели Command-R
28
+
29
+ ### Метрики и оценка качества
30
+
31
+ ### Как эта модель создавалась
32
+
33
+ ### Как работать с RAG
34
+
35
+ ### Нюансы и ограничения
36
+
37
+ ### Авторы