README.md

---
library_name: transformers
language:
- ru
- en
pipeline_tag: text-generation
---

# Cotype-Nano-4bit🤖

Cotype-Nano-4bit – это LLM, которая весит меньше и работает быстрее чем Cotype-Nano, при этом сохраняя свои языковые способности

Cotype-Nano-4bit is an LLM that is lighter and runs faster than Cotype-Nano, while maintaining its language capabilities.

### Inference with vLLM
```
python3 -m vllm.entrypoints.openai.api_server --model MTSAIR/Cotype-Nano-4bit --port 8000
```

### Recommended generation parameters and system prompt
```python
import openai
import pandas as pd
from tqdm import tqdm

openai.api_key = 'xxx'

endpoint = 'http://localhost:8000/v1'
model = 'MTSAIR/Cotype-Nano-4bit'
openai.api_base = endpoint

response = openai.ChatCompletion.create(
    model=model,
    temperature=0.0, # также допускается 0.2
    frequency_penalty=0.0,
    max_tokens=2048,
    top_p=0.1, # также допускается 0.9
    messages=[
          {"role": "system", "content": "Ты — ИИ-помощник. Тебе дано задание: необходимо сгенерировать подробный и развернутый ответ."},
          {"role": "user", "content": "Расскажи мне про ИИ, коротко"}
        ]
    )

answer = response["choices"][0]["message"]["content"]
print(answer)
```

### Inference with Huggingface
```python
from transformers import pipeline

pipe = pipeline("text-generation", model="MTSAIR/Cotype-Nano-4bit", device="cuda")

messages = [
  {"role": "system", "content": "Ты — ИИ-помощник. Тебе дано задание: необходимо сгенерировать подробный и развернутый ответ."},
  {"role": "user", "content": "Расскажи мне про ИИ"},
]

res = pipe(messages, max_length=1024)
print(res[0]['generated_text'][1])
```


## Example request

**Request:** 


#### Cotype-Nano-4bit response:

> **Рекламный текст для магазина экологичной одежды:**
> 
> ---
> 
> **Заботьтесь о Земле, одевайтесь с умом!**
> 
> Приглашаем вас в мир экологичной моды! Мы предлагаем вам не только стильные и качественные вещи, но и возможность сделать свой выбор в пользу устойчивого развития и сохранения природы.
> 
> **Экологичная одежда – ваш выбор!**
> 
> 1. **Создание гармонии с природой.** Мы используем только экологически чистые материалы, которые не наносят вреда окружающей среде. 
> 2. **Минимализм в стиле.** Наша одежда – это не просто предметы гардероба, это стиль, который подчеркивает вашу индивидуальность.
> 3. **Продолжительный срок службы.** Мы создаем вещи, которые прослужат вам долго, что позволяет избежать ненужного потребления и отходов.
> 4. **Поддержка местных производителей.** Мы выбираем местных мастеров и производителей, что способствует созданию рабочих мест и поддерживает местную экономику.
> 5. **Возвращаем вещи в круговорот.** Мы предлагаем программы по возврату и переработке одежды, чтобы вы могли внести свой вклад в сохранение экологии.
> 
> **Ваш выбор – ваша ответственность.**
> 
> Выбирайте экологичную одежду, и помните, что ваш выбор влияет на будущее нашей планеты. Давайте вместе создадим гармонию между человеком, его потребностями и природой.
> 
> **Приходите в наш магазин, чтобы стать частью экологической моды!**
> 
> ---
> 
>Мы уверены, что вы найдете в нашем ассортименте не только стильные вещи, но и уверенность в том, что ваш выбор в пользу устойчивости и экологии не будет лишним. Приходите и посмотрите, как можно сочетать моду с ответственностью!

### Results on ru-llm-arena: 20.3 (local measurement)

| **Model**                                   | **Score** | **95% CI**      | **Avg Tokens** |
| ------------------------------------------- | --------- | --------------- | -------------- |
| storm-7b                                    | 20.62     | +2.0 / -1.6     | 419.32         |
| **Llama-3-Cotype-Nano-4bit**                  | **20.3**     | **+1.6 / -1.4**     | **588**         |
| neural-chat-7b-v3-3                         | 19.04     | +2.0 / -1.7     | 927.21         |
| Vikhrmodels-Vikhr-Llama-3.2-1B-instruct | 19.04 | +1.3 / -1.6 | 958.63     |
| gigachat_lite                               | 17.2      | +1.4 / -1.4     | 276.81         | 
| Vikhrmodels-vikhr-qwen-1.5b-it              | 13.19     | +1.4 / -1.6     | 2495.38        |
| meta-llama-Llama-3.2-1B-Instruct            | 4.04      | +0.8 / -0.6     | 1240.53        |