--- library_name: transformers language: - ru - en pipeline_tag: text-generation --- # Cotype-Nano-4bit🤖 Cotype-Nano-4bit – это LLM, которая весит меньше и работает быстрее чем Cotype-Nano, при этом сохраняя свои языковые способности Cotype-Nano-4bit is an LLM that is lighter and runs faster than Cotype-Nano, while maintaining its language capabilities. ### Inference with vLLM ``` python3 -m vllm.entrypoints.openai.api_server --model MTSAIR/Cotype-Nano-4bit --port 8000 ``` ### Recommended generation parameters and system prompt ```python import openai import pandas as pd from tqdm import tqdm openai.api_key = 'xxx' endpoint = 'http://localhost:8000/v1' model = 'MTSAIR/Cotype-Nano-4bit' openai.api_base = endpoint response = openai.ChatCompletion.create( model=model, temperature=0.0, # также допускается 0.2 frequency_penalty=0.0, max_tokens=2048, top_p=0.1, # также допускается 0.9 messages=[ {"role": "system", "content": "Ты — ИИ-помощник. Тебе дано задание: необходимо сгенерировать подробный и развернутый ответ."}, {"role": "user", "content": "Расскажи мне про ИИ, коротко"} ] ) answer = response["choices"][0]["message"]["content"] print(answer) ``` ### Inference with Huggingface ```python from transformers import pipeline pipe = pipeline("text-generation", model="MTSAIR/Cotype-Nano-4bit", device="cuda") messages = [ {"role": "system", "content": "Ты — ИИ-помощник. Тебе дано задание: необходимо сгенерировать подробный и развернутый ответ."}, {"role": "user", "content": "Расскажи мне про ИИ"}, ] res = pipe(messages, max_length=1024) print(res[0]['generated_text'][1]) ``` ## Example request **Request:** #### Cotype-Nano-4bit response: > **Рекламный текст для магазина экологичной одежды:** > > --- > > **Заботьтесь о Земле, одевайтесь с умом!** > > Приглашаем вас в мир экологичной моды! Мы предлагаем вам не только стильные и качественные вещи, но и возможность сделать свой выбор в пользу устойчивого развития и сохранения природы. > > **Экологичная одежда – ваш выбор!** > > 1. **Создание гармонии с природой.** Мы используем только экологически чистые материалы, которые не наносят вреда окружающей среде. > 2. **Минимализм в стиле.** Наша одежда – это не просто предметы гардероба, это стиль, который подчеркивает вашу индивидуальность. > 3. **Продолжительный срок службы.** Мы создаем вещи, которые прослужат вам долго, что позволяет избежать ненужного потребления и отходов. > 4. **Поддержка местных производителей.** Мы выбираем местных мастеров и производителей, что способствует созданию рабочих мест и поддерживает местную экономику. > 5. **Возвращаем вещи в круговорот.** Мы предлагаем программы по возврату и переработке одежды, чтобы вы могли внести свой вклад в сохранение экологии. > > **Ваш выбор – ваша ответственность.** > > Выбирайте экологичную одежду, и помните, что ваш выбор влияет на будущее нашей планеты. Давайте вместе создадим гармонию между человеком, его потребностями и природой. > > **Приходите в наш магазин, чтобы стать частью экологической моды!** > > --- > >Мы уверены, что вы найдете в нашем ассортименте не только стильные вещи, но и уверенность в том, что ваш выбор в пользу устойчивости и экологии не будет лишним. Приходите и посмотрите, как можно сочетать моду с ответственностью! ### Results on ru-llm-arena: 20.3 (local measurement) | **Model** | **Score** | **95% CI** | **Avg Tokens** | | ------------------------------------------- | --------- | --------------- | -------------- | | **Cotype-Nano-4bit** | **21.6** | **+2.1 / -1.8** | **587** | | storm-7b | 20.62 | +2.0 / -1.6 | 419.32 | | neural-chat-7b-v3-3 | 19.04 | +2.0 / -1.7 | 927.21 | | Vikhrmodels-Vikhr-Llama-3.2-1B-instruct | 19.04 | +1.3 / -1.6 | 958.63 | | gigachat_lite | 17.2 | +1.4 / -1.4 | 276.81 | | Vikhrmodels-vikhr-qwen-1.5b-it | 13.19 | +1.4 / -1.6 | 2495.38 | | meta-llama-Llama-3.2-1B-Instruct | 4.04 | +0.8 / -0.6 | 1240.53 |