README.md

metadata

language:
  - ru
  - tyv
tags:
  - language-classification
  - russian
  - tuvan
license: mit
datasets:
  - custom
metrics:
  - accuracy
widget:
  - text: >-
      В Туве приступили к разработке проектно-сметной документации новой
      котельной Шагонара
  - text: Тываның Баштыңы часкы тарылга ажылдарын дүргедедирин негээн

Language Classifier

Описание

Данная модель обучена для классификации текста на русский или тувинский язык. Модель основана на логистической регрессии и использует TF-IDF векторизацию для преобразования текста в числовые признаки. Она может быть использована для определения языка текста, что особенно полезно для многоязычных приложений.

Архитектура модели

Модель состоит из следующих компонентов:

• TF-IDF Vectorizer: Преобразует текстовые данные в векторные представления.
• Logistic Regression: Классификатор, обученный на данных, размеченных по языкам.

Использование

Вы можете использовать эту модель для определения языка текста. Пример использования:

from transformers import pipeline

# Загрузка модели и пайплайна
classifier = pipeline("text-classification", model="tuva/turu")

# Пример текстов для классификации
texts = ["В Туве приступили к разработке проектно-сметной документации новой котельной Шагонара", "Тываның Баштыңы часкы тарылга ажылдарын дүргедедирин негээн"]

# Получение предсказаний
predictions = classifier(texts)
print(predictions)