File size: 2,346 Bytes
019c64d |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 |
import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification
import streamlit as st
import pandas as pd
import os
model_checkpoint = 'cointegrated/rubert-tiny-toxicity'
tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)
model = AutoModelForSequenceClassification.from_pretrained(model_checkpoint)
if torch.cuda.is_available():
model.cuda()
# Сохранение весов модели
model_weights_filename = "model/rubert_tiny_toxicity_weights.pt"
torch.save(model.state_dict(), model_weights_filename)
# Сохранение весов токенизатора
tokenizer_weights_filename = "model/rubert_tiny_toxicity_tokenizer_weights.pt"
tokenizer.save_pretrained(tokenizer_weights_filename)
def text2toxicity(text, aggregate=False):
""" Calculate toxicity of a text (if aggregate=True) or a vector of toxicity aspects (if aggregate=False)"""
with torch.no_grad():
inputs = tokenizer(text, return_tensors='pt', truncation=True, padding=True).to(model.device)
proba = torch.sigmoid(model(**inputs).logits).cpu().numpy()
if isinstance(text, str):
proba = proba[0]
if aggregate:
return 1 - proba.T[0] * (1 - proba.T[-1])
return proba
"""
## Оценка степени токсичности сообщения
"""
st.image('images/toxy.png')
# Ввод предложения от пользователя
input_text = st.text_area("Введите предложение:", height=100)
# Обработка входных данных через модель
if input_text:
# Вывод результатов
my_dict = {
'Не токсичный': (text2toxicity(input_text, False))[0],
'Оскорбление': (text2toxicity(input_text, False))[1],
'Непристойность': (text2toxicity(input_text, False))[2],
'Угроза': (text2toxicity(input_text, False))[3],
'Опасный': (text2toxicity(input_text, False))[4]
}
# my_dict['index'] = 'your_index_value'
# st.write({text2toxicity(input_text, False)[0]: 'non-toxic'})
df = pd.DataFrame(my_dict, index=['вероятности'])
st.dataframe(df)
st.write(f'Вероятность токсичного комментария {text2toxicity(input_text, True)}')
|