app changed

app.py

@@ -22,6 +22,9 @@ import json
 import gensim
 import torch.nn.functional as F
 
+from nltk.corpus import stopwords
+stop_words = set(stopwords.words('english'))
+
 
 st.title('10-я неделя DS. Классификация отзывов, определение токсичности и генерация текста')
 
@@ -57,8 +60,6 @@ if page == "Классификация отзывов":
         vocab_to_int = json.load(f)
 
     word2vec_model = gensim.models.Word2Vec.load("lstm/word2vec.model")
-
-    stop_words = ['и', 'в', 'во', 'не', 'что', 'он', 'на', 'я', 'с', 'со', 'как', 'а', 'то', 'все', 'она', 'так', 'его', 'но', 'да', 'ты', 'к', 'у', 'же', 'вы', 'за', 'бы', 'по', 'только', 'ее', 'мне', 'было', 'вот', 'от', 'меня', 'еще', 'нет', 'о', 'из', 'ему', 'теперь', 'когда', 'даже', 'ну', 'вдруг', 'ли', 'если', 'уже', 'или', 'ни', 'быть', 'был', 'него', 'до', 'вас', 'нибудь', 'опять', 'уж', 'вам', 'ведь', 'там', 'потом', 'себя', 'ничего', 'ей', 'может', 'они', 'тут', 'где', 'есть', 'надо', 'ней', 'для', 'мы', 'тебя', 'их', 'чем', 'была', 'сам', 'чтоб', 'без', 'будто', 'чего', 'раз', 'тоже', 'себе', 'под', 'будет', 'ж', 'тогда', 'кто', 'этот', 'того', 'потому', 'этого', 'какой', 'совсем', 'ним', 'здесь', 'этом', 'один', 'почти', 'мой', 'тем', 'чтобы', 'нее', 'сейчас', 'были', 'куда', 'зачем', 'всех', 'никогда', 'можно', 'при', 'наконец', 'два', 'об', 'другой', 'хоть', 'после', 'над', 'больше', 'тот', 'через', 'эти', 'нас', 'про', 'всего', 'них', 'какая', 'много', 'разве', 'три', 'эту', 'моя', 'впрочем', 'хорошо', 'свою', 'этой', 'перед', 'иногда', 'лучше', 'чуть', 'том', 'нельзя', 'такой', 'им', 'более', 'всегда', 'конечно', 'всю', 'между']
     
     def data_preprocessing(text: str) -> str:
         text = text.lower()
@@ -136,20 +137,15 @@ if page == "Классификация отзывов":
     model_lstm.load_state_dict(torch.load("lstm/lstm_model.pth"))
     model_lstm.eval()
 
-        # Проверка и добавление токена <UNK>, если он отсутствует
-    if '<UNK>' not in vocab_to_int:
-        vocab_to_int['<UNK>'] = len(vocab_to_int)  # Присвоение нового уникального индекса
-
-    # Проверка и добавление токена <PAD>, если он отсутствует
-    if '<PAD>' not in vocab_to_int:
-        vocab_to_int['<PAD>'] = len(vocab_to_int)  # Присвоение нового уникального индекса
-
-    def text_to_vector(text, max_length=SEQ_LEN):
+    def text_to_vector(text, max_len=SEQ_LEN, unknown_token_id=VOCAB_SIZE-1):
         words = text.split()
-        vector = [vocab_to_int.get(word, vocab_to_int["<UNK>"]) for word in words][:max_length]
-        vector += [vocab_to_int["<PAD>"]] * (max_length - len(vector))  # Дополнение вектора
-        return np.array(vector, dtype=np.int64)  # Убедитесь, что тип данных int64
+        vector = [vocab_to_int.get(word, unknown_token_id) for word in words]  
+        vector = vector[:max_len]  # Обрезка, если вектор слишком длинный
+        while len(vector) < max_len:  # Добавление паддинга, если вектор слишком короткий
+            vector.append(0)
+        return np.array(vector, dtype=np.int64)  # Указываем явный тип данных
 
+    
     def classify_review_lstm(review):
         # Векторизация отзыва
         review_vector = text_to_vector(review)
@@ -194,3 +190,4 @@ if page == "Классификация отзывов":
 # if page == "Генерация текста":
 
 
+