Update app.py

app.py

@@ -10,6 +10,7 @@ import zlib
 import numpy as np
 from urllib.parse import urlparse
 import logging
+from sklearn.preprocessing import normalize
 
 # Настройка логирования
 logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')
@@ -88,7 +89,7 @@ def setup_database():
             cur.execute("CREATE EXTENSION IF NOT EXISTS vector;")
 
             # Удаляем существующие таблицы если они есть
-            cur.execute(f"DROP TABLE IF EXISTS {embeddings_table}, {query_cache_table};")
+            # cur.execute(f"DROP TABLE IF EXISTS {embeddings_table}, {query_cache_table};")
 
             # Создаем таблицу для хранения эмбеддингов фильмов
             cur.execute(f"""
@@ -132,7 +133,8 @@ def calculate_crc32(text):
 
 def encode_string(text):
     """Кодирует строку в эмбеддинг."""
-    return model.encode(text, convert_to_tensor=True, normalize_embeddings=True)
+    embedding = model.encode(text, convert_to_tensor=True, normalize_embeddings=True)
+    return embedding.cpu().numpy()
 
 def get_movies_without_embeddings():
     """Получает список фильмов, для которых нужно создать эмбеддинги."""
@@ -168,7 +170,8 @@ def get_embedding_from_db(conn, table_name, crc32_column, crc32_value, model_nam
                        (crc32_value, model_name))
             result = cur.fetchone()
             if result and result[0]:
-                return np.array(result[0])
+                # Нормализуем эмбеддинг после извлечения из БД
+                return normalize(np.array(result[0]).reshape(1, -1))[0]
     except Exception as e:
         logging.error(f"Ошибка при получении эмбеддинга из БД: {e}")
     return None
@@ -176,13 +179,15 @@ def get_embedding_from_db(conn, table_name, crc32_column, crc32_value, model_nam
 def insert_embedding(conn, table_name, movie_id, embedding_crc32, string_crc32, embedding):
     """Вставляет эмбеддинг в базу данных."""
     try:
+        # Нормализуем эмбеддинг перед сохранением
+        normalized_embedding = normalize(embedding.reshape(1, -1))[0]
         with conn.cursor() as cur:
             cur.execute(f"""
                 INSERT INTO {table_name} 
                 (movie_id, embedding_crc32, string_crc32, model_name, embedding)
                 VALUES (%s, %s, %s, %s, %s)
                 ON CONFLICT (movie_id) DO NOTHING
-            """, (movie_id, embedding_crc32, string_crc32, model_name, embedding.tolist()))
+            """, (movie_id, embedding_crc32, string_crc32, model_name, normalized_embedding.tolist()))
         conn.commit()
         return True
     except Exception as e:
@@ -266,7 +271,7 @@ def get_movie_embeddings(conn):
                 # Находим название фильма по ID
                 for movie in movies_data:
                     if movie['id'] == movie_id:
-                        movie_embeddings[movie['name']] = np.array(embedding)
+                        movie_embeddings[movie['name']] = normalize(np.array(embedding).reshape(1, -1))[0]
                         break
         logging.info(f"Загружено {len(movie_embeddings)} эмбеддингов фильмов.")
     except Exception as e: