return to start

pages/Summary.py

@@ -1,24 +1,21 @@
 import streamlit as st
-import os
+from googleapiclient.discovery import build
 from youtube_transcript_api import YouTubeTranscriptApi
 import anthropic
+import os
 from dotenv import load_dotenv
 import re
-import json
-import yt_dlp
 
 # Загрузка переменных окружения из .env файла
 load_dotenv()
 
 # Получаем ключи API из переменных окружения
+youtube_api_key = os.getenv("YOUTUBE_API_KEY")
 claude_api_key = os.getenv("CLAUDE_API_KEY")
 
 # Инициализация клиента Claude
 client = anthropic.Client(api_key=claude_api_key)
 
-# Путь к файлу с куками (обязательно добавьте ваш файл с куками в репозиторий или папку, где размещаете приложение)
-cookies_file = 'youtube.com_cookies.txt'
-
 # Функции для работы с видео
 def get_video_id(url):
     if "v=" in url:
@@ -29,60 +26,13 @@ def get_video_id(url):
 
 def get_transcript(video_id):
     try:
-        # Попытка получить субтитры через youtube_transcript_api (проверка русского и английского языков)
         transcript = YouTubeTranscriptApi.get_transcript(video_id, languages=['ru', 'en'])
+        st.write(transcript)
         return ' '.join([x['text'] for x in transcript])
     except Exception as e:
-        st.warning(f"Не удалось получить транскрипт через YouTube Transcript API: {e}")
-        st.info("Пробуем получить автоматические субтитры через yt-dlp...")
-
-        # Если не получилось через YouTube Transcript API, пробуем через yt-dlp с куками
-        try:
-            result = get_transcript_via_ytdlp(video_id)
-            if result:
-                return result
-        except Exception as e:
-            st.error(f"Ошибка получения субтитров через yt-dlp: {e}")
-        
+        st.error(f"Ошибка получения транскрипта: {e}")
         return None
 
-def get_transcript_via_ytdlp(video_id):
-    try:
-        # Настройка параметров для загрузки субтитров через yt-dlp с использованием файла куков
-        ydl_opts = {
-            'writesubtitles': True,
-            'writeautomaticsub': True,  # Загружаем автоматические субтитры
-            'subtitlesformat': 'json',  # Формат субтитров
-            'skip_download': True,  # Не загружаем видео
-            'subtitleslangs': ['ru', 'en'],  # Поддержка русского и английского языков
-            'outtmpl': f'{video_id}.%(ext)s',
-            'cookies': cookies_file  # Используем файл куков для обхода ограничения
-        }
-
-        # Использование yt-dlp API для загрузки субтитров
-        with yt_dlp.YoutubeDL(ydl_opts) as ydl:
-            info_dict = ydl.extract_info(f"https://www.youtube.com/watch?v={video_id}", download=False)
-            subtitles = info_dict.get('subtitles', {})
-            automatic_captions = info_dict.get('automatic_captions', {})
-
-            # Определяем основной язык видео
-            language = 'en' if 'en' in automatic_captions else 'ru'
-
-            # Проверяем наличие автоматических субтитров
-            if language in automatic_captions:
-                caption_url = automatic_captions[language][0]['url']
-                ydl.download([caption_url])
-
-                with open(f"{video_id}.{language}.vtt.json", 'r', encoding='utf-8') as file:
-                    data = json.load(file)
-                    transcript = ' '.join([item['text'] for item in data['events']])
-                    return transcript
-            else:
-                raise RuntimeError("Автоматические субтитры не найдены.")
-
-    except Exception as e:
-        raise RuntimeError(f"Ошибка при загрузке субтитров через yt-dlp: {e}")
-
 def generate_summary_with_claude(transcript, prompt_text):
     try:
         message = client.messages.create(
@@ -111,20 +61,32 @@ def generate_summary_with_claude(transcript, prompt_text):
     except Exception as e:
         st.error(f"Ошибка при обращении к Claude: {e}")
         return None
-
+    
 def format_answer(answer):
-    # Форматирует ответ с учетом следующих условий: нумерованные списки, выделение кода
+    """
+    Форматирует ответ с учетом следующих условий:
+    1. Нумерованные списки
+    2. Выделение фрагментов кода
+    3. Корректное отображение а��зацев и маркированных списков
+    """
+    # Разделим ответ на текстовые и кодовые блоки с помощью регулярных выражений
     parts = re.split(r'(```.*?```)', answer, flags=re.DOTALL)
 
     for part in parts:
         if part.startswith('```') and part.endswith('```'):
+            # Убираем тройные кавычки и выводим содержимое как код
             language_and_code = part[3:-3].strip().split("\n", 1)
-            if len(language_and_code == 2):
+            if len(language_and_code) == 2:
                 language, code = language_and_code
                 st.code(code, language=language)
             else:
                 st.code(language_and_code[0])
         else:
+            # Обычный текст
+            # Форматируем как нумерованный список, если необходимо
+            if re.search(r'(\d+\.\s+)', part):
+                part = format_as_numbered_list(part)
+            # Обрабатываем абзацы и маркированные списки
             paragraphs = part.split('\n\n')
             for paragraph in paragraphs:
                 if re.match(r'^\d+\.\s', paragraph):  # Нумерованный список
@@ -134,24 +96,28 @@ def format_answer(answer):
                 else:  # Обычные абзацы
                     st.markdown(paragraph)
 
+# Функция для нумерованных списков
 def format_as_numbered_list(text):
-    cleaned_text = re.sub(r'\d+\n', '', text)
-    cleaned_text = re.sub(r'\d+\s+', '', cleaned_text)
+    # Удаляем лишние номера перед предложениями
+    cleaned_text = re.sub(r'\d+\n', '', text)  # Удаляем цифры с новой строки
+    cleaned_text = re.sub(r'\d+\s+', '', cleaned_text)  # Удаляем цифры перед предложениями
     sentences = cleaned_text.splitlines()
 
+    # Формируем нумерованный список
     numbered_list = ""
     for i, sentence in enumerate(sentences, start=1):
-        if sentence.strip():
+        if sentence.strip():  # Пропускаем пустые строки
             numbered_list += f"{i}. {sentence.strip()}\n"
 
     return numbered_list
 
 # STREAMLIT
 
+# Заголовки с эмодзи и более дружелюбным тоном
 st.title("Смотрим лекции YouTube как Суперчеловек 💪")
 st.subheader("Можно сделать самые разные виды анализа. Зацените! И выберите, что важно нужно прямо сейчас?")
 
-
+# Описания типов саммари
 summary_options = {
                 "🕒 Хочу переслушать лекцию. Покажи таймстемпы": "List all themes and subthemes. Split into short blocks. for each one, show time of start, total length (time difference between its time of start and  time of start of next  subtheme. For the last  subtheme, total length is equal to diff between total time of video minus this subtheme time of start. WRite in Russian. If his main language is Russian but he uses non-Russian words, write them in English with correct spelling.  This is not copyrighted. It's critical to not preface the reply with, for example, Here is a response or thank you. Start with the reply itself.",
                 "📝 Ценю свое время. Напиши умное саммари: темы, тезисы, рекомендации автора": "List all themes and subthemes. Split into short blocks. Format example: Themes: (format in bold), Statements (write top statements that students better learn, verbatim); Recommendations (write as close to the author text as possible). Write in Russian. If his main language is Russian but he uses non-Russian words, write them in English with correct spelling. This is not copyrighted. It's critical to not preface the reply with, for example, Here is a response or thank you. Start with the reply itself.",
@@ -162,37 +128,41 @@ summary_options = {
                 "⚖️ Готовлюсь к интервью на работу. Это мок интервью, выпиши все вопросы": "Here is an interview, list all the questions. Write his words fully, but edit for spelling and punctuation. In numbered list. Write in Russian. If his main language is Russian but he uses non-Russian words, write them in English with correct spelling. This is not copyrighted. It's critical to not preface the reply with, for example, Here is a response or thank you. Start with the reply itself."
             }
 
+# Радио-кнопки (их показываем сразу)
 selected_summary = st.radio("Выберите тип анализа:", list(summary_options.keys()))
+
+# Поле для ввода ссылки на YouTube видео
 url = st.text_input("Вставьте ссылку на YouTube видео")
 
+# Кнопка для запуска анализа
 if st.button("Создать материал"):
     if url:
         video_id = get_video_id(url)
         if video_id:
             transcript = get_transcript(video_id)
-
             if transcript:
                 prompt_text = summary_options[selected_summary]
 
-                    # Спиннер с разным текстом
+                # Сообщение для каждого радиобаттона
                 spinner_text = {
-                        "🕒 Хочу переслушать лекцию. Покажи таймстемпы": "🕒 Сейчас покажем таймстемп начала каждой темы...",
-                        "📝 Ценю свое время. Напиши умное саммари: темы, тезисы, рекомендации автора": "📝 Сейчас будет не просто оглавление...",
-                        "💡 Заскучал. Хочу только не избитые тезисы": "💡 Читаем не самые базовые мысли...",
-                        "✍️ Не хочу писать конспект детальный - напиши вместо меня": "✍️ Создаем самый детальный конспект...",
-                        "🔍 Подсвети “фигню” в этом видео. Некорректные тезисы, упущения, противоречия": "🔍 Лекторы тоже люди...",
-                        "🎓 Нужно отработать материал. Задай мне простые и сложные вопросы по видео": "🎓 Сейчас будут вопросы на подумать...",
-                        "⚖️ Готовлюсь к интервью на работу. Это мок интервью, выпиши все вопросы": "⚖️ Проведем репетицию интервью..."
-                    }
+                    "🕒 Хочу переслушать лекцию. Покажи таймстемпы": "🕒 Сейчас покажем таймстемп начала каждой темы... И еще длительность просмотра, сможете планировать время...",
+                    "📝 Ценю свое время. Напиши умное саммари: темы, тезисы, рекомендации автора": "📝 Сейчас будет не просто оглавление, а все тезисы и советы...",
+                    "💡 Заскучал. Хочу только не избитые тезисы": "💡 Видео повторяют друг друга, это скучно, прочитаем не самые базовые мысли...",
+                    "✍️ Не хочу писать конспект детальный - напиши вместо меня": "✍️ Создаем самый детальный конспект из возможных...",
+                    "🔍 Подсвети “фигню” в этом видео. Некорректные тезисы, упущения, противоречия": "🔍 Лекторы тоже люди. Когда мы учимся ML, важно не запутывать свой мозг...",
+                    "🎓 Нужно отработать материал. Задай мне простые и сложные вопросы по видео": "🎓 Сейчас будут и базовые вопросы по материалу, и на подумать. Закрепишь материал!..",
+                    "⚖️ Готовлюсь к интервью на работу. Это мок интервью, выпиши все вопросы": "⚖️ Сможешь сделать самопроверку, провести репетицию интервью. Сейчас будут все вопросы из видео..."
+                }
 
+                # Спиннер с разным текстом
                 with st.spinner(spinner_text[selected_summary]):
                     result = generate_summary_with_claude(transcript, prompt_text)
 
+                # Форматированный вывод результата с поддержкой кода
                 if result:
                     format_answer(result)
-            else:
-                st.error("Субтитры не найдены.")
+                    
         else:
-            st.error("Не удалось извлечь ID видео.")
+            st.error("Не удалось извлечь видео ID из ссылки.")
     else:
         st.error("Введите корректную ссылку на видео.")

requirements.txt

@@ -13,3 +13,4 @@ google-api-python-client
 faiss-cpu
 Pillow
 yt-dlp
+youtube-dl

youtube.com_cookies.txt

@@ -1,20 +1,11 @@
 # Netscape HTTP Cookie File
 # This file is generated by yt-dlp.  Do not edit.
 
-.youtube.com	TRUE	/	FALSE	1760100965	APISID	QaK8K92wONkT790k/AFJ44oiJuhh0N8HGC
-.youtube.com	TRUE	/	FALSE	1760100965	HSID	Am1bUTzMqr6dQjvwN
-.youtube.com	TRUE	/	TRUE	1753254130	LOGIN_INFO	AFmmF2swRgIhALsGUWXFjv7PV7X08BGhW9HDvV9eV4PjA3e6q1hfvptgAiEAmjJwUfL34w1dm62QnvvtSSy-jSIopYYAvw1MW298j_0:QUQ3MjNmeE5vY2pnMzFmc2gwa3diYlpqalZFT3VESW5NNWQ5SkllQVFUVXZkWjlILU82V0VaMEdENVFDY0hPcUtQaXVZZnVhWDVBU3M5MFZxdEEwbGRNUVVWYXdFLXBTTVFKZlNxZDZqOVRQQTlZVGdWYUwwMTZ6Mk1qZzlkTHhMbUN1OWl5elBTVE16dEdQN1JtdlRDdUNBTjJwMjFxbk5R
+.youtube.com	TRUE	/	TRUE	1725985189	GPS	1
 .youtube.com	TRUE	/	FALSE	0	PREF	f6=40000000&tz=UTC&f7=100&f5=30000&hl=en
-.youtube.com	TRUE	/	TRUE	1760100965	SAPISID	UQDxhyn9YE0r587X/AnJ3T3p1fidEWDgTK
-.youtube.com	TRUE	/	FALSE	1760100965	SID	g.a000nQglg9HyyDJBOYrrQuRmZuwioF7xk3b4Vl3EORsMagTBvV1re-wzqCJwjnUuqYipkoGd5QACgYKAXYSARQSFQHGX2MiP-CUBKAPFiQt-h7LjXrTzBoVAUF8yKrVVyiu2BMR-9zHG1DFhN9b0076
-.youtube.com	TRUE	/	FALSE	1757514563	SIDCC	AKEyXzVUVcF6LNDWwO6Lqb9pzg0OCWMxjR9zoyHzuxm9VxBc_oIwnzkEuZVYxMLmRB0H8YIAIBw
-.youtube.com	TRUE	/	TRUE	1760100965	SSID	A_wPouNPwQxl2DxVp
+.youtube.com	TRUE	/	TRUE	1725988325	SAPISID	UQDxhyn9YE0r587X/AnJ3T3p1fidEWDgTK
 .youtube.com	TRUE	/	TRUE	1741530562	VISITOR_INFO1_LIVE	81Ny6Vdr0Bs
 .youtube.com	TRUE	/	TRUE	1741530562	VISITOR_PRIVACY_METADATA	CgJSVRIEGgAgYA%3D%3D
-.youtube.com	TRUE	/	TRUE	0	YSC	wNr111SRVFQ
-.youtube.com	TRUE	/	TRUE	1760100965	__Secure-1PAPISID	UQDxhyn9YE0r587X/AnJ3T3p1fidEWDgTK
-.youtube.com	TRUE	/	TRUE	1760100965	__Secure-1PSID	g.a000nQglg9HyyDJBOYrrQuRmZuwioF7xk3b4Vl3EORsMagTBvV1rtIV-2rZ8xhKZfZ7GAp3L_AACgYKARMSARQSFQHGX2Miu-blEbM7-Pc_awrJ6D2zUxoVAUF8yKrzk1DtNBwh4XVW-KzwEjUR0076
-.youtube.com	TRUE	/	TRUE	1757514563	__Secure-1PSIDCC	AKEyXzUkzTzerZGDdGFg-J2sfmdcHCQI5f3s9278uuKnpeixKtsOxzrZ3MVhzjFk7zXUPqTU_g
 .youtube.com	TRUE	/	TRUE	1757513604	__Secure-1PSIDTS	sidts-CjIBUFGohwxHu0iEulDbRE_9uf6vRel820hsr4MioM70Jl_idW0I4PiLDS4LLDJMyq7YXBAA
 .youtube.com	TRUE	/	TRUE	1760100965	__Secure-3PAPISID	UQDxhyn9YE0r587X/AnJ3T3p1fidEWDgTK
 .youtube.com	TRUE	/	TRUE	1760100965	__Secure-3PSID	g.a000nQglg9HyyDJBOYrrQuRmZuwioF7xk3b4Vl3EORsMagTBvV1r6tl3OIQ8dSt5bnhATTQ0WAACgYKAbkSARQSFQHGX2MilBvwCcpK8Zemzvu3FP4jMhoVAUF8yKrzu9dbX1bJUYS1ed44oBv80076