Update app.py

app.py

@@ -3,66 +3,16 @@ import requests
 import json
 import os
 from datetime import datetime, timedelta
+from bs4 import BeautifulSoup  # 웹 페이지에서 텍스트를 추출하기 위해 사용
 from huggingface_hub import InferenceClient  # LLM 사용을 위해 필요
 
+# 필요한 패키지 설치 (필요한 경우 주석을 제거하고 실행)
+# !pip install bs4 huggingface_hub
+
 # 환경 변수에서 API 키 가져오기 (API 키는 안전하게 관리되어야 합니다)
 API_KEY = os.getenv("SERPHOUSE_API_KEY")  # 본인의 SerpHouse API 키를 환경 변수로 설정하세요.
 HF_TOKEN = os.getenv("HF_TOKEN")  # Hugging Face API 토큰을 환경 변수로 설정하세요.
 
-# 국가 이름과 Google 검색에서 사용하는 국가 코드를 매핑
-COUNTRY_CODE_MAPPING = {
-    "United States": "us",
-    "United Kingdom": "uk",
-    "Canada": "ca",
-    "Australia": "au",
-    "Germany": "de",
-    "France": "fr",
-    "Japan": "jp",
-    "South Korea": "kr",
-    "China": "cn",
-    "India": "in",
-    "Brazil": "br",
-    "Mexico": "mx",
-    "Russia": "ru",
-    "Italy": "it",
-    "Spain": "es",
-    "Netherlands": "nl",
-    "Sweden": "se",
-    "Switzerland": "ch",
-    "Norway": "no",
-    "Denmark": "dk",
-    "Finland": "fi",
-    "Belgium": "be",
-    "Austria": "at",
-    "New Zealand": "nz",
-    "Ireland": "ie",
-    "Singapore": "sg",
-    "Hong Kong": "hk",
-    "Israel": "il",
-    "United Arab Emirates": "ae",
-    "Saudi Arabia": "sa",
-    "South Africa": "za",
-    "Turkey": "tr",
-    "Egypt": "eg",
-    "Poland": "pl",
-    "Czech Republic": "cz",
-    "Hungary": "hu",
-    "Greece": "gr",
-    "Portugal": "pt",
-    "Argentina": "ar",
-    "Chile": "cl",
-    "Colombia": "co",
-    "Peru": "pe",
-    "Venezuela": "ve",
-    "Thailand": "th",
-    "Malaysia": "my",
-    "Indonesia": "id",
-    "Philippines": "ph",
-    "Vietnam": "vn",
-    "Pakistan": "pk",
-    "Bangladesh": "bd"
-}
-
 MAJOR_COUNTRIES = [
     "United States", "United Kingdom", "Canada", "Australia", "Germany",
     "France", "Japan", "South Korea", "China", "India",
@@ -76,7 +26,7 @@ MAJOR_COUNTRIES = [
     "Indonesia", "Philippines", "Vietnam", "Pakistan", "Bangladesh"
 ]
 
-def search_serphouse(query, country, page=1, num_result=100):
+def search_serphouse(query, country, page=1, num_result=10):
     url = "https://api.serphouse.com/serp/live"
 
     now = datetime.utcnow()
@@ -87,7 +37,7 @@ def search_serphouse(query, country, page=1, num_result=100):
         "data": {
             "q": query,
             "domain": "google.com",
-            "loc": COUNTRY_CODE_MAPPING.get(country, "us"),  # 여기가 문제의 원인입니다
+            "loc": country,
             "lang": "en",
             "device": "desktop",
             "serp_type": "news",
@@ -98,33 +48,40 @@ def search_serphouse(query, country, page=1, num_result=100):
         }
     }
 
+    headers = {
+        "accept": "application/json",
+        "content-type": "application/json",
+        "authorization": f"Bearer {API_KEY}"
+    }
+
+    try:
+        response = requests.post(url, json=payload, headers=headers)
+        response.raise_for_status()
+        return response.json()
+    except requests.RequestException as e:
+        error_msg = f"Error: {str(e)}"
+        if response.text:
+            error_msg += f"\nResponse content: {response.text}"
+        return {"error": error_msg}
+
 def format_results_from_raw(results):
     try:
-        # 결과가 문자열인 경우 (JSON 문자열일 수 있음)
-        if isinstance(results, str):
-            try:
-                results = json.loads(results)
-            except json.JSONDecodeError:
-                return "Error: API 응답을 JSON으로 파싱할 수 없습니다.", []
+        if isinstance(results, dict) and "error" in results:
+            return "Error: " + results["error"], []
 
         if not isinstance(results, dict):
-            return f"Error: 예상치 못한 결과 형식입니다. 받은 형식: {type(results)}", []
-
-        if "error" in results:
-            return "Error: " + str(results["error"]), []
+            raise ValueError("결과가 사전 형식이 아닙니다.")
 
         # 'results' 키 내부의 구조 확인 (중첩된 'results' 처리)
         if 'results' in results:
             results_content = results['results']
-            if isinstance(results_content, dict) and 'results' in results_content:
+            if 'results' in results_content:
                 results_content = results_content['results']
                 # 'news' 키 확인
                 if 'news' in results_content:
                     news_results = results_content['news']
                 else:
                     news_results = []
-            elif isinstance(results_content, list):
-                news_results = results_content
             else:
                 news_results = []
         else:
@@ -144,7 +101,6 @@ def format_results_from_raw(results):
             image_url = result.get("img", result.get("thumbnail", ""))
 
             articles.append({
-                "index": idx,
                 "title": title,
                 "link": link,
                 "snippet": snippet,
@@ -162,7 +118,7 @@ def format_results_from_raw(results):
 def serphouse_search(query, country):
     # 페이지와 결과 수의 기본값을 설정합니다.
     page = 1
-    num_result = 100
+    num_result = 10
     results = search_serphouse(query, country, page, num_result)
     error_message, articles = format_results_from_raw(results)
     return error_message, articles
@@ -170,10 +126,19 @@ def serphouse_search(query, country):
 # LLM 설정
 hf_client = InferenceClient("CohereForAI/c4ai-command-r-plus-08-2024", token=HF_TOKEN)
 
-def summarize_article(title, snippet):
+def summarize_article(url):
     try:
-        # 기사 제목과 스니펫을 기반으로 요약 생성
-        prompt = f"다음 뉴스 제목과 요약을 바탕으로 한국어로 3문장으로 요약하세요:\n제목: {title}\n요약: {snippet}"
+        # 웹 페이지에서 텍스트 추출
+        response = requests.get(url)
+        response.raise_for_status()
+        soup = BeautifulSoup(response.text, 'html.parser')
+        # 모든 텍스트를 추출 (간단한 예시)
+        text = ' '.join([p.get_text() for p in soup.find_all('p')])
+        if not text.strip():
+            return "기사 내용을 가져올 수 없습니다."
+
+        # 요약 생성
+        prompt = f"다음 영어 기사를 한국어로 3문장으로 요약하세요:\n{text}"
         summary = hf_client.text_generation(prompt, max_new_tokens=500)
         return summary
     except Exception as e:
@@ -183,27 +148,11 @@ css = """
 footer {
     visibility: hidden;
 }
-/* 분석 버튼 스타일 개선 */
-.analyze-button {
-    background-color: #4CAF50; /* Green */
-    border: none;
-    color: white;
-    padding: 6px 12px;
-    text-align: center;
-    text-decoration: none;
-    font-size: 14px;
-    margin: 2px;
-    cursor: pointer;
-    border-radius: 4px;
-}
-.analyze-button:hover {
-    background-color: #45a049;
-}
 """
 
 # Gradio 인터페이스 구성
-with gr.Blocks(theme="Nymbo/Nymbo_Theme", css=css, title="NewsAI 서비스") as iface:
-    gr.Markdown("검색어를 입력하고 원하는 국가를 선택하면, 검색어와 일치하는 24시간 이내 뉴스를 최대 100개 출력합니다.")
+with gr.Blocks(css=css, title="NewsAI 서비스") as iface:
+    gr.Markdown("검색어를 입력하고 원하는 국가를 선택하면, 검색어와 일치하는 24시간 이내 뉴스를 최대 10개 출력합니다.")
 
     with gr.Column():
         with gr.Row():
@@ -211,85 +160,43 @@ with gr.Blocks(theme="Nymbo/Nymbo_Theme", css=css, title="NewsAI 서비스") as
             country = gr.Dropdown(MAJOR_COUNTRIES, label="국가", value="South Korea")
             search_button = gr.Button("검색")
 
-        output_table = gr.HTML()
-        summary_output = gr.Markdown(visible=False)
-
-    def search_and_display(query, country):
-        error_message, articles = serphouse_search(query, country)
-        if error_message:
-            return f"<p>{error_message}</p>", gr.update(visible=False)
-        else:
-            # 기사 목록을 HTML 테이블로 생성
-            table_html = """
-            <table border='1' style='width:100%; text-align:left;'>
-                <tr>
-                    <th>번호</th>
-                    <th>제목</th>
-                    <th>출처</th>
-                    <th>시간</th>
-                    <th>분석</th>
-                </tr>
-            """
-            for article in articles:
-                # 각 기사에 대해 버튼에 해당하는 JavaScript 코드를 삽입
-                analyze_button = f"""<button class="analyze-button" onclick="analyzeArticle('{article['index']}')">분석</button>"""
-                row = f"""
-                <tr>
-                    <td>{article['index']}</td>
-                    <td><a href="{article['link']}" target="_blank">{article['title']}</a></td>
-                    <td>{article['channel']}</td>
-                    <td>{article['time']}</td>
-                    <td>{analyze_button}</td>
-                </tr>
-                """
-                table_html += row
-            table_html += "</table>"
-
-            # JavaScript 함수 정의
-            js_code = """
-            <script>
-            function analyzeArticle(index) {
-                // Gradio의 handleFunction을 사용하여 Python 함수 호출
-                const articleData = JSON.parse(document.getElementById('articles_data').textContent);
-                const selectedArticle = articleData.find(article => article.index == index);
-                if (selectedArticle) {
-                    gradioApp().querySelector('#article_title textarea').value = selectedArticle.title;
-                    gradioApp().querySelector('#article_snippet textarea').value = selectedArticle.snippet;
-                    gradioApp().querySelector('#analyze_button').click();
-                }
-            }
-            </script>
-            """
-
-            # 기사 데이터를 JSON으로 저장하여 JavaScript에서 접근 가능하도록 함
-            articles_json = json.dumps(articles)
-
-            full_html = f"""
-            <div id="articles_data" style="display:none;">{articles_json}</div>
-            {table_html}
-            {js_code}
-            """
-
-            return full_html, gr.update(visible=True, value="")  # summary_output 초기화
-
-    def analyze_article(title, snippet):
-        summary = summarize_article(title, snippet)
-        return summary
-
-    article_title = gr.Textbox(visible=False, elem_id="article_title")
-    article_snippet = gr.Textbox(visible=False, elem_id="article_snippet")
-    analyze_button = gr.Button("분석", visible=False, elem_id="analyze_button")
-
-    search_button.click(
-        search_and_display,
-        inputs=[query, country],
-        outputs=[output_table, summary_output]
-    )
+        article_outputs = []
 
-    analyze_button.click(
-        analyze_article,
-        inputs=[article_title, article_snippet],
-        outputs=[summary_output]
-    )
-
-iface.launch(auth=("gini", "pick"))
+        def search_and_display(query, country):
+            error_message, articles = serphouse_search(query, country)
+            if error_message:
+                return gr.update(visible=True, value=error_message)
+            else:
+                # 기존 출력물 제거
+                for components in article_outputs:
+                    for component in components:
+                        component.visible = False
+                article_outputs.clear()
+
+                # 각 기사에 대해 출력 생성
+                for article in articles:
+                    with gr.Column():
+                        title = gr.Markdown(f"### [{article['title']}]({article['link']})")
+                        image = gr.Image(value=article['image_url'], visible=bool(article['image_url']), shape=(200, 150))
+                        snippet = gr.Markdown(f"**요약:** {article['snippet']}")
+                        info = gr.Markdown(f"**출처:** {article['channel']} | **시간:** {article['time']}")
+                        analyze_button = gr.Button("분석")
+                        summary_output = gr.Markdown(visible=False)
+
+                        def analyze_article(url):
+                            summary = summarize_article(url)
+                            summary_output.update(value=summary, visible=True)
+
+                        analyze_button.click(analyze_article, inputs=gr.State(article['link']), outputs=summary_output)
+
+                        article_outputs.append([title, image, snippet, info, analyze_button, summary_output])
+
+                return gr.update()
+
+        search_button.click(
+            search_and_display,
+            inputs=[query, country],
+            outputs=[]
+        )
+
+iface.launch(auth=("gini", "pick"))