Update app.py

app.py

@@ -898,85 +898,105 @@ def get_article_content(url):
         headers = {
             'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
         }
-        response = requests.get(url, headers=headers)
+        session = requests.Session()
+        retries = Retry(total=3, backoff_factor=0.5)
+        session.mount('https://', HTTPAdapter(max_retries=retries))
+        
+        response = session.get(url, headers=headers, timeout=30)
+        response.raise_for_status()
         soup = BeautifulSoup(response.content, 'html.parser')
         
+        # 메타 데이터 추출
+        title = soup.find('meta', property='og:title') or soup.find('title')
+        title = title.get('content', '') if hasattr(title, 'get') else title.string if title else ''
+        
+        description = soup.find('meta', property='og:description') or soup.find('meta', {'name': 'description'})
+        description = description.get('content', '') if description else ''
+        
+        # 본문 추출 개선
+        article_content = ''
+        
         # 일반적인 기사 본문 컨테이너 검색
-        article_body = None
-        possible_content_elements = [
-            soup.find('article'),
-            soup.find('div', class_='article-body'),
-            soup.find('div', class_='content'),
-            soup.find('div', {'id': 'article-body'})
+        content_selectors = [
+            'article', '.article-body', '.article-content', '#article-body',
+            '.story-body', '.post-content', '.entry-content', '.content-body',
+            '[itemprop="articleBody"]', '.story-content'
         ]
         
-        for element in possible_content_elements:
-            if element:
-                article_body = element
-                break
+        for selector in content_selectors:
+            content = soup.select_one(selector)
+            if content:
+                # 불필요한 요소 제거
+                for tag in content.find_all(['script', 'style', 'nav', 'header', 'footer', 'aside']):
+                    tag.decompose()
+                
+                # 단락 추출
+                paragraphs = content.find_all(['p', 'h1', 'h2', 'h3', 'h4', 'h5', 'h6'])
+                if paragraphs:
+                    article_content = '\n\n'.join([p.get_text().strip() for p in paragraphs if p.get_text().strip()])
+                    break
         
-        if article_body:
-            # 불필요한 요소 제거
-            for tag in article_body.find_all(['script', 'style', 'nav', 'header', 'footer']):
-                tag.decompose()
-            
-            content = ' '.join([p.get_text().strip() for p in article_body.find_all('p') if p.get_text().strip()])
-        else:
-            content = ' '.join([p.get_text().strip() for p in soup.find_all('p') if p.get_text().strip()])
+        # 백업 방법: 모든 단락 추출
+        if not article_content:
+            paragraphs = soup.find_all('p')
+            article_content = '\n\n'.join([p.get_text().strip() for p in paragraphs if len(p.get_text().strip()) > 50])
+        
+        # 최종 콘텐츠 구성
+        full_content = f"Title: {title}\n\nDescription: {description}\n\nContent:\n{article_content}"
+        
+        # 텍스트 정제
+        full_content = re.sub(r'\s+', ' ', full_content)  # 연속된 공백 제거
+        full_content = re.sub(r'\n\s*\n', '\n\n', full_content)  # 연속된 빈 줄 제거
+        
+        return full_content.strip()
         
-        return content
     except Exception as e:
         return f"Error crawling content: {str(e)}"
 
-def respond(
-    url,
-    history: list[tuple[str, str]],
-    system_message,
-    max_tokens,
-    temperature,
-    top_p,
-):
+def respond(url, history, system_message, max_tokens, temperature, top_p):
     if not url.startswith('http'):
         history.append((url, "올바른 URL을 입력해주세요."))
         return history
 
     try:
-        # 기사 내용 추출
         article_content = get_article_content(url)
         
-        # 2단계 프로세스를 위한 프롬프트 구성
-        translation_prompt = f"""다음 작업을 순차적으로 수행하세요:
-
-        1단계: 번역
-        아래 영문 기사를 한국어로 정확하게 번역하세요.
-        구분선: ===번역 시작===
-        {article_content}
-        구분선: ===번역 끝===
-
-        2단계: 기사 작성
-        위의 번역된 내용을 바탕으로 새로운 한국어 기사를 작성하세요.
-        다음 형식을 반드시 준수하세요:
-        - 제목: [헤드라인]
-        - 부제: [서브헤드라인]
-        - 본문: [기사 내용]
-        - 작성 규칙:
-          * 문장은 '다.'로 끝나야 함
-          * 신문 기사 형식 준수
-          * 단락 구분을 명확히 할 것
-          * 핵심 정보를 앞부분에 배치
-          * 인용구는 따옴표로 처리
-
-        각 단계는 '===번역===', '===기사==='로 ��분하여 출력하세요.
-        """
+        translation_prompt = f"""다음 영문 기사를 한국어로 번역하고 기사를 작성해주세요.
+
+1단계: 전문 번역
+===번역 시작===
+{article_content}
+===번역 끝===
+
+2단계: 기사 작성 가이드라인
+다음 요구사항에 따라 한국어 기사를 작성하세요:
+
+1. 구조
+- 헤드라인: 핵심 내용을 담은 강력한 제목
+- 부제목: 헤드라인 보완 설명
+- 리드문: 기사의 핵심을 요약한 첫 문단
+- 본문: 상세 내용 전개
+
+2. 작성 규칙
+- 객관적이고 정확한 사실 전달
+- 문장은 '다.'로 종결
+- 단락 간 자연스러운 흐름
+- 인용구는 따옴표 처리
+- 핵심 정보를 앞부분에 배치
+- 전문 용어는 적절한 설명 추가
+
+3. 형식
+- 적절한 단락 구분
+- 읽기 쉬운 문장 길이
+- 논리적인 정보 구성
+
+각 단계는 '===번역===', '===기사==='로 명확히 구분하여 출력하세요.
+"""
 
         messages = [
             {
-                "role": "system", 
-                "content": """당신은 전문 번역가이자 기자입니다. 
-                모든 작업은 반드시 다음 두 단계로 진행하고, 각 단계를 명확히 구분하여 출력해야 합니다:
-                1. 원문 번역: ===번역=== 표시 후 정확한 한국어 번역 제공
-                2. 기사 작성: ===기사=== 표시 후 번역본을 기반으로 한국어 뉴스 기사 작성
-                두 단계를 건너뛰거나 통합하지 말고 반드시 순차적으로 진행하세요."""
+                "role": "system",
+                "content": system_message
             },
             {"role": "user", "content": translation_prompt}
         ]
@@ -984,8 +1004,6 @@ def respond(
         history.append((url, "번역 및 기사 작성을 시작합니다..."))
         
         full_response = ""
-        current_section = ""
-        
         for message in client.chat.completions.create(
             model="CohereForAI/c4ai-command-r-plus-08-2024",
             max_tokens=max_tokens,
@@ -998,11 +1016,6 @@ def respond(
                 token = message.choices[0].delta.content
                 if token:
                     full_response += token
-                    # 섹션 구분자 확인 및 포맷팅
-                    if "===번역===" in token or "===기사===" in token:
-                        current_section = token.strip()
-                        full_response += "\n\n"
-                    
                     history[-1] = (url, full_response)
                     yield history