Update app.py

app.py

@@ -2,6 +2,7 @@ import gradio as gr
 import pdfplumber
 import os
 from huggingface_hub import HfApi, InferenceClient
+import time
 
 # Thông tin Dataset và Hugging Face Token của bạn
 DATASET_REPO = "blackanAK06/chatbox-dataset"  # Tên dataset của bạn trên Hugging Face
@@ -39,7 +40,7 @@ def extract_text_from_pdf(file_path):
     return text
 
 # Hàm để xử lý câu hỏi và nội dung tệp sau khi người dùng yêu cầu
-def respond_with_file(filepath, message):
+def respond_with_file(filepath, message, max_retries=3):
     if not message:
         return "Please enter a question."
 
@@ -67,14 +68,21 @@ def respond_with_file(filepath, message):
     # Kết hợp nội dung tệp với câu hỏi để mô hình trả lời
     full_message = f"Here is the content of the file:\n{file_content}\n\nUser question: {message}"
 
-    try:
-        # Gửi yêu cầu tới mô hình GPT-Neo để tạo ra câu trả lời
-        response = client.text_generation(full_message, max_new_tokens=150, temperature=0.7)
-        generated_text = response.get('generated_text', "Error: No response generated.")
-    except Exception as e:
-        return f"Error communicating with the model: {e}"
+    # Cơ chế thử lại nếu gặp lỗi
+    for attempt in range(max_retries):
+        try:
+            # Gửi yêu cầu tới mô hình GPT-Neo để tạo ra câu trả lời
+            response = client.text_generation(full_message, max_new_tokens=150, temperature=0.7)
+            return f"{upload_message}\n\nResponse:\n{response}"
+        except Exception as e:
+            if "CANCELLED" in str(e):
+                time.sleep(2)  # Chờ 2 giây trước khi thử lại
+                continue
+            else:
+                return f"Error communicating with the model: {e}"
 
-    return f"{upload_message}\n\nResponse:\n{generated_text}"
+    # Nếu hết số lần thử mà vẫn lỗi
+    return "Request failed after several attempts. Please try again later."
 
 # Giao diện Gradio
 def interface():