Implement retry logic for loading model

app.py

@@ -1,8 +1,36 @@
 import gradio as gr
 from huggingface_hub import login
 import os
+import time
 
 # Lấy token từ biến môi trường
 token = os.getenv("TOKEN")
+
+if token is None:
+    raise ValueError("TOKEN environment variable not set")
+
+# Đăng nhập vào Hugging Face bằng token
 login(token=token)
-gr.load("models/HuggingFaceH4/zephyr-orpo-141b-A35b-v0.1").launch()
+
+# Đảm bảo rằng tên mô hình là chính xác
+model_name = "HuggingFaceH4/zephyr-orpo-141b-A35b-v0.1"
+
+# Hàm tải mô hình với xử lý lỗi
+def load_model_with_retry(model_name, token, retries=3, delay=5):
+    for i in range(retries):
+        try:
+            demo = gr.load(f"models/{model_name}", api_key=token)
+            return demo
+        except Exception as e:
+            print(f"Error loading model (attempt {i+1}/{retries}): {e}")
+            if i < retries - 1:
+                time.sleep(delay)
+            else:
+                raise
+
+# Thử tải mô hình
+try:
+    demo = load_model_with_retry(model_name, token)
+    demo.launch()
+except Exception as e:
+    print(f"Failed to load model after multiple attempts: {e}")