Update app.py

app.py

@@ -1,42 +1,44 @@
 import gradio as gr
 import requests
 import os
+import spaces 
 
-API_URL = "https://api-inference.huggingface.co/models/gpt2"
+
+API_URL = "https://api-inference.huggingface.co/models/meta-llama/Meta-Llama-3-8B-Instruct"
 api_token = os.environ.get("TOKEN")
 headers = {"Authorization": f"Bearer {api_token}"}
-
+@spaces.GPU
 def query(payload):
     response = requests.post(API_URL, headers=headers, json=payload)
     return response.json()
 
-def reponse(question):
-    # Créez un prompt qui force le modèle à choisir entre Oui et Non
-    prompt = {question}
-    
-   # Configurez les paramètres pour forcer une réponse courte
+def generate_response(prompt):
     payload = {
         "inputs": prompt,
         "parameters": {
-            "max_new_tokens": 1,
-            "return_full_text": False,
-            "do_sample": True,
-            "top_k": 2,
-            "temperature": 0.7
+            "max_new_tokens": 100,
+            "temperature": 0.7,
+            "top_p": 0.95,
+            "do_sample": True
         }
     }
     
     response = query(payload)
     
-  
+    if isinstance(response, list) and len(response) > 0:
+        return response[0].get('generated_text', '')
+    elif isinstance(response, dict) and 'generated_text' in response:
+        return response['generated_text']
+    return "Désolé, je n'ai pas pu générer de réponse."
+
 def chatbot(message, history):
-    response = reponse(message)
+    response = generate_response(message)
     return response
 
 iface = gr.ChatInterface(
     fn=chatbot,
-    title="Chatbot Oui/Non",
-    description="Posez une question, et je répondrai par Oui ou Non."
+    title="Chatbot Meta-Llama-3-8B-Instruct",
+    description="Interagissez avec le modèle Meta-Llama-3-8B-Instruct."
 )
 
 iface.launch()