anyscale integration

app.py

@@ -114,7 +114,7 @@ puedes instalar unas pequeñas cortinas, que sean ligeras para que dejen pasar l
 por barillas estilo bambú en la barandilla, que además aportan un toque natural.\
 """
 
-async def generate_article_openai(title):
+async def generate_article_openai(title, model):
     api_key = os.getenv("OPENAI_API_KEY")
     print(f"Starting OpenAI request at: {datetime.datetime.now().time()}")
     async with httpx.AsyncClient(timeout=120.0) as client:
@@ -125,10 +125,11 @@ async def generate_article_openai(title):
                 "Authorization": f"Bearer {api_key}"
             },
             json={
-                "model": "gpt-3.5-turbo-0125",
+                "model": model,
+                "temperature": 1.0,
                 "messages": [
                     {"role": "system", "content": prompt},
-                    {"role": "user", "content": f"Write an article based on the title: '{title}'."}
+                    {"role": "user", "content": f"Siguiendo tus instrucciones y referencias redacta un artículo basado en el siguiente título. Título:'{title}'. Artículo:"}
                 ]
             }
         )
@@ -136,7 +137,7 @@ async def generate_article_openai(title):
         print(f"OpenAI response received at: {datetime.datetime.now().time()}")
         return response_data['choices'][0]['message']['content']
 
-async def generate_article_anthropic(title):
+async def generate_article_anthropic(title, model):
     api_key = os.getenv("ANTHROPIC_API_KEY")
     print(f"Starting Anthropic request at: {datetime.datetime.now().time()}")
     async with httpx.AsyncClient(timeout=120.0) as client:
@@ -148,31 +149,60 @@ async def generate_article_anthropic(title):
                 "Content-Type": "application/json"
             },
             json={
-                "model": "claude-3-sonnet-20240229",
+                "model": model,
                 "max_tokens": 2000,
+                "temperature": 1.0,
+                "system": prompt,
                 "messages": [
-                    {"role": "user", "content": f"Write an article based on the title: '{title}'."}
+                    {"role": "user", "content": f"Siguiendo tus instrucciones y referencias redacta un artículo basado en el siguiente título. Título:'{title}'. Artículo:"}
                 ]
             }
         )
         response_data = response.json()
         print(f"Anthropic response received at: {datetime.datetime.now().time()}")
         return response_data['content'][0]['text']
+    
+async def generate_article_anyscale(title, model):
+    print(f"Starting Anyscale request at: {datetime.datetime.now().time()}")
+    api_key = os.getenv("ANYSCALE_API_KEY")
+    async with httpx.AsyncClient(timeout=120.0) as client:
+        response = await client.post(
+            "https://api.endpoints.anyscale.com/v1/chat/completions",
+            headers={
+                "Content-Type": "application/json",
+                "Authorization": f"Bearer {api_key}"
+            },
+            json={
+                "model": model,
+                "temperature": 1.0,
+                "messages": [
+                    {"role": "system", "content": prompt},
+                    {"role": "user", "content": f"Siguiendo tus instrucciones y referencias redacta un artículo basado en el siguiente título. Título:'{title}'. Artículo:"}
+                ],                
+            }
+        )
+        print(f"Anyscale response received at: {datetime.datetime.now().time()}")
+        response_data = response.json()
+        return response_data['choices'][0]['message']['content']
 
 
 async def generate_articles(title):
-    openai_article, anthropic_article = await asyncio.gather(
-        generate_article_openai(title),
-        generate_article_anthropic(title)
+    openai_article, anthropic_article, anyscale_article_1, anyscale_article_2 = await asyncio.gather(
+        generate_article_openai(title, "gpt-3.5-turbo-0125"),
+        generate_article_anthropic(title,"claude-3-sonnet-20240229"),
+        generate_article_anyscale(title, "meta-llama/Meta-Llama-3-8B-Instruct"),
+        generate_article_anyscale(title, "mistralai/Mistral-7B-Instruct-v0.1"),
     )
-    return openai_article, anthropic_article
+    return openai_article, anthropic_article, anyscale_article_1, anyscale_article_2
 
 iface = gr.Interface(
     fn=generate_articles,
     inputs=gr.Textbox(lines=2, placeholder="Enter a title here..."),
     outputs=[
         gr.Textbox(label="LLM 1 Output"),
-        gr.Textbox(label="LLM 2 Output")
+        gr.Textbox(label="LLM 2 Output"),
+        gr.Textbox(label="LLM 3 Output"),
+        gr.Textbox(label="LLM 4 Output"),
     ],
     title="Primera demo del asistente de redacción.",
     description="Esta demo trabaja con modelos de lenguaje previamente entrenados por Natasquad. Seleccione o escriba un título para generar un artículo, de click en el botón submit",