concurrent requests

app.py

@@ -4,6 +4,9 @@ from openai import OpenAI
 import os
 from dotenv import load_dotenv
 import anthropic
+import httpx
+import asyncio
+import datetime
 
 # Replace 'your_api_key_here' with your actual OpenAI API key
 # For better security, use environment variables or other secure methods to store and retrieve your API key.
@@ -111,74 +114,73 @@ puedes instalar unas pequeñas cortinas, que sean ligeras para que dejen pasar l
 por barillas estilo bambú en la barandilla, que además aportan un toque natural.\
 """
 
-def generate_article_openai(title):
-    openai_client = OpenAI(api_key=os.environ.get("OPENAI_API_KEY"))
-    completion = openai_client.chat.completions.create(
-        model="gpt-4-turbo-preview",
-        temperature=1.0,
-        messages=[
-            {"role": "system", "content": prompt},
-            {"role": "user", "content": f"Ahora que tienes tus instrucciones y referencias redacta un artículo basado en el siguiente título.\
-            Título:'{title}'.\
-            Artículo:"}
-        ],
-        
-    )
-    openai_article = completion.choices[0].message.content
-    return openai_article
-
-def generate_article_anthropic(title):    
-    anthropic_client = anthropic.Anthropic(api_key=os.environ.get("ANTHROPIC_API_KEY"))
-    message = anthropic_client.messages.create(
-        model="claude-3-sonnet-20240229",
-        max_tokens=2000,
-        temperature=1.0,
-        system=prompt,
-        messages=[
-            {"role": "user", "content": f"Ahora que tienes tus instrucciones y referencias redacta un artículo basado en el siguiente título.\
-            Título:'{title}'.\
-            Artículo:"}
-        ]
-    )
-    anthropic_article = message.content[0].text
-    return anthropic_article
+async def generate_article_openai(title):
+    api_key = os.getenv("OPENAI_API_KEY")
+    print(f"Starting OpenAI request at: {datetime.datetime.now().time()}")
+    async with httpx.AsyncClient(timeout=120.0) as client:
+        response = await client.post(
+            "https://api.openai.com/v1/chat/completions",
+            headers={
+                "Content-Type": "application/json",
+                "Authorization": f"Bearer {api_key}"
+            },
+            json={
+                "model": "gpt-3.5-turbo-0125",
+                "messages": [
+                    {"role": "system", "content": prompt},
+                    {"role": "user", "content": f"Write an article based on the title: '{title}'."}
+                ]
+            }
+        )
+        response_data = response.json()
+        print(f"OpenAI response received at: {datetime.datetime.now().time()}")
+        return response_data['choices'][0]['message']['content']
 
-def generate_articles(title):
-    openai_article =  generate_article_openai(title)
-    anthropic_article =  generate_article_anthropic(title)
-    return openai_article, anthropic_article
+async def generate_article_anthropic(title):
+    api_key = os.getenv("ANTHROPIC_API_KEY")
+    print(f"Starting Anthropic request at: {datetime.datetime.now().time()}")
+    async with httpx.AsyncClient(timeout=120.0) as client:
+        response = await client.post(
+            "https://api.anthropic.com/v1/messages",
+            headers={
+                "x-api-key": api_key,
+                "anthropic-version": "2023-06-01",
+                "Content-Type": "application/json"
+            },
+            json={
+                "model": "claude-3-sonnet-20240229",
+                "max_tokens": 2000,
+                "messages": [
+                    {"role": "user", "content": f"Write an article based on the title: '{title}'."}
+                ]
+            }
+        )
+        response_data = response.json()
+        print(f"Anthropic response received at: {datetime.datetime.now().time()}")
+        return response_data['content'][0]['text']
 
-# Define your title, description, and examples
-title = "Primera demo del asistente de redacción."
-description = "Esta demo trabaja con modelos de lenguaje previamente entrenados por Natasquad. Seleccione o escriba un título para generar un artículo, de click en el botón submit"
-examples = [
-    ["Qué hacer diferente en este verano"],
-    ["Como puedo perder esos kilitos extra"],
-    ["¿Me queda bien la ropa oscura?"]
-]
 
-# Custom CSS to center the title and description, and make the description font bigger
-css = """
-.gradio-title {
-    text-align: center;
-}
-.gradio-description {
-    text-align: center;
-    font-size: 1.5em; /* Adjust the font size as needed */
-}
-"""
+async def generate_articles(title):
+    openai_article, anthropic_article = await asyncio.gather(
+        generate_article_openai(title),
+        generate_article_anthropic(title)
+    )
+    return openai_article, anthropic_article
 
 iface = gr.Interface(
     fn=generate_articles,
     inputs=gr.Textbox(lines=2, placeholder="Enter a title here..."),
     outputs=[
-        gr.Textbox(label="OpenAI Output"),
-        gr.Textbox(label="Anthropic Output")
+        gr.Textbox(label="LLM 1 Output"),
+        gr.Textbox(label="LLM 2 Output")
     ],
-    title=title,
-    description=description,
-    examples=examples
+    title="Primera demo del asistente de redacción.",
+    description="Esta demo trabaja con modelos de lenguaje previamente entrenados por Natasquad. Seleccione o escriba un título para generar un artículo, de click en el botón submit",
+    examples=[
+        ["Qué hacer diferente en este verano"],
+        ["Como puedo perder esos kilitos extra"],
+        ["¿Me queda bien la ropa oscura?"]
+    ]
 )
 
-# Run the interface
-iface.launch()
+iface.launch()

requirements.txt

@@ -1,3 +1,4 @@
 openai
 python-dotenv
-anthropic
+anthropic
+httpx