Update main.py

main.py

@@ -704,7 +704,12 @@ async def construction_NCS(romeListArray):
     #llm_chain = LLMChain(prompt=prompt, llm=client_llm)
     #completion_NCS = llm_chain.run({"question":question_p,"context":context_p}, callbacks=[StreamingStdOutCallbackHandler()])
     chain = prompt | client_llm
-    completion_NCS = chain.invoke({"question":question_p,"context":context_p})
+    #completion_NCS = chain.invoke({"question":question_p,"context":context_p})
+
+    msg = cl.Message(author="Datapcc : 🌐🌐🌐",content="")
+    for chunk in chain.stream({"question":question_p,"context":context_p}):
+        msg.stream_token(chunk)
+            
     #for s in chain.stream({"question":question_p,"context":context_p}):
     #  print(s, end="", flush=True)
     #completion_NCS = client_anthropic.messages.create(
@@ -715,12 +720,12 @@ async def construction_NCS(romeListArray):
     #        "role": 'user', "content":  f"Contexte : Vous êtes un spécialiste du marché de l'emploi en fonction du niveau de qualification, des compétences professionnelles, des compétences transversales, du salaire et de l'expérience. Vous êtes doué pour faire des analyses du système travail sur les métiers les plus demandés grâce à votre aptitude à synthétiser les informations en fonction des critères définis ci-avant. En fonction des informations suivantes et du contexte suivant seulement et strictement. Contexte : {context}. {definitions} Modèle de note sectorielle : {structure}. Réponds en langue française strictement à la question suivante en respectant strictement les données du contexte. Si vous ne pouvez pas répondre à la question sur la base des informations, dites que vous ne trouvez pas de réponse ou que vous ne parvenez pas à trouver de réponse. Essayez donc de comprendre en profondeur le contexte et répondez uniquement en vous basant sur les informations fournies. Ne générez pas de réponses non pertinentes. Si les informations du contexte sont insuffisantes, procédez à une projection sur le secteur, les entreprises et le marché de l'emploi, pour construire la note de composante sectorielle. Question : {question}"
     #    }]
     #)
-    await cl.sleep(2)
-    await cl.Message(
-        author="Datapcc : 🌐🌐🌐",content="Note de composante sectorielle de(s) code(s) ROME : " + romeListArray[0] + "\n\n" + completion_NCS
-    ).send()
-    cl.user_session.set("NCS" + romeListArray[0], completion_NCS)
-    cl.user_session.set("contextChatBot", context + "\n" + completion_NCS)
+    #await cl.sleep(2)
+    #await cl.Message(
+    #    author="Datapcc : 🌐🌐🌐",content="Note de composante sectorielle de(s) code(s) ROME : " + romeListArray[0] + "\n\n" + completion_NCS
+    #).send()
+    cl.user_session.set("NCS" + romeListArray[0], msg.content)
+    cl.user_session.set("contextChatBot", context + "\n" + msg.content)
     await cl.sleep(2)
     listEmplois_name = f"Liste des emplois"
     text_elements = []
@@ -756,12 +761,12 @@ async def construction_NCS(romeListArray):
     await cl.Message(author="Datapcc : 🌐🌐🌐",content="📚 Bibliothèque de prompts : " + listPrompts_name, elements=prompt_elements).send()
     await cl.sleep(2)
     actions = [
-        cl.Action(name="download", value=completion_NCS, description="download_note_sectorielle")
+        cl.Action(name="download", value=msg.content, description="download_note_sectorielle")
     ]
     await cl.Message(author="Datapcc : 🌐🌐🌐",content="Télécharger la note", actions=actions).send()
     await cl.sleep(2)
     saves = [
-        cl.Action(name="saveToMemory", value=completion_NCS, description="Mettre en mémoire la note")
+        cl.Action(name="saveToMemory", value=msg.content, description="Mettre en mémoire la note")
     ]
     await cl.Message(author="Datapcc : 🌐🌐🌐",content="Mettre en mémoire la note", actions=saves).send()
     await cl.sleep(2)