Update main.py

main.py

@@ -424,8 +424,11 @@ async def start():
     
     if chatProfile[1] == 'ROMESKILLS':
         contextChat = await homeRome()
+        categorie = cl.user_session.set("categorie", os.environ['PINECONE_API_KEYROME'])
     else:
         contextChat = await homeEsco()
+        categorie = cl.user_session.set("categorie", os.environ['PINECONE_API_KEYESCO'])
+    
     os.environ['HUGGINGFACEHUB_API_TOKEN'] = os.environ['HUGGINGFACEHUB_API_TOKEN']
     repo_id = "mistralai/Mistral-7B-Instruct-v0.3"
 
@@ -460,44 +463,59 @@ async def start():
 async def construction_NCS(competenceList):
     context = await contexte(competenceList)
     emploisST = context.to_string(index = False)
-    romeListArray = cl.user_session.get("codeRomeArray")
-    ficheClesMetier = await document_chiffres_cles_emplois("https://dataemploi.francetravail.fr/metier/chiffres-cles/NAT/FR/", romeListArray)
-    contentChatBot = str(emploisST).replace('[','').replace(']','').replace('{','').replace('}','') + ficheClesMetier
-    cl.user_session.set("contextChatBot", contentChatBot[0:28875])
-    finals_df = context[['intitule','typeContratLibelle','experienceLibelle','competences','description','qualitesProfessionnelles','salaire','lieuTravail','formations']].copy()
-    listEmplois = finals_df.values.tolist()
-    stringEmplois = ''
-    for i in range(0,len(listEmplois)):
-        stringEmplois += "\n✔️ Emploi : " + str(listEmplois[i][0]) + ";\n◉ Contrat : " + str(listEmplois[i][1]) + ";\n◉ Compétences professionnelles : " + str(listEmplois[i][3]) + ";\n" + "◉ Salaire : " + str(listEmplois[i][6]) + ";\n◉ Qualification : " + str(listEmplois[i][5]).replace("'libelle'","\n• 'libelle") + ";\n◉ Localisation : " + str(listEmplois[i][7]) + ";\n◉ Expérience : " + str(listEmplois[i][2]) + ";\n◉ Niveau de qualification : " + str(listEmplois[i][8]) + ";\n◉ Description de l'emploi : " + str(listEmplois[i][4]) + "\n"
-    await cl.sleep(1)
-    listEmplois_name = f"Liste des emplois"
-    text_elements = []
-    text_elements.append(
-        cl.Text(content="Question : " + competenceList + "\n\nRéponse :\n" + stringEmplois.replace('[','').replace(']','').replace('{','').replace('}','').replace("'code'","\n• 'code'"), name=listEmplois_name)
-    )
-    await cl.Message(author="Datapcc : 🌐🌐🌐",content="👨‍💼 Source France Travail : " + listEmplois_name, elements=text_elements).send()
-    await cl.sleep(1)
-    listClesMetier_name = f"Chiffres clés des emplois"
-    text_ClesMetier = []
-    text_ClesMetier.append(
-        cl.Text(content="Question : " + competenceList + "\n\nRéponse :\n" + ficheClesMetier, name=listClesMetier_name)
-    )
-    await cl.Message(author="Datapcc : 🌐🌐🌐",content="📈 Source France Travail : " + listClesMetier_name, elements=text_ClesMetier).send()
-    await cl.sleep(1)
-    datavizChiffresClesMetiers = [
-        cl.Action(name="datavizChiffresClesMetiers", value=str(romeListArray), description="Afficher la datavisualisation des chiffres clés des métiers")
-    ]
-    await cl.Message(author="Datapcc : 🌐🌐🌐",content="📊 Afficher la datavisualisation des chiffres clés des métiers", actions=datavizChiffresClesMetiers).send()
-    await cl.sleep(1)
-    codeArray = romeListArray
-    ficheMetiers = []
-    for i in range(0,len(codeArray)):
-        ficheMetiers = [
-            cl.File(name= "Fiche métier " + codeArray[i],url="https://www.soi-tc.fr/assets/fiches_pe/FEM_" + codeArray[i] + ".pdf",display="inline",)
+    if chatProfile[1] == 'ROMESKILLS':
+        romeListArray = cl.user_session.get("codeRomeArray")
+        ficheClesMetier = await document_chiffres_cles_emplois("https://dataemploi.francetravail.fr/metier/chiffres-cles/NAT/FR/", romeListArray)
+        contentChatBot = str(emploisST).replace('[','').replace(']','').replace('{','').replace('}','') + ficheClesMetier
+        finals_df = context[['intitule','typeContratLibelle','experienceLibelle','competences','description','qualitesProfessionnelles','salaire','lieuTravail','formations']].copy()
+        listEmplois = finals_df.values.tolist()
+        stringEmplois = ''
+        for i in range(0,len(listEmplois)):
+            stringEmplois += "\n✔️ Emploi : " + str(listEmplois[i][0]) + ";\n◉ Contrat : " + str(listEmplois[i][1]) + ";\n◉ Compétences professionnelles : " + str(listEmplois[i][3]) + ";\n" + "◉ Salaire : " + str(listEmplois[i][6]) + ";\n◉ Qualification : " + str(listEmplois[i][5]).replace("'libelle'","\n• 'libelle") + ";\n◉ Localisation : " + str(listEmplois[i][7]) + ";\n◉ Expérience : " + str(listEmplois[i][2]) + ";\n◉ Niveau de qualification : " + str(listEmplois[i][8]) + ";\n◉ Description de l'emploi : " + str(listEmplois[i][4]) + "\n"
+        await cl.sleep(1)
+        listEmplois_name = f"Liste des emplois"
+        text_elements = []
+        text_elements.append(
+            cl.Text(content="Question : " + competenceList + "\n\nRéponse :\n" + stringEmplois.replace('[','').replace(']','').replace('{','').replace('}','').replace("'code'","\n• 'code'"), name=listEmplois_name)
+        )
+        await cl.Message(author="Datapcc : 🌐🌐🌐",content="👨‍💼 Source France Travail : " + listEmplois_name, elements=text_elements).send()
+        await cl.sleep(1)
+        listClesMetier_name = f"Chiffres clés des emplois"
+        text_ClesMetier = []
+        text_ClesMetier.append(
+            cl.Text(content="Question : " + competenceList + "\n\nRéponse :\n" + ficheClesMetier, name=listClesMetier_name)
+        )
+        await cl.Message(author="Datapcc : 🌐🌐🌐",content="📈 Source France Travail : " + listClesMetier_name, elements=text_ClesMetier).send()
+        await cl.sleep(1)
+        datavizChiffresClesMetiers = [
+            cl.Action(name="datavizChiffresClesMetiers", value=str(romeListArray), description="Afficher la datavisualisation des chiffres clés des métiers")
         ]
-        await cl.Message(
-            author="Datapcc : 🌐🌐🌐", content="[Fiches métiers] 🔗", elements=ficheMetiers
-        ).send()
+        await cl.Message(author="Datapcc : 🌐🌐🌐",content="📊 Afficher la datavisualisation des chiffres clés des métiers", actions=datavizChiffresClesMetiers).send()
+        await cl.sleep(1)
+        codeArray = romeListArray
+        ficheMetiers = []
+        for i in range(0,len(codeArray)):
+            ficheMetiers = [
+                cl.File(name= "Fiche métier " + codeArray[i],url="https://www.soi-tc.fr/assets/fiches_pe/FEM_" + codeArray[i] + ".pdf",display="inline",)
+            ]
+            await cl.Message(
+                author="Datapcc : 🌐🌐🌐", content="[Fiches métiers] 🔗", elements=ficheMetiers
+            ).send()
+    else:
+        contentChatBot = str(emploisST).replace('[','').replace(']','').replace('{','').replace('}','')
+        finals_df = context[['intitule','typeContratLibelle','experienceLibelle','competences','description','qualitesProfessionnelles','salaire','lieuTravail','formations']].copy()
+        listEmplois = finals_df.values.tolist()
+        stringEmplois = ''
+        for i in range(0,len(listEmplois)):
+            stringEmplois += "\n✔️ Emploi : " + str(listEmplois[i][0]) + ";\n◉ Contrat : " + str(listEmplois[i][1]) + ";\n◉ Compétences professionnelles : " + str(listEmplois[i][3]) + ";\n" + "◉ Salaire : " + str(listEmplois[i][6]) + ";\n◉ Qualification : " + str(listEmplois[i][5]).replace("'libelle'","\n• 'libelle") + ";\n◉ Localisation : " + str(listEmplois[i][7]) + ";\n◉ Expérience : " + str(listEmplois[i][2]) + ";\n◉ Niveau de qualification : " + str(listEmplois[i][8]) + ";\n◉ Description de l'emploi : " + str(listEmplois[i][4]) + "\n"
+        await cl.sleep(1)
+        listEmplois_name = f"Liste des emplois"
+        text_elements = []
+        text_elements.append(
+            cl.Text(content="Question : " + competenceList + "\n\nRéponse :\n" + stringEmplois.replace('[','').replace(']','').replace('{','').replace('}','').replace("'code'","\n• 'code'"), name=listEmplois_name)
+        )
+        await cl.Message(author="Datapcc : 🌐🌐🌐",content="👨‍💼 Source France Travail : " + listEmplois_name, elements=text_elements).send()
+    cl.user_session.set("contextChatBot", contentChatBot[0:28875])
     
     await datavisualisation_statistiques_emplois(context)
     
@@ -509,20 +527,14 @@ async def recuperation_contexte(getNote):
     return getNote + " :\n" + getContext
 @cl.step(type="retrieval")
 async def contexte(competence):
-    results = await creation_liste_code_Rome(competence)
+    if chatProfile[1] == 'ROMESKILLS':
+        results = await creation_liste_code_Rome(competence, cl.user_session.get("categorie"))
+    else:
+        results = await creation_liste_skills_Esco(competence, cl.user_session.get("categorie"))
     await cl.sleep(1)
     romeListArray = cl.user_session.get("codeRomeArray")
     df_emplois = await API_France_Travail(romeListArray)
-    #await cl.sleep(1)
-    #for j in range(0, len(romeListArray)):
-    #    table = await datavisualisation_chiffres_cles_emplois("https://dataemploi.pole-emploi.fr/metier/chiffres-cles/NAT/FR/" + romeListArray[j])
-    #    plot_demandeur = plotDemandeur(htmlToDataframe(table[0]), romeListArray[j])
-    #    if len(table[1]) > 0:
-    #        plot_salaire = plotSalaire(htmlToDataframe(table[1]))
-    #    plot_difficulte = plotDifficulte(htmlToDataframe(table[2]))
-    #    plot_repartitionContrat = plotRepartition(htmlToDataframe(table[3]), "Répartition des embauches du métier : type de contrat")
-    #    plot_repartitionEntreprise = plotRepartition(htmlToDataframe(table[4]), "Répartition des embauches du métier : type entreprise")
-        
+    
     return df_emplois
 
 @cl.step(type="tool")
@@ -703,16 +715,16 @@ async def API_France_Travail(romeListArray):
     results = []
     for k in romeListArray:
       params = {"motsCles": k,'minCreationDate': dt_to_str_iso(start_dt),'maxCreationDate': dt_to_str_iso(end_dt),'range':'0-149'}
-      search_on_big_data = client.search(params=params)
-      results += search_on_big_data["resultats"]
+      try:
+          search_on_big_data = client.search(params=params)
+          results += search_on_big_data["resultats"]
     results_df = pd.DataFrame(results)
     return results_df
     
 @cl.step(type="tool")
-async def creation_liste_code_Rome(competence):
-    os.environ['PINECONE_API_KEYROME'] = os.environ['PINECONE_API_KEYROME']
+async def creation_liste_code_Rome(competence, categorie):
     docsearch = await connexion_catalogue_Rome()
-    retrieve_comp = docsearch.similarity_search(competence, k=30, filter={"categorie": {"$eq": os.environ['PINECONE_API_KEYROME']}})
+    retrieve_comp = docsearch.similarity_search(competence, k=30, filter={"categorie": {"$eq": categorie}})
     retrieve = pd.DataFrame(retrieve_comp)
     codeRome = []
     competence = []
@@ -761,7 +773,62 @@ async def creation_liste_code_Rome(competence):
                 arrayCodeRome = stringCodeRome.split(',')
             else:
                 arrayCodeRome = codeRome_list
-                await cl.Message(author="Datapcc : 🌐🌐🌐",content="Votre ssaisie est erronée. Nous continuons l'action avec les codes Rome sélectionnés automatiquement pour vous : " + codeRome_list).send()
+                await cl.Message(author="Datapcc : 🌐🌐🌐",content="Votre saisie est erronée. Nous continuons l'action avec les codes Rome sélectionnés automatiquement pour vous : " + codeRome_list).send()
+            cl.user_session.set("codeRomeArray", arrayCodeRome)
+
+@cl.step(type="tool")
+async def creation_liste_skills_Esco(competence, categorie):
+    docsearch = await connexion_catalogue_Rome()
+    retrieve_comp = docsearch.similarity_search(competence, k=40, filter={"categorie": {"$eq": categorie}})
+    retrieve = pd.DataFrame(retrieve_comp)
+    codeRome = []
+    competence = []
+    metier = []
+    for i in range(0,len(retrieve_comp)):
+        competence.append(retrieve_comp[i].metadata['compétence'])
+        description_competence.append(retrieve_comp[i].metadata['description_compétence'])
+        metier.append(retrieve_comp[i].metadata['métier'])
+        description_metier.append(retrieve_comp[i].metadata['description_métier'])
+
+    results_df = pd.DataFrame({'compétence': competence,'description_compétence': description_competence, 'métier': metier, 'description_métier': description_metier})
+    arrayresults = results_df.values.tolist()
+    displayresults = '| Compétence | Description Compétence | Métier | Description Métier |\n| -------- | ------- | ------- | ------- |'
+    for j in range(0, len(arrayresults)):
+        displayresults += '\n| ' + arrayresults[j][0] + ' | ' + arrayresults[j][1] + ' | ' + arrayresults[j][2] + ' | ' + arrayresults[j][3] + ' |'
+    
+    await cl.Message(author="Datapcc : 🌐🌐🌐",content="Voici le résultat de la recherche sémantique sur la classification ESCO :\n" + displayresults).send()
+            
+    results_df = results_df.drop_duplicates(subset=["métier"])
+    results_df = results_df.head(10)
+    codeRomeString = results_df["métier"].to_string(index = False)
+    codeRome_list = results_df["métier"].tolist()
+    actionRome = await cl.AskActionMessage(
+        content="Etes-vous d'accord avec la sélection des 10 métiers automatiques pour compléter la liste des compétences avec celles attendues sur le marché du travail? :\n" + codeRomeString,
+        actions=[
+            cl.Action(name="continue", value="Offres d'emploi en temps réel", label="✅ Oui, je veux continuer vers l'extraction en temps réel des offres d'emploi"),
+            cl.Action(name="cancel", value="Saisie des codes Rome", label="❌ Non, je veux saisir ma liste de métiers, séparés par des points-virgules"),
+        ], timeout=3600
+    ).send()
+    if actionRome and actionRome.get("name") == "continue":
+        await cl.Message(
+            content="Connexion à France Travail, et récupération des offres d'emploi",
+        ).send()
+        cl.user_session.set("codeRomeArray", codeRome_list)
+    else:
+        actionsaisierome = await cl.AskUserMessage(content="Saisissez vos métiers dans le prompt? ⚠️ Attention, indiquez seulement des métiers séparés par des points-virgules", timeout=3600).send()
+        if actionsaisierome:
+            await cl.Message(
+                content=f"Votre saisie est : {actionsaisierome['output']}",
+            ).send()
+            stringCodeRome = actionsaisierome['output']
+            stopWords = [';']
+            teststringCodeRome = [ele for ele in stopWords if(ele in stringCodeRome)]
+            teststringCodeRome = bool(teststringCodeRome)
+            if teststringCodeRome == False:
+                arrayCodeRome = stringCodeRome.split(';')
+            else:
+                arrayCodeRome = codeRome_list
+                await cl.Message(author="Datapcc : 🌐🌐🌐",content="Votre saisie est erronée. Nous continuons l'action avec les métiers sélectionnés automatiquement pour vous : " + codeRome_list).send()
             cl.user_session.set("codeRomeArray", arrayCodeRome)
     
 @cl.step(type="tool")