Update main.py

main.py

@@ -4,7 +4,7 @@ from operator import itemgetter
 from collections import Counter
 from langchain_community.document_loaders import PyPDFLoader, TextLoader
 from chainlit.types import AskFileResponse
-from langchain.text_splitter import RecursiveCharacterTextSplitter
+from langchain.text_splitter import CharacterTextSplitter, RecursiveCharacterTextSplitter
 from langchain.schema.runnable import Runnable, RunnablePassthrough, RunnableLambda
 from langchain.schema.runnable.config import RunnableConfig
 from langchain_community.embeddings import HuggingFaceEmbeddings
@@ -455,10 +455,10 @@ async def start():
         await cl.Message(f"> Bonjour {welcomeUserStr}").send()
         
         df_allcompetences = pd.read_csv('./public/referentiel_competence.csv')
-        df_allcompetences = df_allcompetences.sort_values(by=['libelle_competence'])
         df_competences = df_allcompetences[['libelle_competence']].copy()
-        competences_list = []
+        df_competences = df_competences.sort_values(by=['libelle_competence'])
         competences_list = df_competences['libelle_competence'].tolist()
+        competences_list.sort()
         competences_list.insert(0, "")
         cl.user_session.set("arraySettingsComp", competences_list)
         settings = await cl.ChatSettings(
@@ -483,7 +483,7 @@ async def start():
             await cl.Message(author="Datapcc : 🌐🌐🌐",content="2️⃣ Puis sélectionnez ou saisissez une compétence ou des objectifs pédagogiques. Et vous êtes prêt!\n\n🔗 Plateforme de feedback et de fil d'activité : https://cloud.getliteral.ai/").send()
     contextChat = cl.user_session.get("contextChatBot")
     if not contextChat:
-        contextChat = "Il n'y a pas de contexte."
+        contextChat = df_competences.to_string(index = False)
     os.environ['HUGGINGFACEHUB_API_TOKEN'] = os.environ['HUGGINGFACEHUB_API_TOKEN']
     repo_id = "mistralai/Mistral-7B-Instruct-v0.3"
 
@@ -516,7 +516,7 @@ async def start():
 
 @literal_client.step(type="run")
 async def construction_NCS(competenceList):
-    context = await contexte(romeListArray)
+    context = await contexte(competenceList)
     emploisST = cl.user_session.get("EmploiST")
     memory = ConversationBufferMemory(return_messages=True)
     ### Mistral Completion ###
@@ -610,17 +610,19 @@ async def recuperation_contexte(getNote):
     return getNote + " :\n" + getContext
 @cl.step(type="retrieval")
 async def contexte(romeListArray):
-    results = await API_FranceTravail(romeListArray)
-    index = await vectorDatabase_connexion()
-    emplois = []
-    for i in range(0,len(results)):
-        if i == 0:
-            emplois.append("Secteur : " + searchByRome(romeListArray[0],index) + " " + romeListArray[1])
-        else:
-            emplois.append("\nEmploi : " + results[i]['intitule'] + "; Contrat : " + results[i]['typeContrat'] + "; Compétences professionnelles : " + arrayToString(results[i]['competences']) if listToString(results[i]).find("'competences':")!=-1 else "; " + "Salaire : " + listToString(results[i]['salaire']) + "; Qualification : " + results[i]['qualificationLibelle'] if listToString(results[i]).find("'qualificationLibelle':")!=-1 else "; " + "; Localisation : " + listToString(results[i]['lieuTravail']) + "; Entreprise : " + listToString(results[i]['entreprise']['nom']) if listToString(results[i]['entreprise']).find("'nom':")!=-1 else "; ")
-    emplois_list = ''.join(emplois)
-    context = emplois_list.replace('[','').replace(']','').replace('{','').replace('}','')
-    #ficheMetier = await Fiche_metier("https://www.soi-tc.fr/assets/fiches_pe/FEM_", romeListArray[0])
+    #results = await API_FranceTravail(romeListArray)
+    results = await creation_liste_code_Rome_et_emplois(romeListArray)
+    results_df = results[1]
+    finals = results_df[['intitule','typeContratLibelle','experienceLibelle','competences','qualitesProfessionnelles','salaire','lieuTravail','formations','description']].copy()
+    finals["lieuTravail"] = finals["lieuTravail"].apply(lambda x: x['libelle']).apply(lambda x: x[0:3]).apply(lambda x: x.strip())
+    emplois = results_df.values.tolist()
+
+    listEmplois = []
+    for i in range(0,len(emplois)):
+        listEmplois.append("\nEmploi : " + emplois[i][0] + "; Contrat : " + emplois[i][1] + "; Compétences professionnelles : " + arrayToString(emplois[i][3]) + "; " + "Salaire : " + listToString(emplois[i][5]) + "; Qualification : " + emplois[i][4] + "; Localisation : " + emplois[i][6] + "; Expérience : " + emplois[i][2] + "; Niveau de qualification : " + listToString(emplois[i][7]) + "; Description de l'emploi : " + listToString(emplois[i][8]))
+    #emplois_list = results[0]
+    #context = emplois_list.replace('[','').replace(']','').replace('{','').replace('}','')
+    context = listEmplois
     ficheMetier = await FicheMetier("https://candidat.francetravail.fr/metierscope/fiche-metier/", romeListArray[0])
     ficheClesMetier = await ChiffresClesMetier("https://dataemploi.francetravail.fr/metier/chiffres-cles/NAT/FR/", romeListArray[0])
     #ficheMetiersCompetencesSavoirs = await Fiche_metier_competences_savoirs(romeListArray[0])
@@ -631,83 +633,6 @@ async def contexte(romeListArray):
     #return "Liste des emplois issus de France Travail :\n" + context
     #return "\nMetier secteur contexte au travail :\n" + metierSecteurContexteTravail + "\nListe des emplois issus de France Travail :\n" + context
 @cl.step(type="tool")
-async def Metier_secteur_contexte_travail(codes):
-    payload = {
-        'grant_type': 'client_credentials',
-        'client_id': 'PAR_datalabapc_54c735e1b592af9d016cf0e45f8973082303609fc997f0821a9b308c07995251',
-        'client_secret': 'b968556f8b4bf2c42af42498304bab0d76edcef23ed4723bbd621ae317a6657e',
-        'scope': 'api_rome-metiersv1'
-    }
-    r = requests.post("https://entreprise.pole-emploi.fr/connexion/oauth2/access_token?realm=/partenaire", 
-        headers={"Content-Type":"application/x-www-form-urlencoded"},
-        data=payload)
- 
-    data = "[" + r.content.decode("utf-8") + "]"
-    load_json = json.loads(data)
-
-    token = next(d['access_token'] for d in load_json if d['scope'] == 'api_rome-metiersv1')
-    conn = http.client.HTTPSConnection("api.pole-emploi.io")
-
-    headers = {
-        'Authorization': "Bearer " + token,
-        'Accept': "application/json, */*"
-    }
-    dataset = ''
-    if codes.find(',') != -1:
-        codeArray = codes.split(',')
-        for i in range(0,len(codeArray)):
-            conn.request("GET", "/partenaire/rome-metiers/v1/metiers/metier/" + codeArray[i], headers=headers)
-            res = conn.getresponse()
-            data = res.read()
-            datas = data.decode("utf-8")
-            dataset += str(datas.replace('"','').replace('{','').replace('}','').replace('[','').replace(']','').replace('code','').replace('libelle','').replace(',:',', ').replace('::',':'))
-    else:
-        conn.request("GET", "/partenaire/rome-metiers/v1/metiers/metier/" + codes, headers=headers)
-        res = conn.getresponse()
-        data = res.read()
-        datas = data.decode("utf-8")
-        dataset += str(datas.replace('"','').replace('{','').replace('}','').replace('[','').replace(']','').replace('code','').replace('libelle','').replace(',:',', ').replace('::',':'))
-    return dataset
-    
-@cl.step(type="tool")
-async def Fiche_metier_competences_savoirs(codes):
-    payload = {
-        'grant_type': 'client_credentials',
-        'client_id': 'PAR_datalabapc_54c735e1b592af9d016cf0e45f8973082303609fc997f0821a9b308c07995251',
-        'client_secret': 'b968556f8b4bf2c42af42498304bab0d76edcef23ed4723bbd621ae317a6657e',
-        'scope': 'api_rome-fiches-metiersv1'
-    }
-    r = requests.post("https://entreprise.pole-emploi.fr/connexion/oauth2/access_token?realm=/partenaire", 
-        headers={"Content-Type":"application/x-www-form-urlencoded"},
-        data=payload)
- 
-    data = "[" + r.content.decode("utf-8") + "]"
-    load_json = json.loads(data)
-    token = next(d['access_token'] for d in load_json if d['scope'] == 'api_rome-fiches-metiersv1')
-    conn = http.client.HTTPSConnection("api.pole-emploi.io")
-
-    headers = {
-        'Authorization': "Bearer " + token,
-        'Accept': "application/json, */*"
-    }
-    dataset = ''
-    if codes.find(',') != -1:
-        codeArray = codes.split(',')
-        for i in range(0,len(codeArray)):
-            conn.request("GET", "/partenaire/rome-fiches-metiers/v1/fiches-rome/fiche-metier/" + codeArray[i], headers=headers)
-            res = conn.getresponse()
-            data = res.read()
-            datas = data.decode("utf-8")
-            dataset += str(datas.replace('"','').replace('{','').replace('}','').replace('[','').replace(']','').replace('code','').replace('libelle','').replace(',:',', ').replace('::',':'))
-    else:
-        conn.request("GET", "/partenaire/rome-fiches-metiers/v1/fiches-rome/fiche-metier/" + codes, headers=headers)
-        res = conn.getresponse()
-        data = res.read()
-        datas = data.decode("utf-8")
-        dataset += str(datas.replace('"','').replace('{','').replace('}','').replace('[','').replace(']','').replace('code','').replace('libelle','').replace(',:',', ').replace('::',':'))
-    return dataset
-
-@cl.step(type="tool")
 async def FicheMetier(url, codes):
     if codes.find(',') != -1:
         all = ""
@@ -824,59 +749,88 @@ async def ChiffresClesMetier(url, codes):
     return all
 
 @cl.step(type="tool")
-async def Fiche_metier(url, codes):
-    docs = []
-    docs_string = ''
-    text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=100)
-    if codes.find(',') != -1:
-        codeArray = codes.split(',')
-        for i in range(0,len(codeArray)):
-            response = requests.get(url + codeArray[i] + '.pdf')
-            if response:
-                loader = PyPDFLoader(url + codeArray[i] + '.pdf')
-                documents = loader.load()
-                docs.append(text_splitter.split_documents(documents))
-        for j in range(0,len(docs)):
-            docs_string += docs[j][0].page_content
+async def creation_liste_code_Rome_et_emplois(competence):
+    os.environ['PINECONE_API_KEYROME'] = os.environ['PINECONE_API_KEYROME']
+    docsearch = await connexion_catalogue_Rome()
+    retrieve_comp = docsearch.similarity_search(competence, k=30, filter={"categorie": {"$eq": os.environ['PINECONE_API_KEYROME']}})
+    retrieve = pd.DataFrame(retrieve_comp)
+    codeRome = []
+    competence = []
+    metier = []
+    for i in range(0,len(retrieve_comp)):
+      codeRome.append(retrieve_comp[i].metadata['code_rome'])
+      competence.append(retrieve_comp[i].metadata['libelle_competence'])
+      metier.append(retrieve_comp[i].metadata['libelle_appellation_long'])
+
+    results_df = pd.DataFrame({'codeRome': codeRome,'competence': competence, 'metier': metier})
+    arrayresults = results_df.values.tolist()
+    displayresults = '<table border="1" cellpadding="0" cellspacing="0"><tr><td>Code Rome</td><td>Compétence</td><td>Métier</td></tr>'
+    for j in range(0, len(arrayresults)):
+        displayresults += '<tr><td>' + arrayresults[j][0] + '</td><td>' + arrayresults[j][1] + '</td><td>' + arrayresults[j][2] + '</td></tr>
+    
+    displayresults = '<table>'
+    await cl.Message(author="Datapcc : 🌐🌐🌐",content="<p>Voici le résultat de la recherche sémantique sur le catalogue Rome :</p>" + displayresult).send()
+            
+    results_df = results_df.drop_duplicates(subset=["codeRome"])
+    results_df = results_df.head(5)
+    codeRomeString = results_df["codeRome"].to_string(index = False)
+    codeRome_list = results_df["codeRome"].tolist()
+    actionRome = await cl.AskActionMessage(
+        content="Etes-vous d'accord avec la sélection des 5 codes Rome automatiques issus de la recherche sémantique ? :" + codeRomeString,
+        actions=[
+            cl.Action(name="continue", value="continue", label="✅ Oui, je veux continuer vers l'extraction en temps réel des offres d'emploi"),
+            cl.Action(name="cancel", value="cancel", label="❌ Non, je veux saisir ma liste de codes Rome, séparés par des virgules"),
+        ],
+    ).send()
+    if actionRome and actionRome.get("value") == "continue":
+        await cl.Message(
+            content="Connexion à France Travail, et récupération des offres d'emploi",
+        ).send()
+        df_emplois = await API_France_Travail(codeRome_list)
+        cl.user_session.set("codeRomeArray", codeRome_list)
     else:
-        response = requests.get(url + codes + '.pdf')
-        if response:
-            loader = PyPDFLoader(url + codes + '.pdf')
-            documents = loader.load()
-            docs = text_splitter.split_documents(documents)
-            docs_string = docs[0].page_content
-    return docs_string
+        actionsaisierome = await cl.AskUserMessage(content="Saisissez vos codes Rome dans le prompt? ⚠️ Attention, indiquez seulement des codes Rome séparés par des virgules", timeout=3600).send()
+        if actionsaisierome:
+            await cl.Message(
+                content=f"Votre saisie est : {actionsaisierome['output']}",
+            ).send()
+            stringCodeRome = actionsaisierome['output'].replace(' ','')
+            stopWords = [';','.',':','!','|']
+            teststringCodeRome = [ele for ele in stopWords if(ele in stringCodeRome)]
+            teststringCodeRome = bool(teststringCodeRome)
+            if teststringCodeRome == False:
+                arrayCodeRome = stringCodeRome.spit(',')
+            else:
+                arrayCodeRome = codeRome_list
+                await cl.Message(author="Datapcc : 🌐🌐🌐",content="Votre ssaisie est erronée. Nous continuons l'action avec les codes Rome sélectionnés automatiquement pour vous : " + codeRome_list).send()
+            df_emplois = await API_France_Travail(arrayCodeRome)
+            cl.user_session.set("codeRomeArray", arrayCodeRome)
+        
+    return df_emplois
     
 @cl.step(type="tool")
-async def vectorOFDatabase_connexion():
+async def connexion_catalogue_Rome():
     os.environ['PINECONE_API_KEY'] = os.environ['PINECONE_API_KEY']
     os.environ['PINECONE_INDEX_NAME'] = os.environ['PINECONE_INDEX_NAME']
-    os.environ['PINECONE_ENVIRONMENT'] = os.environ['PINECONE_ENVIRONMENT']
     embeddings = HuggingFaceEmbeddings()
-    docsearch = PineconeVectorStore(index_name=os.environ['PINECONE_INDEX_NAME'], embedding=embeddings)
+    docsearch = PineconeVectorStore.from_existing_index(os.environ['PINECONE_INDEX_NAME'], embeddings)
     return docsearch
     
 @cl.step(type="tool")
-async def vectorDatabase_connexion():
-    os.environ['PINECONE_API_KEYROME'] = os.environ['PINECONE_API_KEYROME']
-    pc = Pinecone(api_key=os.environ['PINECONE_API_KEYROME'])
-    index_name = "all-skills"
-    index = pc.Index(index_name)
-    
-    return index
-    
-@cl.step(type="tool")
-async def API_FranceTravail(romeListArray):
+async def API_France_Travail(romeListArray):
     client = Api(client_id=os.environ['POLE_EMPLOI_CLIENT_ID'],
                 client_secret=os.environ['POLE_EMPLOI_CLIENT_SECRET'])
     todayDate = datetime.datetime.today()
     month, year = (todayDate.month-1, todayDate.year) if todayDate.month != 1 else (12, todayDate.year-1)
     start_dt = todayDate.replace(day=1, month=month, year=year)
     end_dt = datetime.datetime.today()
-    params = {"motsCles": romeListArray[0],'lieux':'75D','minCreationDate': dt_to_str_iso(start_dt),'maxCreationDate': dt_to_str_iso(end_dt),'range':'0-149'}
-    search_on_big_data = client.search(params=params)
-    results = search_on_big_data["resultats"]
-    return results
+    results = []
+    for k in romeListArray:
+      params = {"motsCles": k,'minCreationDate': dt_to_str_iso(start_dt),'maxCreationDate': dt_to_str_iso(end_dt),'range':'0-149'}
+      search_on_big_data = client.search(params=params)
+      results += search_on_big_data["resultats"]
+    results_df = pd.DataFrame(results)
+    return [list_emplois, df_emplois]
 
 @cl.step(type="llm")
 async def IA():
@@ -919,7 +873,6 @@ async def setup_agent(settings):
         contextChat = "Il n'y a pas de contexte."
         
     os.environ['HUGGINGFACEHUB_API_TOKEN'] = os.environ['HUGGINGFACEHUB_API_TOKEN']
-    #repo_id = "mistralai/Mixtral-8x7B-Instruct-v0.1"
     repo_id = "mistralai/Mistral-7B-Instruct-v0.3"
 
     model = HuggingFaceEndpoint(