datacipen commited on
Commit
840e607
1 Parent(s): 384275f

Update main.py

Browse files
Files changed (1) hide show
  1. main.py +3 -3
main.py CHANGED
@@ -702,8 +702,8 @@ async def construction_NCS(romeListArray):
702
  context_p = f"Contexte : {context}. {definitions} Modèle de note sectorielle : {structure}. Réponds en langue française strictement à la question suivante en respectant strictement les données du contexte. Si vous ne pouvez pas répondre à la question sur la base des informations, dites que vous ne trouvez pas de réponse ou que vous ne parvenez pas à trouver de réponse. Essayez donc de comprendre en profondeur le contexte et répondez uniquement en vous basant sur les informations fournies. Ne générez pas de réponses non pertinentes. Si les informations du contexte sont insuffisantes, procédez à une projection sur le secteur, les entreprises et le marché de l'emploi, pour construire la note de composante sectorielle."
703
  prompt = PromptTemplate(template=template, input_variables=["question","context"])
704
  llm_chain = LLMChain(prompt=prompt, llm=client_llm)
705
- completion_NCS = llm_chain.run({"question":question_p,"context":context_p}, callbacks=[StreamingStdOutCallbackHandler()])
706
-
707
 
708
  #completion_NCS = client_anthropic.messages.create(
709
  # model="claude-3-opus-20240229",
@@ -926,7 +926,7 @@ async def IA():
926
  repo_id = "mistralai/Mixtral-8x7B-Instruct-v0.1"
927
 
928
  llm = HuggingFaceEndpoint(
929
- repo_id=repo_id, max_new_tokens=5000, temperature=0.5, streaming=True
930
  )
931
  return llm
932
 
 
702
  context_p = f"Contexte : {context}. {definitions} Modèle de note sectorielle : {structure}. Réponds en langue française strictement à la question suivante en respectant strictement les données du contexte. Si vous ne pouvez pas répondre à la question sur la base des informations, dites que vous ne trouvez pas de réponse ou que vous ne parvenez pas à trouver de réponse. Essayez donc de comprendre en profondeur le contexte et répondez uniquement en vous basant sur les informations fournies. Ne générez pas de réponses non pertinentes. Si les informations du contexte sont insuffisantes, procédez à une projection sur le secteur, les entreprises et le marché de l'emploi, pour construire la note de composante sectorielle."
703
  prompt = PromptTemplate(template=template, input_variables=["question","context"])
704
  llm_chain = LLMChain(prompt=prompt, llm=client_llm)
705
+ #completion_NCS = llm_chain.run({"question":question_p,"context":context_p}, callbacks=[StreamingStdOutCallbackHandler()])
706
+ completion_NCS = llm_chain.invoke({"question":question_p,"context":context_p})
707
 
708
  #completion_NCS = client_anthropic.messages.create(
709
  # model="claude-3-opus-20240229",
 
926
  repo_id = "mistralai/Mixtral-8x7B-Instruct-v0.1"
927
 
928
  llm = HuggingFaceEndpoint(
929
+ repo_id=repo_id, max_new_tokens=5000, temperature=0.7
930
  )
931
  return llm
932