add tool cals model

.env.local.template

@@ -19,8 +19,28 @@ OPENID_SCOPES="openid profile" # Add "email" for some providers like Google that
 OPENID_PROVIDER_URL=https://huggingface.co # for Google, use https://accounts.google.com
 
 PUBLIC_APP_DESCRIPTION="This is a prompt system compliance test of the latest 7b model in development at BSC, code name Salamandra. No personal information is saved."
-COMMUNITY_TOOLS=false
-TOOLS=`[]`
+COMMUNITY_TOOLS=true
+ENABLE_ASSISTANTS=true
+TOOLS=`[
+  {
+    "name": "getContext",
+    "description": "Return relevant documents from the Entitat Autònoma del Diari Oficial i de Publicacions (EADOP).",
+    "color": "red",
+    "icon": "chat",
+    "baseUrl": "BSC-LT/VECTOR_STORE_EADOP",
+    "endpoint": "/get-eadop-rag",
+    "outputComponent": "textbox",
+    "displayName":"RAG EADOP",
+    "outputComponentIdx": 0,
+    "inputs":[
+        {"name":"prompt", "paramType":"required", "type":"str"},
+        { name: 'num_chunks', paramType: 'fixed', value: '2', type: 'float' }
+    ],
+    "_id": "5f2c1b9d8a9a4d3b6a7f9e2c",
+    "showOutput": true
+  }
+]`
+
 # 'name', 'userMessageToken', 'assistantMessageToken' are required
 MODELS=`[
   {
@@ -55,6 +75,38 @@ MODELS=`[
     "extraBody":{
       "presence_penalty":-0.9
     }
+  },
+  {
+    "name": "BSC-LT/salamandra-7b-instruct_tools",
+    "promptExamples": [
+      {
+        "title": "How does an airplane produce lift?",
+        "prompt": "How does an airplane produce lift in order to fly?"
+      }, {
+        "title": "¿Qué és un meme?",
+        "prompt": "¿Qué és un meme y qué historia hay detrás del nombre?"
+      }, {
+        "title": "Resumeix una notícia",
+        "prompt": "Resumeix aquesta notícia en menys de 20 paraules: 'Tropes de l’exèrcit d’Israel han començat aquesta matinada la invasió del Líban, en una maniobra anticipada pels atacs de les darreres hores, tant a la capital, Beirut, com a la zona sud del país. Les tropes han començat a travessar la frontera internacional a les dues de la matinada, hora libanesa. Segons l’exèrcit israelià és una 'operació limitada' que pretén eliminar l’Hesbol·là, molt actiu en aquesta zona. Ara com ara, l’exèrcit libanès ha optat per recloure les tropes dins les casernes, a fi d’evitar un conflicte directe entre tots dos exèrcits. El Llevant podria entrar en una guerra regional de conseqüències impossibles de preveure. L’exèrcit israelià ha confirmat que les operacions havien estat aprovades pel gabinet de guerra, que ahir es va reunir fins tard. En un comunicat oficial ha avisat que l’artilleria i l’aviació es mantindrien actives en suport de les tropes que ja han travessat la frontera.' "
+      }
+    ],
+    "tools": true,
+    "endpoints": [
+      {
+        "type": "openai",
+        "baseURL": "${BASEURL_SALAMANDRA_TOOLS}/v1",
+        "apiKey": "${HF_TOKEN}"
+      }
+    ],
+    "parameters": {
+      "temperature": 0.4,
+      "repetition_penalty": 2,
+      "max_new_tokens": 1000,
+      "stop":["<|im_end|>"]
+    },
+    "extraBody":{
+      "presence_penalty":-0.9
+    }
   }
 ]`
 #Repetition penality = presence_penalty + 2

Dockerfile

@@ -30,6 +30,7 @@ ADD defaults /defaults
 RUN chmod -R 777 /defaults
 RUN --mount=type=secret,id=MONGODB_URL,mode=0444 \
     --mount=type=secret,id=BASEURL,mode=0444 \
+    --mount=type=secret,id=BASEURL_SALAMANDRA_TOOLS,mode=0444 \
     --mount=type=secret,id=HF_TOKEN,mode=0444 \
     export MODEL_NAME="${MODEL_NAME:=$(cat /defaults/MODEL_NAME)}" \
     && export MODEL_PROMPT_TEMPLATE="${MODEL_PROMPT_TEMPLATE:=$(cat /defaults/MODEL_PROMPT_TEMPLATE)}" \
@@ -37,6 +38,7 @@ RUN --mount=type=secret,id=MONGODB_URL,mode=0444 \
     && export APP_NAME="${APP_NAME:=$(cat /defaults/APP_NAME)}" \
     && export MONGODB_URL=$(cat /run/secrets/MONGODB_URL | grep '^') \
     && export BASEURL=$(cat /run/secrets/BASEURL | grep '^') \
+    && export BASEURL_SALAMANDRA_TOOLS=$(cat /run/secrets/BASEURL_SALAMANDRA_TOOLS | grep '^') \
     && export HF_TOKEN=$(cat /run/secrets/HF_TOKEN | grep '^') \
     && envsubst < ".env.local.template" > ".env.local" \
     && rm .env.local.template