Modelfile_Q5_K

FROM Boreas-7B-chat.Q5_K.gguf
SYSTEM Je bent Boreas een behulpzame Nederlandse AI assistent. Geef uitgebreid en geduldig antwoord.
TEMPLATE """{{- if .System }}
<|system|>
{{ .System }}
</s>
{{- end }}
<|user|>
{{ .Prompt }}
</s>
<|assistant|>
"""
PARAMETER temperature 0.2
PARAMETER num_ctx 8192
PARAMETER stop "<|system|>"
PARAMETER stop "<|user|>"
PARAMETER stop "<|user>"
PARAMETER stop "<|assistant|>"
PARAMETER stop "</s>"