ollama适配的glm4怎样触发function_call?

#71
by NSSSJSS - opened

请问ollama适配的glm4怎样触发function_call?

请问ollama适配的glm4怎样触发function_call?

我最近也在关注这个问题,我注意到ollama 的 function_call 是最近版本的新功能,而当时的似乎glm4并没有对此做过兼容,目前只有llama3.1支持,如果非得要用function_call 的话,可以参考一下这里的方式https://github.com/ollama/ollama/issues/5793#issuecomment-2238938100,通过构建特殊提示词的方式来实现。

Knowledge Engineering Group (KEG) & Data Mining at Tsinghua University org
edited Aug 12

我们自己有提供functioncall的方案,是vllm的,相关同事之前有和ollama沟通过,我们的eos id有三个,fc的eos 和 对话的不一样,因此没办法支持

我们自己有提供functioncall的方案,是vllm的,相关同事之前有和ollama沟通过,我们的eos id有三个,fc的eos 和 对话的不一样,因此没办法支持

fc的eos应该是这个吗?<|observation|>

Sign up or log in to comment