int4-gguf推理很容易出现重复现象
1、将下载的a和b文件合并成一个文件
cat qwen1_5-110b-chat-q4_0.gguf.* > qwen1_5-110b-chat-q4_0.gguf
2、使用的ollama部署server服务；
3、请求入参：
{
"model": "qwen110b",
"messages": [
{
"role": "user",
"content": "有个问题一直困扰着我，为什么别人都是用嘴吃饭，而我却用筷子？"
}
],
"stream": false,
"options": {
"seed": 444,
"temperature": 0.3,
"repeat_penalty": 0.2,
"num_predict": 512,
"num_ctx":4096
}
}
出参：
{
"model": "qwen110b",
"created_at": "2024-04-30T09:20:45.815266957Z",
"message": {
"role": "assistant",
"content": "用筷子吃饭，而别人用嘴吃饭，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我我，我我"
},
"done": true,
"total_duration": 416142538820,
"load_duration": 445310,
"prompt_eval_count": 25,
"prompt_eval_duration": 8290608000,
"eval_count": 512,
"eval_duration": 388943886000
}