部署了一下试用，非常感谢这样的工作
#2
by
WEI21321
- opened
部署了一下试用，非常感谢这样的工作
感谢您的认可！😆
我下载模型权重后，使用vllm部署，不管问什么，回答都是！！！。是什么意思
您可以试试llama factory提供的vllm部署方式，这个我试过没有问题
https://github.com/hiyouga/LLaMA-Factory?tab=readme-ov-file#deploy-with-openai-style-api-and-vllm