使用哪个加速推理框架比较好？

#38

by daisr - opened Mar 22

daisr

Mar 22

用原生的代码generate不是很快，
尝试使用VLLM搭建类似openai 的server，但是报错了。
其他的框架可以吗？

Upload images, audio, and videos by dragging in the text input, pasting, or clicking here.

Tap or paste here to upload images

· Sign up or log in to comment