Commit
•
6ac56fc
1
Parent(s):
c8a72fe
Update README_zh.md
Browse files- README_zh.md +1 -0
README_zh.md
CHANGED
|
@@ -266,6 +266,7 @@ CUDA_VISIBLE_DEVICES=0 python demo/text_generation_base.py --model OrionStarAI/O
|
|
| 266 |
CUDA_VISIBLE_DEVICES=0 python demo/text_generation.py --model OrionStarAI/Orion-14B-Chat --tokenizer OrionStarAI/Orion-14B-Chat --prompt 你好,你叫什么名字
|
| 267 |
|
| 268 |
```
|
|
|
|
| 269 |
## 4.4. 使用vllm推理
|
| 270 |
- 工程地址<br>
|
| 271 |
https://github.com/vllm-project/vllm
|
|
|
|
| 266 |
CUDA_VISIBLE_DEVICES=0 python demo/text_generation.py --model OrionStarAI/Orion-14B-Chat --tokenizer OrionStarAI/Orion-14B-Chat --prompt 你好,你叫什么名字
|
| 267 |
|
| 268 |
```
|
| 269 |
+
<a name="vllm"></a><br>
|
| 270 |
## 4.4. 使用vllm推理
|
| 271 |
- 工程地址<br>
|
| 272 |
https://github.com/vllm-project/vllm
|