Проблеми със stop token?
#1
by
3-3
- opened
Заредих модела във VLLM. Зададох въпрос, отговори добре. След това почна да повтаря до безкрай:
Може би трябва да се добави експлицитно <end_of_turn> като stop token, заедно с оригиналния <eos>, както са показали в примера в картата на модела. Т.е. в заявката към vLLM трябва да се сложи параметър:
stop_token_ids: [1, 107]