Eos 토큰은 어떤걸 써야하나요?<|endoftext|>를 써야하나요? 아니면를 써야하나요?
Llama Tokenizer와 동일하게,를 써서 학습하면 됩니다 :)
감사합니다 "< / s > "가 안보이네요..
헉 ㅋㅌㅌㅌㅋ 이거 HF 버그인것 같네요
< / s > 입니다 ㅋㅋㅋ
· Sign up or log in to comment
