tokenizer.json 한글 인코딩
#6
by
leooj
- opened
안녕하세요 beomi님, 혹시 제가 맞게 tokenizer를 사용하고 있다면, 한글인코딩이 깨진게 아닌가 궁금합니다.
안녕하세요. BBPE 인코딩이라 해당 처럼 나오는게 정상입니다.
beomi
changed discussion status to
closed
안녕하세요 beomi님,.혹시 그렇다면 원래의 token으로 복원하는 것은 불가능한가요?