{ | |
"bos_token": "[BOS]", | |
"eos_token": "[EOS]", | |
"pad_token": "[PAD]", | |
"tokenizer_class": "CharTokenizer", | |
"unk_token": "[UNK]", | |
"auto_map": { | |
"AutoTokenizer": ["char_tokenizer.CharTokenizer", null] | |
} | |
} | |
{ | |
"bos_token": "[BOS]", | |
"eos_token": "[EOS]", | |
"pad_token": "[PAD]", | |
"tokenizer_class": "CharTokenizer", | |
"unk_token": "[UNK]", | |
"auto_map": { | |
"AutoTokenizer": ["char_tokenizer.CharTokenizer", null] | |
} | |
} | |