{
"bos_token": "",
"eos_token": "",
"model_max_length": 1000000000000000019884624838656,
"name_or_path": "tokenizer",
"pad_token": "",
"padding_side": "left",
"sep_token": "",
"special_tokens_map_file": "tokenizer/special_tokens_map.json",
"tokenizer_class": "PreTrainedTokenizerFast",
"unk_token": "",
"model_input_names": ["input_ids"]
}