| { | |
| "bos_token": "[BOS]", | |
| "eos_token": "[EOS]", | |
| "unk_token": "[UNK]", | |
| "sep_token": "[SEP]", | |
| "pad_token": "[PAD]", | |
| "cls_token": "[CLS]", | |
| "mask_token": "[MSK]", | |
| "additional_special_tokens": ["[EOD]", "[CLS]", "[PAD]", "[BOM]", "[BOS]", "[EOS]", "[BOP]", "[EOP]", "[LAT]", "[URL]", "[KRK]", "[NUM]", "[UNK]", "۰", "۱", "۲", "۳", "۴", "۵", "۶", "۷", "۸", "۹", "[MSK]", "[EOL]"] | |
| } |