|
{ |
|
"additional_special_tokens": [ |
|
"|<EXTRA_TOKENS_0>|", |
|
"|<EXTRA_TOKENS_1>|", |
|
"|<EXTRA_TOKENS_2>|", |
|
"|<EXTRA_TOKENS_3>|", |
|
"|<EXTRA_TOKENS_4>|", |
|
"|<EXTRA_TOKENS_5>|", |
|
"|<EXTRA_TOKENS_6>|", |
|
"|<EXTRA_TOKENS_7>|", |
|
"|<EXTRA_TOKENS_8>|", |
|
"|<EXTRA_TOKENS_9>|", |
|
"|<EXTRA_TOKENS_10>|", |
|
"|<EXTRA_TOKENS_11>|", |
|
"|<EXTRA_TOKENS_12>|", |
|
"|<EXTRA_TOKENS_13>|", |
|
"|<EXTRA_TOKENS_14>|", |
|
"|<EXTRA_TOKENS_15>|", |
|
"|<EXTRA_TOKENS_16>|", |
|
"|<EXTRA_TOKENS_17>|", |
|
"|<EXTRA_TOKENS_18>|", |
|
"|<EXTRA_TOKENS_19>|", |
|
"|<EXTRA_TOKENS_20>|", |
|
"|<EXTRA_TOKENS_21>|", |
|
"|<EXTRA_TOKENS_22>|", |
|
"|<EXTRA_TOKENS_23>|", |
|
"|<EXTRA_TOKENS_24>|", |
|
"|<EXTRA_TOKENS_25>|", |
|
"|<EXTRA_TOKENS_26>|", |
|
"|<EXTRA_TOKENS_27>|", |
|
"|<EXTRA_TOKENS_28>|", |
|
"|<EXTRA_TOKENS_29>|", |
|
"|<EXTRA_TOKENS_30>|", |
|
"|<EXTRA_TOKENS_31>|", |
|
"|<EXTRA_TOKENS_32>|", |
|
"|<EXTRA_TOKENS_33>|", |
|
"|<EXTRA_TOKENS_34>|", |
|
"|<EXTRA_TOKENS_35>|", |
|
"|<EXTRA_TOKENS_36>|", |
|
"|<EXTRA_TOKENS_37>|", |
|
"|<EXTRA_TOKENS_38>|", |
|
"|<EXTRA_TOKENS_39>|", |
|
"|<EXTRA_TOKENS_40>|", |
|
"|<EXTRA_TOKENS_41>|", |
|
"|<EXTRA_TOKENS_42>|", |
|
"|<EXTRA_TOKENS_43>|", |
|
"|<EXTRA_TOKENS_44>|", |
|
"|<EXTRA_TOKENS_45>|", |
|
"|<EXTRA_TOKENS_46>|", |
|
"|<EXTRA_TOKENS_47>|", |
|
"|<EXTRA_TOKENS_48>|", |
|
"|<EXTRA_TOKENS_49>|", |
|
"|<EXTRA_TOKENS_50>|", |
|
"|<EXTRA_TOKENS_51>|", |
|
"|<EXTRA_TOKENS_52>|", |
|
"|<EXTRA_TOKENS_53>|", |
|
"|<EXTRA_TOKENS_54>|", |
|
"|<EXTRA_TOKENS_55>|", |
|
"|<EXTRA_TOKENS_56>|", |
|
"|<EXTRA_TOKENS_57>|", |
|
"|<EXTRA_TOKENS_58>|", |
|
"|<EXTRA_TOKENS_59>|", |
|
"|<EXTRA_TOKENS_60>|", |
|
"|<EXTRA_TOKENS_61>|", |
|
"|<EXTRA_TOKENS_62>|", |
|
"|<EXTRA_TOKENS_63>|", |
|
"|<EXTRA_TOKENS_64>|", |
|
"|<EXTRA_TOKENS_65>|", |
|
"|<EXTRA_TOKENS_66>|", |
|
"|<EXTRA_TOKENS_67>|", |
|
"|<EXTRA_TOKENS_68>|", |
|
"|<EXTRA_TOKENS_69>|", |
|
"|<EXTRA_TOKENS_70>|", |
|
"|<EXTRA_TOKENS_71>|", |
|
"|<EXTRA_TOKENS_72>|", |
|
"|<EXTRA_TOKENS_73>|", |
|
"|<EXTRA_TOKENS_74>|", |
|
"|<EXTRA_TOKENS_75>|", |
|
"|<EXTRA_TOKENS_76>|", |
|
"|<EXTRA_TOKENS_77>|", |
|
"|<EXTRA_TOKENS_78>|", |
|
"|<EXTRA_TOKENS_79>|", |
|
"|<EXTRA_TOKENS_80>|", |
|
"|<EXTRA_TOKENS_81>|", |
|
"|<EXTRA_TOKENS_82>|", |
|
"|<EXTRA_TOKENS_83>|", |
|
"|<EXTRA_TOKENS_84>|", |
|
"|<EXTRA_TOKENS_85>|", |
|
"|<EXTRA_TOKENS_86>|", |
|
"|<EXTRA_TOKENS_87>|", |
|
"|<EXTRA_TOKENS_88>|", |
|
"|<EXTRA_TOKENS_89>|", |
|
"|<EXTRA_TOKENS_90>|", |
|
"|<EXTRA_TOKENS_91>|", |
|
"|<EXTRA_TOKENS_92>|", |
|
"|<EXTRA_TOKENS_93>|", |
|
"|<EXTRA_TOKENS_94>|", |
|
"|<EXTRA_TOKENS_95>|", |
|
"|<EXTRA_TOKENS_96>|", |
|
"|<EXTRA_TOKENS_97>|", |
|
"|<EXTRA_TOKENS_98>|", |
|
"|<EXTRA_TOKENS_99>|", |
|
"|<EXTRA_TOKENS_100>|", |
|
"|<EXTRA_TOKENS_101>|", |
|
"|<EXTRA_TOKENS_102>|", |
|
"|<EXTRA_TOKENS_103>|", |
|
"|<EXTRA_TOKENS_104>|", |
|
"|<EXTRA_TOKENS_105>|", |
|
"|<EXTRA_TOKENS_106>|", |
|
"|<EXTRA_TOKENS_107>|", |
|
"|<EXTRA_TOKENS_108>|", |
|
"|<EXTRA_TOKENS_109>|", |
|
"|<EXTRA_TOKENS_110>|", |
|
"|<EXTRA_TOKENS_111>|", |
|
"|<EXTRA_TOKENS_112>|", |
|
"|<EXTRA_TOKENS_113>|", |
|
"|<EXTRA_TOKENS_114>|", |
|
"|<EXTRA_TOKENS_115>|", |
|
"|<EXTRA_TOKENS_116>|", |
|
"|<EXTRA_TOKENS_117>|", |
|
"|<EXTRA_TOKENS_118>|", |
|
"|<EXTRA_TOKENS_119>|", |
|
"|<EXTRA_TOKENS_120>|", |
|
"|<EXTRA_TOKENS_121>|", |
|
"|<EXTRA_TOKENS_122>|", |
|
"|<EXTRA_TOKENS_123>|", |
|
"|<EXTRA_TOKENS_124>|", |
|
"|<EXTRA_TOKENS_125>|", |
|
"|<EXTRA_TOKENS_126>|", |
|
"|<EXTRA_TOKENS_127>|", |
|
"|<EXTRA_TOKENS_128>|", |
|
"|<EXTRA_TOKENS_129>|", |
|
"|<EXTRA_TOKENS_130>|", |
|
"|<EXTRA_TOKENS_131>|", |
|
"|<EXTRA_TOKENS_132>|", |
|
"|<EXTRA_TOKENS_133>|", |
|
"|<EXTRA_TOKENS_134>|", |
|
"|<EXTRA_TOKENS_135>|", |
|
"|<EXTRA_TOKENS_136>|", |
|
"|<EXTRA_TOKENS_137>|", |
|
"|<EXTRA_TOKENS_138>|", |
|
"|<EXTRA_TOKENS_139>|", |
|
"|<EXTRA_TOKENS_140>|", |
|
"|<EXTRA_TOKENS_141>|", |
|
"|<EXTRA_TOKENS_142>|", |
|
"|<EXTRA_TOKENS_143>|", |
|
"|<EXTRA_TOKENS_144>|", |
|
"|<EXTRA_TOKENS_145>|", |
|
"|<EXTRA_TOKENS_146>|", |
|
"|<EXTRA_TOKENS_147>|", |
|
"|<EXTRA_TOKENS_148>|", |
|
"|<EXTRA_TOKENS_149>|", |
|
"|<EXTRA_TOKENS_150>|", |
|
"|<EXTRA_TOKENS_151>|", |
|
"|<EXTRA_TOKENS_152>|", |
|
"|<EXTRA_TOKENS_153>|", |
|
"|<EXTRA_TOKENS_154>|", |
|
"|<EXTRA_TOKENS_155>|", |
|
"|<EXTRA_TOKENS_156>|", |
|
"|<EXTRA_TOKENS_157>|", |
|
"|<EXTRA_TOKENS_158>|", |
|
"|<EXTRA_TOKENS_159>|", |
|
"|<EXTRA_TOKENS_160>|", |
|
"|<EXTRA_TOKENS_161>|", |
|
"|<EXTRA_TOKENS_162>|", |
|
"|<EXTRA_TOKENS_163>|", |
|
"|<EXTRA_TOKENS_164>|", |
|
"|<EXTRA_TOKENS_165>|", |
|
"|<EXTRA_TOKENS_166>|", |
|
"|<EXTRA_TOKENS_167>|", |
|
"|<EXTRA_TOKENS_168>|", |
|
"|<EXTRA_TOKENS_169>|", |
|
"|<EXTRA_TOKENS_170>|", |
|
"|<EXTRA_TOKENS_171>|", |
|
"|<EXTRA_TOKENS_172>|", |
|
"|<EXTRA_TOKENS_173>|", |
|
"|<EXTRA_TOKENS_174>|", |
|
"|<EXTRA_TOKENS_175>|", |
|
"|<EXTRA_TOKENS_176>|", |
|
"|<EXTRA_TOKENS_177>|", |
|
"|<EXTRA_TOKENS_178>|", |
|
"|<EXTRA_TOKENS_179>|", |
|
"|<EXTRA_TOKENS_180>|", |
|
"|<EXTRA_TOKENS_181>|", |
|
"|<EXTRA_TOKENS_182>|", |
|
"|<EXTRA_TOKENS_183>|", |
|
"|<EXTRA_TOKENS_184>|", |
|
"|<EXTRA_TOKENS_185>|", |
|
"|<EXTRA_TOKENS_186>|", |
|
"|<EXTRA_TOKENS_187>|", |
|
"|<EXTRA_TOKENS_188>|", |
|
"|<EXTRA_TOKENS_189>|", |
|
"|<EXTRA_TOKENS_190>|", |
|
"|<EXTRA_TOKENS_191>|", |
|
"|<EXTRA_TOKENS_192>|", |
|
"|<EXTRA_TOKENS_193>|", |
|
"|<EXTRA_TOKENS_194>|", |
|
"|<EXTRA_TOKENS_195>|", |
|
"|<EXTRA_TOKENS_196>|", |
|
"|<EXTRA_TOKENS_197>|", |
|
"|<EXTRA_TOKENS_198>|", |
|
"|<EXTRA_TOKENS_199>|", |
|
"|<EXTRA_TOKENS_200>|", |
|
"|<EXTRA_TOKENS_201>|", |
|
"|<EXTRA_TOKENS_202>|", |
|
"|<EXTRA_TOKENS_203>|", |
|
"|<EXTRA_TOKENS_204>|", |
|
"|<EXTRA_TOKENS_205>|", |
|
"|<EXTRA_TOKENS_206>|", |
|
"|<EXTRA_TOKENS_207>|", |
|
"|<EXTRA_TOKENS_208>|", |
|
"|<EXTRA_TOKENS_209>|", |
|
"|<EXTRA_TOKENS_210>|", |
|
"|<EXTRA_TOKENS_211>|", |
|
"|<EXTRA_TOKENS_212>|", |
|
"|<EXTRA_TOKENS_213>|", |
|
"|<EXTRA_TOKENS_214>|", |
|
"|<EXTRA_TOKENS_215>|", |
|
"|<EXTRA_TOKENS_216>|", |
|
"|<EXTRA_TOKENS_217>|", |
|
"|<EXTRA_TOKENS_218>|", |
|
"|<EXTRA_TOKENS_219>|", |
|
"|<EXTRA_TOKENS_220>|", |
|
"|<EXTRA_TOKENS_221>|", |
|
"|<EXTRA_TOKENS_222>|", |
|
"|<EXTRA_TOKENS_223>|", |
|
"|<EXTRA_TOKENS_224>|", |
|
"|<EXTRA_TOKENS_225>|", |
|
"|<EXTRA_TOKENS_226>|", |
|
"|<EXTRA_TOKENS_227>|", |
|
"|<EXTRA_TOKENS_228>|", |
|
"|<EXTRA_TOKENS_229>|", |
|
"|<EXTRA_TOKENS_230>|", |
|
"|<EXTRA_TOKENS_231>|", |
|
"|<EXTRA_TOKENS_232>|", |
|
"|<EXTRA_TOKENS_233>|", |
|
"|<EXTRA_TOKENS_234>|", |
|
"|<EXTRA_TOKENS_235>|", |
|
"|<EXTRA_TOKENS_236>|", |
|
"|<EXTRA_TOKENS_237>|", |
|
"|<EXTRA_TOKENS_238>|", |
|
"|<EXTRA_TOKENS_239>|", |
|
"|<EXTRA_TOKENS_240>|", |
|
"|<EXTRA_TOKENS_241>|", |
|
"|<EXTRA_TOKENS_242>|", |
|
"|<EXTRA_TOKENS_243>|", |
|
"|<EXTRA_TOKENS_244>|", |
|
"|<EXTRA_TOKENS_245>|", |
|
"|<EXTRA_TOKENS_246>|", |
|
"|<EXTRA_TOKENS_247>|", |
|
"|<EXTRA_TOKENS_248>|", |
|
"|<EXTRA_TOKENS_249>|", |
|
"|<EXTRA_TOKENS_250>|", |
|
"|<EXTRA_TOKENS_251>|", |
|
"|<EXTRA_TOKENS_252>|", |
|
"|<EXTRA_TOKENS_253>|", |
|
"|<EXTRA_TOKENS_254>|", |
|
"|<EXTRA_TOKENS_255>|", |
|
"|<EXTRA_TOKENS_256>|", |
|
"|<EXTRA_TOKENS_257>|", |
|
"|<EXTRA_TOKENS_258>|", |
|
"|<EXTRA_TOKENS_259>|", |
|
"|<EXTRA_TOKENS_260>|", |
|
"|<EXTRA_TOKENS_261>|", |
|
"|<EXTRA_TOKENS_262>|", |
|
"|<EXTRA_TOKENS_263>|", |
|
"|<EXTRA_TOKENS_264>|", |
|
"|<EXTRA_TOKENS_265>|", |
|
"|<EXTRA_TOKENS_266>|", |
|
"|<EXTRA_TOKENS_267>|", |
|
"|<EXTRA_TOKENS_268>|", |
|
"|<EXTRA_TOKENS_269>|", |
|
"|<EXTRA_TOKENS_270>|", |
|
"|<EXTRA_TOKENS_271>|", |
|
"|<EXTRA_TOKENS_272>|", |
|
"|<EXTRA_TOKENS_273>|", |
|
"|<EXTRA_TOKENS_274>|", |
|
"|<EXTRA_TOKENS_275>|", |
|
"|<EXTRA_TOKENS_276>|", |
|
"|<EXTRA_TOKENS_277>|", |
|
"|<EXTRA_TOKENS_278>|", |
|
"|<EXTRA_TOKENS_279>|", |
|
"|<EXTRA_TOKENS_280>|", |
|
"|<EXTRA_TOKENS_281>|", |
|
"|<EXTRA_TOKENS_282>|", |
|
"|<EXTRA_TOKENS_283>|", |
|
"|<EXTRA_TOKENS_284>|", |
|
"|<EXTRA_TOKENS_285>|", |
|
"|<EXTRA_TOKENS_286>|", |
|
"|<EXTRA_TOKENS_287>|", |
|
"|<EXTRA_TOKENS_288>|", |
|
"|<EXTRA_TOKENS_289>|", |
|
"|<EXTRA_TOKENS_290>|", |
|
"|<EXTRA_TOKENS_291>|", |
|
"|<EXTRA_TOKENS_292>|", |
|
"|<EXTRA_TOKENS_293>|", |
|
"|<EXTRA_TOKENS_294>|", |
|
"|<EXTRA_TOKENS_295>|", |
|
"|<EXTRA_TOKENS_296>|", |
|
"|<EXTRA_TOKENS_297>|", |
|
"|<EXTRA_TOKENS_298>|", |
|
"|<EXTRA_TOKENS_299>|", |
|
"|<EXTRA_TOKENS_300>|", |
|
"|<EXTRA_TOKENS_301>|", |
|
"|<EXTRA_TOKENS_302>|", |
|
"|<EXTRA_TOKENS_303>|", |
|
"|<EXTRA_TOKENS_304>|", |
|
"|<EXTRA_TOKENS_305>|", |
|
"|<EXTRA_TOKENS_306>|", |
|
"|<EXTRA_TOKENS_307>|", |
|
"|<EXTRA_TOKENS_308>|", |
|
"|<EXTRA_TOKENS_309>|", |
|
"|<EXTRA_TOKENS_310>|", |
|
"|<EXTRA_TOKENS_311>|", |
|
"|<EXTRA_TOKENS_312>|", |
|
"|<EXTRA_TOKENS_313>|", |
|
"|<EXTRA_TOKENS_314>|", |
|
"|<EXTRA_TOKENS_315>|", |
|
"|<EXTRA_TOKENS_316>|", |
|
"|<EXTRA_TOKENS_317>|", |
|
"|<EXTRA_TOKENS_318>|", |
|
"|<EXTRA_TOKENS_319>|", |
|
"|<EXTRA_TOKENS_320>|", |
|
"|<EXTRA_TOKENS_321>|", |
|
"|<EXTRA_TOKENS_322>|", |
|
"|<EXTRA_TOKENS_323>|", |
|
"|<EXTRA_TOKENS_324>|", |
|
"|<EXTRA_TOKENS_325>|", |
|
"|<EXTRA_TOKENS_326>|", |
|
"|<EXTRA_TOKENS_327>|", |
|
"|<EXTRA_TOKENS_328>|", |
|
"|<EXTRA_TOKENS_329>|", |
|
"|<EXTRA_TOKENS_330>|", |
|
"|<EXTRA_TOKENS_331>|", |
|
"|<EXTRA_TOKENS_332>|", |
|
"|<EXTRA_TOKENS_333>|", |
|
"|<EXTRA_TOKENS_334>|", |
|
"|<EXTRA_TOKENS_335>|", |
|
"|<EXTRA_TOKENS_336>|", |
|
"|<EXTRA_TOKENS_337>|", |
|
"|<EXTRA_TOKENS_338>|", |
|
"|<EXTRA_TOKENS_339>|", |
|
"|<EXTRA_TOKENS_340>|", |
|
"|<EXTRA_TOKENS_341>|", |
|
"|<EXTRA_TOKENS_342>|", |
|
"|<EXTRA_TOKENS_343>|", |
|
"|<EXTRA_TOKENS_344>|", |
|
"|<EXTRA_TOKENS_345>|", |
|
"|<EXTRA_TOKENS_346>|", |
|
"|<EXTRA_TOKENS_347>|", |
|
"|<EXTRA_TOKENS_348>|", |
|
"|<EXTRA_TOKENS_349>|", |
|
"|<EXTRA_TOKENS_350>|", |
|
"|<EXTRA_TOKENS_351>|", |
|
"|<EXTRA_TOKENS_352>|", |
|
"|<EXTRA_TOKENS_353>|", |
|
"|<EXTRA_TOKENS_354>|", |
|
"|<EXTRA_TOKENS_355>|", |
|
"|<EXTRA_TOKENS_356>|", |
|
"|<EXTRA_TOKENS_357>|", |
|
"|<EXTRA_TOKENS_358>|", |
|
"|<EXTRA_TOKENS_359>|", |
|
"|<EXTRA_TOKENS_360>|", |
|
"|<EXTRA_TOKENS_361>|", |
|
"|<EXTRA_TOKENS_362>|", |
|
"|<EXTRA_TOKENS_363>|", |
|
"|<EXTRA_TOKENS_364>|", |
|
"|<EXTRA_TOKENS_365>|", |
|
"|<EXTRA_TOKENS_366>|", |
|
"|<EXTRA_TOKENS_367>|", |
|
"|<EXTRA_TOKENS_368>|", |
|
"|<EXTRA_TOKENS_369>|", |
|
"|<EXTRA_TOKENS_370>|", |
|
"|<EXTRA_TOKENS_371>|", |
|
"|<EXTRA_TOKENS_372>|", |
|
"|<EXTRA_TOKENS_373>|", |
|
"|<EXTRA_TOKENS_374>|", |
|
"|<EXTRA_TOKENS_375>|", |
|
"|<EXTRA_TOKENS_376>|", |
|
"|<EXTRA_TOKENS_377>|", |
|
"|<EXTRA_TOKENS_378>|", |
|
"|<EXTRA_TOKENS_379>|", |
|
"|<EXTRA_TOKENS_380>|", |
|
"|<EXTRA_TOKENS_381>|", |
|
"|<EXTRA_TOKENS_382>|", |
|
"|<EXTRA_TOKENS_383>|", |
|
"|<EXTRA_TOKENS_384>|", |
|
"|<EXTRA_TOKENS_385>|", |
|
"|<EXTRA_TOKENS_386>|", |
|
"|<EXTRA_TOKENS_387>|", |
|
"|<EXTRA_TOKENS_388>|", |
|
"|<EXTRA_TOKENS_389>|", |
|
"|<EXTRA_TOKENS_390>|", |
|
"|<EXTRA_TOKENS_391>|", |
|
"|<EXTRA_TOKENS_392>|", |
|
"|<EXTRA_TOKENS_393>|", |
|
"|<EXTRA_TOKENS_394>|", |
|
"|<EXTRA_TOKENS_395>|", |
|
"|<EXTRA_TOKENS_396>|", |
|
"|<EXTRA_TOKENS_397>|", |
|
"|<EXTRA_TOKENS_398>|", |
|
"|<EXTRA_TOKENS_399>|", |
|
"|<EXTRA_TOKENS_400>|", |
|
"|<EXTRA_TOKENS_401>|", |
|
"|<EXTRA_TOKENS_402>|", |
|
"|<EXTRA_TOKENS_403>|", |
|
"|<EXTRA_TOKENS_404>|", |
|
"|<EXTRA_TOKENS_405>|", |
|
"|<EXTRA_TOKENS_406>|", |
|
"|<EXTRA_TOKENS_407>|", |
|
"|<EXTRA_TOKENS_408>|", |
|
"|<EXTRA_TOKENS_409>|", |
|
"|<EXTRA_TOKENS_410>|", |
|
"|<EXTRA_TOKENS_411>|", |
|
"|<EXTRA_TOKENS_412>|", |
|
"|<EXTRA_TOKENS_413>|", |
|
"|<EXTRA_TOKENS_414>|", |
|
"|<EXTRA_TOKENS_415>|", |
|
"|<EXTRA_TOKENS_416>|", |
|
"|<EXTRA_TOKENS_417>|", |
|
"<im_start>", |
|
"<im_end>", |
|
"<im_patch>", |
|
"<im_col>", |
|
"<|image|>" |
|
], |
|
"boi_token": "<im_start>", |
|
"bos_token": { |
|
"content": "<|endoftext|>", |
|
"lstrip": false, |
|
"normalized": false, |
|
"rstrip": false, |
|
"single_word": false |
|
}, |
|
"eoi_token": "<im_end>", |
|
"eos_token": { |
|
"content": "<|endoftext|>", |
|
"lstrip": false, |
|
"normalized": false, |
|
"rstrip": false, |
|
"single_word": false |
|
}, |
|
"im_col_token": "<im_col>", |
|
"im_patch_token": "<im_patch>", |
|
"image_token": "<image>", |
|
"pad_token": { |
|
"content": "<|endoftext|>", |
|
"lstrip": false, |
|
"normalized": false, |
|
"rstrip": false, |
|
"single_word": false |
|
} |
|
} |
|
|