Upload tokenizer.json with huggingface_hub
Browse files- tokenizer.json +81 -81
tokenizer.json
CHANGED
@@ -81,33 +81,33 @@
|
|
81 |
"h6": 78,
|
82 |
"h7": 79,
|
83 |
"h8": 80,
|
84 |
-
"
|
85 |
"Q": 82,
|
86 |
-
"
|
87 |
-
"
|
88 |
-
"
|
89 |
-
"
|
90 |
-
"
|
91 |
-
"
|
92 |
-
"
|
93 |
-
"
|
94 |
-
"
|
95 |
-
"
|
96 |
-
"
|
97 |
-
"
|
98 |
-
"
|
99 |
-
"
|
100 |
-
"
|
101 |
-
"
|
102 |
-
"
|
103 |
-
"
|
104 |
-
"\"
|
105 |
-
"
|
106 |
-
"
|
107 |
-
"
|
108 |
"\t": 105,
|
109 |
-
"
|
110 |
-
"
|
111 |
},
|
112 |
"id2token": {
|
113 |
"0": "<PAD>",
|
@@ -191,77 +191,77 @@
|
|
191 |
"78": "h6",
|
192 |
"79": "h7",
|
193 |
"80": "h8",
|
194 |
-
"81": "
|
195 |
"82": "Q",
|
196 |
-
"83": "
|
197 |
-
"84": "
|
198 |
-
"85": "
|
199 |
-
"86": "
|
200 |
-
"87": "
|
201 |
-
"88": "
|
202 |
-
"89": "
|
203 |
-
"90": "
|
204 |
-
"91": "
|
205 |
-
"92": "
|
206 |
-
"93": "
|
207 |
-
"94": "
|
208 |
-
"95": "
|
209 |
-
"96": "
|
210 |
-
"97": "
|
211 |
-
"98": "
|
212 |
-
"99": "
|
213 |
-
"100": "
|
214 |
-
"101": "\"
|
215 |
-
"102": "
|
216 |
-
"103": "
|
217 |
-
"104": "
|
218 |
"105": "\t",
|
219 |
-
"106": "
|
220 |
-
"107": "
|
221 |
},
|
222 |
"valid_chars": [
|
223 |
-
"
|
|
|
|
|
|
|
|
|
224 |
"4",
|
225 |
-
"
|
|
|
|
|
226 |
"h",
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
227 |
"!",
|
228 |
-
"B",
|
229 |
-
"#",
|
230 |
"d",
|
231 |
-
"
|
232 |
-
"
|
|
|
|
|
233 |
"K",
|
234 |
-
"
|
235 |
-
"
|
236 |
"N",
|
237 |
"P",
|
238 |
"O",
|
239 |
-
"1",
|
240 |
-
",",
|
241 |
-
"x",
|
242 |
-
"2",
|
243 |
-
"8",
|
244 |
-
"c",
|
245 |
-
"-",
|
246 |
"b",
|
247 |
-
")",
|
248 |
-
"\"",
|
249 |
-
"e",
|
250 |
-
"\n",
|
251 |
-
"a",
|
252 |
-
" ",
|
253 |
-
"+",
|
254 |
"f",
|
255 |
-
"
|
256 |
-
"
|
257 |
-
"Q",
|
258 |
"]",
|
259 |
-
"
|
260 |
-
"/",
|
261 |
-
"g",
|
262 |
-
"9",
|
263 |
"\t",
|
264 |
-
"
|
265 |
-
"
|
266 |
]
|
267 |
}
|
|
|
81 |
"h6": 78,
|
82 |
"h7": 79,
|
83 |
"h8": 80,
|
84 |
+
"B": 81,
|
85 |
"Q": 82,
|
86 |
+
"K": 83,
|
87 |
+
"N": 84,
|
88 |
+
"R": 85,
|
89 |
+
"P": 86,
|
90 |
+
"9": 87,
|
91 |
+
"#": 88,
|
92 |
+
"0": 89,
|
93 |
+
"+": 90,
|
94 |
+
"x": 91,
|
95 |
+
".": 92,
|
96 |
+
"=": 93,
|
97 |
+
"O": 94,
|
98 |
+
"-": 95,
|
99 |
+
" ": 96,
|
100 |
+
"(": 97,
|
101 |
+
"!": 98,
|
102 |
+
"'": 99,
|
103 |
+
"[": 100,
|
104 |
+
"\n": 101,
|
105 |
+
"]": 102,
|
106 |
+
"\"": 103,
|
107 |
+
",": 104,
|
108 |
"\t": 105,
|
109 |
+
")": 106,
|
110 |
+
"/": 107
|
111 |
},
|
112 |
"id2token": {
|
113 |
"0": "<PAD>",
|
|
|
191 |
"78": "h6",
|
192 |
"79": "h7",
|
193 |
"80": "h8",
|
194 |
+
"81": "B",
|
195 |
"82": "Q",
|
196 |
+
"83": "K",
|
197 |
+
"84": "N",
|
198 |
+
"85": "R",
|
199 |
+
"86": "P",
|
200 |
+
"87": "9",
|
201 |
+
"88": "#",
|
202 |
+
"89": "0",
|
203 |
+
"90": "+",
|
204 |
+
"91": "x",
|
205 |
+
"92": ".",
|
206 |
+
"93": "=",
|
207 |
+
"94": "O",
|
208 |
+
"95": "-",
|
209 |
+
"96": " ",
|
210 |
+
"97": "(",
|
211 |
+
"98": "!",
|
212 |
+
"99": "'",
|
213 |
+
"100": "[",
|
214 |
+
"101": "\n",
|
215 |
+
"102": "]",
|
216 |
+
"103": "\"",
|
217 |
+
"104": ",",
|
218 |
"105": "\t",
|
219 |
+
"106": ")",
|
220 |
+
"107": "/"
|
221 |
},
|
222 |
"valid_chars": [
|
223 |
+
" ",
|
224 |
+
"B",
|
225 |
+
"Q",
|
226 |
+
"1",
|
227 |
+
"5",
|
228 |
"4",
|
229 |
+
"x",
|
230 |
+
"2",
|
231 |
+
"c",
|
232 |
"h",
|
233 |
+
"R",
|
234 |
+
"3",
|
235 |
+
"9",
|
236 |
+
"'",
|
237 |
+
"[",
|
238 |
+
"\"",
|
239 |
+
"7",
|
240 |
+
",",
|
241 |
+
"=",
|
242 |
+
")",
|
243 |
+
"-",
|
244 |
+
"g",
|
245 |
"!",
|
|
|
|
|
246 |
"d",
|
247 |
+
"#",
|
248 |
+
"\n",
|
249 |
+
"e",
|
250 |
+
"+",
|
251 |
"K",
|
252 |
+
"a",
|
253 |
+
".",
|
254 |
"N",
|
255 |
"P",
|
256 |
"O",
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
257 |
"b",
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
258 |
"f",
|
259 |
+
"(",
|
260 |
+
"0",
|
|
|
261 |
"]",
|
262 |
+
"6",
|
|
|
|
|
|
|
263 |
"\t",
|
264 |
+
"8",
|
265 |
+
"/"
|
266 |
]
|
267 |
}
|