Zual commited on
Commit
b7e5a76
·
verified ·
1 Parent(s): 2d88ba9

Upload tokenizer.json with huggingface_hub

Browse files
Files changed (1) hide show
  1. tokenizer.json +81 -81
tokenizer.json CHANGED
@@ -81,33 +81,33 @@
81
  "h6": 78,
82
  "h7": 79,
83
  "h8": 80,
84
- "K": 81,
85
  "Q": 82,
86
- "N": 83,
87
- "P": 84,
88
- "B": 85,
89
- "R": 86,
90
- "+": 87,
91
- "=": 88,
92
- "O": 89,
93
- "-": 90,
94
- "#": 91,
95
- "9": 92,
96
- ".": 93,
97
- "x": 94,
98
- "0": 95,
99
- "(": 96,
100
- ",": 97,
101
- ")": 98,
102
- "]": 99,
103
- "'": 100,
104
- "\"": 101,
105
- "/": 102,
106
- "!": 103,
107
- "\n": 104,
108
  "\t": 105,
109
- " ": 106,
110
- "[": 107
111
  },
112
  "id2token": {
113
  "0": "<PAD>",
@@ -191,77 +191,77 @@
191
  "78": "h6",
192
  "79": "h7",
193
  "80": "h8",
194
- "81": "K",
195
  "82": "Q",
196
- "83": "N",
197
- "84": "P",
198
- "85": "B",
199
- "86": "R",
200
- "87": "+",
201
- "88": "=",
202
- "89": "O",
203
- "90": "-",
204
- "91": "#",
205
- "92": "9",
206
- "93": ".",
207
- "94": "x",
208
- "95": "0",
209
- "96": "(",
210
- "97": ",",
211
- "98": ")",
212
- "99": "]",
213
- "100": "'",
214
- "101": "\"",
215
- "102": "/",
216
- "103": "!",
217
- "104": "\n",
218
  "105": "\t",
219
- "106": " ",
220
- "107": "["
221
  },
222
  "valid_chars": [
223
- "3",
 
 
 
 
224
  "4",
225
- "=",
 
 
226
  "h",
 
 
 
 
 
 
 
 
 
 
 
 
227
  "!",
228
- "B",
229
- "#",
230
  "d",
231
- ".",
232
- "[",
 
 
233
  "K",
234
- "(",
235
- "7",
236
  "N",
237
  "P",
238
  "O",
239
- "1",
240
- ",",
241
- "x",
242
- "2",
243
- "8",
244
- "c",
245
- "-",
246
  "b",
247
- ")",
248
- "\"",
249
- "e",
250
- "\n",
251
- "a",
252
- " ",
253
- "+",
254
  "f",
255
- "5",
256
- "6",
257
- "Q",
258
  "]",
259
- "'",
260
- "/",
261
- "g",
262
- "9",
263
  "\t",
264
- "R",
265
- "0"
266
  ]
267
  }
 
81
  "h6": 78,
82
  "h7": 79,
83
  "h8": 80,
84
+ "B": 81,
85
  "Q": 82,
86
+ "K": 83,
87
+ "N": 84,
88
+ "R": 85,
89
+ "P": 86,
90
+ "9": 87,
91
+ "#": 88,
92
+ "0": 89,
93
+ "+": 90,
94
+ "x": 91,
95
+ ".": 92,
96
+ "=": 93,
97
+ "O": 94,
98
+ "-": 95,
99
+ " ": 96,
100
+ "(": 97,
101
+ "!": 98,
102
+ "'": 99,
103
+ "[": 100,
104
+ "\n": 101,
105
+ "]": 102,
106
+ "\"": 103,
107
+ ",": 104,
108
  "\t": 105,
109
+ ")": 106,
110
+ "/": 107
111
  },
112
  "id2token": {
113
  "0": "<PAD>",
 
191
  "78": "h6",
192
  "79": "h7",
193
  "80": "h8",
194
+ "81": "B",
195
  "82": "Q",
196
+ "83": "K",
197
+ "84": "N",
198
+ "85": "R",
199
+ "86": "P",
200
+ "87": "9",
201
+ "88": "#",
202
+ "89": "0",
203
+ "90": "+",
204
+ "91": "x",
205
+ "92": ".",
206
+ "93": "=",
207
+ "94": "O",
208
+ "95": "-",
209
+ "96": " ",
210
+ "97": "(",
211
+ "98": "!",
212
+ "99": "'",
213
+ "100": "[",
214
+ "101": "\n",
215
+ "102": "]",
216
+ "103": "\"",
217
+ "104": ",",
218
  "105": "\t",
219
+ "106": ")",
220
+ "107": "/"
221
  },
222
  "valid_chars": [
223
+ " ",
224
+ "B",
225
+ "Q",
226
+ "1",
227
+ "5",
228
  "4",
229
+ "x",
230
+ "2",
231
+ "c",
232
  "h",
233
+ "R",
234
+ "3",
235
+ "9",
236
+ "'",
237
+ "[",
238
+ "\"",
239
+ "7",
240
+ ",",
241
+ "=",
242
+ ")",
243
+ "-",
244
+ "g",
245
  "!",
 
 
246
  "d",
247
+ "#",
248
+ "\n",
249
+ "e",
250
+ "+",
251
  "K",
252
+ "a",
253
+ ".",
254
  "N",
255
  "P",
256
  "O",
 
 
 
 
 
 
 
257
  "b",
 
 
 
 
 
 
 
258
  "f",
259
+ "(",
260
+ "0",
 
261
  "]",
262
+ "6",
 
 
 
263
  "\t",
264
+ "8",
265
+ "/"
266
  ]
267
  }