added the tokenizer

README.md

@@ -1,4 +1,35 @@
 ---
+widget:
+- text: NL-Consult Tanácsadó Korlátolt Felelősségű Társaság
+- text: D-Tag Analytics Zártkörűen Működő Részvénytársaság
+- text: Felis Magántőkealap
+- text: MMV Magyar Magánvasút Zártkörűen Működő Részvénytársaság
+- text: MEDIKER Bt
+- text: Keller Tibor Bizalmi Vagyonkezelő által kezelt vagyon
+- text: Kreatív Bázis Alapítvány
+- text: '"METEOR" Természetbarátok Turista Egyesülete'
+- text: DR. VINCZE GERGELY ÜGYVÉDI IRODA
+- text: Vonyarcvashegy Nagyközség Önkormányzata
+- text: Gryffindor Trust
+- text: PannErgy Nyilvánosan Működő Részvénytársaság
+- text: Bizalmi vagyonkezeléssel kezelt vagyon Wessely Vilmos
+- text: Taurus Országos Önkéntes Kölcsönös Nyugdíjpénztár
+- text: Dunamelléki Református Egyházkerület Ráday Gyűjteménye
+- text: Nyugdíj-kiegészítés Közérdekű Nyugdíjas Szövetkezet
+- text: ALTEO Munkavállalói Résztulajdonosi Program Szervezete
+- text: Széchenyi úti 92 lakásos OTP Társasház
+- text: Honvédelmi Minisztérium
+- text: Eventus Üzleti, Művészeti Szakgimnázium, Technikum, Gimnázium, Szakképző Iskola,
+    Alapfokú Művészeti Iskola és Kollégium
+- text: VDSZ Gyógyszergyári Szakszervezete
+- text: Magyar Agrár-, Élelmiszergazdasági és Vidékfejlesztési Kamara
+- text: Budapest Országos Kötelező Magánnyugdíjpénztár
+- text: Dr. Orell Zsolt Végrehajtói Irodája
+- text: CEU Ingatlankezelő SE Zártkörűen Működő Európai Részvénytársaság
+- text: MIX Erdőbirtokossági Társulat
+- text: KARO" Ingatlanhasznosító és Üzemeltető Közkereseti Társaság
+- text: GEA Food Solutions International B.V. Convenience Food Systems International
+    Magyarország Fióktelep
 model-index:
 - name: Sociovestix/lenu_HU
   results:
@@ -20,35 +51,6 @@ model-index:
       name: f1 macro
       args:
         average: macro
-widget:
-- text: "NL-Consult Tanácsadó Korlátolt Felelősségű Társaság"
-- text: "D-Tag Analytics Zártkörűen Működő Részvénytársaság"
-- text: "Felis Magántőkealap"
-- text: "MMV Magyar Magánvasút Zártkörűen Működő Részvénytársaság"
-- text: "MEDIKER Bt"
-- text: "Keller Tibor Bizalmi Vagyonkezelő által kezelt vagyon"
-- text: "Kreatív Bázis Alapítvány"
-- text: '"METEOR" Természetbarátok Turista Egyesülete'
-- text: "DR. VINCZE GERGELY ÜGYVÉDI IRODA"
-- text: "Vonyarcvashegy Nagyközség Önkormányzata"
-- text: "Gryffindor Trust"
-- text: "PannErgy Nyilvánosan Működő Részvénytársaság"
-- text: "Bizalmi vagyonkezeléssel kezelt vagyon Wessely Vilmos"
-- text: "Taurus Országos Önkéntes Kölcsönös Nyugdíjpénztár"
-- text: "Dunamelléki Református Egyházkerület Ráday Gyűjteménye"
-- text: "Nyugdíj-kiegészítés Közérdekű Nyugdíjas Szövetkezet"
-- text: "ALTEO Munkavállalói Résztulajdonosi Program Szervezete"
-- text: "Széchenyi úti 92 lakásos OTP Társasház"
-- text: "Honvédelmi Minisztérium"
-- text: "Eventus Üzleti, Művészeti Szakgimnázium, Technikum, Gimnázium, Szakképző Iskola, Alapfokú Művészeti Iskola és Kollégium"
-- text: "VDSZ Gyógyszergyári Szakszervezete"
-- text: "Magyar Agrár-, Élelmiszergazdasági és Vidékfejlesztési Kamara"
-- text: "Budapest Országos Kötelező Magánnyugdíjpénztár"
-- text: "Dr. Orell Zsolt Végrehajtói Irodája"
-- text: "CEU Ingatlankezelő SE Zártkörűen Működő Európai Részvénytársaság"
-- text: "MIX Erdőbirtokossági Társulat"
-- text: 'KARO" Ingatlanhasznosító és Üzemeltető Közkereseti Társaság'
-- text: "GEA Food Solutions International B.V. Convenience Food Systems International Magyarország Fióktelep"
 ---
 
 # LENU - Legal Entity Name Understanding for Hungary

tokenizer.json

@@ -2,13 +2,13 @@
   "version": "1.0",
   "truncation": {
     "direction": "Right",
-    "max_length": 37,
+    "max_length": 40,
     "strategy": "LongestFirst",
     "stride": 0
   },
   "padding": {
     "strategy": {
-      "Fixed": 37
+      "Fixed": 40
     },
     "direction": "Right",
     "pad_to_multiple_of": null,

tokenizer_config.json

@@ -1,12 +1,53 @@
 {
+  "added_tokens_decoder": {
+    "0": {
+      "content": "[PAD]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "100": {
+      "content": "[UNK]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "101": {
+      "content": "[CLS]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "102": {
+      "content": "[SEP]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "103": {
+      "content": "[MASK]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "clean_up_tokenization_spaces": true,
   "cls_token": "[CLS]",
   "do_lower_case": true,
   "mask_token": "[MASK]",
   "model_max_length": 512,
-  "name_or_path": "bert-base-multilingual-uncased",
   "pad_token": "[PAD]",
   "sep_token": "[SEP]",
-  "special_tokens_map_file": null,
   "strip_accents": null,
   "tokenize_chinese_chars": true,
   "tokenizer_class": "BertTokenizer",