stats/compression_rate/ClueAI.ChatYuan-large-v2 @ cc100.ar.diff.json

[
  {
    "text": "- اللواء / علي محمد الكحلاني - نصيحة صادقة .. ( 1)",
    "decoded_text": "- الل<unk>ا<unk> / <unk>ل<unk> <unk> ال<unk>لا<unk> - <unk> <unk>ا<unk>.. ( 1)",
    "diff": [
      "replace   text[5:6] --> decoded_text[5:10]      'و' --> '<unk>'",
      "replace   text[7:8] --> decoded_text[11:16]      'ء' --> '<unk>'",
      "replace   text[11:12] --> decoded_text[19:24]      'ع' --> '<unk>'",
      "replace   text[13:14] --> decoded_text[25:30]      'ي' --> '<unk>'",
      "replace   text[15:19] --> decoded_text[31:36]   'محمد' --> '<unk>'",
      "replace   text[22:24] --> decoded_text[39:44]     'كح' --> '<unk>'",
      "replace   text[26:28] --> decoded_text[46:51]     'ني' --> '<unk>'",
      "replace   text[31:36] --> decoded_text[54:59]  'نصيحة' --> '<unk>'",
      "replace   text[37:38] --> decoded_text[60:65]      'ص' --> '<unk>'",
      "replace   text[39:43] --> decoded_text[66:71]   'دقة ' --> '<unk>'"
    ],
    "n_oov_chars": 21,
    "oov_ratio": 0.42,
    "oov_charset": "[\"و\", \"ء\", \"ع\", \"ي\", \"م\", \"ح\", \"د\", \"ك\", \"ن\", \"ص\", \"ة\", \"ق\"]"
  },
  {
    "text": "اليمن جنوبها وشمالها.. شرقها وغربها وقفت على مشارف العام الثامن والعشرين من استعادة وضعها الطبيعي, ومن حياتها الاعتيادية الطبيعية في 22مايو العام 1990م.. بكل تأكيد قد تنهدت من أعماق أعماقها ألماً وأسىً لما وصل إليه حال أبنائها من اقتتال ومن احتراب, ومن اضطراب في نسيجها الاجتماعي, ومن انصياع من بعض أبنائها لإملاءات الغير ولحساباتهم.. ووسط هذه المأساة لم تعدم هذه الأرض الطيبة من بقايا أمل, ومن بقايا حكمة مازالت تميز أبناء هذا الشعب الطيب لأن اليمانيين في العام 1990م فاجأوا العالم بوحدتهم حين كان العالم منغمساً في الانقسام, وحينما كانت الأنظمة تتبعثر كان اليمن يقدم النموذج في تلك الظروف الاستثنائية.. وكان اندفاع اليمنيين شمالاً وجنوباً نحو الوحدة طوعياً وبمستوى عالٍ من الحكمة ونكران الذات وتغليب المصلحة العليا عن أية مصالح أخرى سواءً كانت ذاتية أو حسابات جهوية أو أية مصالح أخرى, عدا مصلحة اليمن الواحد الموحد.. مصلحة الإيثار ونحن نعتقد أن مرحلة التسعينات من القرن العشرين التي (تردف) كل مشكلات العقود التي سبقته كانت محورية في تاريخ المنطقة وفي تاريخ اليمن..",
    "decoded_text": "ال<unk> <unk>ا <unk>ال<unk>ا.. <unk>ا <unk>ا <unk> <unk>ل<unk> <unk>ا<unk> ال<unk>ا<unk> ال<unk>ا<unk> <unk>ال<unk> <unk> ا<unk>ا<unk> <unk>ا ال<unk>, <unk> <unk>ا<unk>ا الا<unk>ا<unk> ال<unk> <unk> 22<unk>ا<unk> ال<unk>ا<unk> 1990<unk>.. <unk>ل <unk> <unk> <unk> <unk> <unk>ا<unk> <unk>ا<unk>ا <unk>ل<unk>ا<unk> <unk> ل<unk>ا <unk>ل <unk>ل<unk> <unk>ال <unk>ا<unk>ا <unk> ا<unk>ال <unk> ا<unk>ا<unk>, <unk> ا<unk>ا<unk> <unk> <unk>ا الا<unk>ا<unk>, <unk> ا<unk>ا<unk> <unk> <unk> <unk>ا<unk>ا ل<unk>لا<unk>ا<unk> ال<unk> <unk>ل<unk>ا<unk>ا<unk>.. <unk> <unk> ال<unk>ا<unk> ل<unk> <unk> <unk> ال<unk> ال<unk> <unk> <unk>ا<unk>ا <unk>ل, <unk> <unk>ا<unk>ا <unk> <unk>ا<unk>ال<unk> <unk> <unk>ا<unk> <unk>ا ال<unk> ال<unk> ل<unk> ال<unk>ا<unk> <unk> ال<unk>ا<unk> 1990<unk> <unk>ا<unk>ا ال<unk>ال<unk> <unk> <unk> <unk>ا<unk> ال<unk>ال<unk> <unk>ا<unk> <unk> الا<unk>ا<unk>, <unk>ا <unk>ا<unk> ال<unk> <unk> <unk>ا<unk> ال<unk> <unk> ال<unk> <unk> <unk>ل<unk> ال<unk> الا<unk>ا<unk>.. <unk>ا<unk> ا<unk>ا<unk> ال<unk> <unk>الا<unk> <unk>ا<unk> <unk> ال<unk> <unk>ا<unk> <unk> <unk>ال<unk> <unk> ال<unk> <unk>ا<unk> ال<unk>ا<unk> <unk>ل<unk> ال<unk>ل<unk> ال<unk>ل<unk>ا <unk> <unk> <unk>ال<unk> <unk> <unk>ا<unk> <unk>ا<unk> <unk>ا<unk> <unk> <unk>ا<unk>ا<unk> <unk> <unk> <unk> <unk>ال<unk> <unk>, <unk>ا <unk>ل<unk> ال<unk> ال<unk>ا<unk> ال<unk>.. <unk>ل<unk> ال<unk>ا<unk> <unk> <unk> <unk> <unk>ل<unk> ال<unk>ا<unk> <unk> ال<unk> ال<unk> ال<unk> (<unk>) <unk>ل <unk>لا<unk> ال<unk> ال<unk> <unk> <unk>ا<unk> <unk> <unk> <unk>ا<unk> ال<unk> <unk> <unk>ا<unk> ال<unk>..",
    "diff": [
      "replace   text[2:19] --> decoded_text[2:27] 'يمن جنوبها وشماله' --> '<unk> <unk>ا <unk>ال<unk>'",
      "replace   text[23:97] --> decoded_text[31:149] 'شرقها وغربها وقفت على مشارف العام الثامن والعشرين من استعادة وضعها الطبيعي' --> '<unk>ا <unk>ا <unk> <unk>ل<unk> <unk>ا<unk> ال<unk>ا<unk> ال<unk>ا<unk> <unk>ال<unk> <unk> ا<unk>ا<unk> <unk>ا ال<unk>'",
      "replace   text[99:132] --> decoded_text[151:198] 'ومن حياتها الاعتيادية الطبيعية في' --> '<unk> <unk>ا<unk>ا الا<unk>ا<unk> ال<unk> <unk>'",
      "replace   text[135:145] --> decoded_text[201:226] 'مايو العام' --> '<unk>ا<unk> ال<unk>ا<unk>'",
      "replace   text[150:151] --> decoded_text[231:236]      'م' --> '<unk>'",
      "replace   text[154:247] --> decoded_text[239:400] 'بكل تأكيد قد تنهدت من أعماق أعماقها ألماً وأسىً لما وصل إليه حال أبنائها من اقتتال ومن احتراب' --> '<unk>ل <unk> <unk> <unk> <unk> <unk>ا<unk> <unk>ا<unk>ا <unk>ل<unk>ا<unk> <unk> ل<unk>ا <unk>ل <unk>ل<unk> <unk>ال <unk>ا<unk>ا <unk> ا<unk>ال <unk> ا<unk>ا<unk>'",
      "replace   text[249:279] --> decoded_text[402:448] 'ومن اضطراب في نسيجها الاجتماعي' --> '<unk> ا<unk>ا<unk> <unk> <unk>ا الا<unk>ا<unk>'",
      "replace   text[281:332] --> decoded_text[450:545] 'ومن انصياع من بعض أبنائها لإملاءات الغير ولحساباتهم' --> '<unk> ا<unk>ا<unk> <unk> <unk> <unk>ا<unk>ا ل<unk>لا<unk>ا<unk> ال<unk> <unk>ل<unk>ا<unk>ا<unk>'",
      "replace   text[335:388] --> decoded_text[548:633] 'ووسط هذه المأساة لم تعدم هذه الأرض الطيبة من بقايا أم' --> '<unk> <unk> ال<unk>ا<unk> ل<unk> <unk> <unk> ال<unk> ال<unk> <unk> <unk>ا<unk>ا <unk>'",
      "replace   text[391:462] --> decoded_text[636:761] 'ومن بقايا حكمة مازالت تميز أبناء هذا الشعب الطيب لأن اليمانيين في العام' --> '<unk> <unk>ا<unk>ا <unk> <unk>ا<unk>ال<unk> <unk> <unk>ا<unk> <unk>ا ال<unk> ال<unk> ل<unk> ال<unk>ا<unk> <unk> ال<unk>ا<unk>'",
      "replace   text[467:525] --> decoded_text[766:871] 'م فاجأوا العالم بوحدتهم حين كان العالم منغمساً في الانقسام' --> '<unk> <unk>ا<unk>ا ال<unk>ال<unk> <unk> <unk> <unk>ا<unk> ال<unk>ال<unk> <unk>ا<unk> <unk> الا<unk>ا<unk>'",
      "replace   text[527:602] --> decoded_text[873:980] 'وحينما كانت الأنظمة تتبعثر كان اليمن يقدم النموذج في تلك الظروف الاستثنائية' --> '<unk>ا <unk>ا<unk> ال<unk> <unk> <unk>ا<unk> ال<unk> <unk> ال<unk> <unk> <unk>ل<unk> ال<unk> الا<unk>ا<unk>'",
      "replace   text[605:785] --> decoded_text[983:1295] 'وكان اندفاع اليمنيين شمالاً وجنوباً نحو الوحدة طوعياً وبمستوى عالٍ من الحكمة ونكران الذات وتغليب المصلحة العليا عن أية مصالح أخرى سواءً كانت ذاتية أو حسابات جهوية أو أية مصالح أخرى' --> '<unk>ا<unk> ا<unk>ا<unk> ال<unk> <unk>الا<unk> <unk>ا<unk> <unk> ال<unk> <unk>ا<unk> <unk> <unk>ال<unk> <unk> ال<unk> <unk>ا<unk> ال<unk>ا<unk> <unk>ل<unk> ال<unk>ل<unk> ال<unk>ل<unk>ا <unk> <unk> <unk>ال<unk> <unk> <unk>ا<unk> <unk>ا<unk> <unk>ا<unk> <unk> <unk>ا<unk>ا<unk> <unk> <unk> <unk> <unk>ال<unk> <unk>'",
      "replace   text[787:816] --> decoded_text[1297:1345] 'عدا مصلحة اليمن الواحد الموحد' --> '<unk>ا <unk>ل<unk> ال<unk> ال<unk>ا<unk> ال<unk>'",
      "replace   text[819:884] --> decoded_text[1348:1447] 'مصلحة الإيثار ونحن نعتقد أن مرحلة التسعينات من القرن العشرين التي' --> '<unk>ل<unk> ال<unk>ا<unk> <unk> <unk> <unk> <unk>ل<unk> ال<unk>ا<unk> <unk> ال<unk> ال<unk> ال<unk>'",
      "replace   text[886:890] --> decoded_text[1449:1454]   'تردف' --> '<unk>'",
      "replace   text[892:964] --> decoded_text[1456:1567] 'كل مشكلات العقود التي سبقته كانت محورية في تاريخ المنطقة وفي تاريخ اليمن' --> '<unk>ل <unk>لا<unk> ال<unk> ال<unk> <unk> <unk>ا<unk> <unk> <unk> <unk>ا<unk> ال<unk> <unk> <unk>ا<unk> ال<unk>'"
    ],
    "n_oov_chars": 567,
    "oov_ratio": 0.5869565217391305,
    "oov_charset": "[\"ي\", \"م\", \"ن\", \"ج\", \"و\", \"ب\", \"ه\", \"ش\", \"ر\", \"ق\", \"غ\", \"ف\", \"ت\", \"ع\", \"ى\", \"ث\", \"س\", \"د\", \"ة\", \"ض\", \"ط\", \"ح\", \"ك\", \"أ\", \"ً\", \"ص\", \"إ\", \"ئ\", \"ء\", \"ذ\", \"ز\", \"ظ\", \"ٍ\", \"خ\"]"
  },
  {
    "text": "واليوم وبعد أن جرت مياه كثيرة وتدفقت من تحت الجسر, وما شهدته البلد من مواقف عديدة, فإن الحكمة اليمانية توجب على أبناء اليمن أياً كانت تياراتهم السياسية, أو انتماءاتهم المناطقية أو القبلية أو الجهوية, أن يستذكروا جيداً ما وصفهم به رسول العالمين محمد بن عبدالله عليه أفضل الصلوات والتسليم وعلى آله الأخيار الأطهار بأنهم أهل حكمة وأهل إيمان..",
    "decoded_text": "<unk>ال<unk> <unk> <unk> <unk> <unk>ا<unk> <unk> <unk> <unk> <unk> ال<unk>, <unk>ا <unk> ال<unk>ل<unk> <unk> <unk>ا<unk> <unk>, <unk> ال<unk> ال<unk>ا<unk> <unk> <unk>ل<unk> <unk>ا<unk> ال<unk> <unk>ا<unk> <unk>ا<unk> <unk>ا<unk>ا<unk> ال<unk>ا<unk>, <unk> ا<unk>ا<unk>ا<unk> ال<unk>ا<unk> <unk> ال<unk>ل<unk> <unk> ال<unk>, <unk> <unk>ا <unk>ا<unk> <unk>ا <unk> <unk> <unk>ل ال<unk>ال<unk> <unk> <unk> <unk>الل<unk> <unk>ل<unk> <unk>ل ال<unk>ل<unk>ا<unk> <unk>ال<unk>ل<unk> <unk>ل<unk> <unk>ل<unk> ال<unk>ا<unk> ال<unk>ا<unk> <unk> <unk>ل <unk> <unk>ل <unk>ا<unk>..",
    "diff": [
      "replace   text[0:49] --> decoded_text[0:74] 'واليوم وبعد أن جرت مياه كثيرة وتدفقت من تحت الجسر' --> '<unk>ال<unk> <unk> <unk> <unk> <unk>ا<unk> <unk> <unk> <unk> <unk> ال<unk>'",
      "replace   text[51:81] --> decoded_text[76:126] 'وما شهدته البلد من مواقف عديدة' --> '<unk>ا <unk> ال<unk>ل<unk> <unk> <unk>ا<unk> <unk>'",
      "replace   text[83:151] --> decoded_text[128:249] 'فإن الحكمة اليمانية توجب على أبناء اليمن أياً كانت تياراتهم السياسية' --> '<unk> ال<unk> ال<unk>ا<unk> <unk> <unk>ل<unk> <unk>ا<unk> ال<unk> <unk>ا<unk> <unk>ا<unk> <unk>ا<unk>ا<unk> ال<unk>ا<unk>'",
      "replace   text[153:198] --> decoded_text[251:323] 'أو انتماءاتهم المناطقية أو القبلية أو الجهوية' --> '<unk> ا<unk>ا<unk>ا<unk> ال<unk>ا<unk> <unk> ال<unk>ل<unk> <unk> ال<unk>'",
      "replace   text[200:337] --> decoded_text[325:564] 'أن يستذكروا جيداً ما وصفهم به رسول العالمين محمد بن عبدالله عليه أفضل الصلوات والتسليم وعلى آله الأخيار الأطهار بأنهم أهل حكمة وأهل إيمان' --> '<unk> <unk>ا <unk>ا<unk> <unk>ا <unk> <unk> <unk>ل ال<unk>ال<unk> <unk> <unk> <unk>الل<unk> <unk>ل<unk> <unk>ل ال<unk>ل<unk>ا<unk> <unk>ال<unk>ل<unk> <unk>ل<unk> <unk>ل<unk> ال<unk>ا<unk> ال<unk>ا<unk> <unk> <unk>ل <unk> <unk>ل <unk>ا<unk>'"
    ],
    "n_oov_chars": 208,
    "oov_ratio": 0.6135693215339233,
    "oov_charset": "[\"و\", \"ي\", \"م\", \"ب\", \"ع\", \"د\", \"أ\", \"ن\", \"ج\", \"ر\", \"ت\", \"ه\", \"ك\", \"ث\", \"ة\", \"ف\", \"ق\", \"ح\", \"س\", \"ش\", \"إ\", \"ى\", \"ء\", \"ً\", \"ط\", \"ذ\", \"ص\", \"ض\", \"آ\", \"خ\"]"
  },
  {
    "text": "وكلام الرسول وأحاديثه ما هي إلا وحي من الله.. بمعنى أن العمل بما قاله الرسول الأعظم هو مسؤولية أخلاقية ودينية ومسؤولية سياسية..",
    "decoded_text": "<unk>لا<unk> ال<unk>ل <unk>ا<unk> <unk>ا <unk> <unk>لا <unk> <unk> الل<unk>.. <unk> <unk> ال<unk>ل <unk>ا <unk>ال<unk> ال<unk>ل ال<unk> <unk> <unk>ل<unk> <unk>لا<unk> <unk> <unk>ل<unk> <unk>ا<unk>..",
    "diff": [
      "replace   text[0:2] --> decoded_text[0:5]     'وك' --> '<unk>'",
      "replace   text[4:5] --> decoded_text[7:12]      'م' --> '<unk>'",
      "replace   text[8:11] --> decoded_text[15:20]    'رسو' --> '<unk>'",
      "replace   text[13:16] --> decoded_text[22:27]    'وأح' --> '<unk>'",
      "replace   text[17:21] --> decoded_text[28:33]   'ديثه' --> '<unk>'",
      "replace   text[22:23] --> decoded_text[34:39]      'م' --> '<unk>'",
      "replace   text[25:27] --> decoded_text[41:46]     'هي' --> '<unk>'",
      "replace   text[28:29] --> decoded_text[47:52]      'إ' --> '<unk>'",
      "replace   text[32:35] --> decoded_text[55:60]    'وحي' --> '<unk>'",
      "replace   text[36:38] --> decoded_text[61:66]     'من' --> '<unk>'",
      "replace   text[42:43] --> decoded_text[70:75]      'ه' --> '<unk>'",
      "replace   text[46:51] --> decoded_text[78:83]  'بمعنى' --> '<unk>'",
      "replace   text[52:54] --> decoded_text[84:89]     'أن' --> '<unk>'",
      "replace   text[57:59] --> decoded_text[92:97]     'عم' --> '<unk>'",
      "replace   text[61:63] --> decoded_text[99:104]     'بم' --> '<unk>'",
      "replace   text[65:66] --> decoded_text[106:111]      'ق' --> '<unk>'",
      "replace   text[68:69] --> decoded_text[113:118]      'ه' --> '<unk>'",
      "replace   text[72:75] --> decoded_text[121:126]    'رسو' --> '<unk>'",
      "replace   text[79:83] --> decoded_text[130:135]   'أعظم' --> '<unk>'",
      "replace   text[84:86] --> decoded_text[136:141]     'هو' --> '<unk>'",
      "replace   text[87:91] --> decoded_text[142:147]   'مسؤو' --> '<unk>'",
      "replace   text[92:94] --> decoded_text[148:153]     'ية' --> '<unk>'",
      "replace   text[95:97] --> decoded_text[154:159]     'أخ' --> '<unk>'",
      "replace   text[99:102] --> decoded_text[161:166]    'قية' --> '<unk>'",
      "replace   text[103:109] --> decoded_text[167:172] 'ودينية' --> '<unk>'",
      "replace   text[110:115] --> decoded_text[173:178]  'ومسؤو' --> '<unk>'",
      "replace   text[116:118] --> decoded_text[179:184]     'ية' --> '<unk>'",
      "replace   text[119:121] --> decoded_text[185:190]     'سي' --> '<unk>'",
      "replace   text[122:125] --> decoded_text[191:196]    'سية' --> '<unk>'"
    ],
    "n_oov_chars": 74,
    "oov_ratio": 0.5826771653543307,
    "oov_charset": "[\"و\", \"ك\", \"م\", \"ر\", \"س\", \"أ\", \"ح\", \"د\", \"ي\", \"ث\", \"ه\", \"إ\", \"ن\", \"ب\", \"ع\", \"ى\", \"ق\", \"ظ\", \"ؤ\", \"ة\", \"خ\"]"
  },
  {
    "text": "فهل أوضاع اليمنيين القائمة هي نتاج حكمة, وهل من الحكمة أن تظل البندقية والقذيفة هي وسيلة الخطاب والحوار فيما بيننا نحن أبناء هذا البلد العظيم..",
    "decoded_text": "<unk>ل <unk>ا<unk> ال<unk> ال<unk>ا<unk> <unk> <unk>ا<unk> <unk>, <unk>ل <unk> ال<unk> <unk> <unk>ل ال<unk> <unk>ال<unk> <unk> <unk>ل<unk> ال<unk>ا<unk> <unk>ال<unk>ا<unk> <unk>ا <unk>ا <unk> <unk>ا<unk> <unk>ا ال<unk>ل<unk> ال<unk>..",
    "diff": [
      "replace   text[0:39] --> decoded_text[0:64] 'فهل أوضاع اليمنيين القائمة هي نتاج حكمة' --> '<unk>ل <unk>ا<unk> ال<unk> ال<unk>ا<unk> <unk> <unk>ا<unk> <unk>'",
      "replace   text[41:141] --> decoded_text[66:232] 'وهل من الحكمة أن تظل البندقية والقذيفة هي وسيلة الخطاب والحوار فيما بيننا نحن أبناء هذا البلد العظيم' --> '<unk>ل <unk> ال<unk> <unk> <unk>ل ال<unk> <unk>ال<unk> <unk> <unk>ل<unk> ال<unk>ا<unk> <unk>ال<unk>ا<unk> <unk>ا <unk>ا <unk> <unk>ا<unk> <unk>ا ال<unk>ل<unk> ال<unk>'"
    ],
    "n_oov_chars": 84,
    "oov_ratio": 0.5874125874125874,
    "oov_charset": "[\"ف\", \"ه\", \"أ\", \"و\", \"ض\", \"ع\", \"ي\", \"م\", \"ن\", \"ق\", \"ئ\", \"ة\", \"ت\", \"ج\", \"ح\", \"ك\", \"ظ\", \"ب\", \"د\", \"ذ\", \"س\", \"خ\", \"ط\", \"ر\", \"ء\"]"
  },
  {
    "text": "وهل الانسياق نحو مزيدٍ من العناد ومزيدٍ من الاحتقان, ومزيدٍ من الاحتراب بين أبناء بلد واحد وشعب واحد يرضى الله ورسوله الكريم عليه صلاة الله وسلامه وعلى آله..",
    "decoded_text": "<unk>ل الا<unk>ا<unk> <unk> <unk> <unk> ال<unk>ا<unk> <unk> <unk> الا<unk>ا<unk>, <unk> <unk> الا<unk>ا<unk> <unk> <unk>ا<unk> <unk>ل<unk> <unk>ا<unk> <unk> <unk>ا<unk> <unk> الل<unk> <unk>ل<unk> ال<unk> <unk>ل<unk> <unk>لا<unk> الل<unk> <unk>لا<unk> <unk>ل<unk> <unk>ل<unk>..",
    "diff": [
      "replace   text[0:51] --> decoded_text[0:80] 'وهل الانسياق نحو مزيدٍ من العناد ومزيدٍ من الاحتقان' --> '<unk>ل الا<unk>ا<unk> <unk> <unk> <unk> ال<unk>ا<unk> <unk> <unk> الا<unk>ا<unk>'",
      "replace   text[53:155] --> decoded_text[82:274] 'ومزيدٍ من الاحتراب بين أبناء بلد واحد وشعب واحد يرضى الله ورسوله الكريم عليه صلاة الله وسلامه وعلى آله' --> '<unk> <unk> الا<unk>ا<unk> <unk> <unk>ا<unk> <unk>ل<unk> <unk>ا<unk> <unk> <unk>ا<unk> <unk> الل<unk> <unk>ل<unk> ال<unk> <unk>ل<unk> <unk>لا<unk> الل<unk> <unk>لا<unk> <unk>ل<unk> <unk>ل<unk>'"
    ],
    "n_oov_chars": 91,
    "oov_ratio": 0.5796178343949044,
    "oov_charset": "[\"و\", \"ه\", \"ن\", \"س\", \"ي\", \"ق\", \"ح\", \"م\", \"ز\", \"د\", \"ٍ\", \"ع\", \"ت\", \"ر\", \"ب\", \"أ\", \"ء\", \"ش\", \"ض\", \"ى\", \"ك\", \"ص\", \"ة\", \"آ\"]"
  },
  {
    "text": "أنا لا اعتقد أن عاقلاً من بناء هذا البلد يقبل أو يستسيغ ما يجري فيه.. أن يتحول اليمن- وهو بلد ولاَّد بالخير, إلى أطلال, وأن يتعرض أبناؤه الأحرار إلى قطيع من الذئاب تنهش ببعضها, بل والأشد نكاية وألماً أن يكون ذلك خدمة لأعدائه..",
    "decoded_text": "<unk>ا لا ا<unk> <unk> <unk>ا<unk>لا<unk> <unk> <unk>ا<unk> <unk>ا ال<unk>ل<unk> <unk>ل <unk> <unk> <unk>ا <unk> <unk>.. <unk> <unk>ل ال<unk>- <unk> <unk>ل<unk> <unk>لا<unk> <unk>ال<unk>, <unk>ل<unk> <unk>لال, <unk> <unk> <unk>ا<unk> ال<unk>ا<unk> <unk>ل<unk> <unk> <unk> ال<unk>ا<unk> <unk> <unk>ا, <unk>ل <unk>ال<unk> <unk>ا<unk> <unk>ل<unk>ا<unk> <unk> <unk> <unk>ل<unk> <unk> ل<unk>ا<unk>..",
    "diff": [
      "replace   text[0:67] --> decoded_text[0:118] 'أنا لا اعتقد أن عاقلاً من بناء هذا البلد يقبل أو يستسيغ ما يجري فيه' --> '<unk>ا لا ا<unk> <unk> <unk>ا<unk>لا<unk> <unk> <unk>ا<unk> <unk>ا ال<unk>ل<unk> <unk>ل <unk> <unk> <unk>ا <unk> <unk>'",
      "replace   text[70:84] --> decoded_text[121:141] 'أن يتحول اليمن' --> '<unk> <unk>ل ال<unk>'",
      "replace   text[86:107] --> decoded_text[143:186] 'وهو بلد ولاَّد بالخير' --> '<unk> <unk>ل<unk> <unk>لا<unk> <unk>ال<unk>'",
      "replace   text[109:115] --> decoded_text[188:205] 'إلى أط' --> '<unk>ل<unk> <unk>'",
      "replace   text[120:174] --> decoded_text[210:297] 'وأن يتعرض أبناؤه الأحرار إلى قطيع من الذئاب تنهش ببعضه' --> '<unk> <unk> <unk>ا<unk> ال<unk>ا<unk> <unk>ل<unk> <unk> <unk> ال<unk>ا<unk> <unk> <unk>'",
      "replace   text[177:224] --> decoded_text[300:392] 'بل والأشد نكاية وألماً أن يكون ذلك خدمة لأعدائه' --> '<unk>ل <unk>ال<unk> <unk>ا<unk> <unk>ل<unk>ا<unk> <unk> <unk> <unk>ل<unk> <unk> ل<unk>ا<unk>'"
    ],
    "n_oov_chars": 132,
    "oov_ratio": 0.584070796460177,
    "oov_charset": "[\"أ\", \"ن\", \"ع\", \"ت\", \"ق\", \"د\", \"ً\", \"م\", \"ب\", \"ء\", \"ه\", \"ذ\", \"ي\", \"و\", \"س\", \"غ\", \"ج\", \"ر\", \"ف\", \"ح\", \"ّ\", \"َ\", \"خ\", \"إ\", \"ى\", \"ط\", \"ض\", \"ؤ\", \"ئ\", \"ش\", \"ك\", \"ة\"]"
  },
  {
    "text": "اليمن أنهك من العدوان ومن الحصار حتى أولئك الذين يظنون أنهم بعيدون عن التأثيرات المباشرة للعدوان, لم يسلموا ولن يسلموا.. والأعباء والمتاعب طالت الجميع, وإن ظل الصمت والانجرار خلف مواقف تخدم أعداء هذا الشعب فإن المستقبل سيكون قاتماً وأضراره ستظل تلاحق الأجيال اليمنية جيلاً بعد جيل, وسيكون أعداء هذا الشعب هم المستفيدون الفعليون فهل غابت منا الحكمة حتى ننزلق لنكون أدوات بأيدي الرياض أو الدوحة, أو أبوظبي..؟!",
    "decoded_text": "ال<unk> <unk> <unk> ال<unk>ا<unk> <unk> ال<unk>ا<unk> <unk> <unk>ل<unk> ال<unk> <unk> <unk> <unk> <unk> ال<unk>ا<unk> ال<unk>ا<unk> لل<unk>ا<unk>, ل<unk> <unk>ل<unk>ا <unk>ل<unk> <unk>ل<unk>ا.. <unk>ال<unk>ا<unk> <unk>ال<unk>ا<unk> <unk>ال<unk> ال<unk>, <unk> <unk>ل ال<unk> <unk>الا<unk>ا<unk> <unk>ل<unk> <unk>ا<unk> <unk> <unk>ا<unk> <unk>ا ال<unk> <unk> ال<unk>ل <unk> <unk>ا<unk>ا<unk> <unk>ا<unk> <unk>ل <unk>لا<unk> ال<unk>ال ال<unk> <unk>لا<unk> <unk> <unk>ل, <unk> <unk>ا<unk> <unk>ا ال<unk> <unk> ال<unk> ال<unk>ل<unk> <unk>ل <unk>ا<unk> <unk>ا ال<unk> <unk> <unk>ل<unk> ل<unk> <unk>ا<unk> <unk> ال<unk>ا<unk> <unk> ال<unk>, <unk> <unk>..<unk>!",
    "diff": [
      "replace   text[2:96] --> decoded_text[2:145] 'يمن أنهك من العدوان ومن الحصار حتى أولئك الذين يظنون أنهم بعيدون عن التأثيرات المباشرة للعدوان' --> '<unk> <unk> <unk> ال<unk>ا<unk> <unk> ال<unk>ا<unk> <unk> <unk>ل<unk> ال<unk> <unk> <unk> <unk> <unk> ال<unk>ا<unk> ال<unk>ا<unk> لل<unk>ا<unk>'",
      "replace   text[99:117] --> decoded_text[148:190] 'م يسلموا ولن يسلمو' --> '<unk> <unk>ل<unk>ا <unk>ل<unk> <unk>ل<unk>'",
      "replace   text[121:150] --> decoded_text[194:252] 'والأعباء والمتاعب طالت الجميع' --> '<unk>ال<unk>ا<unk> <unk>ال<unk>ا<unk> <unk>ال<unk> ال<unk>'",
      "replace   text[152:279] --> decoded_text[254:465] 'وإن ظل الصمت والانجرار خلف مواقف تخدم أعداء هذا الشعب فإن المستقبل سيكون قاتماً وأضراره ستظل تلاحق الأجيال اليمنية جيلاً بعد جي' --> '<unk> <unk>ل ال<unk> <unk>الا<unk>ا<unk> <unk>ل<unk> <unk>ا<unk> <unk> <unk>ا<unk> <unk>ا ال<unk> <unk> ال<unk>ل <unk> <unk>ا<unk>ا<unk> <unk>ا<unk> <unk>ل <unk>لا<unk> ال<unk>ال ال<unk> <unk>لا<unk> <unk> <unk>'",
      "replace   text[282:392] --> decoded_text[468:633] 'وسيكون أعداء هذا الشعب هم المستفيدون الفعليون فهل غابت منا الحكمة حتى ننزلق لنكون أدوات بأيدي الرياض أو الدوحة' --> '<unk> <unk>ا<unk> <unk>ا ال<unk> <unk> ال<unk> ال<unk>ل<unk> <unk>ل <unk>ا<unk> <unk>ا ال<unk> <unk> <unk>ل<unk> ل<unk> <unk>ا<unk> <unk> ال<unk>ا<unk> <unk> ال<unk>'",
      "replace   text[394:403] --> decoded_text[635:646] 'أو أبوظبي' --> '<unk> <unk>'",
      "replace   text[405:406] --> decoded_text[648:653]      '؟' --> '<unk>'"
    ],
    "n_oov_chars": 243,
    "oov_ratio": 0.597051597051597,
    "oov_charset": "[\"ي\", \"م\", \"ن\", \"أ\", \"ه\", \"ك\", \"ع\", \"د\", \"و\", \"ح\", \"ص\", \"ر\", \"ت\", \"ى\", \"ئ\", \"ذ\", \"ظ\", \"ب\", \"ث\", \"ش\", \"ة\", \"س\", \"ء\", \"ط\", \"ج\", \"إ\", \"خ\", \"ف\", \"ق\", \"ً\", \"ض\", \"غ\", \"ز\", \"؟\"]"
  },
  {
    "text": "وهل انعكست المفاهيم ونحن نقبل بما يملى علينا من عواصم الفتنة ومن رموز قبلت أن تكون خادمة لأجندة غير عربية وغير إسلامية.. أجندة تباع فيها الضمائر وتباع فيها المواقف من أجل عين أصحاب البقرة الصفراء ومن أجل رضا أجهزة المخابرات في واشنطن وفي تل أبيب!!",
    "decoded_text": "<unk>ل ا<unk> ال<unk>ا<unk> <unk> <unk>ل <unk>ا <unk>ل<unk> <unk>ل<unk>ا <unk> <unk>ا<unk> ال<unk> <unk> <unk> <unk>ل<unk> <unk> <unk> <unk>ا<unk> ل<unk> <unk> <unk> <unk> <unk>لا<unk>.. <unk> <unk>ا<unk> <unk>ا ال<unk>ا<unk> <unk>ا<unk> <unk>ا ال<unk>ا<unk> <unk> <unk>ل <unk> <unk>ا<unk> ال<unk> ال<unk>ا<unk> <unk> <unk>ل <unk>ا <unk> ال<unk>ا<unk>ا<unk> <unk> <unk>ا<unk> <unk> <unk>ل <unk>!!",
    "diff": [
      "replace   text[0:118] --> decoded_text[0:184] 'وهل انعكست المفاهيم ونحن نقبل بما يملى علينا من عواصم الفتنة ومن رموز قبلت أن تكون خادمة لأجندة غير عربية وغير إسلامية' --> '<unk>ل ا<unk> ال<unk>ا<unk> <unk> <unk>ل <unk>ا <unk>ل<unk> <unk>ل<unk>ا <unk> <unk>ا<unk> ال<unk> <unk> <unk> <unk>ل<unk> <unk> <unk> <unk>ا<unk> ل<unk> <unk> <unk> <unk> <unk>لا<unk>'",
      "replace   text[121:245] --> decoded_text[187:394] 'أجندة تباع فيها الضمائر وتباع فيها المواقف من أجل عين أصحاب البقرة الصفراء ومن أجل رضا أجهزة المخابرات في واشنطن وفي تل أبيب' --> '<unk> <unk>ا<unk> <unk>ا ال<unk>ا<unk> <unk>ا<unk> <unk>ا ال<unk>ا<unk> <unk> <unk>ل <unk> <unk>ا<unk> ال<unk> ال<unk>ا<unk> <unk> <unk>ل <unk>ا <unk> ال<unk>ا<unk>ا<unk> <unk> <unk>ا<unk> <unk> <unk>ل <unk>'"
    ],
    "n_oov_chars": 156,
    "oov_ratio": 0.631578947368421,
    "oov_charset": "[\"و\", \"ه\", \"ن\", \"ع\", \"ك\", \"س\", \"ت\", \"م\", \"ف\", \"ي\", \"ح\", \"ق\", \"ب\", \"ى\", \"ص\", \"ة\", \"ر\", \"ز\", \"أ\", \"خ\", \"د\", \"ج\", \"غ\", \"إ\", \"ض\", \"ئ\", \"ء\", \"ش\", \"ط\"]"
  },
  {
    "text": "اليمن.. في هذه اللحظة الفارقة.. في هذه المرحلة الخطيرة مدمرة, ومحاصرة, ويباد أهلها وساكنوها.. اليمن أصابتها لعنة الارتزاق وابتلاها الله بقيادات يممت وجهها صوب أبو ظبي, وصوب الرياض, وصوب واشنطن..",
    "decoded_text": "ال<unk>.. <unk> <unk> الل<unk> ال<unk>ا<unk>.. <unk> <unk> ال<unk>ل<unk> ال<unk> <unk>, <unk>ا<unk>, <unk>ا<unk> <unk>ل<unk>ا <unk>ا<unk>ا.. ال<unk> <unk>ا<unk>ا ل<unk> الا<unk>ا<unk> <unk>ا<unk>لا<unk>ا الل<unk> <unk>ا<unk>ا<unk> <unk> <unk>ا <unk> <unk> <unk>, <unk> ال<unk>ا<unk>, <unk> <unk>ا<unk>..",
    "diff": [
      "replace   text[2:60] --> decoded_text[2:86] 'يمن.. في هذه اللحظة الفارقة.. في هذه المرحلة الخطيرة مدمرة' --> '<unk>.. <unk> <unk> الل<unk> ال<unk>ا<unk>.. <unk> <unk> ال<unk>ل<unk> ال<unk> <unk>'",
      "replace   text[62:69] --> decoded_text[88:99] 'ومحاصرة' --> '<unk>ا<unk>'",
      "replace   text[71:166] --> decoded_text[101:261] 'ويباد أهلها وساكنوها.. اليمن أصابتها لعنة الارتزاق وابتلاها الله بقيادات يممت وجهها صوب أبو ظبي' --> '<unk>ا<unk> <unk>ل<unk>ا <unk>ا<unk>ا.. ال<unk> <unk>ا<unk>ا ل<unk> الا<unk>ا<unk> <unk>ا<unk>لا<unk>ا الل<unk> <unk>ا<unk>ا<unk> <unk> <unk>ا <unk> <unk> <unk>'",
      "replace   text[168:179] --> decoded_text[263:282] 'وصوب الرياض' --> '<unk> ال<unk>ا<unk>'",
      "replace   text[181:194] --> decoded_text[284:303] 'وصوب واشنطن..' --> '<unk> <unk>ا<unk>..'"
    ],
    "n_oov_chars": 111,
    "oov_ratio": 0.5721649484536082,
    "oov_charset": "[\"ي\", \"م\", \"ن\", \"ف\", \"ه\", \"ذ\", \"ح\", \"ظ\", \"ة\", \"ر\", \"ق\", \"خ\", \"ط\", \"د\", \"و\", \"ص\", \"ب\", \"أ\", \"س\", \"ك\", \"ت\", \"ع\", \"ز\", \"ج\", \"ض\", \"ش\"]"
  }
]