tokenizer-arena / stats /compression_rate /ClueAI.PromptCLUE-base @ cc100.ar.diff.json
xu-song's picture
add compression_rate details
a4208a2
[
{
"text": "- اللواء / علي محمد الكحلاني - نصيحة صادقة .. ( 1)",
"decoded_text": "- الل<unk>ا<unk> / <unk>ل<unk> <unk> ال<unk>لا<unk> - <unk> <unk>ا<unk>.. ( 1)",
"diff": [
"replace text[5:6] --> decoded_text[5:10] 'و' --> '<unk>'",
"replace text[7:8] --> decoded_text[11:16] 'ء' --> '<unk>'",
"replace text[11:12] --> decoded_text[19:24] 'ع' --> '<unk>'",
"replace text[13:14] --> decoded_text[25:30] 'ي' --> '<unk>'",
"replace text[15:19] --> decoded_text[31:36] 'محمد' --> '<unk>'",
"replace text[22:24] --> decoded_text[39:44] 'كح' --> '<unk>'",
"replace text[26:28] --> decoded_text[46:51] 'ني' --> '<unk>'",
"replace text[31:36] --> decoded_text[54:59] 'نصيحة' --> '<unk>'",
"replace text[37:38] --> decoded_text[60:65] 'ص' --> '<unk>'",
"replace text[39:43] --> decoded_text[66:71] 'دقة ' --> '<unk>'"
],
"n_oov_chars": 21,
"oov_ratio": 0.42,
"oov_charset": "[\"و\", \"ء\", \"ع\", \"ي\", \"م\", \"ح\", \"د\", \"ك\", \"ن\", \"ص\", \"ة\", \"ق\"]"
},
{
"text": "اليمن جنوبها وشمالها.. شرقها وغربها وقفت على مشارف العام الثامن والعشرين من استعادة وضعها الطبيعي, ومن حياتها الاعتيادية الطبيعية في 22مايو العام 1990م.. بكل تأكيد قد تنهدت من أعماق أعماقها ألماً وأسىً لما وصل إليه حال أبنائها من اقتتال ومن احتراب, ومن اضطراب في نسيجها الاجتماعي, ومن انصياع من بعض أبنائها لإملاءات الغير ولحساباتهم.. ووسط هذه المأساة لم تعدم هذه الأرض الطيبة من بقايا أمل, ومن بقايا حكمة مازالت تميز أبناء هذا الشعب الطيب لأن اليمانيين في العام 1990م فاجأوا العالم بوحدتهم حين كان العالم منغمساً في الانقسام, وحينما كانت الأنظمة تتبعثر كان اليمن يقدم النموذج في تلك الظروف الاستثنائية.. وكان اندفاع اليمنيين شمالاً وجنوباً نحو الوحدة طوعياً وبمستوى عالٍ من الحكمة ونكران الذات وتغليب المصلحة العليا عن أية مصالح أخرى سواءً كانت ذاتية أو حسابات جهوية أو أية مصالح أخرى, عدا مصلحة اليمن الواحد الموحد.. مصلحة الإيثار ونحن نعتقد أن مرحلة التسعينات من القرن العشرين التي (تردف) كل مشكلات العقود التي سبقته كانت محورية في تاريخ المنطقة وفي تاريخ اليمن..",
"decoded_text": "ال<unk> <unk>ا <unk>ال<unk>ا.. <unk>ا <unk>ا <unk> <unk>ل<unk> <unk>ا<unk> ال<unk>ا<unk> ال<unk>ا<unk> <unk>ال<unk> <unk> ا<unk>ا<unk> <unk>ا ال<unk>, <unk> <unk>ا<unk>ا الا<unk>ا<unk> ال<unk> <unk> 22<unk>ا<unk> ال<unk>ا<unk> 1990<unk>.. <unk>ل <unk> <unk> <unk> <unk> <unk>ا<unk> <unk>ا<unk>ا <unk>ل<unk>ا<unk> <unk> ل<unk>ا <unk>ل <unk>ل<unk> <unk>ال <unk>ا<unk>ا <unk> ا<unk>ال <unk> ا<unk>ا<unk>, <unk> ا<unk>ا<unk> <unk> <unk>ا الا<unk>ا<unk>, <unk> ا<unk>ا<unk> <unk> <unk> <unk>ا<unk>ا ل<unk>لا<unk>ا<unk> ال<unk> <unk>ل<unk>ا<unk>ا<unk>.. <unk> <unk> ال<unk>ا<unk> ل<unk> <unk> <unk> ال<unk> ال<unk> <unk> <unk>ا<unk>ا <unk>ل, <unk> <unk>ا<unk>ا <unk> <unk>ا<unk>ال<unk> <unk> <unk>ا<unk> <unk>ا ال<unk> ال<unk> ل<unk> ال<unk>ا<unk> <unk> ال<unk>ا<unk> 1990<unk> <unk>ا<unk>ا ال<unk>ال<unk> <unk> <unk> <unk>ا<unk> ال<unk>ال<unk> <unk>ا<unk> <unk> الا<unk>ا<unk>, <unk>ا <unk>ا<unk> ال<unk> <unk> <unk>ا<unk> ال<unk> <unk> ال<unk> <unk> <unk>ل<unk> ال<unk> الا<unk>ا<unk>.. <unk>ا<unk> ا<unk>ا<unk> ال<unk> <unk>الا<unk> <unk>ا<unk> <unk> ال<unk> <unk>ا<unk> <unk> <unk>ال<unk> <unk> ال<unk> <unk>ا<unk> ال<unk>ا<unk> <unk>ل<unk> ال<unk>ل<unk> ال<unk>ل<unk>ا <unk> <unk> <unk>ال<unk> <unk> <unk>ا<unk> <unk>ا<unk> <unk>ا<unk> <unk> <unk>ا<unk>ا<unk> <unk> <unk> <unk> <unk>ال<unk> <unk>, <unk>ا <unk>ل<unk> ال<unk> ال<unk>ا<unk> ال<unk>.. <unk>ل<unk> ال<unk>ا<unk> <unk> <unk> <unk> <unk>ل<unk> ال<unk>ا<unk> <unk> ال<unk> ال<unk> ال<unk> (<unk>) <unk>ل <unk>لا<unk> ال<unk> ال<unk> <unk> <unk>ا<unk> <unk> <unk> <unk>ا<unk> ال<unk> <unk> <unk>ا<unk> ال<unk>..",
"diff": [
"replace text[2:19] --> decoded_text[2:27] 'يمن جنوبها وشماله' --> '<unk> <unk>ا <unk>ال<unk>'",
"replace text[23:97] --> decoded_text[31:149] 'شرقها وغربها وقفت على مشارف العام الثامن والعشرين من استعادة وضعها الطبيعي' --> '<unk>ا <unk>ا <unk> <unk>ل<unk> <unk>ا<unk> ال<unk>ا<unk> ال<unk>ا<unk> <unk>ال<unk> <unk> ا<unk>ا<unk> <unk>ا ال<unk>'",
"replace text[99:132] --> decoded_text[151:198] 'ومن حياتها الاعتيادية الطبيعية في' --> '<unk> <unk>ا<unk>ا الا<unk>ا<unk> ال<unk> <unk>'",
"replace text[135:145] --> decoded_text[201:226] 'مايو العام' --> '<unk>ا<unk> ال<unk>ا<unk>'",
"replace text[150:151] --> decoded_text[231:236] 'م' --> '<unk>'",
"replace text[154:247] --> decoded_text[239:400] 'بكل تأكيد قد تنهدت من أعماق أعماقها ألماً وأسىً لما وصل إليه حال أبنائها من اقتتال ومن احتراب' --> '<unk>ل <unk> <unk> <unk> <unk> <unk>ا<unk> <unk>ا<unk>ا <unk>ل<unk>ا<unk> <unk> ل<unk>ا <unk>ل <unk>ل<unk> <unk>ال <unk>ا<unk>ا <unk> ا<unk>ال <unk> ا<unk>ا<unk>'",
"replace text[249:279] --> decoded_text[402:448] 'ومن اضطراب في نسيجها الاجتماعي' --> '<unk> ا<unk>ا<unk> <unk> <unk>ا الا<unk>ا<unk>'",
"replace text[281:332] --> decoded_text[450:545] 'ومن انصياع من بعض أبنائها لإملاءات الغير ولحساباتهم' --> '<unk> ا<unk>ا<unk> <unk> <unk> <unk>ا<unk>ا ل<unk>لا<unk>ا<unk> ال<unk> <unk>ل<unk>ا<unk>ا<unk>'",
"replace text[335:388] --> decoded_text[548:633] 'ووسط هذه المأساة لم تعدم هذه الأرض الطيبة من بقايا أم' --> '<unk> <unk> ال<unk>ا<unk> ل<unk> <unk> <unk> ال<unk> ال<unk> <unk> <unk>ا<unk>ا <unk>'",
"replace text[391:462] --> decoded_text[636:761] 'ومن بقايا حكمة مازالت تميز أبناء هذا الشعب الطيب لأن اليمانيين في العام' --> '<unk> <unk>ا<unk>ا <unk> <unk>ا<unk>ال<unk> <unk> <unk>ا<unk> <unk>ا ال<unk> ال<unk> ل<unk> ال<unk>ا<unk> <unk> ال<unk>ا<unk>'",
"replace text[467:525] --> decoded_text[766:871] 'م فاجأوا العالم بوحدتهم حين كان العالم منغمساً في الانقسام' --> '<unk> <unk>ا<unk>ا ال<unk>ال<unk> <unk> <unk> <unk>ا<unk> ال<unk>ال<unk> <unk>ا<unk> <unk> الا<unk>ا<unk>'",
"replace text[527:602] --> decoded_text[873:980] 'وحينما كانت الأنظمة تتبعثر كان اليمن يقدم النموذج في تلك الظروف الاستثنائية' --> '<unk>ا <unk>ا<unk> ال<unk> <unk> <unk>ا<unk> ال<unk> <unk> ال<unk> <unk> <unk>ل<unk> ال<unk> الا<unk>ا<unk>'",
"replace text[605:785] --> decoded_text[983:1295] 'وكان اندفاع اليمنيين شمالاً وجنوباً نحو الوحدة طوعياً وبمستوى عالٍ من الحكمة ونكران الذات وتغليب المصلحة العليا عن أية مصالح أخرى سواءً كانت ذاتية أو حسابات جهوية أو أية مصالح أخرى' --> '<unk>ا<unk> ا<unk>ا<unk> ال<unk> <unk>الا<unk> <unk>ا<unk> <unk> ال<unk> <unk>ا<unk> <unk> <unk>ال<unk> <unk> ال<unk> <unk>ا<unk> ال<unk>ا<unk> <unk>ل<unk> ال<unk>ل<unk> ال<unk>ل<unk>ا <unk> <unk> <unk>ال<unk> <unk> <unk>ا<unk> <unk>ا<unk> <unk>ا<unk> <unk> <unk>ا<unk>ا<unk> <unk> <unk> <unk> <unk>ال<unk> <unk>'",
"replace text[787:816] --> decoded_text[1297:1345] 'عدا مصلحة اليمن الواحد الموحد' --> '<unk>ا <unk>ل<unk> ال<unk> ال<unk>ا<unk> ال<unk>'",
"replace text[819:884] --> decoded_text[1348:1447] 'مصلحة الإيثار ونحن نعتقد أن مرحلة التسعينات من القرن العشرين التي' --> '<unk>ل<unk> ال<unk>ا<unk> <unk> <unk> <unk> <unk>ل<unk> ال<unk>ا<unk> <unk> ال<unk> ال<unk> ال<unk>'",
"replace text[886:890] --> decoded_text[1449:1454] 'تردف' --> '<unk>'",
"replace text[892:964] --> decoded_text[1456:1567] 'كل مشكلات العقود التي سبقته كانت محورية في تاريخ المنطقة وفي تاريخ اليمن' --> '<unk>ل <unk>لا<unk> ال<unk> ال<unk> <unk> <unk>ا<unk> <unk> <unk> <unk>ا<unk> ال<unk> <unk> <unk>ا<unk> ال<unk>'"
],
"n_oov_chars": 567,
"oov_ratio": 0.5869565217391305,
"oov_charset": "[\"ي\", \"م\", \"ن\", \"ج\", \"و\", \"ب\", \"ه\", \"ش\", \"ر\", \"ق\", \"غ\", \"ف\", \"ت\", \"ع\", \"ى\", \"ث\", \"س\", \"د\", \"ة\", \"ض\", \"ط\", \"ح\", \"ك\", \"أ\", \"ً\", \"ص\", \"إ\", \"ئ\", \"ء\", \"ذ\", \"ز\", \"ظ\", \"ٍ\", \"خ\"]"
},
{
"text": "واليوم وبعد أن جرت مياه كثيرة وتدفقت من تحت الجسر, وما شهدته البلد من مواقف عديدة, فإن الحكمة اليمانية توجب على أبناء اليمن أياً كانت تياراتهم السياسية, أو انتماءاتهم المناطقية أو القبلية أو الجهوية, أن يستذكروا جيداً ما وصفهم به رسول العالمين محمد بن عبدالله عليه أفضل الصلوات والتسليم وعلى آله الأخيار الأطهار بأنهم أهل حكمة وأهل إيمان..",
"decoded_text": "<unk>ال<unk> <unk> <unk> <unk> <unk>ا<unk> <unk> <unk> <unk> <unk> ال<unk>, <unk>ا <unk> ال<unk>ل<unk> <unk> <unk>ا<unk> <unk>, <unk> ال<unk> ال<unk>ا<unk> <unk> <unk>ل<unk> <unk>ا<unk> ال<unk> <unk>ا<unk> <unk>ا<unk> <unk>ا<unk>ا<unk> ال<unk>ا<unk>, <unk> ا<unk>ا<unk>ا<unk> ال<unk>ا<unk> <unk> ال<unk>ل<unk> <unk> ال<unk>, <unk> <unk>ا <unk>ا<unk> <unk>ا <unk> <unk> <unk>ل ال<unk>ال<unk> <unk> <unk> <unk>الل<unk> <unk>ل<unk> <unk>ل ال<unk>ل<unk>ا<unk> <unk>ال<unk>ل<unk> <unk>ل<unk> <unk>ل<unk> ال<unk>ا<unk> ال<unk>ا<unk> <unk> <unk>ل <unk> <unk>ل <unk>ا<unk>..",
"diff": [
"replace text[0:49] --> decoded_text[0:74] 'واليوم وبعد أن جرت مياه كثيرة وتدفقت من تحت الجسر' --> '<unk>ال<unk> <unk> <unk> <unk> <unk>ا<unk> <unk> <unk> <unk> <unk> ال<unk>'",
"replace text[51:81] --> decoded_text[76:126] 'وما شهدته البلد من مواقف عديدة' --> '<unk>ا <unk> ال<unk>ل<unk> <unk> <unk>ا<unk> <unk>'",
"replace text[83:151] --> decoded_text[128:249] 'فإن الحكمة اليمانية توجب على أبناء اليمن أياً كانت تياراتهم السياسية' --> '<unk> ال<unk> ال<unk>ا<unk> <unk> <unk>ل<unk> <unk>ا<unk> ال<unk> <unk>ا<unk> <unk>ا<unk> <unk>ا<unk>ا<unk> ال<unk>ا<unk>'",
"replace text[153:198] --> decoded_text[251:323] 'أو انتماءاتهم المناطقية أو القبلية أو الجهوية' --> '<unk> ا<unk>ا<unk>ا<unk> ال<unk>ا<unk> <unk> ال<unk>ل<unk> <unk> ال<unk>'",
"replace text[200:337] --> decoded_text[325:564] 'أن يستذكروا جيداً ما وصفهم به رسول العالمين محمد بن عبدالله عليه أفضل الصلوات والتسليم وعلى آله الأخيار الأطهار بأنهم أهل حكمة وأهل إيمان' --> '<unk> <unk>ا <unk>ا<unk> <unk>ا <unk> <unk> <unk>ل ال<unk>ال<unk> <unk> <unk> <unk>الل<unk> <unk>ل<unk> <unk>ل ال<unk>ل<unk>ا<unk> <unk>ال<unk>ل<unk> <unk>ل<unk> <unk>ل<unk> ال<unk>ا<unk> ال<unk>ا<unk> <unk> <unk>ل <unk> <unk>ل <unk>ا<unk>'"
],
"n_oov_chars": 208,
"oov_ratio": 0.6135693215339233,
"oov_charset": "[\"و\", \"ي\", \"م\", \"ب\", \"ع\", \"د\", \"أ\", \"ن\", \"ج\", \"ر\", \"ت\", \"ه\", \"ك\", \"ث\", \"ة\", \"ف\", \"ق\", \"ح\", \"س\", \"ش\", \"إ\", \"ى\", \"ء\", \"ً\", \"ط\", \"ذ\", \"ص\", \"ض\", \"آ\", \"خ\"]"
},
{
"text": "وكلام الرسول وأحاديثه ما هي إلا وحي من الله.. بمعنى أن العمل بما قاله الرسول الأعظم هو مسؤولية أخلاقية ودينية ومسؤولية سياسية..",
"decoded_text": "<unk>لا<unk> ال<unk>ل <unk>ا<unk> <unk>ا <unk> <unk>لا <unk> <unk> الل<unk>.. <unk> <unk> ال<unk>ل <unk>ا <unk>ال<unk> ال<unk>ل ال<unk> <unk> <unk>ل<unk> <unk>لا<unk> <unk> <unk>ل<unk> <unk>ا<unk>..",
"diff": [
"replace text[0:2] --> decoded_text[0:5] 'وك' --> '<unk>'",
"replace text[4:5] --> decoded_text[7:12] 'م' --> '<unk>'",
"replace text[8:11] --> decoded_text[15:20] 'رسو' --> '<unk>'",
"replace text[13:16] --> decoded_text[22:27] 'وأح' --> '<unk>'",
"replace text[17:21] --> decoded_text[28:33] 'ديثه' --> '<unk>'",
"replace text[22:23] --> decoded_text[34:39] 'م' --> '<unk>'",
"replace text[25:27] --> decoded_text[41:46] 'هي' --> '<unk>'",
"replace text[28:29] --> decoded_text[47:52] 'إ' --> '<unk>'",
"replace text[32:35] --> decoded_text[55:60] 'وحي' --> '<unk>'",
"replace text[36:38] --> decoded_text[61:66] 'من' --> '<unk>'",
"replace text[42:43] --> decoded_text[70:75] 'ه' --> '<unk>'",
"replace text[46:51] --> decoded_text[78:83] 'بمعنى' --> '<unk>'",
"replace text[52:54] --> decoded_text[84:89] 'أن' --> '<unk>'",
"replace text[57:59] --> decoded_text[92:97] 'عم' --> '<unk>'",
"replace text[61:63] --> decoded_text[99:104] 'بم' --> '<unk>'",
"replace text[65:66] --> decoded_text[106:111] 'ق' --> '<unk>'",
"replace text[68:69] --> decoded_text[113:118] 'ه' --> '<unk>'",
"replace text[72:75] --> decoded_text[121:126] 'رسو' --> '<unk>'",
"replace text[79:83] --> decoded_text[130:135] 'أعظم' --> '<unk>'",
"replace text[84:86] --> decoded_text[136:141] 'هو' --> '<unk>'",
"replace text[87:91] --> decoded_text[142:147] 'مسؤو' --> '<unk>'",
"replace text[92:94] --> decoded_text[148:153] 'ية' --> '<unk>'",
"replace text[95:97] --> decoded_text[154:159] 'أخ' --> '<unk>'",
"replace text[99:102] --> decoded_text[161:166] 'قية' --> '<unk>'",
"replace text[103:109] --> decoded_text[167:172] 'ودينية' --> '<unk>'",
"replace text[110:115] --> decoded_text[173:178] 'ومسؤو' --> '<unk>'",
"replace text[116:118] --> decoded_text[179:184] 'ية' --> '<unk>'",
"replace text[119:121] --> decoded_text[185:190] 'سي' --> '<unk>'",
"replace text[122:125] --> decoded_text[191:196] 'سية' --> '<unk>'"
],
"n_oov_chars": 74,
"oov_ratio": 0.5826771653543307,
"oov_charset": "[\"و\", \"ك\", \"م\", \"ر\", \"س\", \"أ\", \"ح\", \"د\", \"ي\", \"ث\", \"ه\", \"إ\", \"ن\", \"ب\", \"ع\", \"ى\", \"ق\", \"ظ\", \"ؤ\", \"ة\", \"خ\"]"
},
{
"text": "فهل أوضاع اليمنيين القائمة هي نتاج حكمة, وهل من الحكمة أن تظل البندقية والقذيفة هي وسيلة الخطاب والحوار فيما بيننا نحن أبناء هذا البلد العظيم..",
"decoded_text": "<unk>ل <unk>ا<unk> ال<unk> ال<unk>ا<unk> <unk> <unk>ا<unk> <unk>, <unk>ل <unk> ال<unk> <unk> <unk>ل ال<unk> <unk>ال<unk> <unk> <unk>ل<unk> ال<unk>ا<unk> <unk>ال<unk>ا<unk> <unk>ا <unk>ا <unk> <unk>ا<unk> <unk>ا ال<unk>ل<unk> ال<unk>..",
"diff": [
"replace text[0:39] --> decoded_text[0:64] 'فهل أوضاع اليمنيين القائمة هي نتاج حكمة' --> '<unk>ل <unk>ا<unk> ال<unk> ال<unk>ا<unk> <unk> <unk>ا<unk> <unk>'",
"replace text[41:141] --> decoded_text[66:232] 'وهل من الحكمة أن تظل البندقية والقذيفة هي وسيلة الخطاب والحوار فيما بيننا نحن أبناء هذا البلد العظيم' --> '<unk>ل <unk> ال<unk> <unk> <unk>ل ال<unk> <unk>ال<unk> <unk> <unk>ل<unk> ال<unk>ا<unk> <unk>ال<unk>ا<unk> <unk>ا <unk>ا <unk> <unk>ا<unk> <unk>ا ال<unk>ل<unk> ال<unk>'"
],
"n_oov_chars": 84,
"oov_ratio": 0.5874125874125874,
"oov_charset": "[\"ف\", \"ه\", \"أ\", \"و\", \"ض\", \"ع\", \"ي\", \"م\", \"ن\", \"ق\", \"ئ\", \"ة\", \"ت\", \"ج\", \"ح\", \"ك\", \"ظ\", \"ب\", \"د\", \"ذ\", \"س\", \"خ\", \"ط\", \"ر\", \"ء\"]"
},
{
"text": "وهل الانسياق نحو مزيدٍ من العناد ومزيدٍ من الاحتقان, ومزيدٍ من الاحتراب بين أبناء بلد واحد وشعب واحد يرضى الله ورسوله الكريم عليه صلاة الله وسلامه وعلى آله..",
"decoded_text": "<unk>ل الا<unk>ا<unk> <unk> <unk> <unk> ال<unk>ا<unk> <unk> <unk> الا<unk>ا<unk>, <unk> <unk> الا<unk>ا<unk> <unk> <unk>ا<unk> <unk>ل<unk> <unk>ا<unk> <unk> <unk>ا<unk> <unk> الل<unk> <unk>ل<unk> ال<unk> <unk>ل<unk> <unk>لا<unk> الل<unk> <unk>لا<unk> <unk>ل<unk> <unk>ل<unk>..",
"diff": [
"replace text[0:51] --> decoded_text[0:80] 'وهل الانسياق نحو مزيدٍ من العناد ومزيدٍ من الاحتقان' --> '<unk>ل الا<unk>ا<unk> <unk> <unk> <unk> ال<unk>ا<unk> <unk> <unk> الا<unk>ا<unk>'",
"replace text[53:155] --> decoded_text[82:274] 'ومزيدٍ من الاحتراب بين أبناء بلد واحد وشعب واحد يرضى الله ورسوله الكريم عليه صلاة الله وسلامه وعلى آله' --> '<unk> <unk> الا<unk>ا<unk> <unk> <unk>ا<unk> <unk>ل<unk> <unk>ا<unk> <unk> <unk>ا<unk> <unk> الل<unk> <unk>ل<unk> ال<unk> <unk>ل<unk> <unk>لا<unk> الل<unk> <unk>لا<unk> <unk>ل<unk> <unk>ل<unk>'"
],
"n_oov_chars": 91,
"oov_ratio": 0.5796178343949044,
"oov_charset": "[\"و\", \"ه\", \"ن\", \"س\", \"ي\", \"ق\", \"ح\", \"م\", \"ز\", \"د\", \"ٍ\", \"ع\", \"ت\", \"ر\", \"ب\", \"أ\", \"ء\", \"ش\", \"ض\", \"ى\", \"ك\", \"ص\", \"ة\", \"آ\"]"
},
{
"text": "أنا لا اعتقد أن عاقلاً من بناء هذا البلد يقبل أو يستسيغ ما يجري فيه.. أن يتحول اليمن- وهو بلد ولاَّد بالخير, إلى أطلال, وأن يتعرض أبناؤه الأحرار إلى قطيع من الذئاب تنهش ببعضها, بل والأشد نكاية وألماً أن يكون ذلك خدمة لأعدائه..",
"decoded_text": "<unk>ا لا ا<unk> <unk> <unk>ا<unk>لا<unk> <unk> <unk>ا<unk> <unk>ا ال<unk>ل<unk> <unk>ل <unk> <unk> <unk>ا <unk> <unk>.. <unk> <unk>ل ال<unk>- <unk> <unk>ل<unk> <unk>لا<unk> <unk>ال<unk>, <unk>ل<unk> <unk>لال, <unk> <unk> <unk>ا<unk> ال<unk>ا<unk> <unk>ل<unk> <unk> <unk> ال<unk>ا<unk> <unk> <unk>ا, <unk>ل <unk>ال<unk> <unk>ا<unk> <unk>ل<unk>ا<unk> <unk> <unk> <unk>ل<unk> <unk> ل<unk>ا<unk>..",
"diff": [
"replace text[0:67] --> decoded_text[0:118] 'أنا لا اعتقد أن عاقلاً من بناء هذا البلد يقبل أو يستسيغ ما يجري فيه' --> '<unk>ا لا ا<unk> <unk> <unk>ا<unk>لا<unk> <unk> <unk>ا<unk> <unk>ا ال<unk>ل<unk> <unk>ل <unk> <unk> <unk>ا <unk> <unk>'",
"replace text[70:84] --> decoded_text[121:141] 'أن يتحول اليمن' --> '<unk> <unk>ل ال<unk>'",
"replace text[86:107] --> decoded_text[143:186] 'وهو بلد ولاَّد بالخير' --> '<unk> <unk>ل<unk> <unk>لا<unk> <unk>ال<unk>'",
"replace text[109:115] --> decoded_text[188:205] 'إلى أط' --> '<unk>ل<unk> <unk>'",
"replace text[120:174] --> decoded_text[210:297] 'وأن يتعرض أبناؤه الأحرار إلى قطيع من الذئاب تنهش ببعضه' --> '<unk> <unk> <unk>ا<unk> ال<unk>ا<unk> <unk>ل<unk> <unk> <unk> ال<unk>ا<unk> <unk> <unk>'",
"replace text[177:224] --> decoded_text[300:392] 'بل والأشد نكاية وألماً أن يكون ذلك خدمة لأعدائه' --> '<unk>ل <unk>ال<unk> <unk>ا<unk> <unk>ل<unk>ا<unk> <unk> <unk> <unk>ل<unk> <unk> ل<unk>ا<unk>'"
],
"n_oov_chars": 132,
"oov_ratio": 0.584070796460177,
"oov_charset": "[\"أ\", \"ن\", \"ع\", \"ت\", \"ق\", \"د\", \"ً\", \"م\", \"ب\", \"ء\", \"ه\", \"ذ\", \"ي\", \"و\", \"س\", \"غ\", \"ج\", \"ر\", \"ف\", \"ح\", \"ّ\", \"َ\", \"خ\", \"إ\", \"ى\", \"ط\", \"ض\", \"ؤ\", \"ئ\", \"ش\", \"ك\", \"ة\"]"
},
{
"text": "اليمن أنهك من العدوان ومن الحصار حتى أولئك الذين يظنون أنهم بعيدون عن التأثيرات المباشرة للعدوان, لم يسلموا ولن يسلموا.. والأعباء والمتاعب طالت الجميع, وإن ظل الصمت والانجرار خلف مواقف تخدم أعداء هذا الشعب فإن المستقبل سيكون قاتماً وأضراره ستظل تلاحق الأجيال اليمنية جيلاً بعد جيل, وسيكون أعداء هذا الشعب هم المستفيدون الفعليون فهل غابت منا الحكمة حتى ننزلق لنكون أدوات بأيدي الرياض أو الدوحة, أو أبوظبي..؟!",
"decoded_text": "ال<unk> <unk> <unk> ال<unk>ا<unk> <unk> ال<unk>ا<unk> <unk> <unk>ل<unk> ال<unk> <unk> <unk> <unk> <unk> ال<unk>ا<unk> ال<unk>ا<unk> لل<unk>ا<unk>, ل<unk> <unk>ل<unk>ا <unk>ل<unk> <unk>ل<unk>ا.. <unk>ال<unk>ا<unk> <unk>ال<unk>ا<unk> <unk>ال<unk> ال<unk>, <unk> <unk>ل ال<unk> <unk>الا<unk>ا<unk> <unk>ل<unk> <unk>ا<unk> <unk> <unk>ا<unk> <unk>ا ال<unk> <unk> ال<unk>ل <unk> <unk>ا<unk>ا<unk> <unk>ا<unk> <unk>ل <unk>لا<unk> ال<unk>ال ال<unk> <unk>لا<unk> <unk> <unk>ل, <unk> <unk>ا<unk> <unk>ا ال<unk> <unk> ال<unk> ال<unk>ل<unk> <unk>ل <unk>ا<unk> <unk>ا ال<unk> <unk> <unk>ل<unk> ل<unk> <unk>ا<unk> <unk> ال<unk>ا<unk> <unk> ال<unk>, <unk> <unk>..<unk>!",
"diff": [
"replace text[2:96] --> decoded_text[2:145] 'يمن أنهك من العدوان ومن الحصار حتى أولئك الذين يظنون أنهم بعيدون عن التأثيرات المباشرة للعدوان' --> '<unk> <unk> <unk> ال<unk>ا<unk> <unk> ال<unk>ا<unk> <unk> <unk>ل<unk> ال<unk> <unk> <unk> <unk> <unk> ال<unk>ا<unk> ال<unk>ا<unk> لل<unk>ا<unk>'",
"replace text[99:117] --> decoded_text[148:190] 'م يسلموا ولن يسلمو' --> '<unk> <unk>ل<unk>ا <unk>ل<unk> <unk>ل<unk>'",
"replace text[121:150] --> decoded_text[194:252] 'والأعباء والمتاعب طالت الجميع' --> '<unk>ال<unk>ا<unk> <unk>ال<unk>ا<unk> <unk>ال<unk> ال<unk>'",
"replace text[152:279] --> decoded_text[254:465] 'وإن ظل الصمت والانجرار خلف مواقف تخدم أعداء هذا الشعب فإن المستقبل سيكون قاتماً وأضراره ستظل تلاحق الأجيال اليمنية جيلاً بعد جي' --> '<unk> <unk>ل ال<unk> <unk>الا<unk>ا<unk> <unk>ل<unk> <unk>ا<unk> <unk> <unk>ا<unk> <unk>ا ال<unk> <unk> ال<unk>ل <unk> <unk>ا<unk>ا<unk> <unk>ا<unk> <unk>ل <unk>لا<unk> ال<unk>ال ال<unk> <unk>لا<unk> <unk> <unk>'",
"replace text[282:392] --> decoded_text[468:633] 'وسيكون أعداء هذا الشعب هم المستفيدون الفعليون فهل غابت منا الحكمة حتى ننزلق لنكون أدوات بأيدي الرياض أو الدوحة' --> '<unk> <unk>ا<unk> <unk>ا ال<unk> <unk> ال<unk> ال<unk>ل<unk> <unk>ل <unk>ا<unk> <unk>ا ال<unk> <unk> <unk>ل<unk> ل<unk> <unk>ا<unk> <unk> ال<unk>ا<unk> <unk> ال<unk>'",
"replace text[394:403] --> decoded_text[635:646] 'أو أبوظبي' --> '<unk> <unk>'",
"replace text[405:406] --> decoded_text[648:653] '؟' --> '<unk>'"
],
"n_oov_chars": 243,
"oov_ratio": 0.597051597051597,
"oov_charset": "[\"ي\", \"م\", \"ن\", \"أ\", \"ه\", \"ك\", \"ع\", \"د\", \"و\", \"ح\", \"ص\", \"ر\", \"ت\", \"ى\", \"ئ\", \"ذ\", \"ظ\", \"ب\", \"ث\", \"ش\", \"ة\", \"س\", \"ء\", \"ط\", \"ج\", \"إ\", \"خ\", \"ف\", \"ق\", \"ً\", \"ض\", \"غ\", \"ز\", \"؟\"]"
},
{
"text": "وهل انعكست المفاهيم ونحن نقبل بما يملى علينا من عواصم الفتنة ومن رموز قبلت أن تكون خادمة لأجندة غير عربية وغير إسلامية.. أجندة تباع فيها الضمائر وتباع فيها المواقف من أجل عين أصحاب البقرة الصفراء ومن أجل رضا أجهزة المخابرات في واشنطن وفي تل أبيب!!",
"decoded_text": "<unk>ل ا<unk> ال<unk>ا<unk> <unk> <unk>ل <unk>ا <unk>ل<unk> <unk>ل<unk>ا <unk> <unk>ا<unk> ال<unk> <unk> <unk> <unk>ل<unk> <unk> <unk> <unk>ا<unk> ل<unk> <unk> <unk> <unk> <unk>لا<unk>.. <unk> <unk>ا<unk> <unk>ا ال<unk>ا<unk> <unk>ا<unk> <unk>ا ال<unk>ا<unk> <unk> <unk>ل <unk> <unk>ا<unk> ال<unk> ال<unk>ا<unk> <unk> <unk>ل <unk>ا <unk> ال<unk>ا<unk>ا<unk> <unk> <unk>ا<unk> <unk> <unk>ل <unk>!!",
"diff": [
"replace text[0:118] --> decoded_text[0:184] 'وهل انعكست المفاهيم ونحن نقبل بما يملى علينا من عواصم الفتنة ومن رموز قبلت أن تكون خادمة لأجندة غير عربية وغير إسلامية' --> '<unk>ل ا<unk> ال<unk>ا<unk> <unk> <unk>ل <unk>ا <unk>ل<unk> <unk>ل<unk>ا <unk> <unk>ا<unk> ال<unk> <unk> <unk> <unk>ل<unk> <unk> <unk> <unk>ا<unk> ل<unk> <unk> <unk> <unk> <unk>لا<unk>'",
"replace text[121:245] --> decoded_text[187:394] 'أجندة تباع فيها الضمائر وتباع فيها المواقف من أجل عين أصحاب البقرة الصفراء ومن أجل رضا أجهزة المخابرات في واشنطن وفي تل أبيب' --> '<unk> <unk>ا<unk> <unk>ا ال<unk>ا<unk> <unk>ا<unk> <unk>ا ال<unk>ا<unk> <unk> <unk>ل <unk> <unk>ا<unk> ال<unk> ال<unk>ا<unk> <unk> <unk>ل <unk>ا <unk> ال<unk>ا<unk>ا<unk> <unk> <unk>ا<unk> <unk> <unk>ل <unk>'"
],
"n_oov_chars": 156,
"oov_ratio": 0.631578947368421,
"oov_charset": "[\"و\", \"ه\", \"ن\", \"ع\", \"ك\", \"س\", \"ت\", \"م\", \"ف\", \"ي\", \"ح\", \"ق\", \"ب\", \"ى\", \"ص\", \"ة\", \"ر\", \"ز\", \"أ\", \"خ\", \"د\", \"ج\", \"غ\", \"إ\", \"ض\", \"ئ\", \"ء\", \"ش\", \"ط\"]"
},
{
"text": "اليمن.. في هذه اللحظة الفارقة.. في هذه المرحلة الخطيرة مدمرة, ومحاصرة, ويباد أهلها وساكنوها.. اليمن أصابتها لعنة الارتزاق وابتلاها الله بقيادات يممت وجهها صوب أبو ظبي, وصوب الرياض, وصوب واشنطن..",
"decoded_text": "ال<unk>.. <unk> <unk> الل<unk> ال<unk>ا<unk>.. <unk> <unk> ال<unk>ل<unk> ال<unk> <unk>, <unk>ا<unk>, <unk>ا<unk> <unk>ل<unk>ا <unk>ا<unk>ا.. ال<unk> <unk>ا<unk>ا ل<unk> الا<unk>ا<unk> <unk>ا<unk>لا<unk>ا الل<unk> <unk>ا<unk>ا<unk> <unk> <unk>ا <unk> <unk> <unk>, <unk> ال<unk>ا<unk>, <unk> <unk>ا<unk>..",
"diff": [
"replace text[2:60] --> decoded_text[2:86] 'يمن.. في هذه اللحظة الفارقة.. في هذه المرحلة الخطيرة مدمرة' --> '<unk>.. <unk> <unk> الل<unk> ال<unk>ا<unk>.. <unk> <unk> ال<unk>ل<unk> ال<unk> <unk>'",
"replace text[62:69] --> decoded_text[88:99] 'ومحاصرة' --> '<unk>ا<unk>'",
"replace text[71:166] --> decoded_text[101:261] 'ويباد أهلها وساكنوها.. اليمن أصابتها لعنة الارتزاق وابتلاها الله بقيادات يممت وجهها صوب أبو ظبي' --> '<unk>ا<unk> <unk>ل<unk>ا <unk>ا<unk>ا.. ال<unk> <unk>ا<unk>ا ل<unk> الا<unk>ا<unk> <unk>ا<unk>لا<unk>ا الل<unk> <unk>ا<unk>ا<unk> <unk> <unk>ا <unk> <unk> <unk>'",
"replace text[168:179] --> decoded_text[263:282] 'وصوب الرياض' --> '<unk> ال<unk>ا<unk>'",
"replace text[181:194] --> decoded_text[284:303] 'وصوب واشنطن..' --> '<unk> <unk>ا<unk>..'"
],
"n_oov_chars": 111,
"oov_ratio": 0.5721649484536082,
"oov_charset": "[\"ي\", \"م\", \"ن\", \"ف\", \"ه\", \"ذ\", \"ح\", \"ظ\", \"ة\", \"ر\", \"ق\", \"خ\", \"ط\", \"د\", \"و\", \"ص\", \"ب\", \"أ\", \"س\", \"ك\", \"ت\", \"ع\", \"ز\", \"ج\", \"ض\", \"ش\"]"
}
]