abdalrahmanshahrour commited on
Commit
085c424
1 Parent(s): f30964b
Files changed (1) hide show
  1. README.md +29 -2
README.md CHANGED
@@ -40,7 +40,32 @@ It achieves the following results on the evaluation set:
40
 
41
  ## Model description
42
 
43
- More information needed
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
44
 
45
  ## Intended uses & limitations
46
 
@@ -48,7 +73,9 @@ More information needed
48
 
49
  ## Training and evaluation data
50
 
51
- More information needed
 
 
52
 
53
  ## Training procedure
54
 
 
40
 
41
  ## Model description
42
 
43
+ The model can be used as follows:
44
+ ```python
45
+ from transformers import AutoTokenizer, AutoModelForSeq2SeqLM, pipeline
46
+ from arabert.preprocess import ArabertPreprocessor
47
+
48
+ model_name="abdalrahmanshahrour/arabartsummarization"
49
+ preprocessor = ArabertPreprocessor(model_name="")
50
+
51
+ tokenizer = AutoTokenizer.from_pretrained(model_name)
52
+ model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
53
+ pipeline = pipeline("text2text-generation",model=model,tokenizer=tokenizer)
54
+
55
+ text = "شهدت مدينة طرابلس، مساء أمس الأربعاء، احتجاجات شعبية وأعمال شغب لليوم الثالث على التوالي، وذلك بسبب تردي الوضع المعيشي والاقتصادي. واندلعت مواجهات عنيفة وعمليات كر وفر ما بين الجيش اللبناني والمحتجين استمرت لساعات، إثر محاولة فتح الطرقات المقطوعة، ما أدى إلى إصابة العشرات من الطرفين."
56
+ text = preprocessor.preprocess(text)
57
+
58
+ result = pipeline(text,
59
+ pad_token_id=tokenizer.eos_token_id,
60
+ num_beams=3,
61
+ repetition_penalty=3.0,
62
+ max_length=200,
63
+ length_penalty=1.0,
64
+ no_repeat_ngram_size = 3)[0]['generated_text']
65
+ result
66
+ >>> "تجددت الاشتباكات بين الجيش اللبناني ومحتجين في مدينة طرابلس شمالي لبنان."
67
+ ```
68
+
69
 
70
  ## Intended uses & limitations
71
 
 
73
 
74
  ## Training and evaluation data
75
 
76
+ 42.21K row in total
77
+ - Training : 37.52K rows
78
+ - Evaluation : 4.69K rows
79
 
80
  ## Training procedure
81