Hugging Face's logo

gp-tar4
/
QA_FineTuned_Arabert

Question Answering
Transformers
TensorBoard
Safetensors
Arabic
bert
Generated from Trainer
Inference Endpoints
Model card Files Metrics Community
1
QA_FineTuned_Arabert
File size: 6,184 Bytes 
960a4f3
 
 
 
 
4aff30e
960a4f3
7bcb1cc
 
80b3187
5a06de1
 
 
bc62f96
80b3187
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
f9b1b83
5a06de1
960a4f3
 
 
11eb2d6
960a4f3
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
7bcb1cc
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
 
---
base_model: aubmindlab/bert-base-arabert
tags:
- generated_from_trainer
model-index:
- name: QA_FineTuned_Arabert
  results: []
language:
- ar
- pt
datasets:
- arcd
pipeline_tag: question-answering
widget:
- text: كم عدد سكان اسيا؟
  context: >-
    آسيا أكبر قارة في الأرض وأكثرها سكانًا، ويقع معظمها في نصفي الكرة الشرقي
    والشمالي. وهي تغطي 8.7% من مساحة سطح الأرض الكلية (أو 30% من مساحة أراضيها،
    تحديدًا 44,579 مليون كم مربع)، ومع ما يقرب من 4,462 مليار نسمة، وتحتضن 60%
    من سكان العالم الحاليين. وقد تضاعف سكان آسيا أربع مرات تقريبًا خلال القرن
    20.
  example_title: Example 1
- text: ما لقب خالد بن الوليد بالعربية؟
  context: >-
    خالد بن الوليد من أبطال وقادة الفتح الإسلامي وقد تحدثت عنه اللغات الإنجليزية
    والفرنسية والإسبانية ولقب بسيف الله المسلول.
  example_title: Example 2
- text: ماذا يسبب تواجد نسخة اضافية من لكروموسوم21 فى الخلايا؟
  context: >-
    متلازمة داون أو تناذر داون أو التثالث الصبغي 21 أو التثالث الصبغي G ،
    متلازمة صبغوية تنتج عن تغير في الكروموسومات؛ حيث توجد نسخة إضافية من
    كروموسوم 21 أو جزء منه في الخلايا، مما يسبب تغيراً في المورّثات.
  example_title: Example 3
- text: ما الحل لاصحاب الوزن الكبير؟
  context: >-
    تتسبب السمنة وزيادة الوزن في نشأة دوالي وريدية ومنها النوع الصغير الدقيق
    الذي يمكن رؤيته من سطح البشرة ويكون أزرق اللون. كما تساعد السمنة المفرطة في
    تكون الخثار (كتلة) الذي قد يهدد الحياة إذا جرت الكتلة مع الدم ووصل إلى الرئة
    وتسببت في انسداد أحد شرايينها. والحل بالنسبة لمن كان وزنهم كبيرا هو كثرة
    الحركة، وقلة في تعاطي الغذاء. إذ أن خفض كمية السعرات التي يحتويها الغذاء هو
    الذي يساعد على التخسيس. ومع ذلك فيجب أن يكون خفض كمية الأكل مصحوبا بتناول
    المفيد وترك عدم المفيد، فيجب الاهتمام بأكل الخضروات والفاكهة الطازجة.
  example_title: 'Example 4 '
- text: لماذا يعتبر عبور سبخة أم السميم خطرا؟
  context: >-
    سبخة أم السَّمِيم: تقع على الحدود بين المملكة وسلطنة عُمان ، وتقع في ولاية
    عبري بمحافظة الظاهرة من عمان. وتعد سبخة «أم السميم» أكبر السبخات الداخلية في
    الجزيرة العربية ويبلغ طولها نحو 100 كم. وتعتبر خطره جدا ولايمكن عبورها الا
    من طريق محدده، لأن بها رمال متحركة أو أرض رخوة غير ثابتة، تكونت نتيجة تجمع
    مياة الأودية الآتية من جبال الحجر، وقد كتب عنه الكثيرون من الرحالة الإنجليز
    الذين زاروا أطرافه، ومنهم: الرحالة فون ريد (1843م) الذي وصف الجزء الجنوبي
    الشرقي من الربع الخالي، وتحدث عن سبخة أم السميم والرمال المتحركة المحيطة بها
    وسماها «البحر الصافي»
  example_title: 'Example 5 '
---

<!-- This model card has been generated automatically according to the information the Trainer had access to. You
should probably proofread and complete it, then remove this comment. -->

# QA_FineTuned_Arabert

This model is a fine-tuned version of [aubmindlab/bert-base-arabert](https://huggingface.co/aubmindlab/bert-base-arabert) on an unknown dataset.
It achieves the following results on the evaluation set:
- Loss: 2.8357

## Model description

More information needed

## Intended uses & limitations

More information needed

## Training and evaluation data

More information needed

## Training procedure

### Training hyperparameters

The following hyperparameters were used during training:
- learning_rate: 0.0002
- train_batch_size: 16
- eval_batch_size: 16
- seed: 42
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- lr_scheduler_warmup_ratio: 0.1
- num_epochs: 3

### Training results

| Training Loss | Epoch | Step | Validation Loss |
|:-------------:|:-----:|:----:|:---------------:|
| 5.518         | 0.13  | 10   | 4.3573          |
| 4.254         | 0.27  | 20   | 3.8054          |
| 3.9915        | 0.4   | 30   | 3.5788          |
| 3.836         | 0.53  | 40   | 3.4054          |
| 3.6733        | 0.67  | 50   | 3.2506          |
| 3.4425        | 0.8   | 60   | 3.0882          |
| 3.2917        | 0.93  | 70   | 2.9934          |
| 2.9622        | 1.07  | 80   | 3.0029          |
| 2.3228        | 1.2   | 90   | 3.1190          |
| 2.4004        | 1.33  | 100  | 2.8613          |
| 2.3946        | 1.47  | 110  | 2.8983          |
| 2.3108        | 1.6   | 120  | 2.7711          |
| 2.3778        | 1.73  | 130  | 2.7062          |
| 2.3335        | 1.87  | 140  | 2.9916          |
| 2.4273        | 2.0   | 150  | 2.6713          |
| 1.4165        | 2.13  | 160  | 2.8003          |
| 1.1488        | 2.27  | 170  | 2.7959          |
| 1.2044        | 2.4   | 180  | 3.1311          |
| 1.2715        | 2.53  | 190  | 2.8319          |
| 1.1309        | 2.67  | 200  | 2.8048          |
| 1.3421        | 2.8   | 210  | 2.8158          |
| 0.9567        | 2.93  | 220  | 2.8357          |


### Framework versions

- Transformers 4.39.3
- Pytorch 2.1.2
- Datasets 2.18.0
- Tokenizers 0.15.2