shay681/HeBERT_finetuned_Precedents

HeBERT Finetuned Precedents

This model fine-tunes avichr/heBERT model on LevMuchnik/SupremeCourtOfIsrael dataset.

Training and evaluation data

Dataset	Split	# samples
SupremeCourtOfIsrael	train	473,204
SupremeCourtOfIsrael	validation	118,302

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• evaluation_strategy: "epoch"
• learning_rate: 2e-5
• train_batch_size: 16
• eval_batch_size: 16
• num_train_epochs: 3
• weight_decay: 0.01

Framework versions

• Transformers 4.17.0
• Pytorch 1.10.0+cu111
• Datasets 1.18.4
• Tokenizers 0.11.6

Results

Metric	# Value
Accuracy	0.53
F1	0.7

Example Usage

from transformers import pipeline

model_checkpoint = "shay681/HeBERT_finetuned_Legal_Clauses"
qa_pipeline = pipeline(
    "question-answering",
    model=model_checkpoint, 
    )

predictions = qa_pipeline({
    'context': "ב בית המשפט העליון בירושלים רע"א 2225/01 בפני: כבוד השופטת ט' שטרסברג-כהן המבקשת: שירותי בריאות כללית נגד המשיב ה : חניתה מייטלס, עו"ד בקשת רשות ערעור על החלטת בית המשפט המחוזי בתל-אביב-יפו מיום 21.2.01 בה"פ 11571/99 וה"פ 11243/99 שניתנה על ידי כבוד השופט א' סטרשנוב החלטה 1. הוחלט שהבקשה מצריכה תשובה. 2. המשיבה תגיש תשובתה לבקשה בתוך 15 ימים ממועד ההמצאה. 3. על נוסח התשובה יחולו הוראותיה של תקנה 406(ב) לתקנות סדר הדין האזרחי, תשמ"ד1984-. 4. התשובה תוגש במקביל, הן לבית-משפט זה, והן במישרין למבקשת. 5. בתשובה תיכלל התייחסות לאפשרות שבית-המשפט יבקש לפעול על-פי סמכותו לפי תקנה 410 לתקנות סדר הדין האזרחי, תשמ"ד1984-. מתבקשת התייחסות לשאלה אם במקרה כזה ניתן יהיה לראות בדברי התגובה סיכומים בכתב. העדר התייחסות כמוהו כהסכמה. העדר תגובה כמוהו כאי-התייצבות, על הכרוך בכך. ניתנה היום, י"ג בסיוון תשס"א (4.6.01). ש ו פ ט ת _________________ העתק מתאים למקור 01022250. J01 נוסח זה כפוף לשינויי עריכה טרם פרסומו בקובץ פסקי הדין של בית המשפט העליון בישראל. שמריהו כהן - מזכיר ראשי בבית המשפט העליון פועל מרכז מידע, טל' 02-6750444",
    
    'question': "באילו פסקי דין\תקדימים נעשה שימוש ?"
})

print(predictions)
# output:
# {'score': 0.9999890327453613, 'start': 0, 'end': 7, 'answer': 'בה"פ 11571/99'}

About Me

Created by Shay Doner. This is my final project as part of intelligent systems M.Sc studies at Afeka College in Tel-Aviv. For more cooperation, please contact email: shay681@gmail.com