qa-xlmr-bn
for QA on Bengali
This is the xlm-roberta-large model, fine-tuned using the squad_bn dataset. It's been trained on question-answer pairs, including unanswerable questions, for the task of Question Answering.
Overview
Base Language model: xlm-roberta-large
Language: Multilingual ( Fine tuned for Bengali)
Downstream-task: Extractive QA
Training data: Squad_bn
Eval data: Squad_bn
Code for fine-tuning: Github
Project Paper: Transfer Learning Based Language Model for
Bangla Question Answering
Hyperparameters
learning rate=2e-5
lr scheduler type = "linear"
warmup ratio = 0.2
per device train batch size=4
per device eval batch size=4
weight decay=0.01
num train epochs=3
max seq length: 384
docs stride: 128
max answer length = 30
Usage
In Transformers
from transformers import pipeline
model = "afschowdhury/qa-xlmr-bn"
nlp = pipeline('question-answering', model=model, tokenizer=model)
context = """সাফ চ্যাম্পিয়নশিপের ট্রফিটা কোলের ওপর রেখে ঢাকায় ফেরার বিমানের অপেক্ষা করছিলেন সানজিদা আক্তার।
পাশের চেয়ারে কৃষ্ণা রানী সরকার, মাসুরা পারভীনরা তখন মুঠোফোনে ব্যস্ত।
কিন্তু মুঠোফোনের স্ক্রিনে বেশিক্ষণ চোখ রাখতে পারছিলেন না কেউই। কাঠমান্ডুর ত্রিভুবন আন্তর্জাতিক
বিমানবন্দরের ইমিগ্রেশন শেষে ঢাকাগামী বাংলাদেশি যাত্রীদের অভিনন্দন গ্রহণ করতেই বেশি ব্যস্ত হয়ে যেতে হলো।
একটু পরপর ট্রফিসহ ফুটবলারদের সঙ্গে ছবি ও সেলফি তুলতে লাগলেন যাত্রীরা।
শুধু বাংলাদেশিরাই নন, বিমানবন্দরে থাকা বিদেশি যাত্রীরাও সাফজয়ীদের সঙ্গে
ছবি তুললেন। দলের সঙ্গে ঢাকায় এসেছেন বাংলাদেশ ফুটবল ফেডারেশনের মহিলা
কমিটির চেয়ারম্যান মাহফুজা আক্তার। বিমানে ওঠার আগে মেয়েদের এক দফা কাছে
ডেকে নেন এই কর্মকর্তা। গোল হয়ে দাঁড়িয়ে মাহফুজার কথাগুলো শোনেন সাবিনারা।
ঢাকায় হজরত শাহজালাল আন্তর্জাতিক বিমানবন্দরে নামার পর আনুষ্ঠানিকতা কেমন হবে,
ছাদখোলা বাসে কীভাবে মেয়েরা উঠবেন, কতটা শৃঙ্খলা বজায় রেখে ছাদে উঠতে হবে, সে পরামর্শ দিলেন।
বাসে মেয়েদের পাশে যেন আর কেউ না দাঁড়াতে পারেন, বাংলাদেশ নারী ফুটবল দলের ম্যানেজার আমিরুল
ইসলামকে সেটা তদারক করার নির্দেশ দেন মাহফুজা।দেশে ফেরার জন্য তর সইছিল না মারিয়া মান্দা,
মণিকা চাকমাদেরও। ত্রিভুবন বিমানবন্দরের রানওয়ে থেকে বাংলাদেশ বিমানের বিজি ৩৭২ বোয়িং উড়োজাহাজটি
নেপালের আকাশ ছুঁতেই মেয়েরা আনন্দে একসঙ্গে চিৎকার করে ওঠেন।"""
QA_input = {
'question': ' বাংলাদেশ ফুটবল ফেডারেশনের মহিলা কমিটির চেয়ারম্যান কে ',
'context': context
}
res = nlp(QA_input)
print(res)
Performance
Evaluated on the csebuetnlp/squad_bn
validation set. Evaluation code is stated on the trainig code here
'exact': 94.52875399361022,
'f1': 96.56710191654284,
'total': 2504,
'HasAns_exact': 89.29712460063898,
'HasAns_f1': 93.37382044650411,
'HasAns_total': 1252,
'NoAns_exact': 99.76038338658147,
'NoAns_f1': 99.76038338658147,
'NoAns_total': 1252,
Point of Contact
Asif Faisal Chowdhury
E-mail: afschowdhury@gmail.com | Linked-in: afschowdhury
- Downloads last month
- 17
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social
visibility and check back later, or deploy to Inference Endpoints (dedicated)
instead.
Dataset used to train afschowdhury/qa-xlmr-bn
Evaluation results
- Exact Match on squad_bnvalidation set self-reported94.529
- F1 on squad_bnvalidation set self-reported96.567
- total on squad_bnvalidation set self-reported2504.000
- HasAns_exact on squad_bnvalidation set self-reported89.297
- HasAns_f1 on squad_bnvalidation set self-reported93.374
- HasAns_total on squad_bnvalidation set self-reported1252.000
- NoAns_exact on squad_bnvalidation set self-reported99.760
- NoAns_f1 on squad_bnvalidation set self-reported99.760
- NoAns_total on squad_bnvalidation set self-reported1252.000