metadata
model-index:
- name: afschowdhury/qa-xlmr-bn
results:
- task:
type: question-answering
name: Question Answering
dataset:
name: squad_bn
type: squad_bn
config: squad_v2
split: validation
metrics:
- type: exact_match
value: 94.52875399361022
name: Exact Match
- type: f1
value: 96.56710191654284
name: F1
- type: total
value: 2504
name: total
- type: HasAns_exact
value: 89.29712460063898
name: HasAns_exact
- type: HasAns_f1
value: 93.37382044650411
name: HasAns_f1
- type: HasAns_total
value: 1252
name: HasAns_total
- type: NoAns_exact
value: 99.76038338658147
name: NoAns_exact
- type: NoAns_f1
value: 99.76038338658147
name: NoAns_f1
- type: NoAns_total
value: 1252
name: NoAns_total
widget:
- text: দলের মহিলা কমিটির চেয়ারম্যান কে ?
context: >-
সাফ চ্যাম্পিয়নশিপের ট্রফিটা কোলের ওপর রেখে ঢাকায় ফেরার বিমানের অপেক্ষা
করছিলেন সানজিদা আক্তার। পাশের চেয়ারে কৃষ্ণা রানী সরকার, মাসুরা পারভীনরা
তখন মুঠোফোনে ব্যস্ত। কিন্তু মুঠোফোনের স্ক্রিনে বেশিক্ষণ চোখ রাখতে পারছিলেন
না কেউই। কাঠমান্ডুর ত্রিভুবন আন্তর্জাতিক বিমানবন্দরের ইমিগ্রেশন শেষে
ঢাকাগামী বাংলাদেশি যাত্রীদের অভিনন্দন গ্রহণ করতেই বেশি ব্যস্ত হয়ে যেতে
হলো। একটু পরপর ট্রফিসহ ফুটবলারদের সঙ্গে ছবি ও সেলফি তুলতে লাগলেন যাত্রীরা।
শুধু বাংলাদেশিরাই নন, বিমানবন্দরে থাকা বিদেশি যাত্রীরাও সাফজয়ীদের সঙ্গে
ছবি তুললেন। দলের সঙ্গে ঢাকায় এসেছেন বাংলাদেশ ফুটবল ফেডারেশনের মহিলা কমিটির
চেয়ারম্যান মাহফুজা আক্তার। বিমানে ওঠার আগে মেয়েদের এক দফা কাছে ডেকে নেন এই
কর্মকর্তা। গোল হয়ে দাঁড়িয়ে মাহফুজার কথাগুলো শোনেন সাবিনারা। ঢাকায় হজরত
শাহজালাল আন্তর্জাতিক বিমানবন্দরে নামার পর আনুষ্ঠানিকতা কেমন হবে, ছাদখোলা
বাসে কীভাবে মেয়েরা উঠবেন, কতটা শৃঙ্খলা বজায় রেখে ছাদে উঠতে হবে, সে পরামর্শ
দিলেন। বাসে মেয়েদের পাশে যেন আর কেউ না দাঁড়াতে পারেন, বাংলাদেশ নারী ফুটবল
দলের ম্যানেজার আমিরুল ইসলামকে সেটা তদারক করার নির্দেশ দেন মাহফুজা।দেশে
ফেরার জন্য তর সইছিল না মারিয়া মান্দা, মণিকা চাকমাদেরও। ত্রিভুবন
বিমানবন্দরের রানওয়ে থেকে বাংলাদেশ বিমানের বিজি ৩৭২ বোয়িং উড়োজাহাজটি
নেপালের আকাশ ছুঁতেই মেয়েরা আনন্দে একসঙ্গে চিৎকার করে ওঠেন।
example_title: Bengali question and context
- text: what was the airplanes name ?
context: >-
সাফ চ্যাম্পিয়নশিপের ট্রফিটা কোলের ওপর রেখে ঢাকায় ফেরার বিমানের অপেক্ষা
করছিলেন সানজিদা আক্তার। পাশের চেয়ারে কৃষ্ণা রানী সরকার, মাসুরা পারভীনরা
তখন মুঠোফোনে ব্যস্ত। কিন্তু মুঠোফোনের স্ক্রিনে বেশিক্ষণ চোখ রাখতে পারছিলেন
না কেউই। কাঠমান্ডুর ত্রিভুবন আন্তর্জাতিক বিমানবন্দরের ইমিগ্রেশন শেষে
ঢাকাগামী বাংলাদেশি যাত্রীদের অভিনন্দন গ্রহণ করতেই বেশি ব্যস্ত হয়ে যেতে
হলো। একটু পরপর ট্রফিসহ ফুটবলারদের সঙ্গে ছবি ও সেলফি তুলতে লাগলেন যাত্রীরা।
শুধু বাংলাদেশিরাই নন, বিমানবন্দরে থাকা বিদেশি যাত্রীরাও সাফজয়ীদের সঙ্গে
ছবি তুললেন। দলের সঙ্গে ঢাকায় এসেছেন বাংলাদেশ ফুটবল ফেডারেশনের মহিলা কমিটির
চেয়ারম্যান মাহফুজা আক্তার। বিমানে ওঠার আগে মেয়েদের এক দফা কাছে ডেকে নেন এই
কর্মকর্তা। গোল হয়ে দাঁড়িয়ে মাহফুজার কথাগুলো শোনেন সাবিনারা। ঢাকায় হজরত
শাহজালাল আন্তর্জাতিক বিমানবন্দরে নামার পর আনুষ্ঠানিকতা কেমন হবে, ছাদখোলা
বাসে কীভাবে মেয়েরা উঠবেন, কতটা শৃঙ্খলা বজায় রেখে ছাদে উঠতে হবে, সে পরামর্শ
দিলেন। বাসে মেয়েদের পাশে যেন আর কেউ না দাঁড়াতে পারেন, বাংলাদেশ নারী ফুটবল
দলের ম্যানেজার আমিরুল ইসলামকে সেটা তদারক করার নির্দেশ দেন মাহফুজা।দেশে
ফেরার জন্য তর সইছিল না মারিয়া মান্দা, মণিকা চাকমাদেরও। ত্রিভুবন
বিমানবন্দরের রানওয়ে থেকে বাংলাদেশ বিমানের বিজি ৩৭২ বোয়িং উড়োজাহাজটি
নেপালের আকাশ ছুঁতেই মেয়েরা আনন্দে একসঙ্গে চিৎকার করে ওঠেন।
example_title: English Question Bengali Context
datasets:
- csebuetnlp/squad_bn
language:
- bn
- en
pipeline_tag: question-answering
tags:
- question-answering
- transformers
- xlmr
- xlm-roberta-large
- squad_bn
- squad
qa-xlmr-bn for QA on Bengali
This is the xlm-roberta-large model, fine-tuned using the squad_bn dataset. It's been trained on question-answer pairs, including unanswerable questions, for the task of Question Answering.
Overview
Base Language model: xlm-roberta-large
Language: Multilingual ( Fine tuned for Bengali)
Downstream-task: Extractive QA
Training data: Squad_bn
Eval data: Squad_bn
Code for fine-tuning: Github
Project Paper: Transfer Learning Based Language Model for
Bangla Question Answering
Hyperparameters
learning rate=2e-5
lr scheduler type = "linear"
warmup ratio = 0.2
per device train batch size=4
per device eval batch size=4
weight decay=0.01
num train epochs=3
max seq length: 384
docs stride: 128
max answer length = 30
Usage
In Transformers
from transformers import pipeline
model = "afschowdhury/qa-xlmr-bn"
nlp = pipeline('question-answering', model=model, tokenizer=model)
context = """সাফ চ্যাম্পিয়নশিপের ট্রফিটা কোলের ওপর রেখে ঢাকায় ফেরার বিমানের অপেক্ষা করছিলেন সানজিদা আক্তার।
পাশের চেয়ারে কৃষ্ণা রানী সরকার, মাসুরা পারভীনরা তখন মুঠোফোনে ব্যস্ত।
কিন্তু মুঠোফোনের স্ক্রিনে বেশিক্ষণ চোখ রাখতে পারছিলেন না কেউই। কাঠমান্ডুর ত্রিভুবন আন্তর্জাতিক
বিমানবন্দরের ইমিগ্রেশন শেষে ঢাকাগামী বাংলাদেশি যাত্রীদের অভিনন্দন গ্রহণ করতেই বেশি ব্যস্ত হয়ে যেতে হলো।
একটু পরপর ট্রফিসহ ফুটবলারদের সঙ্গে ছবি ও সেলফি তুলতে লাগলেন যাত্রীরা।
শুধু বাংলাদেশিরাই নন, বিমানবন্দরে থাকা বিদেশি যাত্রীরাও সাফজয়ীদের সঙ্গে
ছবি তুললেন। দলের সঙ্গে ঢাকায় এসেছেন বাংলাদেশ ফুটবল ফেডারেশনের মহিলা
কমিটির চেয়ারম্যান মাহফুজা আক্তার। বিমানে ওঠার আগে মেয়েদের এক দফা কাছে
ডেকে নেন এই কর্মকর্তা। গোল হয়ে দাঁড়িয়ে মাহফুজার কথাগুলো শোনেন সাবিনারা।
ঢাকায় হজরত শাহজালাল আন্তর্জাতিক বিমানবন্দরে নামার পর আনুষ্ঠানিকতা কেমন হবে,
ছাদখোলা বাসে কীভাবে মেয়েরা উঠবেন, কতটা শৃঙ্খলা বজায় রেখে ছাদে উঠতে হবে, সে পরামর্শ দিলেন।
বাসে মেয়েদের পাশে যেন আর কেউ না দাঁড়াতে পারেন, বাংলাদেশ নারী ফুটবল দলের ম্যানেজার আমিরুল
ইসলামকে সেটা তদারক করার নির্দেশ দেন মাহফুজা।দেশে ফেরার জন্য তর সইছিল না মারিয়া মান্দা,
মণিকা চাকমাদেরও। ত্রিভুবন বিমানবন্দরের রানওয়ে থেকে বাংলাদেশ বিমানের বিজি ৩৭২ বোয়িং উড়োজাহাজটি
নেপালের আকাশ ছুঁতেই মেয়েরা আনন্দে একসঙ্গে চিৎকার করে ওঠেন।"""
QA_input = {
'question': ' বাংলাদেশ ফুটবল ফেডারেশনের মহিলা কমিটির চেয়ারম্যান কে ',
'context': context
}
res = nlp(QA_input)
print(res)
Performance
Evaluated on the csebuetnlp/squad_bn validation set. Evaluation code is stated on the trainig code here
'exact': 94.52875399361022,
'f1': 96.56710191654284,
'total': 2504,
'HasAns_exact': 89.29712460063898,
'HasAns_f1': 93.37382044650411,
'HasAns_total': 1252,
'NoAns_exact': 99.76038338658147,
'NoAns_f1': 99.76038338658147,
'NoAns_total': 1252,
Point of Contact
Asif Faisal Chowdhury
E-mail: afschowdhury@gmail.com | Linked-in: afschowdhury