trained with chimera_qa

README.md

@@ -0,0 +1,23 @@
+---
+widget:
+- text: "สวนกุหลาบเป็นโรงเรียนอะไร"
+  context: "โรงเรียนสวนกุหลาบวิทยาลัย (Suankularb Wittayalai School) (อักษรย่อ : ส.ก. / S.K.) เป็นโรงเรียนชายล้วน ระดับชั้นมัธยมศึกษาขนาดใหญ่พิเศษ สังกัดสำนักงานเขตพื้นที่การศึกษามัธยมศึกษาเขต 1 สำนักงานคณะกรรมการการศึกษาขั้นพื้นฐาน (ชื่อเดิม: กรมสามัญศึกษา) กระทรวงศึกษาธิการ ก่อตั้งโดย พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว ได้รับการสถาปนาขึ้นในวันที่ 8 มีนาคม พ.ศ. 2424 (ขณะนั้นนับวันที่ 1 เมษายน เป็นวันขึ้นปีใหม่ เมื่อนับอย่างสากลถือเป็น พ.ศ. 2425) โดยเป็นโรงเรียนรัฐบาลแห่งแรกของประเทศไทย"
+---
+# wangchanberta-base-wiki-20210520-news-spm_span-mask-finetune-qa
+
+Finetuning `airesearch/wangchanberta-base-wiki-20210520-news-spm_span-mask` with the training set of `iapp_wiki_qa_squad`, `thaiqa_squad`, and `nsc_qa` (removed examples which have cosine similarity with validation and test examples over 0.8; contexts of the latter two are trimmed to be around 300 `newmm` words). Benchmarks shared on [wandb](https://wandb.ai/cstorm125/wangchanberta-qa) using validation and test sets of `iapp_wiki_qa_squad`.
+Trained with [thai2transformers](https://github.com/vistec-AI/thai2transformers/blob/dev/scripts/downstream/train_question_answering_lm_finetuning.py).
+
+Run with:
+```
+export MODEL_NAME=airesearch/wangchanberta-base-wiki-20210520-news-spm_span-mask
+CUDA_LAUNCH_BLOCKING=1 python train_question_answering_lm_finetuning.py \
+  --model_name $MODEL_NAME \
+  --dataset_name chimera_qa \
+  --output_dir $MODEL_NAME-finetune-chimera_qa-model \
+  --log_dir $MODEL_NAME-finetune-chimera_qa-log \
+  --model_max_length 400 \
+  --pad_on_right \
+  --fp16 \
+  --use_auth_token
+```

config.json

@@ -0,0 +1,26 @@
+{
+  "_name_or_path": "airesearch/wangchanberta-base-wiki-20210520-news-spm_span-mask",
+  "architectures": [
+    "CamembertForQuestionAnswering"
+  ],
+  "attention_probs_dropout_prob": 0.1,
+  "bos_token_id": 0,
+  "eos_token_id": 2,
+  "gradient_checkpointing": false,
+  "hidden_act": "gelu",
+  "hidden_dropout_prob": 0.1,
+  "hidden_size": 768,
+  "initializer_range": 0.02,
+  "intermediate_size": 3072,
+  "layer_norm_eps": 1e-05,
+  "max_position_embeddings": 514,
+  "model_type": "camembert",
+  "num_attention_heads": 12,
+  "num_hidden_layers": 12,
+  "pad_token_id": 1,
+  "position_embedding_type": "absolute",
+  "transformers_version": "4.8.2",
+  "type_vocab_size": 1,
+  "use_cache": true,
+  "vocab_size": 25005
+}

pytorch_model.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:e3690064e6fd3c33541cf60166f4494d3871a7c0652b7caf1dc9c56a66292943
+size 418712305

sentencepiece.bpe.model

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:dfda5168b8b07c637cd71a88aaff45312de75e3e4e8bc5c6cf5346f92f206cdc
+size 1017584

special_tokens_map.json

@@ -0,0 +1 @@
+{"bos_token": "<s>", "eos_token": "</s>", "unk_token": "<unk>", "sep_token": "</s>", "pad_token": "<pad>", "cls_token": "<s>", "mask_token": {"content": "<mask>", "single_word": false, "lstrip": true, "rstrip": false, "normalized": true}, "additional_special_tokens": ["<s>NOTUSED", "</s>NOTUSED", "▁"]}

tokenizer_config.json

@@ -0,0 +1 @@
+{"bos_token": "<s>", "eos_token": "</s>", "sep_token": "</s>", "cls_token": "<s>", "unk_token": "<unk>", "pad_token": "<pad>", "mask_token": {"content": "<mask>", "single_word": false, "lstrip": true, "rstrip": false, "normalized": true, "__type": "AddedToken"}, "additional_special_tokens": ["<s>NOTUSED", "</s>NOTUSED", "▁"], "special_tokens_map_file": null, "model_max_length": 400, "name_or_path": "airesearch/wangchanberta-base-wiki-20210520-news-spm_span-mask", "sp_model_kwargs": {}, "tokenizer_class": "CamembertTokenizer"}

training_args.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:5ffad48c3934b44373c901d9c3ca589712877518a81626479801f9cf931cd1ad
+size 2863