Upload README.md
Browse files
README.md
ADDED
@@ -0,0 +1,37 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
+
---
|
2 |
+
widget:
|
3 |
+
- text: "ใครเป็นคนกล่าวถึง nlp"
|
4 |
+
context: "การประมวลภาษาธรรมชาติ (Natural language processing - NLP) เป็นสาขาย่อยของภาษาศาสตร์ วิทยาการคอมพิวเตอร์ วิศวกรรมสารสนเทศ และปัญญาประดิษฐ์ ทำการศึกษาการปฏิสัมพันธ์ระหว่างภาษาคอมพิวเตอร์และภาษา (ธรรมชาติ) มนุษย์ ในเชิงที่โปรแกรมคอมพิวเตอร์สามารถดำเนินการวิเคราะห์และแปลงข้อมูลภาษาธรรมชาติได้การประมวลภาษาธรรมชาติมีการกล่าวถึงในปี พ.ศ. 2493 โดยแอลัน ทัวริง นักวิทยาศาสตร์ชาวอังกฤษได้เสนอการทดสอบคอมพิวเตอร์หรือเครื่องจักรที่สามารถคิดหรือกระทำได้เหมือนมนุษย์ ซึ่งวิธีการนั้นในปัจจุบันถูกเรียกว่าการทดสอบทัวริงในปัจจุบันการประมวลภาษาธรรมชาติมีการนิยมใช้ขั้นตอนการเรียนรู้เชิงคุณลักษณะและการเรียนรู้เชิงลึก[1][2] ที่สามารถให้ผลลัพธ์ที่ออกมาได้ดี ตัวอย่างเช่นในแบบจำลองภาษา[3] โดยได้มีการเปรียบเทียบกับวิธีการดั้งเดิมที่ใช้การประมวลผลภาษาธรรมชาติเชิงสถิติ หรือการประมวลผลตามกฎที่วางไว้"
|
5 |
+
- text: "ต้องเรียนทั้งหมดกี่หน่วยกิต"
|
6 |
+
context: "ชื่อหลักสูตรภาษาไทยคือหลักสูตรวิศวกรรมศาสตร์บัณฑิตสาขาวิชาวิศวกรรมโทรคมนาคมและโครงข่าย รูปแบบของหลักสูตรเป็นหลักสูตรปริญญาตรี 4 ปี มีจำนวนหน่วยกิตที่เรียนตลอดหลักสูตร ต้องไม่น้อยกว่า146หน่วยกิต ไม่มีความร่วมมือกับสถาบันอื่นเป็นหลักสูตรของสถาบันเทคโนโลยีพระจอมเกล้าเจ้าคุณทหารลาดกระบังโดยเฉพาะ ประเภทของหลักสูตรเป็นหลักสูตรปริญญาตรีทางวิชาการโดยหลักสูตรจัดการศึกษาเป็นภาษาไทยและภาษาอังกฤษ การรับเข้าศึกษารับทั้งนักศึกษาไทยหรือนักศึกษาต่างชาติ นักศึกษามีสิทธิขอใบอนุญาตประกอบวิชาชีพ สาขาวิศวกรรมไฟฟ้า งานไฟฟ้าสื่อสาร จากสภาวิศวกรได้เมื่อสำเร็จการศึกษา หลักสูตรปรับปรุงกำหนดเปิดสอนภาคการศึกษาที่1 พ.ศ. 2563 หลักสูตรปรับปรุงได้พิจารณากลั่นกรองโดยคณะกรรมการสภาวิชาการครั้งที่6/2563"
|
7 |
+
- text: "เฝิง เส้าเฟิง รับบทอะไรใน The Palace"
|
8 |
+
context: "เฝิง เส้าเฟิง เฝิง เส้าเฟิง หรือ วิลเลี่ยม เฝิง (; ชื่อภาษาอังกฤษ: William Feng, Feng Shaofeng) เป็นนักแสดงที่มีชื่อเสียงจากเรื่อง 'White Vengeance' และ'Prince of Lan Ling 'เกิดเมื่อวันที่ 7 ตุลาคม ค.ศ. 1978ประวัติ ประวัติ. ดังเปรี้ยงปร้างเพียงชั่วคืน หลังจากกระโดดมารับบท 'องค์ชาย 8' ในซีรีส์เจาะเวลาทะลุมิติเรื่อง 'The Palace' คู่กับหยางมี่ในปี 2011 จนตอนนี้เฝิงเส้าเฟิงกลายเป็นพระเอกที่ถูกพูดถึงมากที่สุดคนหนึ่งของวงการบันเทิง และกลายเป็นแบบฉบับของชายหนุ่มที่สาวๆ ใฝ่ฝันถึง เพราะนอกจากหน้าตาที่หล่อเหลาแล้ว ชาติตระกูลของเขาก็ยังไม่ธรรมดาอีกด้วย เฝิงเส้าเฟิง เป็นลูกชายหัวแก้วหัวแหวนของนักธุรกิจอุตสาหกรรมสิ่งทอรายใหญ่ของจีน ครอบครัวเขามีโรงงานตั้งอยู่ที่เวินโจว กว่างโจว และฝูโจว ทรัพย์สินโดยรวมทั้งสิ้นไม่ต่ำกว่าพันล้านหยวน และเขาก็เป็นทายาทเพียงคนเดียวของตระกูล แต่เพราะเฝิงเส้าเฟิงใฝ่ฝันที่จะเข้าสู่วงการบันเทิง จึงได้เลือกที่จะเรียนการแสดงที่มหาวิทยาลัย shanghai theatre academy หลังจากเรียนจบก็มีโอกาสคลุกคลีทำงานอยู่ในวงการบันเทิงมากว่า 10 ปี กระทั่งประสบความสำเร็จอย่างทุกวันนี้ แถมได้ข่าวว่าเขากำลังอินเลิฟอยู่กับ 'หนีหนี' นางเอกเรื่อง 'Flowers Of War' หนังระดับรางวัลของผู้กำกับจางอี้โหมวอีกด้วยผลงานด้านภาพยนตร์ภาพยนตร์ละครโทรทัศน์"
|
9 |
+
language:
|
10 |
+
- th
|
11 |
+
datasets:
|
12 |
+
- thaiqa_squad
|
13 |
+
pipeline_tag: question-answering
|
14 |
+
---
|
15 |
+
# Wangchanberta For Question Answering
|
16 |
+
Pretraining Model: [wangchanberta-base-att-spm-uncased](https://huggingface.co/airesearch/wangchanberta-base-att-spm-uncased).
|
17 |
+
|
18 |
+
This is the wangchanberta-base-att-spm-uncased model, fine-tuned using the thaiqa_squad dataset.
|
19 |
+
## Data cleaning
|
20 |
+
Remove HTML tags using BeautifulSoup and remove punctuation using string.punctuation.
|
21 |
+
```python
|
22 |
+
from bs4 import BeautifulSoup
|
23 |
+
example = """<doc id="376583" url="https://th.wikipedia.org/wiki?curid=376583" title="ลูนา 1">
|
24 |
+
ลูนา 1 ลูนา 1 (อี-1 ซีรีส์) ซึ่งในขณะนั้นรู้จักกันในชื่อ เมชตา (; "ความฝัน") เป็นยานอวกาศลำแรกที่เดินทางไปถึงบริเวณใกล้เคียงของดวงจันทร์
|
25 |
+
และเป็นยานอวกาศลำแรกในโครงการลูนาของโซเวียตที่สามารถปล่อยขึ้นไปในทิศทางเดียวกับดวงจันทร์ได้สำเร็จ</doc>"""
|
26 |
+
example = BeautifulSoup(example).get_text()
|
27 |
+
print(example)
|
28 |
+
#"ลูนา 1 ลูนา 1 (อี-1 ซีรีส์) ซึ่งในขณะนั้นรู้จักกันในชื่อ เมชตา (; "ความฝัน") เป็นยานอวกาศลำแรกที่เดินทางไปถึงบริเวณใกล้เคียงของดวงจันทร์และเป็นยานอวกาศลำแรกในโครงการลูนาของโซเวียตที่สามารถปล่อยขึ้นไปในทิศทางเดียวกับดวงจันทร์ได้สำเร็จ"
|
29 |
+
```
|
30 |
+
```python
|
31 |
+
import string
|
32 |
+
punct = string.punctuation
|
33 |
+
no_punct = [char for char in example if char not in punct]
|
34 |
+
example = ''.join(no_punct)
|
35 |
+
print(example)
|
36 |
+
#"ลูนา 1 ลูนา 1 อี1 ซีรีส์ ซึ่งในขณะนั้นรู้จักกันในชื่อ เมชตา ความฝัน เป็นยานอวกาศลำแรกที่เดินทางไปถึงบริเวณใกล้เคียงของดวงจันทร์ และเป็นยานอวกาศลำแรกในโครงการลูนาของโซเวียตที่สามารถปล่อยขึ้���ไปในทิศทางเดียวกับดวงจันทร์ได้สำเร็จ"
|
37 |
+
```
|