Update README.md
Browse files
README.md
CHANGED
@@ -34,12 +34,13 @@ base model: [klue/roberta-large](https://huggingface.co/klue/roberta-large)
|
|
34 |
### 제로샷 분류 성능
|
35 |
|task|azou|GPT-3.5-turbo|
|
36 |
|---|---|---|
|
37 |
-
|aihub_complaints_topic|
|
38 |
-
|aihub_dialog_topic|
|
39 |
-
|ko_relation_fields|
|
40 |
-
|Average|<b>
|
41 |
|
42 |
-
-
|
|
|
43 |
- aihub_complaints_topic: AIHub [민원 업무 자동화 인공지능 언어 데이터](https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=&topMenu=&aihubDataSe=data&dataSetSn=619) - 16개 카테고리 class 분류
|
44 |
- aihub_dialog_topic: AIHub [한국어 대화 요약](https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=data&dataSetSn=117)의 10개 주제 class 분류
|
45 |
- ko_relation_fields: AIHub [한국어 지식기반 관계 데이터](https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=data&dataSetSn=71633) 의 13개 주제 및 분야 분류
|
@@ -47,14 +48,14 @@ base model: [klue/roberta-large](https://huggingface.co/klue/roberta-large)
|
|
47 |
### Seen Task 성능
|
48 |
|task|accuracy|
|
49 |
|---|---|
|
50 |
-
|nsmc|
|
51 |
-
|apeach|
|
52 |
-
|klue-ynat|
|
53 |
-
|kobest-boolq|
|
54 |
-
|kobest-copa|
|
55 |
-
|kobest-hellaswag|
|
56 |
-
|kobest-sentineg|
|
57 |
-
|kobest-wic|
|
58 |
|
59 |
### CSATQA
|
60 |
|
|
|
34 |
### 제로샷 분류 성능
|
35 |
|task|azou|GPT-3.5-turbo|
|
36 |
|---|---|---|
|
37 |
+
|aihub_complaints_topic|32.84|15|
|
38 |
+
|aihub_dialog_topic|42.8|32|
|
39 |
+
|ko_relation_fields|40.3|38.1|
|
40 |
+
|Average|<b>38.65</b>|28.37|
|
41 |
|
42 |
+
- 학습에 사용하지 않은 텍스트와 라벨도 잘 분류하는지 판단하기 위해, AIHub의 텍스트 분류 데이터셋들을 가져와서 ChatGPT와 정확도를 비교했습니다.
|
43 |
+
- GPT 3.5-turbo의 경우, 비용 문제로 aihub_complaints_topic는 1300개, aihub_dialog_topic와 ko_relation_fields는 1000개만 평가했습니다(azou는 전체 평가).
|
44 |
- aihub_complaints_topic: AIHub [민원 업무 자동화 인공지능 언어 데이터](https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=&topMenu=&aihubDataSe=data&dataSetSn=619) - 16개 카테고리 class 분류
|
45 |
- aihub_dialog_topic: AIHub [한국어 대화 요약](https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=data&dataSetSn=117)의 10개 주제 class 분류
|
46 |
- ko_relation_fields: AIHub [한국어 지식기반 관계 데이터](https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=data&dataSetSn=71633) 의 13개 주제 및 분야 분류
|
|
|
48 |
### Seen Task 성능
|
49 |
|task|accuracy|
|
50 |
|---|---|
|
51 |
+
|nsmc|87.42|
|
52 |
+
|apeach|83.26|
|
53 |
+
|klue-ynat|82.08|
|
54 |
+
|kobest-boolq|89.6|
|
55 |
+
|kobest-copa|70.9|
|
56 |
+
|kobest-hellaswag|76.4|
|
57 |
+
|kobest-sentineg|92.19|
|
58 |
+
|kobest-wic|79.84|
|
59 |
|
60 |
### CSATQA
|
61 |
|