heegyu commited on
Commit
2b26ca6
1 Parent(s): 1a491c7

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +14 -13
README.md CHANGED
@@ -34,12 +34,13 @@ base model: [klue/roberta-large](https://huggingface.co/klue/roberta-large)
34
  ### 제로샷 분류 성능
35
  |task|azou|GPT-3.5-turbo|
36
  |---|---|---|
37
- |aihub_complaints_topic|0.3284|0.15|
38
- |aihub_dialog_topic|0.428|0.32|
39
- |ko_relation_fields|0.403|0.381|
40
- |Average|<b>0.3865</b>|0.2837|
41
 
42
- - GPT 3.5-turbo경우, 비용 문제로 aihub_complaints_topic는 1300개, aihub_dialog_topicko_relation_fields는 1000개만 평가했습니다.
 
43
  - aihub_complaints_topic: AIHub [민원 업무 자동화 인공지능 언어 데이터](https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=&topMenu=&aihubDataSe=data&dataSetSn=619) - 16개 카테고리 class 분류
44
  - aihub_dialog_topic: AIHub [한국어 대화 요약](https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=data&dataSetSn=117)의 10개 주제 class 분류
45
  - ko_relation_fields: AIHub [한국어 지식기반 관계 데이터](https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=data&dataSetSn=71633) 의 13개 주제 및 분야 분류
@@ -47,14 +48,14 @@ base model: [klue/roberta-large](https://huggingface.co/klue/roberta-large)
47
  ### Seen Task 성능
48
  |task|accuracy|
49
  |---|---|
50
- |nsmc|0.8742|
51
- |apeach|0.8326|
52
- |klue-ynat|0.8208|
53
- |kobest-boolq|0.896|
54
- |kobest-copa|0.709|
55
- |kobest-hellaswag|0.764|
56
- |kobest-sentineg|0.9219|
57
- |kobest-wic|0.7984|
58
 
59
  ### CSATQA
60
 
 
34
  ### 제로샷 분류 성능
35
  |task|azou|GPT-3.5-turbo|
36
  |---|---|---|
37
+ |aihub_complaints_topic|32.84|15|
38
+ |aihub_dialog_topic|42.8|32|
39
+ |ko_relation_fields|40.3|38.1|
40
+ |Average|<b>38.65</b>|28.37|
41
 
42
+ - 학습에 사용하지 않은 텍스트와 라벨도 잘 분류하는지 판단하기 위해, AIHub텍스트 분류 데이터셋들을 가져와서 ChatGPT정확도를 비교했습니다.
43
+ - GPT 3.5-turbo의 경우, 비용 문제로 aihub_complaints_topic는 1300개, aihub_dialog_topic와 ko_relation_fields는 1000개만 평가했습니다(azou는 전체 평가).
44
  - aihub_complaints_topic: AIHub [민원 업무 자동화 인공지능 언어 데이터](https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=&topMenu=&aihubDataSe=data&dataSetSn=619) - 16개 카테고리 class 분류
45
  - aihub_dialog_topic: AIHub [한국어 대화 요약](https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=data&dataSetSn=117)의 10개 주제 class 분류
46
  - ko_relation_fields: AIHub [한국어 지식기반 관계 데이터](https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=data&dataSetSn=71633) 의 13개 주제 및 분야 분류
 
48
  ### Seen Task 성능
49
  |task|accuracy|
50
  |---|---|
51
+ |nsmc|87.42|
52
+ |apeach|83.26|
53
+ |klue-ynat|82.08|
54
+ |kobest-boolq|89.6|
55
+ |kobest-copa|70.9|
56
+ |kobest-hellaswag|76.4|
57
+ |kobest-sentineg|92.19|
58
+ |kobest-wic|79.84|
59
 
60
  ### CSATQA
61