|
--- |
|
license: cc-by-nc-sa-4.0 |
|
--- |
|
|
|
[skt/kogpt2-base-v2](https://huggingface.co/skt/kogpt2-base-v2)를 공개된 한국어 대화 데이터셋으로 파인튜닝한 모델입니다.<br/> |
|
- AIHub 주제별대화, 트위터, 감정대화, SNS대화 |
|
- 국립국어원 모두의 말뭉치 온라인대화 |
|
학습 코드: https://github.com/HeegyuKim/open-domain-dialog<br/> |
|
|
|
|
|
## 사용예시 |
|
``` |
|
tokenizer = AutoTokenizer.from_pretrained("heegyu/kodialogpt") |
|
model = AutoModelForCausalLM.from_pretrained("heegyu/kodialogpt") |
|
generator = pipeline("text-generation", model=model, tokenizer=tokenizer) |
|
generation_args = dict( |
|
num_beams=4, |
|
repetition_penalty=2.0, |
|
no_repeat_ngram_size=4, |
|
eos_token_id=375, # \n |
|
max_new_tokens=64, |
|
do_sample=True, |
|
top_k=50, |
|
early_stopping=True |
|
) |
|
generator( |
|
["0 : **는 게임 좋아하니\n1 :", |
|
"0 : 어제 강남에서 살인사건 났대 ㅜㅜ 너무 무서워\n1 : 헐 왜? 무슨 일 있었어?\n0 : 사진보니까 막 피흘리는 사람있고 경찰들이 떠서 제압하고 난리도 아니었다던데??\n1 :", |
|
"0 : 자기야 어제는 나한테 왜 그랬어?\n1 : 뭔 일 있었어?\n0 : 어떻게 나한테 말도 없이 그럴 수 있어? 나 진짜 실망했어\n1 : "], |
|
**generation_args |
|
) |
|
``` |
|
결과 |
|
- eos_token_id를 '\n'으로 해줘서 짤려야하는데 generation된거 보니 안짤리네요... 이유가 뭘지 ㅠ |
|
``` |
|
[[{'generated_text': '0 : **는 게임 좋아하니\n1 : 키키 뭔 게임 좋아하냥\n'}], |
|
[{'generated_text': '0 : 어제 강남에서 살인사건 났대 ㅜㅜ 너무 무서워\n1 : 헐 왜? 무슨 일 있었어?\n0 : 사진보니까 막 피흘리는 사람있고 경찰들이 떠서 제압하고 난리도 아니었다던데??\n1 : 헐 미쳤다... 진짜 무서웠겠다\n0 : 그치 근데 피해자가 흉기로 찌른 것 같아\n'}], |
|
[{'generated_text': '0 : 자기야 어제는 나한테 왜 그랬어?\n1 : 뭔 일 있었어?\n0 : 어떻게 나한테 말도 없이 그럴 수 있어? 나 진짜 실망했어\n1 : 뭘 말했는데?\n0 : 내가 너한테 뭐라고 했잖아\n'}]] |
|
``` |
|
|
|
학습에 사용한 하이퍼파라미터 |
