File size: 1,914 Bytes
51b0d6a
 
 
0c56a01
 
 
 
 
 
 
 
61473f2
 
0c56a01
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
35d783e
 
 
0c56a01
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
---
license: cc-by-nc-sa-4.0
---

[skt/kogpt2-base-v2](https://huggingface.co/skt/kogpt2-base-v2)λ₯Ό AIHub μΌμƒλŒ€ν™” λ°μ΄ν„°μ…‹μœΌλ‘œ νŒŒμΈνŠœλ‹ν•œ λͺ¨λΈμž…λ‹ˆλ‹€.<br/>
ν•™μŠ΅ μ½”λ“œ: https://github.com/HeegyuKim/open-domain-dialog<br/>
Streamlit Demo: https://heegyukim-open-domain-dialog-st-demo-1tzktp.streamlitapp.com/<br/>


## μ‚¬μš©μ˜ˆμ‹œ
```
tokenizer = AutoTokenizer.from_pretrained("heegyu/kodialogpt-v0")
model = AutoModelForCausalLM.from_pretrained("heegyu/kodialogpt-v0")
generator = pipeline("text-generation", model=model, tokenizer=tokenizer)

generation_args = dict(
    num_beams=4,
    repetition_penalty=2.0,
    no_repeat_ngram_size=4,
    eos_token_id=375, # \n
    max_new_tokens=64,
    do_sample=True,
    top_k=50,
    early_stopping=True
)
generator(
    ["0 : **λŠ” κ²Œμž„ μ’‹μ•„ν•˜λ‹ˆ\n1 :",
    "0 : μ–΄μ œ κ°•λ‚¨μ—μ„œ 살인사건 λ‚¬λŒ€ γ…œγ…œ λ„ˆλ¬΄ λ¬΄μ„œμ›Œ\n1 : 헐 μ™œ? 무슨 일 μžˆμ—ˆμ–΄?\n0 : μ‚¬μ§„λ³΄λ‹ˆκΉŒ 막 ν”Όν˜λ¦¬λŠ” μ‚¬λžŒμžˆκ³  경찰듀이 λ– μ„œ μ œμ••ν•˜κ³  λ‚œλ¦¬λ„ μ•„λ‹ˆμ—ˆλ‹€λ˜λ°??\n1 :",
    "0 : μžκΈ°μ•Ό μ–΄μ œλŠ” λ‚˜ν•œν…Œ μ™œ κ·Έλž¬μ–΄?\n1 : λ­” 일 μžˆμ—ˆμ–΄?\n0 : μ–΄λ–»κ²Œ λ‚˜ν•œν…Œ 말도 없이 그럴 수 μžˆμ–΄? λ‚˜ μ§„μ§œ μ‹€λ§ν–ˆμ–΄\n1 : "],
    **generation_args
)
```
κ²°κ³Ό
```
[[{'generated_text': '0 : **λŠ” κ²Œμž„ μ’‹μ•„ν•˜λ‹ˆ\n1 : λ‚˜λŠ” κ²Œμž„μ„ 잘 μ•ˆ ν•΄ ν‚€ν‚€ '}],
 [{'generated_text': '0 : μ–΄μ œ κ°•λ‚¨μ—μ„œ 살인사건 λ‚¬λŒ€ γ…œγ…œ λ„ˆλ¬΄ λ¬΄μ„œμ›Œ\n1 : 헐 μ™œ? 무슨 일 μžˆμ—ˆμ–΄?\n0 : μ‚¬μ§„λ³΄λ‹ˆκΉŒ 막 ν”Όν˜λ¦¬λŠ” μ‚¬λžŒμžˆκ³  경찰듀이 λ– μ„œ μ œμ••ν•˜κ³  λ‚œλ¦¬λ„ μ•„λ‹ˆμ—ˆλ‹€λ˜λ°??\n1 : 아이고... μ§„μ§œ 무섭닀... '}],
 [{'generated_text': '0 : μžκΈ°μ•Ό μ–΄μ œλŠ” λ‚˜ν•œν…Œ μ™œ κ·Έλž¬μ–΄?\n1 : λ­” 일 μžˆμ—ˆμ–΄?\n0 : μ–΄λ–»κ²Œ λ‚˜ν•œν…Œ 말도 없이 그럴 수 μžˆμ–΄? λ‚˜ μ§„μ§œ μ‹€λ§ν–ˆμ–΄\n1 : 뭘 잘λͺ» ν–ˆκΈΈλž˜ 그래? '}]]
 ```

ν•™μŠ΅μ— μ‚¬μš©ν•œ ν•˜μ΄νΌνŒŒλΌλ―Έν„°