띄어쓰기 special token 처리한 모델 다시 구현했다.

README.md

@@ -31,11 +31,10 @@ generator(
 )
 ```
 결과
-- eos_token_id를 '\n'으로 해줘서 짤려야하는데 generation된거 보니 안짤리네요... 이유가 뭘지 ㅠ
 ```
-[[{'generated_text': '0 : **는 게임 좋아하니\n1 : 키키 뭔 게임 좋아하냥\n'}],
- [{'generated_text': '0 : 어제 강남에서 살인사건 났대 ㅜㅜ 너무 무서워\n1 : 헐 왜? 무슨 일 있었어?\n0 : 사진보니까 막 피흘리는 사람있고 경찰들이 떠서 제압하고 난리도 아니었다던데??\n1 : 헐 미쳤다... 진짜 무서웠겠다\n0 : 그치 근데 피해자가 흉기로 찌른 것 같아\n'}],
- [{'generated_text': '0 : 자기야 어제는 나한테 왜 그랬어?\n1 : 뭔 일 있었어?\n0 : 어떻게 나한테 말도 없이 그럴 수 있어? 나 진짜 실망했어\n1 : 뭘 말했는데?\n0 : 내가 너한테 뭐라고 했잖아\n'}]]
+[[{'generated_text': '0 : **는 게임 좋아하니\n1 : 나는 게임을 잘 안 해 키키 '}],
+ [{'generated_text': '0 : 어제 강남에서 살인사건 났대 ㅜㅜ 너무 무서워\n1 : 헐 왜? 무슨 일 있었어?\n0 : 사진보니까 막 피흘리는 사람있고 경찰들이 떠서 제압하고 난리도 아니었다던데??\n1 : 아이고... 진짜 무섭다... '}],
+ [{'generated_text': '0 : 자기야 어제는 나한테 왜 그랬어?\n1 : 뭔 일 있었어?\n0 : 어떻게 나한테 말도 없이 그럴 수 있어? 나 진짜 실망했어\n1 : 뭘 잘못 했길래 그래? '}]]
  ```
 
 학습에 사용한 하이퍼파라미터

pytorch_model.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:3246fa466b5fcb130bf94d5d3ba98415d7120266544536edc0c49aa71a2e9c39
+oid sha256:7ab9da80b4258a475e83a3f38a37d0f7f21af61324ee540839366fd7187cf0ee
 size 513290985

special_tokens_map.json

@@ -2,5 +2,6 @@
   "bos_token": "<s>",
   "eos_token": "</s>",
   "pad_token": "<pad>",
+  "sep_token": "\n",
   "unk_token": "<|endoftext|>"
 }

tokenizer.json

@@ -3378,6 +3378,15 @@
       "normalized": false,
       "special": true
     },
+    {
+      "id": 375,
+      "content": "\n",
+      "single_word": false,
+      "lstrip": false,
+      "rstrip": false,
+      "normalized": false,
+      "special": true
+    },
     {
       "id": 51200,
       "content": "<|endoftext|>",