SierraHO/NLPHW2

<llama2 모델의 성능을 높이기 위해 추가적인 미세튜닝을 진행하였다.>

#첫번째 시도

• 실험 내용: 주어진 코드 그대로 일단 실행하여 성능을 확인했다.

• 실험 결과: TP: 337 TN: 390 PP: 132 PN: 141 Accuracy: 0.727

#두번째 시도

• 실험 내용:

1. 이전 프로젝트를 진행하다보면 보통 epoch 수를 늘리면 성능이 좋아짐을 확인할 수 있었다. 더 많은 데이터를 학습해보기 위해 증가시켰다. (num_train_epochs: 1-> 1000로 변경)
2. weight_decay는 과적합을 방지할 수 있는 값으로 너무 크면 underfitting, 너무 작으면 overfitting이 발생할 수 있다. 0.05 정도 값을 더 키워서 overfitting이 일어나지 않도록 했다. (weight_decay: 0.05-> 0.1로 변경)
3. max_grad_norm이 크면 발산의 위험이 크고 수렴이 어려워지며, 정확도가 감소될 수 있기 때문에 어느정도 값을 줄여주었다. (max_grad_norm: 0.3-> 0.1로 변경)

• 실험 결과: TP: 409 TN: 398 PP: 108 PN: 85 Accuracy: 0.807

<아주 높은 정확도는 확인할 수 없었지만 그래도 정확도가 개선되었음을 확인하였다.>