README.md

---
library_name: peft
---

# About GPTeacher

GPTeacher는 로봇(Bot)이 출력하는 듯한 기존 LLM 모델의 출력값을, 강의자가 실제로 해당 내용에 대해 강의하는 것처럼 풀이과정을 생성하는 것을 목표로 하고 있습니다.

## 1. 사용절차

* Install model and PEFT parameters

```
!pip install -U peft transformers optimum
!pip install auto-gptq --extra-index-url https://huggingface.github.io/autogptq-index/whl/cu117/
```

```
import torch
from peft import PeftModel, PeftConfig
from transformers import AutoTokenizer, AutoModelForCausalLM, GPTQConfig

model_id = "TheBloke/WizardLM-13B-V1.2-GPTQ"

config = PeftConfig.from_pretrained("a2ran/GPTeacher-llama2-ko-13b")
tokenizer = AutoTokenizer.from_pretrained(model_id, use_fast=True)
quantization_config_loading = GPTQConfig(bits=4, disable_exllama=True)

model = AutoModelForCausalLM.from_pretrained(model_id, quantization_config=quantization_config_loading,
                                             torch_dtype=torch.float16, device_map="auto")
model = PeftModel.from_pretrained(model, "a2ran/GPTeacher-llama2-ko-13b")
```

* How to Generate Tokens

```
from transformers import TextStreamer

streamer = TextStreamer(tokenizer)

# your input sentence가 들어갈 곳
sentence = "사과가 몸에 좋은 이유를 알려주세요."

input = f"""
### input @ {sentence} \n\n### response @"""

output = tokenizer.decode(model.cuda().generate(
    **tokenizer(
        input,
        return_tensors='pt',
    ).to(0),
    max_new_tokens = 2048,
    temperature = 1.2,
    top_p = 0.7,
    early_stopping = True,
    eos_token_id = 2,
    do_sample = True,
    repetition_penalty = 1.1,
    streamer = streamer
)[0]).replace(input+" ", "")
```

* Output 생성 예시

```
output =
<s> 안녕하세요. 오늘은 사과의 장점에 대해 배우겠습니다. 사과는 포도주, 카바예로, 시트러스, 피르고타톨리그릭스 등 여러 다른 식물들과 비교하면서 우리의 건강을 최적화하는 중요한 식물입니다.

이제, 우선 사과의 성분을 살펴보도록 하겠습니다. 사과는 고혈압을 낮추는 엘리가톨린과 효모와 같은 단백질, 피트산, 피로나산 등 영양소를 풍부하게 함유합니다. 이러한 성분들은 우리의 체내 조직에 필수적인 물질들이므로 사과를 섭취할 만한 좋은 이유 중 하나입니다.

또한, 사과는 고기 소금과 함께 사용하면 단백질의 소화를 높일 수 있어요. 또한 지방 소금과 함께 사용하면 당질의 흡수를 증가시킬 수 있습니다. 이는 우리의 신체 기능을 개선하는 데 도움이 됩니다.

또한, 사과는 빠르게 소화되어 탄수화물을 공급할 수 있는 것이 장점이죠. 이는 체내 에너지원으로 작동하는 능력을 높여줍니다. 사과를 정교하게 먹을 경우 불규칙한 피임을 방지하고 식이맞은 운동을 유지하는 데 도움이 됩니다.

마지막으로, 사과는 피로당과 카폴라달레가 많이 들어 있어요. 이는 근육에 미세한 힘을 제공하여 농구, 테니스 등 다양한 종류의 운동을 위해 필요한 요소입니다. 이는 우리의 운동을 더 잘 수행하는 데 도움이 됩니다.

따라서, 사과를 섭취할 때는 주로 아침이나 아침 식사 전에 먹는 것이 좋습니다. 또한, 사과는 매우 흡치기 쉽고 다양한 재료를 가변할 수 있기 때문에 창고에 보관할 수 있습니다. 올바른 조리 방법을 알고 있어야 하는데, 주로 할인으로 가공하여 충분한 음식을 만들 수 있습니다.

이상으로 사과에 대해 알려드렸습니다. 사과는 우리의 건강을 최적화하는 데 필수적인 요소입니다. 그렇기 때문에 섭취하는 것이 중요합니다. 감사합니다.</끝></s>
```

GPTeacher 프로젝트를 통해 추구하고자 하는 목표는 다음과 같습니다.

1. 오픈 데이터셋 제공 : [kullm-v2](https://huggingface.co/datasets/nlpai-lab/kullm-v2), [ko-alpaca](https://huggingface.co/datasets/beomi/KoAlpaca-v1.1a) 데이터셋의 output을 강의 형태로 변환하여, 기존 데이터셋의 output과 더불어 extended_output 칼럼을 추가해 제공합니다.
2. PEFTmodel 혹은 ko-llama2 모델 제공 : 현재 버전은 academic research purpose로 변형 가능한 [wizardLM](https://github.com/nlpxucan/WizardLM/tree/main)의 파라미터를 커스텀 데이터셋을 적용한 PEFTmodel 학습방식을 통해 파인튜닝한 버전입니다. 여러 버전 업데이트를 통해, 다른 모델로부터 파인튜닝을 할 수 있는 프레임워크를 제공하거나, GPTeacher-ko-llama2 모델을 제작해 제공하고자 합니다.
3. 현재 제작중인 데이터셋 예시 : [https://huggingface.co/datasets/a2ran/ex_dataset](https://huggingface.co/datasets/a2ran/ex_dataset)


**현재 사용모델 : WizardLM-13B-v1.2**

*/*영어권 데이터를 중심으로 학습한 WizardLM 모델을 파인튜닝 하였기에 general한 한국 정보에 관한 질문에 미숙합니다.*/*


| Model                | Checkpoint  | Paper        | MT-Bench | AlpacaEval | GSM8k | HumanEval | Demo | License        |
|----------------------|-------------|--------------|----------|------------|-------|-----------|------|----------------|
| WizardLM-70B-V1.0    | 🤗 HF Link  | 📃Coming Soon| 7.78     | 92.91%     | 77.6% | 50.6      |      | Llama 2 License|
| WizardLM-13B-V1.2    | 🤗 HF Link  |              | 7.06     | 89.17%     | 55.3% | 36.6      | Demo | Llama 2 License|

향후 진행 방향은 다음과 같습니다
1. more custom dataset으로 파인튜닝
2. 여러 파라미터 모델에 대해 PEFT learning 진행 (30B, 7B, 70B...)
3. ko-llama2 모델에 대해 파인튜닝



## 2. Training procedure


The following `bitsandbytes` quantization config was used during training:
- quant_method: gptq
- bits: 4
- tokenizer: None
- dataset: None
- group_size: 128
- damp_percent: 0.1
- desc_act: False
- sym: True
- true_sequential: True
- use_cuda_fp16: False
- model_seqlen: None
- block_name_to_quantize: None
- module_name_preceding_first_block: None
- batch_size: 1
- pad_token_id: None
- disable_exllama: True
- max_input_length: None
### Framework versions


- PEFT 0.6.0.dev0

@misc{xu2023wizardlm,
      title={WizardLM: Empowering Large Language Models to Follow Complex Instructions}, 
      author={Can Xu and Qingfeng Sun and Kai Zheng and Xiubo Geng and Pu Zhao and Jiazhan Feng and Chongyang Tao and Daxin Jiang},
      year={2023},
      eprint={2304.12244},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}