Update README.md

README.md

@@ -20,6 +20,76 @@ davidkim205/ko-gemma-2-9b-it is one of several models being researched to improv
 * **base mode** : google/gemma-2-9b-it
 * **sft dataset** : qa_ability_1851.jsonl
 
+## Usage
+### Chat Template
+```
+from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
+
+model_id = "davidkim205/ko-gemma-2-9b-it"
+
+quantization_config = BitsAndBytesConfig(load_in_4bit=True)
+
+tokenizer = AutoTokenizer.from_pretrained(model_id)
+model = AutoModelForCausalLM.from_pretrained(
+    model_id,
+    quantization_config=quantization_config)
+
+chat = [
+    { "role": "system", "content":"당신은 질문에 대해서 자세히 설명하는 AI입니다."},
+    { "role": "user", "content": "딥러닝을 어떻게 공부해야하나요?" },
+]
+prompt = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)
+inputs = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt")
+outputs = model.generate(input_ids=inputs.to(model.device), max_new_tokens=1024)
+print(tokenizer.decode(outputs[0]))
+
+```
+output
+```
+`low_cpu_mem_usage` was None, now set to True since model is quantized.
+Loading checkpoint shards: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:04<00:00,  1.04s/it]
+/home/david/anaconda3/envs/eval/lib/python3.10/site-packages/bitsandbytes/nn/modules.py:426: UserWarning: Input type into Linear4bit is torch.float16, but bnb_4bit_compute_dtype=torch.float32 (default). This will lead to slow inference or training speed.
+  warnings.warn(
+<bos>당신은 질문에 대해서 자세히 설명하는 AI입니다.<start_of_turn>user
+딥러닝을 어떻게 공부해야하나요?<end_of_turn>
+<start_of_turn>model
+딥러닝을 공부하는 것은 흥미롭고 보람 있는 여정이 될 수 있습니다! 
+
+하지만 어디서부터 시작해야 할지 막막하게 느껴질 수도 있습니다. 
+
+다음은 딥러닝을 공부하기 위한 단계별 가이드입니다.
+
+**1단계: 기초 다지기**
+
+* **수학**: 딥러닝의 기반이 되는 선형대수, 미적분, 확률 및 통계에 대한 기본 지식이 필요합니다. Khan Academy, Coursera 등 온라인 플랫폼에서 수학 강좌를 듣는 것을 추천합니다.
+* **프로그래밍**: Python은 딥러닝 분야에서 가장 널리 사용되는 프로그래밍 언어입니다. Python 기초 문법, 데이터 구조, 함수 등을 익히세요. Codecademy, Google's Python Class 등의 플랫폼에서 Python을 배울 수 있습니다.
+* **기본 머신러닝**: 딥러닝을 이해하기 전에 기본적인 머신러닝 개념을 익히는 것이 중요합니다. 
+    * 분류, 회귀, 클러스터링 등의 머신러닝 알고리즘을 이해하고, Scikit-learn 라이브러리를 활용하여 실습을 해보세요.
+
+**2단계: 딥러닝 개념 학습**
+
+* **온라인 강좌**: Coursera, edX, Udacity 등의 플랫폼에서 제공하는 딥러닝 강좌를 수강하세요. Andrew Ng의 Deep Learning Specialization은 딥러닝 분야의 기본 개념을 탄탄하게 다지는 데 좋은 선택입니다.
+* **책**: 딥러닝에 대한 이해를 심화시키기 위해 책을 읽는 것도 좋은 방법입니다. 
+    * "Deep Learning" (Ian Goodfellow, Yoshua Bengio, Aaron Courville)은 딥러닝 분야의 전문가를 위한 심도 있는 책입니다. 
+    * "Hands-On Machine Learning with Scikit-Learn, Keras & TensorFlow" (Aurélien Géron)은 실습 중심으로 딥러닝을 배우고 싶은 사람에게 적합합니다.
+* **블로그 및 기사**: 딥러닝 관련 최신 트렌드와 연구 동향을 파악하기 위해 블로그 및 기사를 읽는 것이 좋습니다.
+
+**3단계: 실습 및 프로젝트 진행**
+
+* **데이터셋**: Kaggle, UCI Machine Learning Repository 등의 플랫폼에서 다양한 데이터셋을 찾아 실습할 수 있습니다.
+* **라이브러리**: TensorFlow, PyTorch, Keras 등의 딥러닝 라이브러리를 활용하여 모델을 구축하고 훈련하세요.
+* **프로젝트**: 딥러닝 기술을 적용하여 실제 문제를 해결하는 프로젝트를 진행하는 것이 중요합니다. 
+    * 이미지 분류, 자연어 처리, 예측 모델 개발 등 다양한 프로젝트를 통해 딥러닝 실력을 향상시킬 수 있습니다.
+
+**추가 팁**
+
+* **커뮤니티 활동**: 딥러닝 관련 커뮤니티에 참여하여 다른 사람들과 교류하고 질문을 해보세요.
+* **꾸준함**: 딥러닝은 복잡한 분야이므로 꾸준히 공부하고 실습하는 것이 중요합니다.
+
+
+<end_of_turn><eos>
+
+```
 ## Benchmark
 
 ### kollm_evaluation