ko-gemma-2-9b-it / README.md

davidkim205

Update README.md

9c3bc62 verified 3 months ago

preview code

raw

history blame contribute delete

No virus

9.41 kB

	---
	library_name: transformers
	license: llama3
	language:
	- ko
	- en
	pipeline_tag: text-generation
	---

	# davidkim205/ko-gemma-2-9b-it

	davidkim205/ko-gemma-2-9b-it is one of several models being researched to improve the performance of Korean language models.

	(would be released soon)

	## Model Details

	* Model Developers : davidkim(changyeon kim)
	* Repository : -
	* base mode : google/gemma-2-9b-it
	* sft dataset : qa_ability_1851.jsonl

	## Usage
	### Chat Template
	```
	from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig

	model_id = "davidkim205/ko-gemma-2-9b-it"

	quantization_config = BitsAndBytesConfig(load_in_4bit=True)

	tokenizer = AutoTokenizer.from_pretrained(model_id)
	model = AutoModelForCausalLM.from_pretrained(
	model_id,
	quantization_config=quantization_config)

	chat = [
	{ "role": "system", "content":"당신은 질문에 대해서 자세히 설명하는 AI입니다."},
	{ "role": "user", "content": "딥러닝을 어떻게 공부해야하나요?" },
	]
	prompt = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)
	inputs = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt")
	outputs = model.generate(input_ids=inputs.to(model.device), max_new_tokens=1024)
	print(tokenizer.decode(outputs[0]))

	```
	output
	```
	`low_cpu_mem_usage` was None, now set to True since model is quantized.
	Loading checkpoint shards: 100%\|████████████████████████████████████████████████████████████████████████████████████████████████\| 4/4 [00:04<00:00, 1.04s/it]
	/home/david/anaconda3/envs/eval/lib/python3.10/site-packages/bitsandbytes/nn/modules.py:426: UserWarning: Input type into Linear4bit is torch.float16, but bnb_4bit_compute_dtype=torch.float32 (default). This will lead to slow inference or training speed.
	warnings.warn(
	<bos>당신은 질문에 대해서 자세히 설명하는 AI입니다.<start_of_turn>user
	딥러닝을 어떻게 공부해야하나요?<end_of_turn>
	<start_of_turn>model
	딥러닝을 공부하는 것은 흥미롭고 보람 있는 여정이 될 수 있습니다!

	하지만 어디서부터 시작해야 할지 막막하게 느껴질 수도 있습니다.

	다음은 딥러닝을 공부하기 위한 단계별 가이드입니다.

	1단계: 기초 다지기

	* 수학: 딥러닝의 기반이 되는 선형대수, 미적분, 확률 및 통계에 대한 기본 지식이 필요합니다. Khan Academy, Coursera 등 온라인 플랫폼에서 수학 강좌를 듣는 것을 추천합니다.
	* 프로그래밍: Python은 딥러닝 분야에서 가장 널리 사용되는 프로그래밍 언어입니다. Python 기초 문법, 데이터 구조, 함수 등을 익히세요. Codecademy, Google's Python Class 등의 플랫폼에서 Python을 배울 수 있습니다.
	* 기본 머신러닝: 딥러닝을 이해하기 전에 기본적인 머신러닝 개념을 익히는 것이 중요합니다.
	* 분류, 회귀, 클러스터링 등의 머신러닝 알고리즘을 이해하고, Scikit-learn 라이브러리를 활용하여 실습을 해보세요.

	2단계: 딥러닝 개념 학습

	* 온라인 강좌: Coursera, edX, Udacity 등의 플랫폼에서 제공하는 딥러닝 강좌를 수강하세요. Andrew Ng의 Deep Learning Specialization은 딥러닝 분야의 기본 개념을 탄탄하게 다지는 데 좋은 선택입니다.
	* 책: 딥러닝에 대한 이해를 심화시키기 위해 책을 읽는 것도 좋은 방법입니다.
	* "Deep Learning" (Ian Goodfellow, Yoshua Bengio, Aaron Courville)은 딥러닝 분야의 전문가를 위한 심도 있는 책입니다.
	* "Hands-On Machine Learning with Scikit-Learn, Keras & TensorFlow" (Aurélien Géron)은 실습 중심으로 딥러닝을 배우고 싶은 사람에게 적합합니다.
	* 블로그 및 기사: 딥러닝 관련 최신 트렌드와 연구 동향을 파악하기 위해 블로그 및 기사를 읽는 것이 좋습니다.

	3단계: 실습 및 프로젝트 진행

	* 데이터셋: Kaggle, UCI Machine Learning Repository 등의 플랫폼에서 다양한 데이터셋을 찾아 실습할 수 있습니다.
	* 라이브러리: TensorFlow, PyTorch, Keras 등의 딥러닝 라이브러리를 활용하여 모델을 구축하고 훈련하세요.
	* 프로젝트: 딥러닝 기술을 적용하여 실제 문제를 해결하는 프로젝트를 진행하는 것이 중요합니다.
	* 이미지 분류, 자연어 처리, 예측 모델 개발 등 다양한 프로젝트를 통해 딥러닝 실력을 향상시킬 수 있습니다.

	추가 팁

	* 커뮤니티 활동: 딥러닝 관련 커뮤니티에 참여하여 다른 사람들과 교류하고 질문을 해보세요.
	* 꾸준함: 딥러닝은 복잡한 분야이므로 꾸준히 공부하고 실습하는 것이 중요합니다.


	<end_of_turn><eos>

	```
	## Benchmark

	### kollm_evaluation
	https://github.com/davidkim205/kollm_evaluation

	\| Tasks \|Version\|Filter\|n-shot\| Metric \|Value \| \|Stderr\|
	\|-------------------\|-------\|------\|-----:\|--------\|-----:\|---\|------\|
	\|kobest \|N/A \|none \| 0\|acc \|0.5150\|± \|0.0073\|
	\| \| \|none \| 0\|f1 \|0.4494\|± \|N/A \|
	\| - kobest_boolq \| 1\|none \| 0\|acc \|0.6154\|± \|0.0130\|
	\| \| \|none \| 0\|f1 \|0.5595\|± \|N/A \|
	\| - kobest_copa \| 1\|none \| 0\|acc \|0.4710\|± \|0.0158\|
	\| \| \|none \| 0\|f1 \|0.4700\|± \|N/A \|
	\| - kobest_hellaswag\| 1\|none \| 0\|acc \|0.3880\|± \|0.0218\|
	\| \| \|none \| 0\|f1 \|0.3832\|± \|N/A \|
	\| \| \|none \| 0\|acc_norm\|0.4780\|± \|0.0224\|
	\| - kobest_sentineg \| 1\|none \| 0\|acc \|0.5189\|± \|0.0251\|
	\| \| \|none \| 0\|f1 \|0.4773\|± \|N/A \|
	\| - kobest_wic \| 1\|none \| 0\|acc \|0.4873\|± \|0.0141\|
	\| \| \|none \| 0\|f1 \|0.3276\|± \|N/A \|
	\|ko_truthfulqa \| 2\|none \| 0\|acc \|0.3390\|± \|0.0166\|
	\|ko_mmlu \| 1\|none \| 0\|acc \|0.1469\|± \|0.0019\|
	\| \| \|none \| 0\|acc_norm\|0.1469\|± \|0.0019\|
	\|ko_hellaswag \| 1\|none \| 0\|acc \|0.2955\|± \|0.0046\|
	\| \| \|none \| 0\|acc_norm\|0.3535\|± \|0.0048\|
	\|ko_common_gen \| 1\|none \| 0\|acc \|0.5825\|± \|0.0126\|
	\| \| \|none \| 0\|acc_norm\|0.5825\|± \|0.0126\|
	\|ko_arc_easy \| 1\|none \| 0\|acc \|0.2329\|± \|0.0124\|
	\| \| \|none \| 0\|acc_norm\|0.2867\|± \|0.0132\|



	### Evaluation of KEval
	keval is an evaluation model that learned the prompt and dataset used in the benchmark for evaluating Korean language models among various methods of evaluating models with chatgpt to compensate for the shortcomings of the existing lm-evaluation-harness.

	https://huggingface.co/davidkim205/keval-7b

	\| model \| ned \| exe_time \| evalscore \| count \|
	\|:-----------------------------------------------------------------------------------------\|------:\|-----------:\|------------:\|--------:\|
	\| claude-3-opus-20240229 \| nan \| nan \| 8.79 \| 42 \|
	\| gpt-4-turbo-2024-04-09 \| nan \| nan \| 8.71 \| 42 \|
	\| Qwen2-72B-Instruct \| nan \| 29850.5 \| 7.85 \| 42 \|
	\| WizardLM-2-8x22B \| nan \| 133831 \| 7.57 \| 42 \|
	\| *ko-gemma-2-9b-it* \| nan \| 30789.5 \| 7.52 \| 42 \|
	\| HyperClovaX \| nan \| nan \| 7.44 \| 42 \|
	\| gemma-2-9b-it \| nan \| 23531.7 \| 7.4 \| 42 \|
	\| glm-4-9b-chat \| nan \| 24825.6 \| 7.31 \| 42 \|
	\| Ko-Llama-3-8B-Instruct \| nan \| 10697.5 \| 6.81 \| 42 \|
	\| Qwen2-7B-Instruct \| nan \| 11856.3 \| 6.02 \| 42 \|
	\| Not-WizardLM-2-7B \| nan \| 12955.7 \| 5.26 \| 42 \|
	\| gemma-1.1-7b-it \| nan \| 6950.5 \| 4.99 \| 42 \|
	\| Mistral-7B-Instruct-v0.3 \| nan \| 19631.4 \| 4.89 \| 42 \|
	\| Phi-3-small-128k-instruct \| nan \| 26747.5 \| 3.52 \| 42 \|

	---
	library_name: transformers
	license: llama3
	language:
	- ko
	- en
	pipeline_tag: text-generation
	---

	# davidkim205/ko-gemma-2-9b-it

	davidkim205/ko-gemma-2-9b-it is one of several models being researched to improve the performance of Korean language models.

	(would be released soon)

	## Model Details

	* Model Developers : davidkim(changyeon kim)
	* Repository : -
	* base mode : google/gemma-2-9b-it
	* sft dataset : qa_ability_1851.jsonl

	## Usage
	### Chat Template
	```
	from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig

	model_id = "davidkim205/ko-gemma-2-9b-it"

	quantization_config = BitsAndBytesConfig(load_in_4bit=True)

	tokenizer = AutoTokenizer.from_pretrained(model_id)
	model = AutoModelForCausalLM.from_pretrained(
	model_id,
	quantization_config=quantization_config)

	chat = [
	{ "role": "system", "content":"당신은 질문에 대해서 자세히 설명하는 AI입니다."},
	{ "role": "user", "content": "딥러닝을 어떻게 공부해야하나요?" },
	]
	prompt = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)
	inputs = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt")
	outputs = model.generate(input_ids=inputs.to(model.device), max_new_tokens=1024)
	print(tokenizer.decode(outputs[0]))

	```
	output
	```
	`low_cpu_mem_usage` was None, now set to True since model is quantized.
	Loading checkpoint shards: 100%\|████████████████████████████████████████████████████████████████████████████████████████████████\| 4/4 [00:04<00:00, 1.04s/it]
	/home/david/anaconda3/envs/eval/lib/python3.10/site-packages/bitsandbytes/nn/modules.py:426: UserWarning: Input type into Linear4bit is torch.float16, but bnb_4bit_compute_dtype=torch.float32 (default). This will lead to slow inference or training speed.
	warnings.warn(
	<bos>당신은 질문에 대해서 자세히 설명하는 AI입니다.<start_of_turn>user
	딥러닝을 어떻게 공부해야하나요?<end_of_turn>
	<start_of_turn>model
	딥러닝을 공부하는 것은 흥미롭고 보람 있는 여정이 될 수 있습니다!

	하지만 어디서부터 시작해야 할지 막막하게 느껴질 수도 있습니다.

	다음은 딥러닝을 공부하기 위한 단계별 가이드입니다.

	1단계: 기초 다지기

	* 수학: 딥러닝의 기반이 되는 선형대수, 미적분, 확률 및 통계에 대한 기본 지식이 필요합니다. Khan Academy, Coursera 등 온라인 플랫폼에서 수학 강좌를 듣는 것을 추천합니다.
	* 프로그래밍: Python은 딥러닝 분야에서 가장 널리 사용되는 프로그래밍 언어입니다. Python 기초 문법, 데이터 구조, 함수 등을 익히세요. Codecademy, Google's Python Class 등의 플랫폼에서 Python을 배울 수 있습니다.
	* 기본 머신러닝: 딥러닝을 이해하기 전에 기본적인 머신러닝 개념을 익히는 것이 중요합니다.
	* 분류, 회귀, 클러스터링 등의 머신러닝 알고리즘을 이해하고, Scikit-learn 라이브러리를 활용하여 실습을 해보세요.

	2단계: 딥러닝 개념 학습

	* 온라인 강좌: Coursera, edX, Udacity 등의 플랫폼에서 제공하는 딥러닝 강좌를 수강하세요. Andrew Ng의 Deep Learning Specialization은 딥러닝 분야의 기본 개념을 탄탄하게 다지는 데 좋은 선택입니다.
	* 책: 딥러닝에 대한 이해를 심화시키기 위해 책을 읽는 것도 좋은 방법입니다.
	* "Deep Learning" (Ian Goodfellow, Yoshua Bengio, Aaron Courville)은 딥러닝 분야의 전문가를 위한 심도 있는 책입니다.
	* "Hands-On Machine Learning with Scikit-Learn, Keras & TensorFlow" (Aurélien Géron)은 실습 중심으로 딥러닝을 배우고 싶은 사람에게 적합합니다.
	* 블로그 및 기사: 딥러닝 관련 최신 트렌드와 연구 동향을 파악하기 위해 블로그 및 기사를 읽는 것이 좋습니다.

	3단계: 실습 및 프로젝트 진행

	* 데이터셋: Kaggle, UCI Machine Learning Repository 등의 플랫폼에서 다양한 데이터셋을 찾아 실습할 수 있습니다.
	* 라이브러리: TensorFlow, PyTorch, Keras 등의 딥러닝 라이브러리를 활용하여 모델을 구축하고 훈련하세요.
	* 프로젝트: 딥러닝 기술을 적용하여 실제 문제를 해결하는 프로젝트를 진행하는 것이 중요합니다.
	* 이미지 분류, 자연어 처리, 예측 모델 개발 등 다양한 프로젝트를 통해 딥러닝 실력을 향상시킬 수 있습니다.

	추가 팁

	* 커뮤니티 활동: 딥러닝 관련 커뮤니티에 참여하여 다른 사람들과 교류하고 질문을 해보세요.
	* 꾸준함: 딥러닝은 복잡한 분야이므로 꾸준히 공부하고 실습하는 것이 중요합니다.


	<end_of_turn><eos>

	```
	## Benchmark

	### kollm_evaluation
	https://github.com/davidkim205/kollm_evaluation

	\| Tasks \|Version\|Filter\|n-shot\| Metric \|Value \| \|Stderr\|
	\|-------------------\|-------\|------\|-----:\|--------\|-----:\|---\|------\|
	\|kobest \|N/A \|none \| 0\|acc \|0.5150\|± \|0.0073\|
	\| \| \|none \| 0\|f1 \|0.4494\|± \|N/A \|
	\| - kobest_boolq \| 1\|none \| 0\|acc \|0.6154\|± \|0.0130\|
	\| \| \|none \| 0\|f1 \|0.5595\|± \|N/A \|
	\| - kobest_copa \| 1\|none \| 0\|acc \|0.4710\|± \|0.0158\|
	\| \| \|none \| 0\|f1 \|0.4700\|± \|N/A \|
	\| - kobest_hellaswag\| 1\|none \| 0\|acc \|0.3880\|± \|0.0218\|
	\| \| \|none \| 0\|f1 \|0.3832\|± \|N/A \|
	\| \| \|none \| 0\|acc_norm\|0.4780\|± \|0.0224\|
	\| - kobest_sentineg \| 1\|none \| 0\|acc \|0.5189\|± \|0.0251\|
	\| \| \|none \| 0\|f1 \|0.4773\|± \|N/A \|
	\| - kobest_wic \| 1\|none \| 0\|acc \|0.4873\|± \|0.0141\|
	\| \| \|none \| 0\|f1 \|0.3276\|± \|N/A \|
	\|ko_truthfulqa \| 2\|none \| 0\|acc \|0.3390\|± \|0.0166\|
	\|ko_mmlu \| 1\|none \| 0\|acc \|0.1469\|± \|0.0019\|
	\| \| \|none \| 0\|acc_norm\|0.1469\|± \|0.0019\|
	\|ko_hellaswag \| 1\|none \| 0\|acc \|0.2955\|± \|0.0046\|
	\| \| \|none \| 0\|acc_norm\|0.3535\|± \|0.0048\|
	\|ko_common_gen \| 1\|none \| 0\|acc \|0.5825\|± \|0.0126\|
	\| \| \|none \| 0\|acc_norm\|0.5825\|± \|0.0126\|
	\|ko_arc_easy \| 1\|none \| 0\|acc \|0.2329\|± \|0.0124\|
	\| \| \|none \| 0\|acc_norm\|0.2867\|± \|0.0132\|



	### Evaluation of KEval
	keval is an evaluation model that learned the prompt and dataset used in the benchmark for evaluating Korean language models among various methods of evaluating models with chatgpt to compensate for the shortcomings of the existing lm-evaluation-harness.

	https://huggingface.co/davidkim205/keval-7b

	\| model \| ned \| exe_time \| evalscore \| count \|
	\|:-----------------------------------------------------------------------------------------\|------:\|-----------:\|------------:\|--------:\|
	\| claude-3-opus-20240229 \| nan \| nan \| 8.79 \| 42 \|
	\| gpt-4-turbo-2024-04-09 \| nan \| nan \| 8.71 \| 42 \|
	\| Qwen2-72B-Instruct \| nan \| 29850.5 \| 7.85 \| 42 \|
	\| WizardLM-2-8x22B \| nan \| 133831 \| 7.57 \| 42 \|
	\| *ko-gemma-2-9b-it* \| nan \| 30789.5 \| 7.52 \| 42 \|
	\| HyperClovaX \| nan \| nan \| 7.44 \| 42 \|
	\| gemma-2-9b-it \| nan \| 23531.7 \| 7.4 \| 42 \|
	\| glm-4-9b-chat \| nan \| 24825.6 \| 7.31 \| 42 \|
	\| Ko-Llama-3-8B-Instruct \| nan \| 10697.5 \| 6.81 \| 42 \|
	\| Qwen2-7B-Instruct \| nan \| 11856.3 \| 6.02 \| 42 \|
	\| Not-WizardLM-2-7B \| nan \| 12955.7 \| 5.26 \| 42 \|
	\| gemma-1.1-7b-it \| nan \| 6950.5 \| 4.99 \| 42 \|
	\| Mistral-7B-Instruct-v0.3 \| nan \| 19631.4 \| 4.89 \| 42 \|
	\| Phi-3-small-128k-instruct \| nan \| 26747.5 \| 3.52 \| 42 \|