Update README.md

README.md

@@ -7,6 +7,8 @@ datasets:
 - elyza/ELYZA-tasks-100
 language:
 - ja
+base_model:
+- llm-jp/llm-jp-3-13b
 ---
 
 # Model Card for Model ID
@@ -18,8 +20,8 @@ language:
 
 ### Model Description
 
-elyza-tasks-100-TV_0.jsonlの回答のためのコードです。
-
+東大松尾研LLM講座2024の最終課題向けのelyza-tasks-100-TV_0.jsonlの出力用にFinetuningしたモデルです。
+モデルの利用については、提供いただいたOmmniCampusの環境およびサンプルコードに沿ったものとなっております。
 
 - **Developed by:** maktag
 - **Language(s) (NLP):** Japanese
@@ -28,35 +30,35 @@ elyza-tasks-100-TV_0.jsonlの回答のためのコードです。
 
 ## How to Get Started with the Model
 
-
 ```
 from transformers import AutoTokenizer, AutoModelForCausalLM
 
 # Load the fine-tuned model and tokenizer
-model_id = "maktag/llm-jp-3-13b-finetune8"
+base_model_id = "llm-jp/llm-jp-3-13b" 
+adapter_id = "maktag/llm-jp-3-13b-finetune8"
 tokenizer = AutoTokenizer.from_pretrained(model_id)
 model = AutoModelForCausalLM.from_pretrained(model_id)
 
-# Prepare your input
-prompt = """### 指示
-以下の文章を英語に翻訳してください:
-猫はかわいいです
-### 回答
-"""
-
-# Tokenize and generate
-inputs = tokenizer(prompt, return_tensors="pt")
-outputs = model.generate(
-    inputs["input_ids"],
-    max_new_tokens=100,
-    do_sample=False,
-    repetition_penalty=1.2,
-    pad_token_id=tokenizer.eos_token_id
+# QLoRA config
+bnb_config = BitsAndBytesConfig(
+    load_in_4bit=True,
+    bnb_4bit_quant_type="nf4",
+    bnb_4bit_compute_dtype=torch.bfloat16,
 )
 
-# Decode and print the response
-response = tokenizer.decode(outputs[0], skip_special_tokens=True)
-print(response)
+# Load model
+model = AutoModelForCausalLM.from_pretrained(
+    model_id,
+    quantization_config=bnb_config,
+    device_map="auto",
+    token = HF_TOKEN
+)
+
+# Load tokenizer
+tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True, token = HF_TOKEN)
+
+# 元のモデルにLoRAのアダプタを統合。
+model = PeftModel.from_pretrained(model, adapter_id, token = HF_TOKEN)
 ```
 
 [More Information Needed]