Update README.md

README.md

@@ -4,6 +4,10 @@ datasets:
 - llm-jp/magpie-sft-v1.0
 base_model:
 - google/gemma-2-9b
+license: gemma
+language:
+- ja
+- en
 ---
 
 # Model Card for Model ID
@@ -17,7 +21,8 @@ base_model:
 ### Model Description
 
 <!-- Provide a longer summary of what this model is. -->
-gemma-2-9bを4bit量子化しQloraでllm-jp/magpie-sft-v0.1を用いInstruction Turnnigしたモデルです。
+このモデルはgemma-2-9bをbitsandbytesで4bit量子化し、llm-jp/magpie-sft-v0.1を用いQloraでInstruction Turnnigしたモデルです。
+loraアダプターはmssfj/gemma-2-9b-4bit-magpieになります。
 
 以下のチャットテンプレートを定義しています。
 <bos>{%- for message in messages %}
@@ -48,9 +53,11 @@ This is the model card of a 🤗 transformers model that has been pushed on the
 <!-- Address questions around how the model is intended to be used, including the foreseeable users of the model and those affected by the model. -->
 
 from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
+
 import torch
-from peft import PeftModel, PeftConfig
 
+from peft import PeftModel, PeftConfig
+# モデル名
 model_name = "mssfj/gemma-2-9b-bnb-4bit-chat-template"
 lora_weight = "mssfj/gemma-2-9b-4bit-magpie"
 
@@ -75,14 +82,14 @@ model = PeftModel.from_pretrained(base_model, lora_weight)
 # トークナイザのロード
 tokenizer = AutoTokenizer.from_pretrained(model_name)
 
-input="""「図書館で本を読んだ。」という文は「どこで本を読んだ？」という疑問文に直すことができます。
-このとき、「図書館」は「どこ」の疑問詞タグを持ちます。
-
-それでは、「本」という単語はどのような疑問詞タグを持つでしょうか？ 全て選んでください。対応するものがない場合は「なし」と答えてください。
+input="""日本で一番高い山は？
 """
 
 messages = [
-    {"role": "system", "content": """日本で一番高い山は？
+    {"role": "system", "content": """あなたは誠実で優秀な日本人のアシスタントです。あなたはユーザと日本語で会話しています。アシスタントは以下の原則を忠実に守り丁寧に回答します。
+    - 日本語で簡潔に回答する
+    - 回答は必ず完結した文で終える
+    - 質問の文脈に沿った自然な応答をする
     """},
     {"role": "user", "content": input},
 ]
@@ -97,7 +104,7 @@ input_ids = tokenizer.apply_chat_template(
 
 outputs = model.generate(
     input_ids,
-    max_new_tokens=256,
+    max_new_tokens=512,
     temperature=0.2,
     do_sample=True,
     eos_token_id=tokenizer.eos_token_id,