Upload fine-tuned model

README.md

@@ -71,7 +71,95 @@ Users (both direct and downstream) should be made aware of the risks, biases and
 
 Use the code below to get started with the model.
 
-[More Information Needed]
+Google Colabで実行してください。
+```
+!pip install bitsandbytes
+
+```
+
+```
+from transformers import AutoModelForCausalLM, AutoTokenizer
+import torch
+import json
+from tqdm import tqdm
+
+# 必要な設定
+model_name = "n4/llm-jp-3-13b-finetune-10"
+max_seq_length = 1024
+load_in_4bit = True  # 4-bit量子化を有効化
+
+# モデルとトークナイザーのロード
+print("モデルをロード中...")
+device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
+dtype = torch.float16 if load_in_4bit else None
+
+model = AutoModelForCausalLM.from_pretrained(
+    model_name,
+    device_map="auto",
+    torch_dtype=dtype,
+    load_in_4bit=load_in_4bit,
+)
+tokenizer = AutoTokenizer.from_pretrained(model_name)
+print("モデルのロードが完了しました。")
+```
+
+```
+# 推論用ファイルの用意
+elyza-tasks-100-TV_0.jsonl を /content/elyza-tasks-100-TV_0.jsonl となるようにアップロードしておいてください。
+```
+
+```
+
+# データセットの読み込み
+datasets = []
+with open("./elyza-tasks-100-TV_0.jsonl", "r") as f:
+    item = ""
+    for i, line in enumerate(f):
+        line = line.strip()
+        item += line
+        if item.endswith("}"):
+            data = json.loads(item)
+            # task_id がない場合は行番号を追加
+            if "task_id" not in data:
+                data["task_id"] = i  # 0から始まる行番号
+            datasets.append(data)
+            item = ""
+
+# 推論
+results = []
+print("推論を開始します...")
+for dt in tqdm(datasets):
+    input_text = dt["input"]
+
+    # プロンプト作成
+    prompt = f"<s>指示を読んで、質問内容を把握してください。把握した内容を回答してください。選択肢の並べ変えや、意味の理解など、多様な質問が想定されるので質問を注意深くみてください。</s><s>### 指示\n{input_text}\n\n\n### 回答\n"
+
+    # トークナイズ（token_type_idsを削除）
+    inputs = tokenizer(prompt, return_tensors="pt").to(device)
+    inputs.pop("token_type_ids", None)  # 不要なキーを削除
+
+    # 推論
+    outputs = model.generate(
+        **inputs,
+        max_new_tokens=512,
+        use_cache=True,
+        do_sample=False,
+        repetition_penalty=1.2,
+    )
+    # 結果のデコード
+    prediction = tokenizer.decode(outputs[0], skip_special_tokens=True).split('\n### 回答')[-1]
+
+    # 結果を保存
+    results.append({"task_id": dt["task_id"], "input": input_text, "output": prediction})
+
+# 推論結果の保存
+output_file = f"{model_name.replace('/', '_')}_output.jsonl"
+with open(output_file, "w") as f:
+    for result in results:
+        f.write(json.dumps(result, ensure_ascii=False) + "\n")
+
+print(f"推論が完了しました。結果は {output_file} に保存されました。")
+```
 
 ## Training Details