Upload Training-Inference-code.ipynb

Training-Inference-code.ipynb

@@ -1,18 +1,14 @@
 {
  "cells": [
   {
-   "cell_type": "markdown",
+   "cell_type": "code",
+   "execution_count": null,
    "metadata": {
     "id": "Y7Wdw0O6o2xa"
    },
+   "outputs": [],
    "source": [
-    "# コンペ用Fine-Tuningテンプレート\n",
-    "\n",
-    "こちらは、コンペにてFineーTuningを行いたい方に向けたテンプレートとなるFine-tuningコードです。\n",
-    "こちらを実行いただくだけでコンペの基準に達することができると思います。上手く活用してコンペ上位を目指しましょう!!\n",
-    "\n",
-    "本コードはOmnicampusで提供される演習環境での実行を想定しています。  \n",
-    "それ以外の環境で実行される場合は適宜、修正して下さい。  "
+    "# FineTuning code "
    ]
   },
   {
@@ -368,10 +364,10 @@
    "outputs": [],
    "source": [
     "# Hugging Face Token\n",
-    "HF_TOKEN = \"YOUR TOKEN" #\"write権限のあるトークン\"\n",
+    "HF_TOKEN = \"Your Token\" #\"write権限のあるトークン\"\n",
     "\n",
     "# WANDB Token\n",
-    "WB_TOKEN = \"YOUR TOKEN\""
+    "WB_TOKEN = \"Your Token\""
    ]
   },
   {
@@ -491,9 +487,6 @@
    "outputs": [],
    "source": [
     "# モデルを読み込み。\n",
-    "# llm-jp-3 1.8B, 3.7B, 13Bのsnapshotをダウンロード済みでmodelsディレクトリに格納してあります。\n",
-    "# base_model_idの値はomnicampusの環境におけるモデルのパスを表しており、それ以外の環境で実行する場合は変更の必要があります。\n",
-    "# その他のモデルは取得に承諾が必要なため、各自でダウンロードお願いします。\n",
     "base_model_id = \"models/models--llm-jp--llm-jp-3-13b/snapshots/cd3823f4c1fcbb0ad2e2af46036ab1b0ca13192a\" #Fine-Tuningするベースモデル\n",
     "# omnicampus以外の環境をご利用の方は以下をご利用ください。\n",
     "# base_model_id = \"llm-jp/llm-jp-3-13b\" \n",
@@ -3814,14 +3807,14 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 27,
+   "execution_count": 30,
    "metadata": {},
    "outputs": [
     {
      "name": "stderr",
      "output_type": "stream",
      "text": [
-      "100%|██████████| 100/100 [21:54<00:00, 13.15s/it]\n"
+      "100%|██████████| 100/100 [28:10<00:00, 16.91s/it]\n"
      ]
     }
    ],
@@ -3847,8 +3840,10 @@
     "          tokenized_input,\n",
     "          attention_mask=attention_mask,\n",
     "          max_new_tokens=512,\n",
-    "          do_sample=False,\n",
+    "          do_sample=True,\n",
     "          repetition_penalty=1.2,\n",
+    "          top_k=4,\n",
+    "          num_beams=1,\n",
     "          pad_token_id=tokenizer.eos_token_id\n",
     "      )[0]\n",
     "  output = tokenizer.decode(outputs[tokenized_input.size(1):], skip_special_tokens=True)\n",