add finetune samples

config.json

@@ -26,15 +26,4 @@
   "use_cache": true,
   "use_parallel_residual": true,
   "vocab_size": 50277
-  "quantization_config": {
-      "quant_method":"gptq",
-      "bits": 4,
-      "group_size": 128,
-      "damp_percent": 0.01,
-      "desc_act": true,
-      "sym": true,
-      "true_sequential": true,
-      "model_name_or_path": null,
-      "model_file_base_name": null
-  }
 }

finetune_sample/README.md

@@ -0,0 +1,11 @@
+---
+license: cc-by-nc-4.0
+inference: false
+language:
+  - ja
+---
+
+for finetune sample
+
+
+

finetune_sample/checkpoint-700/README.md

@@ -0,0 +1,27 @@
+---
+library_name: peft
+---
+## Training procedure
+
+
+The following `bitsandbytes` quantization config was used during training:
+- quant_method: gptq
+- bits: 4
+- tokenizer: None
+- dataset: None
+- group_size: 128
+- damp_percent: 0.01
+- desc_act: True
+- sym: True
+- true_sequential: True
+- use_cuda_fp16: False
+- model_seqlen: None
+- block_name_to_quantize: None
+- module_name_preceding_first_block: None
+- batch_size: 1
+- pad_token_id: None
+- disable_exllama: True
+### Framework versions
+
+
+- PEFT 0.5.0

finetune_sample/checkpoint-700/adapter_config.json

@@ -0,0 +1,20 @@
+{
+  "auto_mapping": null,
+  "base_model_name_or_path": "test-model3",
+  "bias": "none",
+  "fan_in_fan_out": false,
+  "inference_mode": true,
+  "init_lora_weights": true,
+  "layers_pattern": null,
+  "layers_to_transform": null,
+  "lora_alpha": 16,
+  "lora_dropout": 0.1,
+  "modules_to_save": null,
+  "peft_type": "LORA",
+  "r": 64,
+  "revision": null,
+  "target_modules": [
+    "query_key_value"
+  ],
+  "task_type": "CAUSAL_LM"
+}

finetune_sample/checkpoint-700/adapter_model.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:fcfef0c72b4fd8f0e5ea06605691c9091330cdf51e155d1f4729445a0752f588
+size 179333129

finetune_sample/checkpoint-700/optimizer.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:0aa8c4cfeab1eed7054642b9c5a1379a5782b568cc8bc96393ba4baee244e05c
+size 358655685

finetune_sample/checkpoint-700/rng_state.pth

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:57a11434c8c20faed3ac8d68282ec0c7256bfcd54943d2b5be0f8019e079ddde
+size 14575

finetune_sample/checkpoint-700/scheduler.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:30423cc69a1c7d18caef4643847588d5884db012263cbe7b7224fa4719ca4156
+size 627

finetune_sample/checkpoint-700/special_tokens_map.json

@@ -0,0 +1,6 @@
+{
+  "bos_token": "<|endoftext|>",
+  "eos_token": "<|endoftext|>",
+  "pad_token": "<|endoftext|>",
+  "unk_token": "<|endoftext|>"
+}

finetune_sample/checkpoint-700/tokenizer_config.json

@@ -0,0 +1,5 @@
+{
+  "clean_up_tokenization_spaces": true,
+  "model_max_length": 1000000000000000019884624838656,
+  "tokenizer_class": "PreTrainedTokenizerFast"
+}

finetune_sample/checkpoint-700/trainer_state.json

@@ -0,0 +1,439 @@
+{
+  "best_metric": null,
+  "best_model_checkpoint": null,
+  "epoch": 215.3846153846154,
+  "eval_steps": 500,
+  "global_step": 700,
+  "is_hyper_param_search": false,
+  "is_local_process_zero": true,
+  "is_world_process_zero": true,
+  "log_history": [
+    {
+      "epoch": 3.08,
+      "learning_rate": 0.0002,
+      "loss": 1.1505,
+      "step": 10
+    },
+    {
+      "epoch": 6.15,
+      "learning_rate": 0.0002,
+      "loss": 0.753,
+      "step": 20
+    },
+    {
+      "epoch": 9.23,
+      "learning_rate": 0.0002,
+      "loss": 0.568,
+      "step": 30
+    },
+    {
+      "epoch": 12.31,
+      "learning_rate": 0.0002,
+      "loss": 0.3911,
+      "step": 40
+    },
+    {
+      "epoch": 15.38,
+      "learning_rate": 0.0002,
+      "loss": 0.2373,
+      "step": 50
+    },
+    {
+      "epoch": 18.46,
+      "learning_rate": 0.0002,
+      "loss": 0.1112,
+      "step": 60
+    },
+    {
+      "epoch": 21.54,
+      "learning_rate": 0.0002,
+      "loss": 0.0842,
+      "step": 70
+    },
+    {
+      "epoch": 24.62,
+      "learning_rate": 0.0002,
+      "loss": 0.0736,
+      "step": 80
+    },
+    {
+      "epoch": 27.69,
+      "learning_rate": 0.0002,
+      "loss": 0.0662,
+      "step": 90
+    },
+    {
+      "epoch": 30.77,
+      "learning_rate": 0.0002,
+      "loss": 0.0676,
+      "step": 100
+    },
+    {
+      "epoch": 33.85,
+      "learning_rate": 0.0002,
+      "loss": 0.0632,
+      "step": 110
+    },
+    {
+      "epoch": 36.92,
+      "learning_rate": 0.0002,
+      "loss": 0.0639,
+      "step": 120
+    },
+    {
+      "epoch": 40.0,
+      "learning_rate": 0.0002,
+      "loss": 0.0605,
+      "step": 130
+    },
+    {
+      "epoch": 43.08,
+      "learning_rate": 0.0002,
+      "loss": 0.0605,
+      "step": 140
+    },
+    {
+      "epoch": 46.15,
+      "learning_rate": 0.0002,
+      "loss": 0.0608,
+      "step": 150
+    },
+    {
+      "epoch": 49.23,
+      "learning_rate": 0.0002,
+      "loss": 0.0606,
+      "step": 160
+    },
+    {
+      "epoch": 52.31,
+      "learning_rate": 0.0002,
+      "loss": 0.0614,
+      "step": 170
+    },
+    {
+      "epoch": 55.38,
+      "learning_rate": 0.0002,
+      "loss": 0.0602,
+      "step": 180
+    },
+    {
+      "epoch": 58.46,
+      "learning_rate": 0.0002,
+      "loss": 0.0603,
+      "step": 190
+    },
+    {
+      "epoch": 61.54,
+      "learning_rate": 0.0002,
+      "loss": 0.06,
+      "step": 200
+    },
+    {
+      "epoch": 64.62,
+      "learning_rate": 0.0002,
+      "loss": 0.059,
+      "step": 210
+    },
+    {
+      "epoch": 67.69,
+      "learning_rate": 0.0002,
+      "loss": 0.061,
+      "step": 220
+    },
+    {
+      "epoch": 70.77,
+      "learning_rate": 0.0002,
+      "loss": 0.0612,
+      "step": 230
+    },
+    {
+      "epoch": 73.85,
+      "learning_rate": 0.0002,
+      "loss": 0.0624,
+      "step": 240
+    },
+    {
+      "epoch": 76.92,
+      "learning_rate": 0.0002,
+      "loss": 0.0595,
+      "step": 250
+    },
+    {
+      "epoch": 80.0,
+      "learning_rate": 0.0002,
+      "loss": 0.0601,
+      "step": 260
+    },
+    {
+      "epoch": 83.08,
+      "learning_rate": 0.0002,
+      "loss": 0.0593,
+      "step": 270
+    },
+    {
+      "epoch": 86.15,
+      "learning_rate": 0.0002,
+      "loss": 0.0622,
+      "step": 280
+    },
+    {
+      "epoch": 89.23,
+      "learning_rate": 0.0002,
+      "loss": 0.0607,
+      "step": 290
+    },
+    {
+      "epoch": 92.31,
+      "learning_rate": 0.0002,
+      "loss": 0.0592,
+      "step": 300
+    },
+    {
+      "epoch": 95.38,
+      "learning_rate": 0.0002,
+      "loss": 0.0592,
+      "step": 310
+    },
+    {
+      "epoch": 98.46,
+      "learning_rate": 0.0002,
+      "loss": 0.0597,
+      "step": 320
+    },
+    {
+      "epoch": 101.54,
+      "learning_rate": 0.0002,
+      "loss": 0.0599,
+      "step": 330
+    },
+    {
+      "epoch": 104.62,
+      "learning_rate": 0.0002,
+      "loss": 0.06,
+      "step": 340
+    },
+    {
+      "epoch": 107.69,
+      "learning_rate": 0.0002,
+      "loss": 0.0591,
+      "step": 350
+    },
+    {
+      "epoch": 110.77,
+      "learning_rate": 0.0002,
+      "loss": 0.0593,
+      "step": 360
+    },
+    {
+      "epoch": 113.85,
+      "learning_rate": 0.0002,
+      "loss": 0.0594,
+      "step": 370
+    },
+    {
+      "epoch": 116.92,
+      "learning_rate": 0.0002,
+      "loss": 0.0608,
+      "step": 380
+    },
+    {
+      "epoch": 120.0,
+      "learning_rate": 0.0002,
+      "loss": 0.0597,
+      "step": 390
+    },
+    {
+      "epoch": 123.08,
+      "learning_rate": 0.0002,
+      "loss": 0.06,
+      "step": 400
+    },
+    {
+      "epoch": 126.15,
+      "learning_rate": 0.0002,
+      "loss": 0.0591,
+      "step": 410
+    },
+    {
+      "epoch": 129.23,
+      "learning_rate": 0.0002,
+      "loss": 0.0606,
+      "step": 420
+    },
+    {
+      "epoch": 132.31,
+      "learning_rate": 0.0002,
+      "loss": 0.0609,
+      "step": 430
+    },
+    {
+      "epoch": 135.38,
+      "learning_rate": 0.0002,
+      "loss": 0.0585,
+      "step": 440
+    },
+    {
+      "epoch": 138.46,
+      "learning_rate": 0.0002,
+      "loss": 0.0597,
+      "step": 450
+    },
+    {
+      "epoch": 141.54,
+      "learning_rate": 0.0002,
+      "loss": 0.0609,
+      "step": 460
+    },
+    {
+      "epoch": 144.62,
+      "learning_rate": 0.0002,
+      "loss": 0.0609,
+      "step": 470
+    },
+    {
+      "epoch": 147.69,
+      "learning_rate": 0.0002,
+      "loss": 0.0598,
+      "step": 480
+    },
+    {
+      "epoch": 150.77,
+      "learning_rate": 0.0002,
+      "loss": 0.061,
+      "step": 490
+    },
+    {
+      "epoch": 153.85,
+      "learning_rate": 0.0002,
+      "loss": 0.0606,
+      "step": 500
+    },
+    {
+      "epoch": 156.92,
+      "learning_rate": 0.0002,
+      "loss": 0.0634,
+      "step": 510
+    },
+    {
+      "epoch": 160.0,
+      "learning_rate": 0.0002,
+      "loss": 0.0599,
+      "step": 520
+    },
+    {
+      "epoch": 163.08,
+      "learning_rate": 0.0002,
+      "loss": 0.0611,
+      "step": 530
+    },
+    {
+      "epoch": 166.15,
+      "learning_rate": 0.0002,
+      "loss": 0.0652,
+      "step": 540
+    },
+    {
+      "epoch": 169.23,
+      "learning_rate": 0.0002,
+      "loss": 0.0619,
+      "step": 550
+    },
+    {
+      "epoch": 172.31,
+      "learning_rate": 0.0002,
+      "loss": 0.0618,
+      "step": 560
+    },
+    {
+      "epoch": 175.38,
+      "learning_rate": 0.0002,
+      "loss": 0.0609,
+      "step": 570
+    },
+    {
+      "epoch": 178.46,
+      "learning_rate": 0.0002,
+      "loss": 0.0597,
+      "step": 580
+    },
+    {
+      "epoch": 181.54,
+      "learning_rate": 0.0002,
+      "loss": 0.0607,
+      "step": 590
+    },
+    {
+      "epoch": 184.62,
+      "learning_rate": 0.0002,
+      "loss": 0.06,
+      "step": 600
+    },
+    {
+      "epoch": 187.69,
+      "learning_rate": 0.0002,
+      "loss": 0.0587,
+      "step": 610
+    },
+    {
+      "epoch": 190.77,
+      "learning_rate": 0.0002,
+      "loss": 0.0595,
+      "step": 620
+    },
+    {
+      "epoch": 193.85,
+      "learning_rate": 0.0002,
+      "loss": 0.0592,
+      "step": 630
+    },
+    {
+      "epoch": 196.92,
+      "learning_rate": 0.0002,
+      "loss": 0.0605,
+      "step": 640
+    },
+    {
+      "epoch": 200.0,
+      "learning_rate": 0.0002,
+      "loss": 0.0592,
+      "step": 650
+    },
+    {
+      "epoch": 203.08,
+      "learning_rate": 0.0002,
+      "loss": 0.0616,
+      "step": 660
+    },
+    {
+      "epoch": 206.15,
+      "learning_rate": 0.0002,
+      "loss": 0.0596,
+      "step": 670
+    },
+    {
+      "epoch": 209.23,
+      "learning_rate": 0.0002,
+      "loss": 0.0587,
+      "step": 680
+    },
+    {
+      "epoch": 212.31,
+      "learning_rate": 0.0002,
+      "loss": 0.0614,
+      "step": 690
+    },
+    {
+      "epoch": 215.38,
+      "learning_rate": 0.0002,
+      "loss": 0.0591,
+      "step": 700
+    }
+  ],
+  "logging_steps": 10,
+  "max_steps": 10000,
+  "num_train_epochs": 3334,
+  "save_steps": 10,
+  "total_flos": 1586920711709184.0,
+  "trial_name": null,
+  "trial_params": null
+}

finetune_sample/checkpoint-700/training_args.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:8c1207143eb2c930f6c1ad3da7fe6a921e5a3ead4e713becdba6f55c764039b8
+size 4027

finetune_sample/config.json

@@ -0,0 +1,40 @@
+{
+  "_name_or_path": "matsuo-lab/weblab-10b-instruction-sft",
+  "architectures": [
+    "GPTNeoXForCausalLM"
+  ],
+  "attention_dropout": 0.0,
+  "bos_token_id": 0,
+  "classifier_dropout": 0.1,
+  "eos_token_id": 0,
+  "hidden_act": "gelu",
+  "hidden_dropout": 0.0,
+  "hidden_size": 4864,
+  "initializer_range": 0.02,
+  "intermediate_size": 19456,
+  "layer_norm_eps": 1e-05,
+  "max_position_embeddings": 2048,
+  "model_type": "gpt_neox",
+  "num_attention_heads": 38,
+  "num_hidden_layers": 36,
+  "rope_scaling": null,
+  "rotary_emb_base": 10000,
+  "rotary_pct": 0.25,
+  "tie_word_embeddings": false,
+  "torch_dtype": "float16",
+  "transformers_version": "4.31.0",
+  "use_cache": true,
+  "use_parallel_residual": true,
+  "vocab_size": 50277
+  "quantization_config": {
+      "quant_method":"gptq",
+      "bits": 4,
+      "group_size": 128,
+      "damp_percent": 0.01,
+      "desc_act": true,
+      "sym": true,
+      "true_sequential": true,
+      "model_name_or_path": null,
+      "model_file_base_name": null
+  }
+}

finetune_sample/finetune.py

@@ -0,0 +1,221 @@
+# coding=utf-8
+
+# Original Scripts are
+# https://gist.github.com/SunMarc/dcdb499ac16d355a8f265aa497645996
+# and
+# https://gist.github.com/younesbelkada/9f7f75c94bdc1981c8ca5cc937d4a4da
+# changed by webbigdata for use_safetensors.
+
+
+# Copyright 2023 The HuggingFace Inc. team. All rights reserved.
+#
+# Licensed under the Apache License, Version 2.0 (the "License");
+# you may not use this file except in compliance with the License.
+# You may obtain a copy of the License at
+#
+#     http://www.apache.org/licenses/LICENSE-2.0
+#
+# Unless required by applicable law or agreed to in writing, software
+# distributed under the License is distributed on an "AS IS" BASIS,
+# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
+# See the License for the specific language governing permissions and
+# limitations under the License.
+import os
+from dataclasses import dataclass, field
+from typing import Optional
+
+import torch
+from datasets import load_dataset
+from peft import LoraConfig
+from transformers import (
+    AutoModelForCausalLM,
+    AutoTokenizer,
+    HfArgumentParser,
+    AutoTokenizer,
+    TrainingArguments,
+)
+from peft import prepare_model_for_kbit_training, get_peft_model
+from transformers import GPTQConfig
+
+from trl import SFTTrainer
+
+# This example fine-tunes Llama 2 model on Guanaco dataset
+# using GPTQ and peft.
+# Use it by correctly passing --model_name argument when running the
+# script. The default model is ybelkada/llama-7b-GPTQ-test
+
+# Versions used:
+# accelerate == 0.21.0
+# auto-gptq == 0.4.2
+# trl == 0.4.7
+# peft from source
+# transformers from source
+# optimum from source
+
+# For models that have `config.pretraining_tp > 1` install:
+# pip install git+https://github.com/huggingface/transformers.git
+
+@dataclass
+class ScriptArguments:
+    """
+    These arguments vary depending on how many GPUs you have, what their capacity and features are, and what size model you want to train.
+    """
+
+    local_rank: Optional[int] = field(default=-1, metadata={"help": "Used for multi-gpu"})
+
+    per_device_train_batch_size: Optional[int] = field(default=4)
+    per_device_eval_batch_size: Optional[int] = field(default=1)
+    gradient_accumulation_steps: Optional[int] = field(default=4)
+    learning_rate: Optional[float] = field(default=2e-4)
+    max_grad_norm: Optional[float] = field(default=0.3)
+    weight_decay: Optional[int] = field(default=0.001)
+    lora_alpha: Optional[int] = field(default=16)
+    lora_dropout: Optional[float] = field(default=0.1)
+    lora_r: Optional[int] = field(default=64)
+    max_seq_length: Optional[int] = field(default=512)
+    model_name: Optional[str] = field(
+        default="dahara1/weblab-10b-instruction-sft-GPTQ/finetune_sample",
+        metadata={
+            "help": "The model that you want to train from the Hugging Face hub. E.g. gpt2, gpt2-xl, bert, etc."
+        }
+    )
+    dataset_name: Optional[str] = field(
+        default="timdettmers/openassistant-guanaco",
+        metadata={"help": "The preference dataset to use."},
+    )
+    num_train_epochs: Optional[int] = field(
+        default=1,
+        metadata={"help": "The number of training epochs for the reward model."},
+    )
+    fp16: Optional[bool] = field(
+        default=False,
+        metadata={"help": "Enables fp16 training."},
+    )
+    bf16: Optional[bool] = field(
+        default=False,
+        metadata={"help": "Enables bf16 training."},
+    )
+    packing: Optional[bool] = field(
+        default=False,
+        metadata={"help": "Use packing dataset creating."},
+    )
+    gradient_checkpointing: Optional[bool] = field(
+        default=True,
+        metadata={"help": "Enables gradient checkpointing."},
+    )
+    optim: Optional[str] = field(
+        default="adamw_hf",
+        metadata={"help": "The optimizer to use."},
+    )
+    lr_scheduler_type: str = field(
+        default="constant",
+        metadata={"help": "Learning rate schedule. Constant a bit better than cosine, and has advantage for analysis"},
+    )
+    max_steps: int = field(default=10000, metadata={"help": "How many optimizer update steps to take"})
+    warmup_ratio: float = field(default=0.03, metadata={"help": "Fraction of steps to do a warmup for"})
+    group_by_length: bool = field(
+        default=True,
+        metadata={
+            "help": "Group sequences into batches with same length. Saves memory and speeds up training considerably."
+        },
+    )
+    save_steps: int = field(default=10, metadata={"help": "Save checkpoint every X updates steps."})
+    logging_steps: int = field(default=10, metadata={"help": "Log every X updates steps."})
+    merge_and_push: Optional[bool] = field(
+        default=False,
+        metadata={"help": "Merge and push weights after training"},
+    )
+    output_dir: str = field(
+        default="./results",
+        metadata={"help": "The output directory where the model predictions and checkpoints will be written."},
+    )
+
+
+parser = HfArgumentParser(ScriptArguments)
+script_args = parser.parse_args_into_dataclasses()[0]
+
+
+def create_and_prepare_model(args):
+    major, _ = torch.cuda.get_device_capability()
+    if major >= 8:
+        print("=" * 80)
+        print("Your GPU supports bfloat16, you can accelerate training with the argument --bf16")
+        print("=" * 80)
+
+    # Load the entire model on the GPU 0
+    #device_map = {"":0}
+    # switch to `device_map = "auto"` for multi-GPU
+    device_map = "auto"
+    
+
+    # need to disable exllama kernel
+    # exllama kernel are not very stable for training
+    model = AutoModelForCausalLM.from_pretrained(
+        args.model_name,
+        device_map=device_map,
+        use_safetensors=True,
+        quantization_config= GPTQConfig(bits=4, disable_exllama=True)
+    )
+    
+    # check: https://github.com/huggingface/transformers/pull/24906
+    model.config.pretraining_tp = 1 
+
+    peft_config = LoraConfig(
+        lora_alpha=script_args.lora_alpha,
+        lora_dropout=script_args.lora_dropout,
+        r=script_args.lora_r,
+        bias="none",
+        task_type="CAUSAL_LM", 
+    )
+
+    tokenizer = AutoTokenizer.from_pretrained(script_args.model_name, trust_remote_code=True)
+    tokenizer.pad_token = tokenizer.eos_token
+
+    return model, peft_config, tokenizer
+
+
+training_arguments = TrainingArguments(
+    output_dir=script_args.output_dir,
+    per_device_train_batch_size=script_args.per_device_train_batch_size,
+    gradient_accumulation_steps=script_args.gradient_accumulation_steps,
+    optim=script_args.optim,
+    save_steps=script_args.save_steps,
+    logging_steps=script_args.logging_steps,
+    learning_rate=script_args.learning_rate,
+    fp16=script_args.fp16,
+    bf16=script_args.bf16,
+    max_grad_norm=script_args.max_grad_norm,
+    max_steps=script_args.max_steps,
+    warmup_ratio=script_args.warmup_ratio,
+    group_by_length=script_args.group_by_length,
+    lr_scheduler_type=script_args.lr_scheduler_type,
+)
+
+model, peft_config, tokenizer = create_and_prepare_model(script_args)
+model = prepare_model_for_kbit_training(model)
+model = get_peft_model(model, peft_config)
+model.config.use_cache = False
+dataset = load_dataset("csv", data_files="jawiki3.csv", split='train')
+
+
+# Fix weird overflow issue with fp16 training
+tokenizer.padding_side = "right"
+trainer = SFTTrainer(
+    model=model,
+    train_dataset=dataset,
+    dataset_text_field="QuestionAnswer",
+    max_seq_length=script_args.max_seq_length,
+    tokenizer=tokenizer,
+    args=training_arguments,
+    packing=script_args.packing,
+)
+
+trainer.train()
+
+if script_args.merge_and_push:
+    output_dir = os.path.join(script_args.output_dir, "final_checkpoints")
+    trainer.model.save_pretrained(output_dir)
+
+    # Free memory for merging weights
+    del model
+    torch.cuda.empty_cache()

finetune_sample/jawiki3.csv

@@ -0,0 +1,50 @@
+QuestionAnswer
+[質問]『風の谷のナウシカ』に出演するナウシカはどのような能力を持っていますか？[回答]ナウシカは「風使い」として大気の流れを読む能力を持ち、動力付き小型グライダーのメーヴェを乗りこなします。
+[質問]『風の谷のナウシカ』に出演するナウシカはどのような性格ですか？[回答]ナウシカは腐海を含めた全ての生き物を愛し、それらと心を通わす力を持っています。
+[質問]『風の谷のナウシカ』に出演するアスベルはどのような人物ですか？[回答]アスベルはペジテ市長の息子で、勇猛果敢な少年です。
+[質問]『風の谷のナウシカ』に出演するアスベルの家族は？[回答]アスベルにはラステルという妹がいましたが、避難民と共に乗っていた貨物船が墜落し亡くしています。
+[質問]『風の谷のナウシカ』に出演するミトはどのような役割を果たしていますか？[回答]ミトは風の谷の城で働く城オジのリーダー格で、ナウシカのことを常に案じています。
+[質問]『風の谷のナウシカ』に出演するユパは何歳ですか？[回答]ユパは45歳です。
+[質問]『風の谷のナウシカ』に出演するユパが飼っている動物は何ですか？[回答]ユパは2頭のトリウマ、クイとカイと共に腐海の謎を解くための旅を続けています。
+[質問]『風の谷のナウシカ』に出演するクシャナは何歳ですか？[回答]クシャナは25歳です。
+[質問]『風の谷のナウシカ』に出演するクシャナはどのような地位にありますか？[回答]クシャナはトルメキア王国の第4皇女で、トルメキア第3軍最高指揮官として兵から絶大な信頼と忠誠を得ています。
+[質問]『風の谷のナウシカ』に出演するクシャナの家族関係はどうですか？[回答]クシャナは王家で唯一先王の血を引いており、そのために父や兄から疎まれています。
+[質問]『風の谷のナウシカ』ではナウシカとクシャナはどのような関係ですか？[回答]ナウシカとクシャナは行動を共にする中で、憎しみに依らない生き方を知ります。
+[質問]『風の谷のナウシカ』に出演するミトは何歳ですか？[回答]ミトは40歳です。
+[質問]『風の谷のナウシカ』ではユパはクシャナをどのように助けましたか？[回答]ユパは復讐に駆られた土鬼兵の刃からクシャナを身を挺して庇い、両者の和解を成し遂げました。
+[質問]『風の谷のナウシカ』でアスベルがナウシカに助けられた場所はどこですか？[回答]アスベルは墜ちた先の腐海でナウシカに助けられました。
+[質問]『風の谷のナウシカ』に出演するナウシカは何歳ですか？[回答]ナウシカは16歳です。
+[質問]『風の谷のナウシカ』は誰によって作成されましたか？[回答]『風の谷のナウシカ』は宮崎駿によって作成されました。
+[質問]『風の谷のナウシカ』はどのジャンルに分類されますか？[回答]この作品はSF・ファンタジー作品です。
+[質問]漫画『風の谷のナウシカ』が初めて発表されたのはどの雑誌ですか？[回答]『風の谷のナウシカ』は初めて『アニメージュ』誌上で発表されました。
+[質問]『風の谷のナウシカ』の作品の舞台は何ですか？[回答]この作品の舞台は戦争による科学文明の崩壊後、異形の生態系に覆われた終末世界です。
+[質問]『風の谷のナウシカ』の主人公の名前は何ですか？[回答]主人公の名前はナウシカです。
+[質問]劇場版アニメ『風の谷のナウシカ』はいつ公開されましたか？[回答]劇場版アニメ『風の谷のナウシカ』は1984年に公開されました。
+[質問]『風の谷のナウシカ』は何年に歌舞伎化されましたか？[回答]『風の谷のナウシカ』は2019年に歌舞伎化されました。
+[質問]漫画『風の谷のナウシカ』は何度の中断期間を挟みましたか？[回答]この漫画は4度の中断期間を挟みました。
+[質問]漫画『風の谷のナウシカ』はどの賞を受賞していますか？[回答]1994年に第23回日本漫画家協会賞大賞、1995年に第26回星雲賞コミック部門を受賞しています。
+[質問]コミックス『風の谷のナウシカ』全巻の累計発行部数は何部ですか？[回答]コミックス全7巻の累計発行部数は1780万部を突破しています。
+[質問]コミックス『風の谷のナウシカ』は何か国語で翻訳・出版されていますか？[回答]『風の谷のナウシカ』は海外でも8か国語で翻訳・出版されています。
+[質問]『風の谷のナウシカ』に���演するクロトワは何歳ですか？[回答]27歳
+[質問]『風の谷のナウシカ』に出演するミラルパは何年以上生きていますか？[回答]100年以上
+[質問]漫画『風の谷のナウシカ』に出演するミラルパは最終的にどのような君主になりましたか？[回答]暴君
+[質問]漫画『風の谷のナウシカ』に出演するナムリスは弟をどうしましたか？[回答]殺害
+[質問]漫画『風の谷のナウシカ』に出演するナムリスの体は何に改造されていますか？[回答]ヒドラと同じ体
+[質問]漫画『風の谷のナウシカ』に出演するクロトワは元々どこから送り込まれてきましたか？[回答]ヴ王
+[質問]漫画『風の谷のナウシカ』に出演するミラルパは元々どのような君主でしたか？[回答]慈悲深い名君
+[質問]『風の谷のナウシカ』に出演するクロトワはどの大学を卒業していますか？[回答]軍大学院
+[質問]『風の谷のナウシカ』で巨神兵はどのような存在とされているか？ [回答]巨神兵は火の7日間で世界を滅ぼしたとされる巨人であり、物語の時点ではほとんどが腐海で木々に埋もれ、化石と呼ばれています。
+[質問]『風の谷のナウシカ』で巨神兵の骨格はどこで発見されましたか？[回答]ペジテ市の地下で発見されました。
+[質問]『風の谷のナウシカ』で王蟲の体液はどのような特性を持ちますか？ [回答]王蟲の体液は青く、王蟲の血に染まった服は蟲の怒りを鎮める力があります。
+[質問]『風の谷のナウシカ』の王蟲が好んで食べるものは何ですか？ [回答]王蟲は腐海の“大木”であるムシゴヤシを好んで食べます。
+[質問]『風の谷のナウシカ』の王蟲の眼は通常何色で、怒るとどう変化しますか？ [回答]王蟲の眼は通常青色で、怒ると赤くなります。
+[質問]『風の谷のナウシカ』の大王ヤンマは何の働きを持ちますか？ [回答]大王ヤンマは「森の見張り役」と呼ばれ、腐海に何らかの異常が起こった時、他の蟲を呼び集める働きを持っています。
+[質問]『風の谷のナウシカ』に出てくるウシアブは何色の体を持ちますか？ [回答]ウシアブは赤茶色ないし紫色の丸い体を持っています。
+[質問]『風の谷のナウシカ』で、王蟲の表皮は何に利用されますか？ [回答]王蟲の表皮は装甲板、刃物や甲冑に加工されます。
+[質問]『風の谷のナウシカ』の王蟲は何の精神文化を有していますか？ [回答]王蟲は比較的高度な知性と超個体的意識をもち、思いやりや慈しみなどの精神文化を有しています。
+[質問]『風の谷のナウシカ』で、ミノネズミは何の幼生であり、その特徴は？ [回答]ミノネズミはヘビケラの幼生で、鼠のように地面を走り、頭部に白くて小さいが鎌状の器官を具えています。
+[質問]『風の谷のナウシカ』で、王蟲が人間に対してどのような感情を持つことがありますか？ [回答]王蟲は時には自身が憎しみに駆られて殺してしまった人間のことすら悲しむことがあります。
+[質問]『風の谷のナウシカ』における風の谷の戦士はどのような装備を身につけますか？ [回答]風の谷の戦士は、戦場に出る際には王蟲の甲皮から作られた胴鎧と手甲を着けます。
+[質問]『風の谷のナウシカ』で王蟲が分泌する「漿液（しょうえき）」の特性は？ [回答]王蟲が分泌する「漿液（しょうえき）」は透明で粘性のある液体で、人間がこれを肺に満たすことで液体呼吸が可能となります。
+[質問]『風の谷のナウシカ』で300年前の大海嘯の原因は何でしたか？ [回答]300年前の大海嘯の原因は、古代エフタル王国の王位継承を巡る内乱によって増大した武器の需要に応えるために王蟲が乱獲された事だったと伝えられています。
+[質問]『風の谷のナウシカ』で、ナウシカが主に乗る飛行メカは何ですか？ [回答]ナウシカが主に乗る飛行メカはメーヴェと呼ばれます。辺境の風使いが使用する小型ジェットグライダー。強力な小型エンジンを1基備えており、1人乗りだがもう1人乗せる事も可能ですん。機体は白。作中では「凧」とも呼ばれています。

finetune_sample/lora_test.py

@@ -0,0 +1,44 @@
+from transformers import AutoTokenizer
+from auto_gptq import AutoGPTQForCausalLM
+from peft import PeftModel, PeftConfig
+
+from transformers import AutoModelForCausalLM
+from transformers import GPTQConfig
+
+quantized_model_dir = "dahara1/weblab-10b-instruction-sft-GPTQ/finetune_sample"
+model_basename = "model"
+
+tokenizer = AutoTokenizer.from_pretrained(quantized_model_dir)
+
+device_map = "auto"
+model = AutoModelForCausalLM.from_pretrained(
+        quantized_model_dir,
+        device_map=device_map,
+        use_safetensors=True,
+        quantization_config= GPTQConfig(bits=4, disable_exllama=True)
+)
+
+adapters_name = f'checkpoint-700}'
+p_model = PeftModel.from_pretrained(model, adapters_name)
+
+prompt_text = [
+"風の谷のナウシカは何歳ですか？",
+"風の谷のナウシカに出演するミトは何歳ですか？",
+"風の谷のナウシカに出演するユパは何歳ですか？",
+"『風の谷のナウシカ』に出演するクシャナはどのような地位にありますか？",
+"『風の谷のナウシカ』の王蟲の眼は通常何色で、怒るとどう変化しますか？",
+"劇場版アニメ『風の谷のナウシカ』はいつ公開されましたか？",
+"漫画『風の谷のナウシカ』全巻の累計発行部数は何部ですか？",
+"『風の谷のナウシカ』は何年に歌舞伎化されましたか？",
+#『風の谷のナウシカ』で、ナウシカが主に乗る飛行メカは何ですか？",
+"『風の谷のナウシカ』に出演するクロトワはどの大学を卒業していますか？"]
+
+for j in range(len(prompt_text)):
+	prompt_template = f'以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。\n\n### 指示:\n{prompt_text[j]}\n\n### 応答:'
+
+	tokens = tokenizer(prompt_template, return_tensors="pt").to("cuda:0").input_ids
+	output = p_model.generate(input_ids=tokens, max_new_tokens=100, do_sample=True, temperature=0.01)
+	print(tokenizer.decode(output[0]))
+
+
+

finetune_sample/model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:8a3fd04aac72abac2bfaaac8358f1b09c1bf426c09a77c15f7d0a667ab2faa92
+size 6297627280

finetune_sample/quantize_config.json

@@ -0,0 +1,10 @@
+{
+  "bits": 4,
+  "group_size": 128,
+  "damp_percent": 0.01,
+  "desc_act": true,
+  "sym": true,
+  "true_sequential": true,
+  "model_name_or_path": null,
+  "model_file_base_name": null
+}

finetune_sample/special_tokens_map.json

@@ -0,0 +1,5 @@
+{
+  "bos_token": "<|endoftext|>",
+  "eos_token": "<|endoftext|>",
+  "unk_token": "<|endoftext|>"
+}

finetune_sample/tokenizer_config.json

@@ -0,0 +1,5 @@
+{
+  "clean_up_tokenization_spaces": true,
+  "model_max_length": 1000000000000000019884624838656,
+  "tokenizer_class": "PreTrainedTokenizerFast"
+}