README.md

---
base_model: Aratako/Llama-Gemma-2-27b-ORPO-iter3
library_name: transformers
tags:
- axolotl
- trl
- orpo
- exl2
license:
- llama3.1
- gemma
---

# Llama-Gemma-2-27b-ORPO-iter3-5.8bpw

## 概要

[Aratako/Llama-Gemma-2-27b-ORPO-iter3](https://huggingface.co/Aratako/Llama-Gemma-2-27b-ORPO-iter3)を[ExLlamaV2](https://github.com/turboderp/exllamav2)を使って5.8 bpwに量子化したモデルです。

[松尾研大規模言語モデル講座2024](https://weblab.t.u-tokyo.ac.jp/lecture/course-list/large-language-model/)のコンペ用の提出モデル作成の一環として作成・公開しています。

This model is built with Llama and Qwen.

学習データ等の詳細については元モデルの概要をご確認ください。

## 推論方法

[松尾研大規模言語モデル講座2024](https://weblab.t.u-tokyo.ac.jp/lecture/course-list/large-language-model/)のコンペのタスクの推論方法を以下に記載します。

1. 以下のようにして推論の環境を準備します。
  ```bash
  git clone https://github.com/turboderp/exllamav2
  cd exllamav2
  pip install -r requirements.txt

  # PyTorchやCUDA、Pythonのバージョンを合わせてExLlamaV2をインストール
  # ここではCUDA 12.2、PyTorch 2.5.1、Python 3.10の環境が初期状態だと仮定する
  pip install https://github.com/turboderp/exllamav2/releases/download/v0.2.5/exllamav2-0.2.5+cu121.torch2.5.0-cp310-cp310-linux_x86_64.whl
  pip install torch==2.5.0
  pip install -U --no-build-isolation flash-attn

  # モデルの用意
  huggingface-cli download Aratako/Llama-Gemma-2-27b-ORPO-iter3-5.8bpw --local-dir ./Llama-Gemma-2-27b-ORPO-iter3-5.8bpw
  ```

2. 以下のようなPythonファイルをelyza_tasks_100_tv_exllamav2.pyとして作成します。また、elyza-tasks-100-TV_0.jsonlを同じディレクトリに配置します。

  <details><summary>elyza_tasks_100_tv_exllamav2.py</summary>

  ```python
  import argparse
  import json
  from transformers import AutoTokenizer
  from exllamav2 import ExLlamaV2, ExLlamaV2Config, ExLlamaV2Cache_Q8, ExLlamaV2Tokenizer
  from exllamav2.generator import ExLlamaV2DynamicGenerator, ExLlamaV2Sampler
  from datasets import load_dataset
  
  parser = argparse.ArgumentParser()
  
  parser.add_argument("-m", "--model", help="評価するモデル", required=True)
  parser.add_argument("-t", "--tokenizer", help="使用するトークナイザ")
  parser.add_argument("-o", "--output", help="出力jsonlファイルの名前")
  
  args = parser.parse_args()
  
  if args.tokenizer is None:
      args.tokenizer = args.model
  
  if args.output is None:
      args.output = f"answers-{args.model.split('/')[-1]}.jsonl"
  
  ds = load_dataset("json", data_files="./elyza-tasks-100-TV_0.jsonl", split="train")
  hf_tokenizer = AutoTokenizer.from_pretrained(args.model)
  
  # ExLlamaV2の設定
  config = ExLlamaV2Config(args.model)
  config.arch_compat_overrides()
  model = ExLlamaV2(config)
  cache = ExLlamaV2Cache_Q8(model, max_seq_len=2304, lazy=True)
  model.load_autosplit(cache, progress=True)
  tokenizer = ExLlamaV2Tokenizer(config)
  
  generator = ExLlamaV2DynamicGenerator(
      model=model,
      cache=cache,
      tokenizer=tokenizer,
  )
  
  # 推論パラメータ
  gen_settings = ExLlamaV2Sampler.Settings.greedy()
  
  # 入力が768tokenを超える場合エラーになるはずなのでその場合はここを256ずつ減らしてください。
  max_tokens = 1536
  
  def apply_chat_template(item):
      messages = [
          {"role": "user", "content": item["input"]}
      ]
      item["prompt"] = hf_tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
      return item
  
  ds = ds.map(apply_chat_template, batched=False)
  
  def generate_answer(batch):
      outputs = generator.generate(
          prompt=batch["prompt"],
          max_new_tokens=max_tokens,
          stop_conditions=[tokenizer.eos_token_id],
          gen_settings=gen_settings,
          encode_special_tokens=True,
      )
      # 入力部分も含めて返ってくるので出力部分だけを取り出す
      outputs = [text.split("<start_of_turn>model\n", 1)[-1] for text in outputs]
      print(outputs)
      batch["output"] = outputs
      return batch
  
  ds = ds.map(generate_answer, batched=True, batch_size=10)
  ds = ds.remove_columns("prompt")
  
  with open(args.output, "w", encoding="utf-8") as f:
      for row in ds:
          json.dump(row, f, ensure_ascii=False)
          f.write("\n")
  ```
  
  </details><br>

3. 以下のように推論を実行します。推論が完了するとデフォルトではanswers-Llama-Gemma-2-27b-ORPO-iter3-5.8bpw.jsonlに回答が保存されます。

  ```bash
  python elyza_tasks_100_tv_exllamav2.py -m Llama-Gemma-2-27b-ORPO-iter3-5.8bpw
  ```

## ライセンス

本モデルは学習に利用したデータの関係で以下のライセンスの影響を受けます。

- [META LLAMA 3.1 COMMUNITY LICENSE](https://www.llama.com/llama3_1/license/)を継承します。
- [Gemma Terms of Use](https://ai.google.dev/gemma/terms)を継承します。
- [Qwen LICENSE AGREEMENT](https://huggingface.co/Qwen/Qwen2.5-72B-Instruct/blob/main/LICENSE)の影響を受けます。ライセンスは継承しませんが、「Built with Qwen」のような文言を記載する必要があります。