README.md

---
library_name: transformers
tags:
- unsloth
- japanese
- llm-jp
- lora
datasets:
- GENIAC-Team-Ozaki/Hachi-Alpaca_newans
- llm-jp/magpie-sft-v1.0
language:
- ja
base_model:
- llm-jp/llm-jp-3-13b
---

# llm-jp-3-13b-SFT-LoRA モデルカード

llm-jp-3-13bをベースに、QLoRAとUnslothを用いて効率的なファインチューニングを行った日本語言語モデルです。

## モデルの詳細

### モデルの説明

- **開発者:** GENIAC Team
- **共有者:** GENIAC Team
- **モデルタイプ:** 言語モデル（デコーダーのみ）
- **言語:** 日本語
- **ライセンス:** ベースモデルに準拠
- **ベースモデル:** llm-jp/llm-jp-3-13b

### モデルソース

- **リポジトリ:** https://huggingface.co/llm-jp/llm-jp-3-13b

## 使用方法

### 直接利用

このモデルは以下のような用途に適しています：
- 質問応答
- テキスト生成
- 文章要約
- その他の自然言語処理タスク

### 対象外の使用

以下の用途での使用は推奨されません：
- 商用利用
- 重要な意思決定
- 医療・法律アドバイス
- 有害なコンテンツの生成

## バイアス、リスク、制限事項

- 学習データに起因するバイアスが存在する可能性があります
- 事実と異なる情報を生成する可能性があります
- 有害なコンテンツを生成する可能性があります

### 推奨事項

- 出力内容の検証を必ず行ってください
- センシティブな用途での使用は避けてください
- 生成された内容の責任は使用者が負うものとします

## モデルの使用開始方法

## 学習の詳細

### 学習データ

以下のデータセットを使用:
- GENIAC-Team-Ozaki/Hachi-Alpaca_newans
- llm-jp/magpie-sft-v1.0

### 学習手順

#### 前処理
- 指示文と回答のペアにフォーマット
- コンテキスト長を512トークンに制限

#### 学習ハイパーパラメータ

- **学習手法:** QLoRA with Unsloth
- **量子化:** 4-bit
- **LoRA設定:**
  - rank (r): 32
  - alpha: 32
  - dropout: 0.05
  - target_modules: ["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"]
- **トレーニング設定:**
  - バッチサイズ: 2
  - 勾配累積: 4
  - エポック数: 1
  - 学習率: 2e-4
  - シーケンス長: 512

## 技術仕様

### 計算インフラ

#### ハードウェア要件
- CUDA対応GPU
- 最小8GB VRAM推奨

#### ソフトウェア要件
- Python 3.10以上
- PyTorch 2.0以上
- Transformers最新版
- Unsloth（推奨）