|
--- |
|
library_name: transformers |
|
tags: |
|
- unsloth |
|
- japanese |
|
- llm-jp |
|
- lora |
|
datasets: |
|
- GENIAC-Team-Ozaki/Hachi-Alpaca_newans |
|
- llm-jp/magpie-sft-v1.0 |
|
language: |
|
- ja |
|
base_model: |
|
- llm-jp/llm-jp-3-13b |
|
--- |
|
|
|
# llm-jp-3-13b-SFT-LoRA モデルカード |
|
|
|
llm-jp-3-13bをベースに、QLoRAとUnslothを用いて効率的なファインチューニングを行った日本語言語モデルです。 |
|
|
|
## モデルの詳細 |
|
|
|
### モデルの説明 |
|
|
|
- **開発者:** GENIAC Team |
|
- **共有者:** GENIAC Team |
|
- **モデルタイプ:** 言語モデル（デコーダーのみ） |
|
- **言語:** 日本語 |
|
- **ライセンス:** ベースモデルに準拠 |
|
- **ベースモデル:** llm-jp/llm-jp-3-13b |
|
|
|
### モデルソース |
|
|
|
- **リポジトリ:** https://huggingface.co/llm-jp/llm-jp-3-13b |
|
|
|
## 使用方法 |
|
|
|
### 直接利用 |
|
|
|
このモデルは以下のような用途に適しています： |
|
- 質問応答 |
|
- テキスト生成 |
|
- 文章要約 |
|
- その他の自然言語処理タスク |
|
|
|
### 対象外の使用 |
|
|
|
以下の用途での使用は推奨されません： |
|
- 商用利用 |
|
- 重要な意思決定 |
|
- 医療・法律アドバイス |
|
- 有害なコンテンツの生成 |
|
|
|
## バイアス、リスク、制限事項 |
|
|
|
- 学習データに起因するバイアスが存在する可能性があります |
|
- 事実と異なる情報を生成する可能性があります |
|
- 有害なコンテンツを生成する可能性があります |
|
|
|
### 推奨事項 |
|
|
|
- 出力内容の検証を必ず行ってください |
|
- センシティブな用途での使用は避けてください |
|
- 生成された内容の責任は使用者が負うものとします |
|
|
|
## モデルの使用開始方法 |
|
|
|
## 学習の詳細 |
|
|
|
### 学習データ |
|
|
|
以下のデータセットを使用: |
|
- GENIAC-Team-Ozaki/Hachi-Alpaca_newans |
|
- llm-jp/magpie-sft-v1.0 |
|
|
|
### 学習手順 |
|
|
|
#### 前処理 |
|
- 指示文と回答のペアにフォーマット |
|
- コンテキスト長を512トークンに制限 |
|
|
|
#### 学習ハイパーパラメータ |
|
|
|
- **学習手法:** QLoRA with Unsloth |
|
- **量子化:** 4-bit |
|
- **LoRA設定:** |
|
- rank (r): 32 |
|
- alpha: 32 |
|
- dropout: 0.05 |
|
- target_modules: ["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"] |
|
- **トレーニング設定:** |
|
- バッチサイズ: 2 |
|
- 勾配累積: 4 |
|
- エポック数: 1 |
|
- 学習率: 2e-4 |
|
- シーケンス長: 512 |
|
|
|
## 技術仕様 |
|
|
|
### 計算インフラ |
|
|
|
#### ハードウェア要件 |
|
- CUDA対応GPU |
|
- 最小8GB VRAM推奨 |
|
|
|
#### ソフトウェア要件 |
|
- Python 3.10以上 |
|
- PyTorch 2.0以上 |
|
- Transformers最新版 |
|
- Unsloth（推奨） |
