metadata
library_name: transformers
tags:
- unsloth
- japanese
- llm-jp
- lora
datasets:
- GENIAC-Team-Ozaki/Hachi-Alpaca_newans
- llm-jp/magpie-sft-v1.0
language:
- ja
base_model:
- llm-jp/llm-jp-3-13b
llm-jp-3-13b-SFT-LoRA モデルカード
llm-jp-3-13bをベースに、QLoRAとUnslothを用いて効率的なファインチューニングを行った日本語言語モデルです。
モデルの詳細
モデルの説明
- 開発者: GENIAC Team
- 共有者: GENIAC Team
- モデルタイプ: 言語モデル（デコーダーのみ）
- 言語: 日本語
- ライセンス: ベースモデルに準拠
- ベースモデル: llm-jp/llm-jp-3-13b
モデルソース
使用方法
直接利用
このモデルは以下のような用途に適しています：
- 質問応答
- テキスト生成
- 文章要約
- その他の自然言語処理タスク
対象外の使用
以下の用途での使用は推奨されません：
- 商用利用
- 重要な意思決定
- 医療・法律アドバイス
- 有害なコンテンツの生成
バイアス、リスク、制限事項
- 学習データに起因するバイアスが存在する可能性があります
- 事実と異なる情報を生成する可能性があります
- 有害なコンテンツを生成する可能性があります
推奨事項
- 出力内容の検証を必ず行ってください
- センシティブな用途での使用は避けてください
- 生成された内容の責任は使用者が負うものとします
モデルの使用開始方法
学習の詳細
学習データ
以下のデータセットを使用:
- GENIAC-Team-Ozaki/Hachi-Alpaca_newans
- llm-jp/magpie-sft-v1.0
学習手順
前処理
- 指示文と回答のペアにフォーマット
- コンテキスト長を512トークンに制限
学習ハイパーパラメータ
- 学習手法: QLoRA with Unsloth
- 量子化: 4-bit
- LoRA設定:
- rank (r): 32
- alpha: 32
- dropout: 0.05
- target_modules: ["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"]
- トレーニング設定:
- バッチサイズ: 2
- 勾配累積: 4
- エポック数: 1
- 学習率: 2e-4
- シーケンス長: 512
技術仕様
計算インフラ
ハードウェア要件
- CUDA対応GPU
- 最小8GB VRAM推奨
ソフトウェア要件
- Python 3.10以上
- PyTorch 2.0以上
- Transformers最新版
- Unsloth（推奨）