Update README.md
Browse files
README.md
CHANGED
|
@@ -24,15 +24,17 @@ This llama model was trained 2x faster with [Unsloth](https://github.com/unsloth
|
|
| 24 |
|
| 25 |
|
| 26 |
## 学習データ
|
| 27 |
-
|
| 28 |
使用したSupervised fien-tune用dataset：下記からランダムに20000データを抽出
|
| 29 |
DeL-TaiseiOzaki/Tengentoppa-sft-v1.0
|
| 30 |
🌾 ランダムに20000データを取り出して学習
|
| 31 |
|
| 32 |
-
|
|
|
|
| 33 |
ikedachin/llm-jp-3-13b-october-news-e1-all-3-5
|
|
|
|
| 34 |
|
| 35 |
-
|
|
|
|
| 36 |
|
| 37 |
### 実行コード
|
| 38 |
|
|
|
|
| 24 |
|
| 25 |
|
| 26 |
## 学習データ
|
|
|
|
| 27 |
使用したSupervised fien-tune用dataset：下記からランダムに20000データを抽出
|
| 28 |
DeL-TaiseiOzaki/Tengentoppa-sft-v1.0
|
| 29 |
🌾 ランダムに20000データを取り出して学習
|
| 30 |
|
| 31 |
+
# ベースモデル
|
| 32 |
+
SFTに用いた継続事前学習モデル（ベースとしたモデル）
|
| 33 |
ikedachin/llm-jp-3-13b-october-news-e1-all-3-5
|
| 34 |
+
このベースモデルのLoRAパラメータの一部を追加学習
|
| 35 |
|
| 36 |
+
## 追加学習前のベースモデル
|
| 37 |
+
llm-jp/llm-jp-3-13b
|
| 38 |
|
| 39 |
### 実行コード
|
| 40 |
|