Update README.md
Browse files
README.md
CHANGED
|
@@ -5,16 +5,22 @@ language:
|
|
| 5 |
- en
|
| 6 |
datasets:
|
| 7 |
- llm-jp/magpie-sft-v1.0
|
|
|
|
|
|
|
| 8 |
base_model:
|
| 9 |
- google/gemma-2-9b
|
| 10 |
---
|
| 11 |
|
| 12 |
-
##
|
| 13 |
|
| 14 |
-
|
| 15 |
|
|
|
|
|
|
|
| 16 |
- [llm-jp/magpie-sft-v1.0](https://huggingface.co/datasets/llm-jp/magpie-sft-v1.0) (apache-2.0)
|
| 17 |
-
-
|
|
|
|
|
|
|
| 18 |
|
| 19 |
## 実行方法(コンペ採点者の方向け)
|
| 20 |
|
|
@@ -31,7 +37,7 @@ $ ollama serve
|
|
| 31 |
# -- 以降は別ターミナルプロセスから実行(ollama サーバーに対して実行) --
|
| 32 |
|
| 33 |
# モデルのダウンロード
|
| 34 |
-
$ ollama pull hf.co/pokutuna/llm2024-gemma2:gemma2-9b-
|
| 35 |
#
|
| 36 |
# Note.
|
| 37 |
# ダウンロード後、success と出力されるのを確認して下さい。
|
|
@@ -50,7 +56,7 @@ $ pip install -r llm2024-competition-runner/requirements.txt
|
|
| 50 |
|
| 51 |
```sh
|
| 52 |
$ python ./llm2024-competition-runner/generate.py \
|
| 53 |
-
--model="hf.co/pokutuna/llm2024-gemma2:gemma2-9b-
|
| 54 |
--tasks=./tasks.jsonl \
|
| 55 |
--outfile=./output.jsonl
|
| 56 |
```
|
|
|
|
| 5 |
- en
|
| 6 |
datasets:
|
| 7 |
- llm-jp/magpie-sft-v1.0
|
| 8 |
+
- kajuma/CC-news-2024-July-October-cleaned
|
| 9 |
+
- weblab-GENIAC/aya-ja-nemotron-dpo-masked
|
| 10 |
base_model:
|
| 11 |
- google/gemma-2-9b
|
| 12 |
---
|
| 13 |
|
| 14 |
+
## Training Dataset
|
| 15 |
|
| 16 |
+
以下のデータセットをサンプリング & 前処理の上、学習に用いました。
|
| 17 |
|
| 18 |
+
- [kajuma/CC-news-2024-July-October-cleaned](https://huggingface.co/datasets/kajuma/CC-news-2024-July-October-cleaned) (ODC-By)
|
| 19 |
+
- 一定以上のテキスト長があり単体のニュース記事とみなせるものをフィルタし本文部分を抽出して利用
|
| 20 |
- [llm-jp/magpie-sft-v1.0](https://huggingface.co/datasets/llm-jp/magpie-sft-v1.0) (apache-2.0)
|
| 21 |
+
- サンプリングして指示チューニングに利用
|
| 22 |
+
- [weblab-GENIAC/aya-ja-nemotron-dpo-masked](https://huggingface.co/datasets/weblab-GENIAC/aya-ja-nemotron-dpo-masked) (apache-2.0)
|
| 23 |
+
- サンプリングして選好チューニングに利用
|
| 24 |
|
| 25 |
## 実行方法(コンペ採点者の方向け)
|
| 26 |
|
|
|
|
| 37 |
# -- 以降は別ターミナルプロセスから実行(ollama サーバーに対して実行) --
|
| 38 |
|
| 39 |
# モデルのダウンロード
|
| 40 |
+
$ ollama pull hf.co/pokutuna/llm2024-gemma2:gemma2-9b-v10.gguf
|
| 41 |
#
|
| 42 |
# Note.
|
| 43 |
# ダウンロード後、success と出力されるのを確認して下さい。
|
|
|
|
| 56 |
|
| 57 |
```sh
|
| 58 |
$ python ./llm2024-competition-runner/generate.py \
|
| 59 |
+
--model="hf.co/pokutuna/llm2024-gemma2:gemma2-9b-v10.gguf" \
|
| 60 |
--tasks=./tasks.jsonl \
|
| 61 |
--outfile=./output.jsonl
|
| 62 |
```
|