Update README.md

README.md

@@ -14,12 +14,14 @@ base_model:
 ## Models
 
 このリポジトリには複数のモデルが含まれています。  
-ファイル名の Prefix に応じてライセンス・ベースモデル・トレーニングデータセットが異なります。
+ファイル名の prefix に応じてベースモデル・ライセンス・トレーニングデータセットが異なります。
 
-- `gemma2-9b-*` ([gemma](https://ai.google.dev/gemma/terms))
+- `gemma2-9b-*`
   - ベースモデル: [google/gemma-2-9b](https://huggingface.co/google/gemma-2-9b)
-- `llm-jp-3-13b-*` ([CC-BY-NC-SA](https://creativecommons.org/licenses/by-nc-sa/4.0/))
+  - [Gemma License](https://ai.google.dev/gemma/terms) ライセンス
+- `llm-jp-3-13b-*`
   - ベースモデル: [llm-jp/llm-jp-3-13b](https://huggingface.co/llm-jp/llm-jp-3-13b)
+  - [CC BY-NC-SA 4.0](https://creativecommons.org/licenses/by-nc-sa/4.0/) (CC BY-NC-SA のデータを学習に用いたため)
 
 
 ## Training Dataset
@@ -27,7 +29,7 @@ base_model:
 ### gemma2-9b-*
 
 - [kajuma/CC-news-2024-July-October-cleaned](https://huggingface.co/datasets/kajuma/CC-news-2024-July-October-cleaned) (ODC-By)
-  - 一定以上のテキスト長があり単体のニュース記事とみなせるものをフィルタし本文部分を抽出して利用
+  - フィルタし本文部分を抽出して継続事前学習に利用
 - [llm-jp/magpie-sft-v1.0](https://huggingface.co/datasets/llm-jp/magpie-sft-v1.0) (apache-2.0)
   - サンプリングして指示チューニングに利用
 - [weblab-GENIAC/aya-ja-nemotron-dpo-masked](https://huggingface.co/datasets/weblab-GENIAC/aya-ja-nemotron-dpo-masked) (apache-2.0)
@@ -54,10 +56,11 @@ $ apt update && apt install -y lshw
 $ curl -fsSL https://ollama.com/install.sh | sh
 $ ollama serve
 
-# -- 以降は別ターミナルプロセスから実行(ollama サーバーに対して実行) --
+# -- 以降は ollama サーバーが起動した状態で別ターミナルプロセスから実行 --
 
-# モデルのダウンロード
-$ ollama pull hf.co/pokutuna/llm2024-gemma2:gemma2-9b-v10.gguf
+# モデルのダウンロード (2つ必要です)
+$ ollama pull hf.co/pokutuna/llm2024-competition:gemma2-9b-v11.gguf
+$ ollama pull hf.co/pokutuna/llm2024-competition:llm-jp-3-13b-v2-Q6_K.gguf
 #
 # Note.
 #   ダウンロード後、success と出力されるのを確認して下さい。
@@ -74,11 +77,14 @@ $ pip install -r llm2024-competition-runner/requirements.txt
 
 ### 出力の生成
 
+(演習環境でおよそ 25~35 分程度かかります)
+
 ```sh
 $ python ./llm2024-competition-runner/generate.py \
-  --model="hf.co/pokutuna/llm2024-gemma2:gemma2-9b-v10.gguf" \
+  --model="hf.co/pokutuna/llm2024-competition:gemma2-9b-v11.gguf" \
+  --sub-model="hf.co/pokutuna/llm2024-competition:gemma2-9b-v11.gguf" \
   --tasks=./tasks.jsonl \
-  --outfile=./output.jsonl
+  --outfile=./output-pokutuna.jsonl
 ```
 
 - `--tasks=<path>`