--- license: gemma language: - ja - en --- ## Datasets TBD ## 実行方法(コンペ採点者の方向け) ### 事前準備 ``` # lshw のインストール # (ollama インストール時に GPU を検出するのに必要) $ apt update && apt install -y lshw # ollama (https://ollama.com/) のインストール & 起動 $ curl -fsSL https://ollama.com/install.sh | sh $ ollama serve # -- 以降別ターミナルプロセスから -- # モデルのダウンロード $ MODEL_NAME="hf.co/pokutuna/llm2024-gemma2:gemma2-9b-sft005-Q6_K.gguf" $ ollama pull $MODEL_NAME # success と出力されるのを確認 # # Note. # 演習環境で動作を確認済みですがネットワーク状況等により、 # 時々 timeout (context deadline exceeded) が発生することがあります。 # 何度か実行すれば走り切ります。 # 実行コードの pull $ git clone https://github.com/pokutuna/llm2024-competition-runner.git # 依存ライブラリのインストール $ pip install -r llm2024-competition-runner/requirements.txt ``` ### 出力の生成 `$ python ./llm2024-competition-runner/generate.py --tasks=./tasks.jsonl --outfile=./output.jsonl` - `--tasks=<入力タスク>` 各行に input フィールドを持つ JSONL ファイル (`elyza-tasks-100-TV_0.jsonl` と同じ構造を想定) - `--outfile=<出力先>` 入力タスクに `output` キーを追加したもの