File size: 1,412 Bytes
fb819f9 2278ea4 fb819f9 2278ea4 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 |
---
license: gemma
language:
- ja
- en
---
## Datasets
TBD
## 実行方法(コンペ採点者の方向け)
### 事前準備
```
# lshw のインストール
# (ollama インストール時に GPU を検出するのに必要)
$ apt update && apt install -y lshw
# ollama (https://ollama.com/) のインストール & 起動
$ curl -fsSL https://ollama.com/install.sh | sh
$ ollama serve
# -- 以降別ターミナルプロセスから --
# モデルのダウンロード
$ MODEL_NAME="hf.co/pokutuna/llm2024-gemma2:gemma2-9b-sft005-Q6_K.gguf"
$ ollama pull $MODEL_NAME
# success と出力されるのを確認
#
# Note.
# 演習環境で動作を確認済みですがネットワーク状況等により、
# 時々 timeout (context deadline exceeded) が発生することがあります。
# 何度か実行すれば走り切ります。
# 実行コードの pull
$ git clone https://github.com/pokutuna/llm2024-competition-runner.git
# 依存ライブラリのインストール
$ pip install -r llm2024-competition-runner/requirements.txt
```
### 出力の生成
`$ python ./llm2024-competition-runner/generate.py --tasks=./tasks.jsonl --outfile=./output.jsonl`
- `--tasks=<入力タスク>` 各行に input フィールドを持つ JSONL ファイル (`elyza-tasks-100-TV_0.jsonl` と同じ構造を想定)
- `--outfile=<出力先>` 入力タスクに `output` キーを追加したもの
|