kajuma/gemma-2-27b-instruct

このモデルはコンペティションのために開発されたモデルです。

推論方法

まず、llama-cpp-pythonをインストールしてください。 その後推論用ライブラリをセットアップします。

git clone https://github.com/weak-kajuma/inference-for-llm-class.git
cd inference-for-llm-class
pip install datasets

次に、モデルをダウンロードします。

# GPUによって量子化サイズや次のセクションの`--ngl`を選んでください。
wget https://huggingface.co/kajuma/gemma-2-27b-instruct/resolve/main/Gemma-2-27B-Instruct_Q6_K.gguf

推論プログラムを実行します。

python answer_llama_cpp.py --model Gemma-2-27B-Instruct_Q6_K.gguf --ngl 46 --data_file data.jsonl

ただしdata.jsonlのフォーマットは以下の通りです。

{"task_id": 0, "input": "質問"}

推論後output.jsonlが作成されます。