dahara1/Qwen2.5-0.5B-Instruct-gguf-japanese-imatrix-128K

please see dahara1/Qwen2.5-3B-Instruct-gguf-japanese-imatrix-128K

このモデルと投機的デコード(Speculative decoding)という新しいテクニックを使ってより大きいモデルの実行速度を上げる事ができます。
Using this model and a new technique called speculative decoding, we can speed up larger models.

CUDA 実行例 CUDA example

投機的デコードを使ってserverを起動するサンプルコマンド Example command to start a server with speculative decoding.

CUDA_VISIBLE_DEVICES=0 ./llama.cpp/llama.cpp/build/bin/llama-server \
    -m  ./llama.cpp/qwen/32B/Qwen2.5-32B-Instruct-Q8_0-f16.gguf \
    -md ./llama.cpp/qwen/Qwen2.5-0.5B-Instruct-Q8_0-f16.gguf \
    -ngl 10 -ngld 10 -e --temp 0 -fa -c 4096 \
    --draft-max 16 --draft-min 5

私のテストプロンプトの実行時間: 2520.65秒
My test prompt execution time: 2520.65 seconds

通常のserverコマンド Normal server command

CUDA_VISIBLE_DEVICES=0 ./llama.cpp/llama.cpp/build/bin/llama-server \
    -m  ./llama.cpp/qwen/32B/Qwen2.5-32B-Instruct-Q8_0-f16.gguf \
    -ngl 10 -e --temp 0 -fa -c 4096

私のテストプロンプトの実行時間: 3240.36秒
My test prompt execution time: 3240.36 seconds

フラッシュアテンションなしのserverコマンド No Flash Attention server command

CUDA_VISIBLE_DEVICES=0 ./llama.cpp/llama.cpp/build/bin/llama-server \
    -m  ./llama.cpp/qwen/32B/Qwen2.5-32B-Instruct-Q8_0-f16.gguf \
    -ngl 10 -e --temp 0 -c 4096

私のテストプロンプトの実行時間: 3285.17秒
My test prompt execution time: 3285.17 seconds

Qwen2.5-0.5B-Instruct-Q4_K_Lを使いGPUメモリも更に最適化した版 A version using Qwen2.5-0.5B-Instruct-Q4_K_L with further optimization of GPU memory

CUDA_VISIBLE_DEVICES=0 ./llama.cpp/llama.cpp/build/bin/llama-server \
    -m  ./llama.cpp/qwen/32B/Qwen2.5-32B-Instruct-Q8_0-f16.gguf \
    -md ./llama.cpp/qwen/Qwen2.5-0.5B-Instruct-Q4_K_L.gguf \
    -ngl 20 -ngld 99 -e --temp 0 -fa -c 4096 \
    --draft-max 16 --draft-min 5

私のテストプロンプトの実行時間: 2173.36秒
My test prompt execution time: 2173.36 seconds

CUDA指定なし CUDA device not specified

./llama.cpp/llama.cpp/build/bin/llama-server \
    -m  ./llama.cpp/qwen/32B/Qwen2.5-32B-Instruct-Q8_0-f16.gguf \
    -e --temp 0 -fa -c 4096

私のテストプロンプトの実行時間: 3787.47秒
My test prompt execution time: 3787.47 seconds

4060ti(16GB)現在の最速 current max speed

CUDA_VISIBLE_DEVICES=0 ./llama.cpp/llama.cpp/build/bin/llama-server \
    -m  ./llama.cpp/qwen/32B/Qwen2.5-32B-Instruct-Q8_0-f16.gguf \
    -md ./llama.cpp/qwen/Qwen2.5-0.5B-Instruct-IQ3_XXS.gguf \
    -ngl 25 -ngld 99 -e --temp 0 -fa -c 1800 \
    --draft-max 16 --draft-min 5

私のテストプロンプトの実行時間: 2130.14秒
My test prompt execution time: 2130.14 seconds

なお、温度0でも単独でモデルを実行した際と微妙な差異が出るケースを確認してますので再現性が最重要な場合は注意してください
I have confirmed cases where there are slight differences when running the model alone even at 0 temperature, so please be careful if reproducibility is paramount.

とはいえ、IQ3を使った場合でも語尾が多少異なる程度で結論がかわるようなレベルの違いはありませんでした
However, even when IQ3 was used, the endings were slightly different, but there was no difference to the extent that the conclusion was changed.

クライアントスクリプトの例はdahara1/Qwen2.5-3B-Instruct-gguf-japanese-imatrix-128Kをご覧ください
See dahara1/Qwen2.5-3B-Instruct-gguf-japanese-imatrix-128K for cliant example.

コマンドの詳細はllama.cppの公式ページをご覧ください
For more command information, see the official llama.cpp page.