|
--- |
|
license: llama2 |
|
--- |
|
# karakuri-lm-70b-chat-v0.1-gguf |
|
[karakuri-aiさんが公開しているkarakuri-lm-70b-chat-v0.1](https://huggingface.co/karakuri-ai/karakuri-lm-70b-chat-v0.1)のggufフォーマット変換版です。 |
|
|
|
|
|
## Usage |
|
|
|
``` |
|
git clone https://github.com/ggerganov/llama.cpp.git |
|
cd llama.cpp |
|
make -j |
|
./main -m 'karakuri-lm-70b-chat-v0.1-q4_0.gguf' -p "<s>[INST] <<SYS>> <</SYS>> 週末に日帰りで東京に遊びに行こうと思っています。日帰りなので、短時間で回れるおすすめの観光プランを教えてください。 [ATTR] helpfulness: 4 correctness: 4 coherence: 4 complexity: 4 verbosity: 4 quality: 4 toxicity: 0 humor: 0 creativity: 0 [/ATTR] [/INST] " -n 128 |
|
``` |
