metadata
license: apache-2.0
language:
- ja
pipeline_tag: text-generation
tags:
- Mistral
Japanese-WizardLM2-ChatV-7B-GGUF
GGUF conversion of "Japanese-WizardLM2-ChatV-7B"
This model, Japanese-WizardLM2-ChatV-7B, is based on "chatntq-ja-7b-v1.0 ", and was created by subtracting "Mistral-7B-v0.1" from "WizardLM-2-7b" ChatVector was added by a factor of 1.0. We aimed to add the high performance of WizardLM-2 to the Japanese language capability of ChatNTQ.
このモデル、Japanese-WizardLM2-ChatV-7Bは、”chatntq-ja-7b-v1.0”をベースに、"WizardLM-2-7b"から"Mistral-7B-v0.1"を差し引いて作ったChatVectorを1.0倍で足しました。 ChatNTQの日本語能力にWizardLM-2の性能の高さが加わる事を狙いました。
Performance
| Model (Q8_0 quant) |
c4ai-command-r-plus(Cohere API) | JA-Starling-ChatV-7B-GGUF(fp16) | JA-WizardLM2-ChatV-7B-GGUF (This model)(fp16) | ChatNTQ-JA-7b-v1.0-GGUF(Q8_0) |
|---|---|---|---|---|
| Parameters | 104B | 7B(Mistral) | 7B(Mistral) | 7B(Mistral) |
| ELYZAtasks100 average score |
4.04 | 3.77 | 3.40 | 2.74 |
This score was evaluated by Cohere API command-r-plus using the "ELYZA-tasks-100", a Japanese model with instruction-tuning.
このスコアはinstruction-tuningを行った日本語モデルのベンチマーク「ELYZA-tasks-100」を使い、Cohere APIのcommand-r-plusにより評価させたものです。
Prompt Template
- Llama-2-Chat
[INST] <<SYS>>\nあなたは役に立つアシスタントです。\n<</SYS>>\n\n{prompt} [/INST]