|
--- |
|
license: cc-by-sa-4.0 |
|
tags: |
|
- ja |
|
- gpt_neox |
|
- text-generation |
|
- lm |
|
- nlp |
|
datasets: |
|
- kunishou/databricks-dolly-15k-ja |
|
- kunishou/hh-rlhf-49k-ja |
|
- Jumtra/oasst1_ja |
|
- Jumtra/jglue_jnli |
|
- Jumtra/jglue_jsquad |
|
- Jumtra/jglue_jsquads_with_input |
|
inference: false |
|
language: |
|
- ja |
|
--- |
|
|
|
# open-calm-7b |
|
|
|
このモデルは、MosaicMLのllm-foundryリポジトリを使用して[Jumtra/calm-7b-tune-ep4](https://huggingface.co/Jumtra/calm-7b-tune-ep4)をファインチューニングしたモデルです。 |
|
|
|
## Model Date |
|
|
|
June 28, 2023 |
|
|
|
## Model License |
|
|
|
cc-by-sa-4.0 |
|
|
|
|
|
## 評価 |
|
|
|
[Jumtra/test_data_100QA](https://huggingface.co/datasets/Jumtra/test_data_100QA)を用いてモデルの正答率を評価した |
|
また、学習時のvalidateデータに対してのPerplexityを記載した。 |
|
|
|
| model name | 正答率 | Perplexity | |
|
| ---- | ---- | ---- | |
|
| [Jumtra/rinna-3.6b-tune-ep5](https://huggingface.co/Jumtra/rinna-3.6b-tune-ep5)| 40/100 | 8.105 | |
|
| [Jumtra/rinna-v1-tune-ep1](https://huggingface.co/Jumtra/rinna-v1-tune-ep1) | 42/100 | 7.458 | |
|
| [Jumtra/rinna-v1-tune-ep3](https://huggingface.co/Jumtra/rinna-v1-tune-ep3) | 41/100 | 7.034 | |
|
| [Jumtra/calm-7b-tune-ep4](https://huggingface.co/Jumtra/calm-7b-tune-ep4) | 40/100 | 9.766 | |
|
| [Jumtra/calm-v3-ep1](https://huggingface.co/Jumtra/calm-v3-ep1) | 35/100 | 9.305 | |
|
| [Jumtra/calm-v3-ep3](https://huggingface.co/Jumtra/calm-v3-ep3) | 37/100 | 13.276 | |
|
|
|
以下のプロンプトを用いた |
|
```python |
|
INSTRUCTION_KEY = "### 入力:" |
|
RESPONSE_KEY = "### 回答:" |
|
INTRO_BLURB = "以下はタスクを説明する指示と文脈のある文章が含まれた入力です。要求を適切に満たす回答を生成しなさい。" |
|
JP_PROMPT_FOR_GENERATION_FORMAT = """{intro} |
|
{instruction_key} |
|
{instruction} |
|
{response_key} |
|
""".format( |
|
intro=INTRO_BLURB, |
|
instruction_key=INSTRUCTION_KEY, |
|
instruction="{instruction}", |
|
response_key=RESPONSE_KEY, |
|
) |
|
``` |
