Kendamarron/Tokara-0.5B-v0.1

モデルについて

Qwen/Qwen1.5-0.5Bを日英データ5Bトークンで継続事前学習したモデルです。

ベンチマークのスコアは低下していますが、ベースモデルよりも安定して日本語を出力するようになっています。

詳細はこちらをご覧ください。

ベンチマーク

Stability-AI/lm-evaluation-harnessの3項目で評価

モデル	jsquad(1-shot)	jcommonsenseqa(1-shot)	jnli(1-shot)
Kendamarron/Tokara-0.5B-v0.1	26.4295	0.2663	0.5509
Qwen/Qwen1.5-0.5B	31.3597	0.2556	0.5534

名前について

日本の在来馬であるトカラ馬から

from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline

model = AutoModelForCausalLM.from_pretrained('Kendamarron/Tokara-0.5B-v0.1')
tokenizer = AutoTokenizer.from_pretrained('Kendamarron/Tokara-0.5B-v0.1')

pipe = pipeline('text-generation', model=model, tokenizer=tokenizer)

prompt = "大規模言語モデルとは、"

print(pipe(prompt, max_length=128, repetition_penalty=1.1, temperature=0.7, top_p=0.95))