README.md

---
license: mit
datasets:
- Calvin-Xu/FLFL-Aozora-Speech-Train
language:
- ja
metrics:
- sacrebleu
pipeline_tag: text2text-generation
---

# FLFL フリフリ

Furigana (ruby) generation model.

```python
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

torch_dtype = torch.bfloat16 if torch.cuda.is_available() and hasattr(torch.cuda, "is_bf16_supported") and torch.cuda.is_bf16_supported() else torch.float16
model = AutoModelForCausalLM.from_pretrained("Calvin-Xu/FLFL", device_map="auto", torch_dtype=torch_dtype)
tokenizer = AutoTokenizer.from_pretrained("Calvin-Xu/FLFL")

prompt_template = """[INST] {instruction}\n{input}\n[/INST]\n"""
sentence = "国境の長いトンネルを抜けると雪国であった"

inputs = tokenizer(prompt_template.format(instruction="次の文に正確に振り仮名を付けてください", input=sentence), return_tensors="pt").to(model.device)
with torch.no_grad():
    tokens = model.generate(**inputs, max_new_tokens=512, do_sample=False)

output = tokenizer.decode(tokens[0], skip_special_tokens=False)
print(output)
# <ruby>国境<rt>くにざかい</rt></ruby>の<ruby>長<rt>なが</rt></ruby>いトンネルを<ruby>抜<rt>ぬ</rt></ruby>けると<ruby>雪国<rt>ゆきぐに</rt></ruby>であった<|endoftext|>
```

### Finetuned from
[stockmark/gpt-neox-japanese-1.4b](https://huggingface.co/stockmark/gpt-neox-japanese-1.4b)

### Training Dataset

Trained for slightly over one epoch on [Calvin-Xu/FLFL-Aozora-Speech-Train](https://huggingface.co/datasets/Calvin-Xu/FLFL-Aozora-Speech-Train)

### Training Settings

HuggingFace Trainer, PEFT (r=64, alpha=128)

Control tokens added: `[INST]`, ` [/INST]`, `<ruby>`, `</ruby>`, `<rt>`, `</rt>`

### Output Examples

```
[INST] 次の文に正確に振り仮名を付けてください

国境の長いトンネルを抜けると雪国であった

[/INST]

<ruby>国境<rt>くにざかい</rt></ruby>の<ruby>長<rt>なが</rt></ruby>いトンネルを<ruby>抜<rt>ぬ</rt></ruby>けると<ruby>雪国<rt>ゆきぐに</rt></ruby>であった<|endoftext|>
```

- <ruby>鰤<rt>ぶり</rt></ruby>の<ruby>照<rt>て</rt></ruby>り<ruby>焼<rt>や</rt></ruby>き、<ruby>八宝菜<rt>はっぽうさい</rt></ruby>、ハンバーグ。<|endoftext|> 

- <ruby>主菜<rt>しゅさい</rt></ruby><ruby>関連<rt>かんれん</rt></ruby>は、<ruby>見事<rt>みごと</rt></ruby>なまでの<ruby>和洋<rt>わよう</rt></ruby><ruby>中<rt>ちゅう</rt></ruby><ruby>折衷<rt>せっちゅう</rt></ruby>。<|endoftext|> 

- <ruby>別<rt>べつ</rt></ruby>の<ruby>者<rt>もの</rt></ruby>の<ruby>目<rt>め</rt></ruby>を<ruby>通<rt>つう</rt></ruby>じて<ruby>歴史<rt>れきし</rt></ruby>を<ruby>垣間見<rt>かいまみ</rt></ruby>られるとは、<ruby>想像<rt>そうぞう</rt></ruby>を<ruby>超<rt>こ</rt></ruby>える<ruby>体験<rt>たいけん</rt></ruby>に<ruby>違<rt>ちが</rt></ruby>いない!<|endoftext|> 

- <ruby>止<rt>と</rt></ruby>めるなら、その<ruby>大本<rt>おおもと</rt></ruby>を<ruby>根絶<rt>ねだ</rt></ruby>やしにしないと<ruby>効果<rt>こうか</rt></ruby>がないわ<|endoftext|> 

- <ruby>不人気<rt>ふにんき</rt></ruby><ruby>銘柄<rt>かぶ</rt></ruby>でこれ<ruby>以上<rt>いじょう</rt></ruby><ruby>価値<rt>かち</rt></ruby>が<ruby>下<rt>さ</rt></ruby>がりようないから、ほとんど<ruby>底値<rt>そこね</rt></ruby>だ<|endoftext|> 

- <ruby>時間<rt>じかん</rt></ruby>の<ruby>澱<rt>おり</rt></ruby>の<ruby>中<rt>なか</rt></ruby>に<ruby>沈殿<rt>ちんたい</rt></ruby>していたようだ。<|endoftext|>