README.md

metadata

license: bsd-3-clause
language:
  - ja
tags:
  - vibrato

Vibrato Model Archive (BSD License Only)

This archive contains all models identified under the BSD license from the Vibrato(url) GitHub releases. Models previously compressed using zstd have been decompressed, allowing for immediate download and use.

Available Models

• bccwj-suw+unidic-cwj-3_1_1+compact-dual
• bccwj-suw+unidic-cwj-3_1_1+compact
• bccwj-suw+unidic-cwj-3_1_1-extracted+compact-dual
• bccwj-suw+unidic-cwj-3_1_1-extracted+compact
• bccwj-suw+unidic-cwj-3_1_1
• jumandic-mecab-7_0
• unidic-cwj-3_1_1+compact-dual
• unidic-cwj-3_1_1+compact
• unidic-cwj-3_1_1
• unidic-mecab-2_1_2

Usage

from huggingface_hub import hf_hub_download
import vibrato

# Load tokenizer from `.cache/hf`
model_path = hf_hub_download("ryan-minato/vibrato-models-bsdonly", "<<model_name>>/system.dic")
with open(model_path, "rb") as f:
  tokenizer = vibrato.Vibrato(f.read())

text = """\
「四十二だと!」ルーンクォールが叫んだ。
「七百五十万年かけて、それだけか?」
「何度も徹底的に検算しました」コンピュータが応じた。
「まちがいなくそれが答えです。率直なところ、みなさんのほうで究極の疑問が何であるかわかっていなかったところに問題があるのです」
"""

tokenizer.tokenize(text)