metadata
language:
- ja
license: cc-by-sa-3.0
BERTによる日本語固有表現抽出のモデル
使用方法
必要なライブラリ（transformers、unidic_lite、fugashi）をpipなどでインストールして、下記のコードを実行するだけです。
from transformers import BertJapaneseTokenizer, BertForTokenClassification
from transformers import pipeline
model = BertForTokenClassification.from_pretrained("jurabi/bert-ner-japanese")
tokenizer = BertJapaneseTokenizer.from_pretrained("jurabi/bert-ner-japanese")
ner_pipeline = pipeline('ner', model=model, tokenizer=tokenizer)
ner_pipeline("ここに固有表現抽出をしたい文を書いて下さい。")
事前学習モデル
東北大学乾研究室が公開している日本語BERTモデル（cl-tohoku/bert-base-japanese-v2）
学習データ
ストックマーク株式会社が公開しているWikipediaを用いた日本語の固有表現抽出データセット（stockmarkteam/ner-wikipedia-dataset）