README.md

metadata

license: mit
language: ja
tags:
  - bert
  - pytorch
  - transformers
  - ner
  - 固有表現抽出
  - named entity recognition
  - named-entity-recognition

このモデルはcl-tohoku/bert-large-japanese-v2をファインチューニングして、固有表現抽出（NER）に用いれるようにしたものです。

このモデルはcl-tohoku/bert-large-japanese-v2を Wikipediaを用いた日本語の固有表現抽出データセット(ストックマーク社、https://github.com/stockmarkteam/ner-wikipedia-dataset )を用いてファインチューニングしたものです。

固有表現抽出（NER）タスクに用いることができます。

This model is fine-tuned model for Named-Entity-Recognition(NER) which is based on cl-tohoku/bert-large-japanese-v2

This model is fine-tuned by using Wikipedia dataset.

You could use this model for NER tasks.

モデルの精度 accuracy of model

全体：0.8620626488367833

	precision	recall	f1-score	support
その他の組織名	0.80	0.78	0.79	238
イベント名	0.82	0.88	0.85	215
人名	0.92	0.95	0.93	549
地名	0.90	0.89	0.89	446
政治的組織名	0.86	0.91	0.89	263
施設名	0.86	0.91	0.88	241
法人名	0.88	0.89	0.88	487
製品名	0.62	0.68	0.65	252
micro avg	0.85	0.87	0.86	2691
macro avg	0.83	0.86	0.85	2691
weighted avg	0.85	0.87	0.86	2691

How to use 使い方

fugashiとtransformers,unidic_liteをインストールして (pip install fugashi, pip install unidic_lite, pip install transformers) 以下のコードを実行することで、NERタスクを解かせることができます。 please execute this code.

from transformers import AutoTokenizer,pipeline, AutoModelForTokenClassification

tokenizer = AutoTokenizer.from_pretrained('Mizuiro-sakura/bert-large-japanese-v2-finetuned-ner')
model=AutoModelForTokenClassification.from_pretrained('Mizuiro-sakura/bert-large-japanese-v2-finetuned-ner') # 学習済みモデルの読み込み

text=('昨日は東京で買い物をした')

ner=pipeline('ner', model=model, tokenizer=tokenizer)

result=ner(text)
print(result)