|
--- |
|
language: |
|
- ja |
|
widget: |
|
- text: 株式会社Jurabiは、東京都台東区に本社を置くIT企業である。 |
|
license: cc-by-sa-3.0 |
|
--- |
|
# BERTによる日本語固有表現抽出のモデル |
|
|
|
## 使用方法 |
|
必要なライブラリ（transformers、unidic_lite、fugashi）をpipなどでインストールして、下記のコードを実行するだけです。 |
|
|
|
```python |
|
from transformers import BertJapaneseTokenizer, BertForTokenClassification |
|
from transformers import pipeline |
|
|
|
model = BertForTokenClassification.from_pretrained("jurabi/bert-ner-japanese") |
|
tokenizer = BertJapaneseTokenizer.from_pretrained("jurabi/bert-ner-japanese") |
|
|
|
ner_pipeline = pipeline('ner', model=model, tokenizer=tokenizer) |
|
ner_pipeline("株式会社Jurabiは、東京都台東区に本社を置くIT企業である。") |
|
``` |
|
|
|
## 事前学習モデル |
|
東北大学乾研究室が公開している日本語BERTモデル（[cl-tohoku/bert-base-japanese-v2](https://huggingface.co/cl-tohoku/bert-base-japanese-v2)） |
|
|
|
## 学習データ |
|
ストックマーク株式会社が公開しているWikipediaを用いた日本語の固有表現抽出データセット（[stockmarkteam/ner-wikipedia-dataset](https://github.com/stockmarkteam/ner-wikipedia-dataset)） |
|
|
|
## ライセンス |
|
[Creative Commons Attribution-ShareAlike 3.0](https://creativecommons.org/licenses/by-sa/3.0/) |
