README.md

---
license: mit
language: ja
tags:
    - luke
    - pytorch
    - transformers
    - ner
    - 固有表現抽出
    - named entity recognition
    - named-entity-recognition
    
---

# このモデルはluke-japanese-largeをファインチューニングして、固有表現抽出（NER）に用いれるようにしたものです。
このモデルはluke-japanese-largeを
Wikipediaを用いた日本語の固有表現抽出データセット(ストックマーク社、https://github.com/stockmarkteam/ner-wikipedia-dataset )を用いてファインチューニングしたものです。

固有表現抽出（NER）タスクに用いることができます。

# This model is fine-tuned model for Named-Entity-Recognition(NER) which is based on luke-japanese-large

This model is fine-tuned by using Wikipedia dataset.

You could use this model for NER tasks.

# モデルの精度 accuracy of model
全体：0.8453191098032002

||precision|recall|f1-score|support|
|-------------|-----|-----|-----|-----|
|その他の組織名|0.78|0.79|0.79|238|
|イベント名|0.83|0.88|  0.85    |   215|
|人名     |  0.88  |    0.89   |   0.89    |   546|
|地名       |0.83   |   0.85   |   0.84     |  440|
|政治的組織名     |  0.80 |     0.84  |    0.82  |     263|
|施設名      | 0.79   |   0.84    |  0.81   |    241|
|法人名      | 0.88     | 0.89     | 0.89     |  487|
|製品名      | 0.79   |   0.80   |   0.79   |    252|
|micro avg      | 0.83    |  0.86    |  0.85    |  2682|
|macro avg    |   0.82   |   0.85    |  0.83   |   2682|
|weighted avg    |   0.83    |  0.86    |  0.85   |   2682|


# How to use 使い方
sentencepieceとtransformersをインストールして (pip install sentencepiece , pip install transformers) 
以下のコードを実行することで、NERタスクを解かせることができます。
please execute this code.
```python
from transformers import MLukeTokenizer,pipeline, LukeForTokenClassification

tokenizer = MLukeTokenizer.from_pretrained('Mizuiro-sakura/luke-japanese-large-finetuned-ner')
model=LukeForTokenClassification.from_pretrained('Mizuiro-sakura/luke-japanese-large-finetuned-ner') # 学習済みモデルの読み込み

text=('昨日は東京で買い物をした')

ner=pipeline('ner', model=model, tokenizer=tokenizer)

result=ner(text)
print(result)
```


# what is Luke?　Lukeとは？[1]
LUKE (Language Understanding with Knowledge-based Embeddings) is a new pre-trained contextualized representation of words and entities based on transformer. LUKE treats words and entities in a given text as independent tokens, and outputs contextualized representations of them. LUKE adopts an entity-aware self-attention mechanism that is an extension of the self-attention mechanism of the transformer, and considers the types of tokens (words or entities) when computing attention scores.

LUKE achieves state-of-the-art results on five popular NLP benchmarks including SQuAD v1.1 (extractive question answering), CoNLL-2003 (named entity recognition), ReCoRD (cloze-style question answering), TACRED (relation classification), and Open Entity (entity typing). luke-japaneseは、単語とエンティティの知識拡張型訓練済み Transformer モデルLUKEの日本語版です。LUKE は単語とエンティティを独立したトークンとして扱い、これらの文脈を考慮した表現を出力します。

# Acknowledgments　謝辞
Lukeの開発者である山田先生とStudio ousiaさんには感謝いたします。 I would like to thank Mr.Yamada @ikuyamada and Studio ousia @StudioOusia.

# Citation
[1]@inproceedings{yamada2020luke, title={LUKE: Deep Contextualized Entity Representations with Entity-aware Self-attention}, author={Ikuya Yamada and Akari Asai and Hiroyuki Shindo and Hideaki Takeda and Yuji Matsumoto}, booktitle={EMNLP}, year={2020} }