elenanereiss commited on
Commit
c111ec2
1 Parent(s): 868902f

add more info

Browse files
Files changed (1) hide show
  1. README.md +89 -23
README.md CHANGED
@@ -33,6 +33,16 @@ model-index:
33
  value: 0.9644870349492672
34
  pipeline_tag: token-classification
35
  widget:
 
 
 
 
 
 
 
 
 
 
36
  - text: "Herr W. verstieß gegen § 36 Abs. 7 IfSG."
37
  ---
38
 
@@ -44,9 +54,31 @@ widget:
44
  This model is a fine-tuned version of [bert-base-german-cased](https://huggingface.co/bert-base-german-cased) on the
45
  [German LER Dataset](https://huggingface.co/datasets/elenanereiss/german-ler).
46
 
47
- ## Intended uses & limitations
48
-
49
- to do
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
50
 
51
  ## Training procedure
52
 
@@ -61,32 +93,66 @@ The following hyperparameters were used during training:
61
 
62
  ## Results
63
 
 
 
64
  ```
65
- eval_loss = 0.020239440724253654
66
- eval_accuracy_score = 0.9953227664227791
67
- eval_precision = 0.9212203128016991
68
- eval_recall = 0.9458762886597938
69
- eval_f1 = 0.9333855032769246
70
- eval_runtime = 111.4147
71
- eval_samples_per_second = 59.875
72
- eval_steps_per_second = 3.743
73
- epoch = 3.0
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
74
  ```
75
 
 
 
76
  ```
77
- test_loss = 0.011871221475303173
78
- test_accuracy_score = 0.9969460436964865
79
- test_precision = 0.9449558173784978
80
- test_recall = 0.9644870349492672
81
- test_f1 = 0.9546215361725869
82
- test_runtime = 111.5143
83
- test_samples_per_second = 59.849
84
- test_steps_per_second = 3.748
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
85
  ```
86
 
87
- ### Usage
88
- to do
89
-
90
  ### Reference
91
  ```
92
  @misc{https://doi.org/10.48550/arxiv.2003.13016,
 
33
  value: 0.9644870349492672
34
  pipeline_tag: token-classification
35
  widget:
36
+ - text: "Der aus Afghanistan stammende Angeklagte war am 11. November 2007 in einen Streit mit seinem Landsmann P. um die Nutzung eines Fahrzeugstellplatzes geraten"
37
+ - text: "Der Angeklagte hatte seinen Sohn Y. S., einen Boxsportler, sowie seinen Bruder A. S., der stark sehbehindert und kriegsversehrt war, zum Tatort mitgebracht."
38
+ - text: "Das Ablehnungsgesuch der Beschuldigten vom 1. April 2018 gegen die Vorsitzende Richterin am Bundesgerichtshof Sost-Scheible, die Richterin am Bundesgerichtshof Roggenbuck und die Richter am Bundesgerichtshof Cierniak, Bender und Dr. Feilcke wird als unzulässig verworfen."
39
+ - text: "Die Freie und Hansestadt Hamburg hat der Beschwerdeführerin ihre notwendigen Auslagen zu erstatten."
40
+ - text: "Zu der Verfassungsbeschwerde haben das Bundesministerium für Ernährung und Landwirtschaft, der Bayerische Jagdverband, der Naturschutzbund Deutschland e.V. (NABU), der Deutsche Bauernverband, die Arbeitsgemeinschaft Deutscher Waldbesitzerverbände e.V., der Deutsche Jagdverband e.V. sowie die Bundesarbeitsgemeinschaft der Jagdgenossenschaften und Eigenjagdbesitzer Stellung genommen."
41
+ - text: "Auf die Revisionen des Angeklagten und der Staatsanwaltschaft wird das Urteil des Landgerichts Fulda vom 30. Mai 2017 im Ausspruch über die Gesamtstrafe aufgehoben."
42
+ - text: "Im Tatzeitraum vom 19. Mai 2010 bis zum 21. Dezember 2011 lieferte die V. Fleisch GmbH & Co. KG (im Folgenden: Firma V.) Fleischprodukte, unter anderem Schweinerückenspeck, an das in der Ukraine ansässige Unternehmen VAT „M.Y.“ (fortan: Firma Y.)."
43
+ - text: "§ 14 Absatz 2 Satz 2 des Gesetzes über Teilzeitarbeit und befristete Arbeitsverträge (TzBfG) vom 21. Dezember 2000 (Bundesgesetzblatt I Seite 1966), zuletzt geändert durch Gesetz vom 20. Dezember 2011 (Bundesgesetzblatt I Seite 2854), ist nach Maßgabe der Gründe mit dem Grundgesetz vereinbar."
44
+ - text: "Auf das Arbeitsverhältnis der Parteien fand der Manteltarifvertrag für die Beschäftigten der Mitglieder der TGAOK (BAT/AOK-Neu) vom 7. August 2003 Anwendung."
45
+ - text: "Besteht - wie hier - eine Diskrepanz, muss dem Gesetzeswortlaut, dem Regelungssystem und dem Regelungsziel der Vorrang zukommen (stRspr; vgl zB BVerfGE 62, 1, 45; BVerfGE 119, 96, 179; BSG SozR 4 - 2500 § 62 Nr 8 RdNr 20 f; Hauck/Wiegand, KrV 2016, 1, 4)."
46
  - text: "Herr W. verstieß gegen § 36 Abs. 7 IfSG."
47
  ---
48
 
 
54
  This model is a fine-tuned version of [bert-base-german-cased](https://huggingface.co/bert-base-german-cased) on the
55
  [German LER Dataset](https://huggingface.co/datasets/elenanereiss/german-ler).
56
 
57
+ Distribution of classes in the dataset:
58
+ | | | **Fine-grained classes** | **#** | **%** |
59
+ |----|---------|--------------------------|------------|---------|
60
+ | 1 | **PER** | _Person_ | 1,747 | 3.26 |
61
+ | 2 | **RR** | _Judge_ | 1,519 | 2.83 |
62
+ | 3 | **AN** | _Lawyer_ | 111 | 0.21 |
63
+ | 4 | **LD** | _Country_ | 1,429 | 2.66 |
64
+ | 5 | **ST** | _City_ | 705 | 1.31 |
65
+ | 6 | **STR** | _Street_ | 136 | 0.25 |
66
+ | 7 | **LDS** | _Landscape_ | 198 | 0.37 |
67
+ | 8 | **ORG** | _Organization_ | 1,166 | 2.17 |
68
+ | 9 | **UN** | _Company_ | 1,058 | 1.97 |
69
+ | 10 | **INN** | _Institution_ | 2,196 | 4.09 |
70
+ | 11 | **GRT** | _Court_ | 3,212 | 5.99 |
71
+ | 12 | **MRK** | _Brand_ | 283 | 0.53 |
72
+ | 13 | **GS** | _Law_ | 18,52 | 34.53 |
73
+ | 14 | **VO** | _Ordinance_ | 797 | 1.49 |
74
+ | 15 | **EUN** | _European legal norm_ | 1,499 | 2.79 |
75
+ | 16 | **VS** | _Regulation_ | 607 | 1.13 |
76
+ | 17 | **VT** | _Contract_ | 2,863 | 5.34 |
77
+ | 18 | **RS** | _Court decision_ | 12,58 | 23.46 |
78
+ | 19 | **LIT** | _Legal literature_ | 3,006 | 5.60 |
79
+ | | | **Total** | **53,632** | **100** |
80
+
81
+ How to fine-tune another model on the German LER Dataset, see [GitHub](https://github.com/elenanereiss/bert-legal-ner).
82
 
83
  ## Training procedure
84
 
 
93
 
94
  ## Results
95
 
96
+ ## Results on the dev set:
97
+
98
  ```
99
+ precision recall f1-score support
100
+
101
+ AN 0.75 0.50 0.60 12
102
+ EUN 0.92 0.93 0.92 116
103
+ GRT 0.95 0.99 0.97 331
104
+ GS 0.98 0.98 0.98 1720
105
+ INN 0.84 0.91 0.88 199
106
+ LD 0.95 0.95 0.95 109
107
+ LDS 0.82 0.43 0.56 21
108
+ LIT 0.88 0.92 0.90 231
109
+ MRK 0.50 0.70 0.58 23
110
+ ORG 0.64 0.71 0.67 103
111
+ PER 0.86 0.93 0.90 186
112
+ RR 0.97 0.98 0.97 144
113
+ RS 0.94 0.95 0.94 1126
114
+ ST 0.91 0.88 0.89 58
115
+ STR 0.29 0.29 0.29 7
116
+ UN 0.81 0.85 0.83 143
117
+ VO 0.76 0.95 0.84 37
118
+ VS 0.62 0.80 0.70 56
119
+ VT 0.87 0.92 0.90 275
120
+
121
+ micro avg 0.92 0.94 0.93 4897
122
+ macro avg 0.80 0.82 0.80 4897
123
+ weighted avg 0.92 0.94 0.93 4897
124
  ```
125
 
126
+ ## Results on the test set:
127
+
128
  ```
129
+ precision recall f1-score support
130
+
131
+ AN 1.00 0.89 0.94 9
132
+ EUN 0.90 0.97 0.93 150
133
+ GRT 0.98 0.98 0.98 321
134
+ GS 0.98 0.99 0.98 1818
135
+ INN 0.90 0.95 0.92 222
136
+ LD 0.97 0.92 0.94 149
137
+ LDS 0.91 0.45 0.61 22
138
+ LIT 0.92 0.96 0.94 314
139
+ MRK 0.78 0.88 0.82 32
140
+ ORG 0.82 0.88 0.85 113
141
+ PER 0.92 0.88 0.90 173
142
+ RR 0.95 0.99 0.97 142
143
+ RS 0.97 0.98 0.97 1245
144
+ ST 0.79 0.86 0.82 64
145
+ STR 0.75 0.80 0.77 15
146
+ UN 0.90 0.95 0.93 108
147
+ VO 0.80 0.83 0.81 71
148
+ VS 0.73 0.84 0.78 64
149
+ VT 0.93 0.97 0.95 290
150
+
151
+ micro avg 0.94 0.96 0.95 5322
152
+ macro avg 0.89 0.89 0.89 5322
153
+ weighted avg 0.95 0.96 0.95 5322
154
  ```
155
 
 
 
 
156
  ### Reference
157
  ```
158
  @misc{https://doi.org/10.48550/arxiv.2003.13016,