File size: 55,650 Bytes
77d3e56
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
---
library_name: transformers
license: cc-by-nc-sa-4.0
base_model: microsoft/layoutlmv3-base
tags:
- generated_from_trainer
model-index:
- name: layoutlmv3-finetuned-label-studio-dataset-tender-0
  results: []
---

<!-- This model card has been generated automatically according to the information the Trainer had access to. You
should probably proofread and complete it, then remove this comment. -->

# layoutlmv3-finetuned-label-studio-dataset-tender-0

This model is a fine-tuned version of [microsoft/layoutlmv3-base](https://huggingface.co/microsoft/layoutlmv3-base) on the None dataset.
It achieves the following results on the evaluation set:
- Loss: 0.2658
- B-content: {'precision': 0.9631578947368421, 'recall': 0.9104477611940298, 'f1': 0.9360613810741688, 'number': 201}
- B-sub-content-1: {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4}
- B-table content: {'precision': 0.7368421052631579, 'recall': 0.6086956521739131, 'f1': 0.6666666666666666, 'number': 23}
- E-content: {'precision': 0.9608938547486033, 'recall': 0.900523560209424, 'f1': 0.9297297297297297, 'number': 191}
- E-sub-content-1: {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4}
- E-table content: {'precision': 0.7142857142857143, 'recall': 0.6521739130434783, 'f1': 0.6818181818181819, 'number': 23}
- I-content: {'precision': 0.99536354056902, 'recall': 0.9963084062862567, 'f1': 0.9958357493015655, 'number': 9481}
- I-sub-content-1: {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 21}
- I-table content: {'precision': 0.8285181733457595, 'recall': 0.9437367303609342, 'f1': 0.8823821339950372, 'number': 942}
- S-clause: {'precision': 0.995475113122172, 'recall': 0.9606986899563319, 'f1': 0.9777777777777777, 'number': 458}
- S-content: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 8}
- S-sub-clause-1: {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4}
- S-table content: {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}
- Overall Precision: 0.9777
- Overall Recall: 0.9829
- Overall F1: 0.9803
- Overall Accuracy: 0.9725

## Model description

More information needed

## Intended uses & limitations

More information needed

## Training and evaluation data

More information needed

## Training procedure

### Training hyperparameters

The following hyperparameters were used during training:
- learning_rate: 5e-05
- train_batch_size: 8
- eval_batch_size: 8
- seed: 42
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- num_epochs: 40

### Training results

| Training Loss | Epoch | Step | Validation Loss | B-content                                                                                                | B-sub-content-1                                           | B-table content                                                                                          | E-content                                                                                                | E-sub-content-1                                           | E-table content                                                                                         | I-content                                                                                                 | I-sub-content-1                                            | I-table content                                                                                            | S-clause                                                                                                 | S-content                                                                               | S-sub-clause-1                                            | S-table content                                           | Overall Precision | Overall Recall | Overall F1 | Overall Accuracy |
|:-------------:|:-----:|:----:|:---------------:|:--------------------------------------------------------------------------------------------------------:|:---------------------------------------------------------:|:--------------------------------------------------------------------------------------------------------:|:--------------------------------------------------------------------------------------------------------:|:---------------------------------------------------------:|:-------------------------------------------------------------------------------------------------------:|:---------------------------------------------------------------------------------------------------------:|:----------------------------------------------------------:|:----------------------------------------------------------------------------------------------------------:|:--------------------------------------------------------------------------------------------------------:|:---------------------------------------------------------------------------------------:|:---------------------------------------------------------:|:---------------------------------------------------------:|:-----------------:|:--------------:|:----------:|:----------------:|
| 0.3228        | 1.0   | 52   | 0.3894          | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 201}                                              | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 23}                                               | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 191}                                              | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 23}                                              | {'precision': 0.9302988596146284, 'recall': 0.9981014660900749, 'f1': 0.9630081921335165, 'number': 9481} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 21} | {'precision': 0.7277542372881356, 'recall': 0.7292993630573248, 'f1': 0.7285259809119831, 'number': 942}   | {'precision': 0.938034188034188, 'recall': 0.9585152838427947, 'f1': 0.9481641468682506, 'number': 458}  | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 8}                               | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | 0.9141            | 0.9320         | 0.9230     | 0.9141           |
| 0.3405        | 2.0   | 104  | 0.1819          | {'precision': 0.9195979899497487, 'recall': 0.9104477611940298, 'f1': 0.9149999999999999, 'number': 201} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 23}                                               | {'precision': 0.8465608465608465, 'recall': 0.837696335078534, 'f1': 0.8421052631578947, 'number': 191}  | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 23}                                              | {'precision': 0.9939828987649107, 'recall': 0.9931441831030482, 'f1': 0.9935633639337342, 'number': 9481} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 21} | {'precision': 0.7848639455782312, 'recall': 0.9798301486199575, 'f1': 0.8715769593956563, 'number': 942}   | {'precision': 0.997737556561086, 'recall': 0.962882096069869, 'f1': 0.98, 'number': 458}                 | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 8}                               | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | 0.9690            | 0.9791         | 0.9740     | 0.9671           |
| 0.1418        | 3.0   | 156  | 0.7804          | {'precision': 0.9793103448275862, 'recall': 0.7064676616915423, 'f1': 0.8208092485549133, 'number': 201} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 23}                                               | {'precision': 0.8859060402684564, 'recall': 0.6910994764397905, 'f1': 0.7764705882352941, 'number': 191} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 23}                                              | {'precision': 0.9996054708048395, 'recall': 0.8017086805189326, 'f1': 0.8897863623061164, 'number': 9481} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 21} | {'precision': 0.29102564102564105, 'recall': 0.9639065817409767, 'f1': 0.44707040866568193, 'number': 942} | {'precision': 0.9953161592505855, 'recall': 0.9279475982532751, 'f1': 0.96045197740113, 'number': 458}   | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 8}                               | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | 0.8045            | 0.8105         | 0.8075     | 0.8025           |
| 0.1334        | 4.0   | 208  | 0.2572          | {'precision': 0.9666666666666667, 'recall': 0.8656716417910447, 'f1': 0.9133858267716535, 'number': 201} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 1.0, 'recall': 0.13043478260869565, 'f1': 0.23076923076923078, 'number': 23}               | {'precision': 0.9534883720930233, 'recall': 0.8586387434554974, 'f1': 0.9035812672176308, 'number': 191} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 23}                                              | {'precision': 0.9996713769306605, 'recall': 0.9625566923320324, 'f1': 0.9807630306286942, 'number': 9481} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 21} | {'precision': 0.5957880434782609, 'recall': 0.9309978768577495, 'f1': 0.7265948632974317, 'number': 942}   | {'precision': 0.9953810623556582, 'recall': 0.9410480349344978, 'f1': 0.9674523007856342, 'number': 458} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 8}                               | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | 0.9461            | 0.9484         | 0.9473     | 0.9393           |
| 0.0576        | 5.0   | 260  | 0.1783          | {'precision': 0.973404255319149, 'recall': 0.9104477611940298, 'f1': 0.9408740359897172, 'number': 201}  | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.5555555555555556, 'recall': 0.43478260869565216, 'f1': 0.4878048780487805, 'number': 23} | {'precision': 0.9941860465116279, 'recall': 0.8952879581151832, 'f1': 0.9421487603305785, 'number': 191} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.8888888888888888, 'recall': 0.34782608695652173, 'f1': 0.5, 'number': 23}               | {'precision': 0.9949468365091062, 'recall': 0.9968357768167915, 'f1': 0.9958904109589041, 'number': 9481} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 21} | {'precision': 0.813321647677476, 'recall': 0.9851380042462845, 'f1': 0.8910225636101776, 'number': 942}    | {'precision': 0.997737556561086, 'recall': 0.962882096069869, 'f1': 0.98, 'number': 458}                 | {'precision': 1.0, 'recall': 0.875, 'f1': 0.9333333333333333, 'number': 8}              | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | 0.9759            | 0.9857         | 0.9808     | 0.9751           |
| 0.1557        | 6.0   | 312  | 0.2165          | {'precision': 0.973404255319149, 'recall': 0.9104477611940298, 'f1': 0.9408740359897172, 'number': 201}  | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.8666666666666667, 'recall': 0.5652173913043478, 'f1': 0.6842105263157895, 'number': 23}  | {'precision': 0.976878612716763, 'recall': 0.8848167539267016, 'f1': 0.9285714285714286, 'number': 191}  | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.6111111111111112, 'recall': 0.4782608695652174, 'f1': 0.5365853658536586, 'number': 23} | {'precision': 0.9980672178674971, 'recall': 0.9803818162641071, 'f1': 0.989145471959136, 'number': 9481}  | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 21} | {'precision': 0.6977611940298507, 'recall': 0.9925690021231423, 'f1': 0.8194566170026293, 'number': 942}   | {'precision': 0.9954853273137697, 'recall': 0.962882096069869, 'f1': 0.9789123196448389, 'number': 458}  | {'precision': 1.0, 'recall': 0.875, 'f1': 0.9333333333333333, 'number': 8}              | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | 0.9615            | 0.9730         | 0.9672     | 0.9609           |
| 0.0244        | 7.0   | 364  | 0.2512          | {'precision': 0.9533678756476683, 'recall': 0.9154228855721394, 'f1': 0.9340101522842639, 'number': 201} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.7857142857142857, 'recall': 0.4782608695652174, 'f1': 0.5945945945945946, 'number': 23}  | {'precision': 0.9555555555555556, 'recall': 0.900523560209424, 'f1': 0.9272237196765499, 'number': 191}  | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.8461538461538461, 'recall': 0.4782608695652174, 'f1': 0.6111111111111112, 'number': 23} | {'precision': 0.989103101424979, 'recall': 0.995675561649615, 'f1': 0.9923784494086728, 'number': 9481}   | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 21} | {'precision': 0.8321678321678322, 'recall': 0.7579617834394905, 'f1': 0.7933333333333334, 'number': 942}   | {'precision': 0.9932584269662922, 'recall': 0.9650655021834061, 'f1': 0.9789590254706534, 'number': 458} | {'precision': 1.0, 'recall': 0.75, 'f1': 0.8571428571428571, 'number': 8}               | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | 0.9757            | 0.9665         | 0.9711     | 0.9602           |
| 0.2077        | 8.0   | 416  | 0.1972          | {'precision': 0.973404255319149, 'recall': 0.9104477611940298, 'f1': 0.9408740359897172, 'number': 201}  | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.8125, 'recall': 0.5652173913043478, 'f1': 0.6666666666666667, 'number': 23}              | {'precision': 0.9772727272727273, 'recall': 0.900523560209424, 'f1': 0.9373297002724795, 'number': 191}  | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.9333333333333333, 'recall': 0.6086956521739131, 'f1': 0.7368421052631579, 'number': 23} | {'precision': 0.9959919839679359, 'recall': 0.9959919839679359, 'f1': 0.9959919839679359, 'number': 9481} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 21} | {'precision': 0.8184991273996509, 'recall': 0.9957537154989384, 'f1': 0.8984674329501916, 'number': 942}   | {'precision': 0.9954954954954955, 'recall': 0.9650655021834061, 'f1': 0.9800443458980044, 'number': 458} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 8}                               | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | 0.9773            | 0.9870         | 0.9821     | 0.9763           |
| 0.0483        | 9.0   | 468  | 0.1519          | {'precision': 0.9682539682539683, 'recall': 0.9104477611940298, 'f1': 0.9384615384615386, 'number': 201} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.8125, 'recall': 0.5652173913043478, 'f1': 0.6666666666666667, 'number': 23}              | {'precision': 0.9883040935672515, 'recall': 0.8848167539267016, 'f1': 0.9337016574585636, 'number': 191} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.7647058823529411, 'recall': 0.5652173913043478, 'f1': 0.65, 'number': 23}               | {'precision': 0.9952596650163278, 'recall': 0.9965193544984706, 'f1': 0.9958891114156213, 'number': 9481} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 21} | {'precision': 0.8069216757741348, 'recall': 0.940552016985138, 'f1': 0.8686274509803921, 'number': 942}    | {'precision': 0.9977324263038548, 'recall': 0.9606986899563319, 'f1': 0.978865406006674, 'number': 458}  | {'precision': 1.0, 'recall': 0.875, 'f1': 0.9333333333333333, 'number': 8}              | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | 0.9761            | 0.9822         | 0.9792     | 0.9707           |
| 0.0147        | 10.0  | 520  | 0.2928          | {'precision': 0.9838709677419355, 'recall': 0.9104477611940298, 'f1': 0.9457364341085271, 'number': 201} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.8235294117647058, 'recall': 0.6086956521739131, 'f1': 0.7, 'number': 23}                 | {'precision': 0.9880952380952381, 'recall': 0.8691099476439791, 'f1': 0.9247910863509748, 'number': 191} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.9333333333333333, 'recall': 0.6086956521739131, 'f1': 0.7368421052631579, 'number': 23} | {'precision': 0.9993365767359575, 'recall': 0.9532749709946208, 'f1': 0.9757624831309042, 'number': 9481} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 21} | {'precision': 0.5850914205344585, 'recall': 0.8832271762208068, 'f1': 0.7038917089678512, 'number': 942}   | {'precision': 0.9977324263038548, 'recall': 0.9606986899563319, 'f1': 0.978865406006674, 'number': 458}  | {'precision': 1.0, 'recall': 0.875, 'f1': 0.9333333333333333, 'number': 8}              | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | 0.9464            | 0.9413         | 0.9438     | 0.9353           |
| 0.0096        | 11.0  | 572  | 0.2645          | {'precision': 0.9835164835164835, 'recall': 0.8905472636815921, 'f1': 0.9347258485639688, 'number': 201} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.875, 'recall': 0.6086956521739131, 'f1': 0.717948717948718, 'number': 23}                | {'precision': 0.9761904761904762, 'recall': 0.8586387434554974, 'f1': 0.9136490250696379, 'number': 191} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.8823529411764706, 'recall': 0.6521739130434783, 'f1': 0.75, 'number': 23}               | {'precision': 0.9981408573928259, 'recall': 0.9626621664381394, 'f1': 0.9800805369127517, 'number': 9481} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 21} | {'precision': 0.6193293885601578, 'recall': 1.0, 'f1': 0.7649208282582217, 'number': 942}                  | {'precision': 0.9976905311778291, 'recall': 0.9432314410480349, 'f1': 0.9696969696969696, 'number': 458} | {'precision': 1.0, 'recall': 0.875, 'f1': 0.9333333333333333, 'number': 8}              | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | 0.9471            | 0.9577         | 0.9523     | 0.9464           |
| 0.0226        | 12.0  | 624  | 0.1818          | {'precision': 0.9536082474226805, 'recall': 0.9203980099502488, 'f1': 0.9367088607594938, 'number': 201} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.75, 'recall': 0.5217391304347826, 'f1': 0.6153846153846153, 'number': 23}                | {'precision': 0.9508196721311475, 'recall': 0.9109947643979057, 'f1': 0.9304812834224598, 'number': 191} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.875, 'recall': 0.6086956521739131, 'f1': 0.717948717948718, 'number': 23}               | {'precision': 0.9935890698896479, 'recall': 0.9971521991351123, 'f1': 0.9953674457780586, 'number': 9481} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 21} | {'precision': 0.8492723492723493, 'recall': 0.8673036093418259, 'f1': 0.8581932773109243, 'number': 942}   | {'precision': 0.9954954954954955, 'recall': 0.9650655021834061, 'f1': 0.9800443458980044, 'number': 458} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 8}                               | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | 0.9795            | 0.9776         | 0.9785     | 0.9689           |
| 0.0096        | 13.0  | 676  | 0.3763          | {'precision': 0.9885714285714285, 'recall': 0.8606965174129353, 'f1': 0.9202127659574467, 'number': 201} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.7222222222222222, 'recall': 0.5652173913043478, 'f1': 0.6341463414634146, 'number': 23}  | {'precision': 0.9764705882352941, 'recall': 0.8691099476439791, 'f1': 0.9196675900277008, 'number': 191} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.625, 'recall': 0.6521739130434783, 'f1': 0.6382978723404256, 'number': 23}              | {'precision': 0.9998840041758497, 'recall': 0.9091867946419154, 'f1': 0.9523809523809523, 'number': 9481} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 21} | {'precision': 0.5363480251860332, 'recall': 0.994692144373673, 'f1': 0.696913350687988, 'number': 942}     | {'precision': 0.9954441913439636, 'recall': 0.9541484716157205, 'f1': 0.9743589743589743, 'number': 458} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 8}                               | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | 0.9256            | 0.9127         | 0.9191     | 0.9034           |
| 0.0187        | 14.0  | 728  | 0.1603          | {'precision': 0.9680851063829787, 'recall': 0.9054726368159204, 'f1': 0.93573264781491, 'number': 201}   | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.8666666666666667, 'recall': 0.5652173913043478, 'f1': 0.6842105263157895, 'number': 23}  | {'precision': 0.9770114942528736, 'recall': 0.8900523560209425, 'f1': 0.9315068493150686, 'number': 191} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.9285714285714286, 'recall': 0.5652173913043478, 'f1': 0.7027027027027025, 'number': 23} | {'precision': 0.9936915150877931, 'recall': 0.9968357768167915, 'f1': 0.9952611625947767, 'number': 9481} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 21} | {'precision': 0.8541666666666666, 'recall': 0.8704883227176221, 'f1': 0.8622502628811777, 'number': 942}   | {'precision': 0.997737556561086, 'recall': 0.962882096069869, 'f1': 0.98, 'number': 458}                 | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 8}                               | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | 0.9811            | 0.9769         | 0.9790     | 0.9695           |
| 0.0041        | 15.0  | 780  | 0.2300          | {'precision': 0.9782608695652174, 'recall': 0.8955223880597015, 'f1': 0.935064935064935, 'number': 201}  | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.7647058823529411, 'recall': 0.5652173913043478, 'f1': 0.65, 'number': 23}                | {'precision': 0.9823529411764705, 'recall': 0.8743455497382199, 'f1': 0.925207756232687, 'number': 191}  | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.8666666666666667, 'recall': 0.5652173913043478, 'f1': 0.6842105263157895, 'number': 23} | {'precision': 0.9932730712634013, 'recall': 0.9967303027106845, 'f1': 0.9949986838641748, 'number': 9481} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 21} | {'precision': 0.8165057067603161, 'recall': 0.9872611464968153, 'f1': 0.8938010571840461, 'number': 942}   | {'precision': 0.9977272727272727, 'recall': 0.9585152838427947, 'f1': 0.977728285077951, 'number': 458}  | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 8}                               | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | 0.9750            | 0.9858         | 0.9804     | 0.9742           |
| 0.0018        | 16.0  | 832  | 0.1984          | {'precision': 0.9680851063829787, 'recall': 0.9054726368159204, 'f1': 0.93573264781491, 'number': 201}   | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.8125, 'recall': 0.5652173913043478, 'f1': 0.6666666666666667, 'number': 23}              | {'precision': 0.9661016949152542, 'recall': 0.8952879581151832, 'f1': 0.9293478260869565, 'number': 191} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.8823529411764706, 'recall': 0.6521739130434783, 'f1': 0.75, 'number': 23}               | {'precision': 0.9942135718043135, 'recall': 0.9967303027106845, 'f1': 0.9954703465711577, 'number': 9481} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 21} | {'precision': 0.8315988647114475, 'recall': 0.9331210191082803, 'f1': 0.87943971985993, 'number': 942}     | {'precision': 0.9977220956719818, 'recall': 0.9563318777292577, 'f1': 0.9765886287625418, 'number': 458} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 8}                               | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | 0.9780            | 0.9820         | 0.9800     | 0.9724           |
| 0.0049        | 17.0  | 884  | 0.2054          | {'precision': 0.9731182795698925, 'recall': 0.900497512437811, 'f1': 0.9354005167958657, 'number': 201}  | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.7647058823529411, 'recall': 0.5652173913043478, 'f1': 0.65, 'number': 23}                | {'precision': 0.96045197740113, 'recall': 0.8900523560209425, 'f1': 0.9239130434782609, 'number': 191}   | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.75, 'recall': 0.6521739130434783, 'f1': 0.6976744186046512, 'number': 23}               | {'precision': 0.995050547598989, 'recall': 0.9966248286045776, 'f1': 0.9958370659219055, 'number': 9481}  | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 21} | {'precision': 0.8195829555757026, 'recall': 0.9596602972399151, 'f1': 0.8841075794621027, 'number': 942}   | {'precision': 0.9977324263038548, 'recall': 0.9606986899563319, 'f1': 0.978865406006674, 'number': 458}  | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 8}                               | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | 0.9766            | 0.9841         | 0.9803     | 0.9726           |
| 0.0061        | 18.0  | 936  | 0.2156          | {'precision': 0.9631578947368421, 'recall': 0.9104477611940298, 'f1': 0.9360613810741688, 'number': 201} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.8571428571428571, 'recall': 0.5217391304347826, 'f1': 0.6486486486486486, 'number': 23}  | {'precision': 0.945054945054945, 'recall': 0.900523560209424, 'f1': 0.9222520107238604, 'number': 191}   | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.631578947368421, 'recall': 0.5217391304347826, 'f1': 0.5714285714285715, 'number': 23}  | {'precision': 0.9912906610703043, 'recall': 0.9964138803923637, 'f1': 0.9938456682973015, 'number': 9481} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 21} | {'precision': 0.8850299401197604, 'recall': 0.7845010615711253, 'f1': 0.8317388857625211, 'number': 942}   | {'precision': 0.9954853273137697, 'recall': 0.962882096069869, 'f1': 0.9789123196448389, 'number': 458}  | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 8}                               | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | 0.9816            | 0.9695         | 0.9755     | 0.9666           |
| 0.0031        | 19.0  | 988  | 0.2118          | {'precision': 0.9680851063829787, 'recall': 0.9054726368159204, 'f1': 0.93573264781491, 'number': 201}   | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.7777777777777778, 'recall': 0.6086956521739131, 'f1': 0.6829268292682927, 'number': 23}  | {'precision': 0.9717514124293786, 'recall': 0.900523560209424, 'f1': 0.9347826086956521, 'number': 191}  | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.8333333333333334, 'recall': 0.6521739130434783, 'f1': 0.7317073170731708, 'number': 23} | {'precision': 0.9950463743676222, 'recall': 0.995781035755722, 'f1': 0.9954135695081449, 'number': 9481}  | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 21} | {'precision': 0.825091575091575, 'recall': 0.9564755838641189, 'f1': 0.8859390363815143, 'number': 942}    | {'precision': 0.995475113122172, 'recall': 0.9606986899563319, 'f1': 0.9777777777777777, 'number': 458}  | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 8}                               | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | 0.9774            | 0.9835         | 0.9804     | 0.9729           |
| 0.0025        | 20.0  | 1040 | 0.2309          | {'precision': 0.972972972972973, 'recall': 0.8955223880597015, 'f1': 0.9326424870466321, 'number': 201}  | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.7777777777777778, 'recall': 0.6086956521739131, 'f1': 0.6829268292682927, 'number': 23}  | {'precision': 0.9770114942528736, 'recall': 0.8900523560209425, 'f1': 0.9315068493150686, 'number': 191} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.8823529411764706, 'recall': 0.6521739130434783, 'f1': 0.75, 'number': 23}               | {'precision': 0.9946298831209855, 'recall': 0.9963084062862567, 'f1': 0.9954684371377384, 'number': 9481} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 21} | {'precision': 0.8132854578096947, 'recall': 0.9617834394904459, 'f1': 0.8813229571984437, 'number': 942}   | {'precision': 0.995475113122172, 'recall': 0.9606986899563319, 'f1': 0.9777777777777777, 'number': 458}  | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 8}                               | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | 0.9759            | 0.9840         | 0.9799     | 0.9723           |
| 0.0019        | 21.0  | 1092 | 0.2295          | {'precision': 0.9629629629629629, 'recall': 0.9054726368159204, 'f1': 0.9333333333333332, 'number': 201} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.8125, 'recall': 0.5652173913043478, 'f1': 0.6666666666666667, 'number': 23}              | {'precision': 0.9772727272727273, 'recall': 0.900523560209424, 'f1': 0.9373297002724795, 'number': 191}  | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.625, 'recall': 0.6521739130434783, 'f1': 0.6382978723404256, 'number': 23}              | {'precision': 0.9954679595278246, 'recall': 0.9962029321801498, 'f1': 0.9958353102430281, 'number': 9481} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 21} | {'precision': 0.8207024029574861, 'recall': 0.9426751592356688, 'f1': 0.8774703557312252, 'number': 942}   | {'precision': 0.995475113122172, 'recall': 0.9606986899563319, 'f1': 0.9777777777777777, 'number': 458}  | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 8}                               | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | 0.9771            | 0.9826         | 0.9798     | 0.9720           |
| 0.0039        | 22.0  | 1144 | 0.2376          | {'precision': 0.9682539682539683, 'recall': 0.9104477611940298, 'f1': 0.9384615384615386, 'number': 201} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.8125, 'recall': 0.5652173913043478, 'f1': 0.6666666666666667, 'number': 23}              | {'precision': 0.9608938547486033, 'recall': 0.900523560209424, 'f1': 0.9297297297297297, 'number': 191}  | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.8823529411764706, 'recall': 0.6521739130434783, 'f1': 0.75, 'number': 23}               | {'precision': 0.9955733558178752, 'recall': 0.9963084062862567, 'f1': 0.9959407454267488, 'number': 9481} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 21} | {'precision': 0.8191780821917808, 'recall': 0.9522292993630573, 'f1': 0.8807069219440353, 'number': 942}   | {'precision': 0.995475113122172, 'recall': 0.9606986899563319, 'f1': 0.9777777777777777, 'number': 458}  | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 8}                               | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | 0.9773            | 0.9835         | 0.9804     | 0.9725           |
| 0.0015        | 23.0  | 1196 | 0.2500          | {'precision': 0.9631578947368421, 'recall': 0.9104477611940298, 'f1': 0.9360613810741688, 'number': 201} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.8235294117647058, 'recall': 0.6086956521739131, 'f1': 0.7, 'number': 23}                 | {'precision': 0.9659090909090909, 'recall': 0.8900523560209425, 'f1': 0.9264305177111717, 'number': 191} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.9375, 'recall': 0.6521739130434783, 'f1': 0.7692307692307693, 'number': 23}             | {'precision': 0.9953630519548952, 'recall': 0.9962029321801498, 'f1': 0.9957828149710068, 'number': 9481} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 21} | {'precision': 0.8152466367713005, 'recall': 0.964968152866242, 'f1': 0.8838113757899855, 'number': 942}    | {'precision': 0.995475113122172, 'recall': 0.9606986899563319, 'f1': 0.9777777777777777, 'number': 458}  | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 8}                               | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | 0.9765            | 0.9844         | 0.9805     | 0.9730           |
| 0.003         | 24.0  | 1248 | 0.2364          | {'precision': 0.9682539682539683, 'recall': 0.9104477611940298, 'f1': 0.9384615384615386, 'number': 201} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.8125, 'recall': 0.5652173913043478, 'f1': 0.6666666666666667, 'number': 23}              | {'precision': 0.9662921348314607, 'recall': 0.900523560209424, 'f1': 0.9322493224932249, 'number': 191}  | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.625, 'recall': 0.6521739130434783, 'f1': 0.6382978723404256, 'number': 23}              | {'precision': 0.9956782966164225, 'recall': 0.9963084062862567, 'f1': 0.9959932517924925, 'number': 9481} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 21} | {'precision': 0.821626617375231, 'recall': 0.9437367303609342, 'f1': 0.8784584980237153, 'number': 942}    | {'precision': 0.995475113122172, 'recall': 0.9606986899563319, 'f1': 0.9777777777777777, 'number': 458}  | {'precision': 0.8888888888888888, 'recall': 1.0, 'f1': 0.9411764705882353, 'number': 8} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | 0.9772            | 0.9828         | 0.9800     | 0.9722           |
| 0.0018        | 25.0  | 1300 | 0.2449          | {'precision': 0.9682539682539683, 'recall': 0.9104477611940298, 'f1': 0.9384615384615386, 'number': 201} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.8125, 'recall': 0.5652173913043478, 'f1': 0.6666666666666667, 'number': 23}              | {'precision': 0.9664804469273743, 'recall': 0.9057591623036649, 'f1': 0.9351351351351351, 'number': 191} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.7142857142857143, 'recall': 0.6521739130434783, 'f1': 0.6818181818181819, 'number': 23} | {'precision': 0.9957832595403753, 'recall': 0.9963084062862567, 'f1': 0.9960457636948385, 'number': 9481} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 21} | {'precision': 0.8213627992633518, 'recall': 0.9469214437367304, 'f1': 0.8796844181459565, 'number': 942}   | {'precision': 0.995475113122172, 'recall': 0.9606986899563319, 'f1': 0.9777777777777777, 'number': 458}  | {'precision': 0.8888888888888888, 'recall': 1.0, 'f1': 0.9411764705882353, 'number': 8} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | 0.9774            | 0.9832         | 0.9803     | 0.9724           |
| 0.001         | 26.0  | 1352 | 0.2527          | {'precision': 0.983957219251337, 'recall': 0.9154228855721394, 'f1': 0.9484536082474226, 'number': 201}  | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.7647058823529411, 'recall': 0.5652173913043478, 'f1': 0.65, 'number': 23}                | {'precision': 0.9772727272727273, 'recall': 0.900523560209424, 'f1': 0.9373297002724795, 'number': 191}  | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.9411764705882353, 'recall': 0.6956521739130435, 'f1': 0.7999999999999999, 'number': 23} | {'precision': 0.9952596650163278, 'recall': 0.9965193544984706, 'f1': 0.9958891114156213, 'number': 9481} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 21} | {'precision': 0.8151183970856102, 'recall': 0.9501061571125266, 'f1': 0.8774509803921569, 'number': 942}   | {'precision': 0.9977324263038548, 'recall': 0.9606986899563319, 'f1': 0.978865406006674, 'number': 458}  | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 8}                               | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | 0.9772            | 0.9837         | 0.9804     | 0.9729           |
| 0.0006        | 27.0  | 1404 | 0.2525          | {'precision': 0.9583333333333334, 'recall': 0.9154228855721394, 'f1': 0.9363867684478373, 'number': 201} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.8125, 'recall': 0.5652173913043478, 'f1': 0.6666666666666667, 'number': 23}              | {'precision': 0.9608938547486033, 'recall': 0.900523560209424, 'f1': 0.9297297297297297, 'number': 191}  | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.7894736842105263, 'recall': 0.6521739130434783, 'f1': 0.7142857142857143, 'number': 23} | {'precision': 0.9948393891521854, 'recall': 0.9963084062862567, 'f1': 0.9955733558178753, 'number': 9481} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 21} | {'precision': 0.8177655677655677, 'recall': 0.9479830148619958, 'f1': 0.8780727630285153, 'number': 942}   | {'precision': 0.995475113122172, 'recall': 0.9606986899563319, 'f1': 0.9777777777777777, 'number': 458}  | {'precision': 0.8888888888888888, 'recall': 1.0, 'f1': 0.9411764705882353, 'number': 8} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | 0.9761            | 0.9833         | 0.9797     | 0.9719           |
| 0.0021        | 28.0  | 1456 | 0.2527          | {'precision': 0.9735449735449735, 'recall': 0.9154228855721394, 'f1': 0.9435897435897436, 'number': 201} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.8125, 'recall': 0.5652173913043478, 'f1': 0.6666666666666667, 'number': 23}              | {'precision': 0.9662921348314607, 'recall': 0.900523560209424, 'f1': 0.9322493224932249, 'number': 191}  | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.7894736842105263, 'recall': 0.6521739130434783, 'f1': 0.7142857142857143, 'number': 23} | {'precision': 0.9955742887249737, 'recall': 0.9965193544984706, 'f1': 0.9960465974381951, 'number': 9481} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 21} | {'precision': 0.8191000918273645, 'recall': 0.9469214437367304, 'f1': 0.8783850320039389, 'number': 942}   | {'precision': 0.9977324263038548, 'recall': 0.9606986899563319, 'f1': 0.978865406006674, 'number': 458}  | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 8}                               | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | 0.9774            | 0.9834         | 0.9804     | 0.9725           |
| 0.0011        | 29.0  | 1508 | 0.2570          | {'precision': 0.9633507853403142, 'recall': 0.9154228855721394, 'f1': 0.9387755102040817, 'number': 201} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.8666666666666667, 'recall': 0.5652173913043478, 'f1': 0.6842105263157895, 'number': 23}  | {'precision': 0.9608938547486033, 'recall': 0.900523560209424, 'f1': 0.9297297297297297, 'number': 191}  | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.8, 'recall': 0.6956521739130435, 'f1': 0.7441860465116279, 'number': 23}                | {'precision': 0.9955733558178752, 'recall': 0.9963084062862567, 'f1': 0.9959407454267488, 'number': 9481} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 21} | {'precision': 0.8180987202925045, 'recall': 0.9501061571125266, 'f1': 0.8791748526522593, 'number': 942}   | {'precision': 0.995475113122172, 'recall': 0.9606986899563319, 'f1': 0.9777777777777777, 'number': 458}  | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 8}                               | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | 0.9770            | 0.9835         | 0.9803     | 0.9725           |
| 0.0022        | 30.0  | 1560 | 0.2566          | {'precision': 0.9583333333333334, 'recall': 0.9154228855721394, 'f1': 0.9363867684478373, 'number': 201} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.8125, 'recall': 0.5652173913043478, 'f1': 0.6666666666666667, 'number': 23}              | {'precision': 0.9662921348314607, 'recall': 0.900523560209424, 'f1': 0.9322493224932249, 'number': 191}  | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.7894736842105263, 'recall': 0.6521739130434783, 'f1': 0.7142857142857143, 'number': 23} | {'precision': 0.99536354056902, 'recall': 0.9963084062862567, 'f1': 0.9958357493015655, 'number': 9481}   | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 21} | {'precision': 0.8201834862385321, 'recall': 0.9490445859872612, 'f1': 0.8799212598425196, 'number': 942}   | {'precision': 0.995475113122172, 'recall': 0.9606986899563319, 'f1': 0.9777777777777777, 'number': 458}  | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 8}                               | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | 0.9770            | 0.9834         | 0.9802     | 0.9724           |
| 0.002         | 31.0  | 1612 | 0.2578          | {'precision': 0.9583333333333334, 'recall': 0.9154228855721394, 'f1': 0.9363867684478373, 'number': 201} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.8666666666666667, 'recall': 0.5652173913043478, 'f1': 0.6842105263157895, 'number': 23}  | {'precision': 0.9608938547486033, 'recall': 0.900523560209424, 'f1': 0.9297297297297297, 'number': 191}  | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.7894736842105263, 'recall': 0.6521739130434783, 'f1': 0.7142857142857143, 'number': 23} | {'precision': 0.9954684371377385, 'recall': 0.9963084062862567, 'f1': 0.9958882445967316, 'number': 9481} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 21} | {'precision': 0.8218549127640037, 'recall': 0.9501061571125266, 'f1': 0.8813392417528312, 'number': 942}   | {'precision': 0.995475113122172, 'recall': 0.9606986899563319, 'f1': 0.9777777777777777, 'number': 458}  | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 8}                               | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | 0.9773            | 0.9835         | 0.9803     | 0.9726           |
| 0.0007        | 32.0  | 1664 | 0.2591          | {'precision': 0.9631578947368421, 'recall': 0.9104477611940298, 'f1': 0.9360613810741688, 'number': 201} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.875, 'recall': 0.6086956521739131, 'f1': 0.717948717948718, 'number': 23}                | {'precision': 0.9608938547486033, 'recall': 0.900523560209424, 'f1': 0.9297297297297297, 'number': 191}  | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.7894736842105263, 'recall': 0.6521739130434783, 'f1': 0.7142857142857143, 'number': 23} | {'precision': 0.9954684371377385, 'recall': 0.9963084062862567, 'f1': 0.9958882445967316, 'number': 9481} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 21} | {'precision': 0.8235294117647058, 'recall': 0.9511677282377919, 'f1': 0.8827586206896552, 'number': 942}   | {'precision': 0.9954648526077098, 'recall': 0.9585152838427947, 'f1': 0.9766407119021134, 'number': 458} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 8}                               | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | 0.9775            | 0.9835         | 0.9805     | 0.9727           |
| 0.0009        | 33.0  | 1716 | 0.2614          | {'precision': 0.9631578947368421, 'recall': 0.9104477611940298, 'f1': 0.9360613810741688, 'number': 201} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.8235294117647058, 'recall': 0.6086956521739131, 'f1': 0.7, 'number': 23}                 | {'precision': 0.9606741573033708, 'recall': 0.8952879581151832, 'f1': 0.9268292682926829, 'number': 191} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.7894736842105263, 'recall': 0.6521739130434783, 'f1': 0.7142857142857143, 'number': 23} | {'precision': 0.9955733558178752, 'recall': 0.9963084062862567, 'f1': 0.9959407454267488, 'number': 9481} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 21} | {'precision': 0.8246097337006428, 'recall': 0.9532908704883227, 'f1': 0.8842934515017232, 'number': 942}   | {'precision': 0.995475113122172, 'recall': 0.9606986899563319, 'f1': 0.9777777777777777, 'number': 458}  | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 8}                               | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | 0.9776            | 0.9836         | 0.9806     | 0.9730           |
| 0.0005        | 34.0  | 1768 | 0.2624          | {'precision': 0.9631578947368421, 'recall': 0.9104477611940298, 'f1': 0.9360613810741688, 'number': 201} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.8235294117647058, 'recall': 0.6086956521739131, 'f1': 0.7, 'number': 23}                 | {'precision': 0.9606741573033708, 'recall': 0.8952879581151832, 'f1': 0.9268292682926829, 'number': 191} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.75, 'recall': 0.6521739130434783, 'f1': 0.6976744186046512, 'number': 23}               | {'precision': 0.9954684371377385, 'recall': 0.9963084062862567, 'f1': 0.9958882445967316, 'number': 9481} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 21} | {'precision': 0.8262476894639557, 'recall': 0.9490445859872612, 'f1': 0.883399209486166, 'number': 942}    | {'precision': 0.995475113122172, 'recall': 0.9606986899563319, 'f1': 0.9777777777777777, 'number': 458}  | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 8}                               | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | 0.9777            | 0.9833         | 0.9805     | 0.9728           |
| 0.0004        | 35.0  | 1820 | 0.2655          | {'precision': 0.9680851063829787, 'recall': 0.9054726368159204, 'f1': 0.93573264781491, 'number': 201}   | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.875, 'recall': 0.6086956521739131, 'f1': 0.717948717948718, 'number': 23}                | {'precision': 0.9661016949152542, 'recall': 0.8952879581151832, 'f1': 0.9293478260869565, 'number': 191} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.7894736842105263, 'recall': 0.6521739130434783, 'f1': 0.7142857142857143, 'number': 23} | {'precision': 0.9949441752685907, 'recall': 0.9963084062862567, 'f1': 0.9956258234519104, 'number': 9481} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 21} | {'precision': 0.8240146654445463, 'recall': 0.9543524416135881, 'f1': 0.8844072798819479, 'number': 942}   | {'precision': 0.9954648526077098, 'recall': 0.9585152838427947, 'f1': 0.9766407119021134, 'number': 458} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 8}                               | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | 0.9773            | 0.9835         | 0.9804     | 0.9728           |
| 0.0004        | 36.0  | 1872 | 0.2638          | {'precision': 0.9629629629629629, 'recall': 0.9054726368159204, 'f1': 0.9333333333333332, 'number': 201} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.7368421052631579, 'recall': 0.6086956521739131, 'f1': 0.6666666666666666, 'number': 23}  | {'precision': 0.9606741573033708, 'recall': 0.8952879581151832, 'f1': 0.9268292682926829, 'number': 191} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.75, 'recall': 0.6521739130434783, 'f1': 0.6976744186046512, 'number': 23}               | {'precision': 0.9952586661047308, 'recall': 0.9963084062862567, 'f1': 0.9957832595403753, 'number': 9481} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 21} | {'precision': 0.8282265552460538, 'recall': 0.9469214437367304, 'f1': 0.8836057454185241, 'number': 942}   | {'precision': 0.995475113122172, 'recall': 0.9606986899563319, 'f1': 0.9777777777777777, 'number': 458}  | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 8}                               | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | 0.9776            | 0.9830         | 0.9803     | 0.9725           |
| 0.0016        | 37.0  | 1924 | 0.2654          | {'precision': 0.9629629629629629, 'recall': 0.9054726368159204, 'f1': 0.9333333333333332, 'number': 201} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.7368421052631579, 'recall': 0.6086956521739131, 'f1': 0.6666666666666666, 'number': 23}  | {'precision': 0.9662921348314607, 'recall': 0.900523560209424, 'f1': 0.9322493224932249, 'number': 191}  | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.75, 'recall': 0.6521739130434783, 'f1': 0.6976744186046512, 'number': 23}               | {'precision': 0.9951538137378846, 'recall': 0.9963084062862567, 'f1': 0.9957307753122858, 'number': 9481} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 21} | {'precision': 0.8282265552460538, 'recall': 0.9469214437367304, 'f1': 0.8836057454185241, 'number': 942}   | {'precision': 0.995475113122172, 'recall': 0.9606986899563319, 'f1': 0.9777777777777777, 'number': 458}  | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 8}                               | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | 0.9776            | 0.9831         | 0.9803     | 0.9726           |
| 0.0009        | 38.0  | 1976 | 0.2665          | {'precision': 0.9631578947368421, 'recall': 0.9104477611940298, 'f1': 0.9360613810741688, 'number': 201} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.7368421052631579, 'recall': 0.6086956521739131, 'f1': 0.6666666666666666, 'number': 23}  | {'precision': 0.9662921348314607, 'recall': 0.900523560209424, 'f1': 0.9322493224932249, 'number': 191}  | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.75, 'recall': 0.6521739130434783, 'f1': 0.6976744186046512, 'number': 23}               | {'precision': 0.9952586661047308, 'recall': 0.9963084062862567, 'f1': 0.9957832595403753, 'number': 9481} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 21} | {'precision': 0.8276181649675626, 'recall': 0.9479830148619958, 'f1': 0.883720930232558, 'number': 942}    | {'precision': 0.995475113122172, 'recall': 0.9606986899563319, 'f1': 0.9777777777777777, 'number': 458}  | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 8}                               | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | 0.9776            | 0.9833         | 0.9804     | 0.9727           |
| 0.0006        | 39.0  | 2028 | 0.2665          | {'precision': 0.9631578947368421, 'recall': 0.9104477611940298, 'f1': 0.9360613810741688, 'number': 201} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.7368421052631579, 'recall': 0.6086956521739131, 'f1': 0.6666666666666666, 'number': 23}  | {'precision': 0.9662921348314607, 'recall': 0.900523560209424, 'f1': 0.9322493224932249, 'number': 191}  | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.75, 'recall': 0.6521739130434783, 'f1': 0.6976744186046512, 'number': 23}               | {'precision': 0.9952586661047308, 'recall': 0.9963084062862567, 'f1': 0.9957832595403753, 'number': 9481} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 21} | {'precision': 0.8282265552460538, 'recall': 0.9469214437367304, 'f1': 0.8836057454185241, 'number': 942}   | {'precision': 0.995475113122172, 'recall': 0.9606986899563319, 'f1': 0.9777777777777777, 'number': 458}  | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 8}                               | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | 0.9777            | 0.9832         | 0.9804     | 0.9727           |
| 0.0004        | 40.0  | 2080 | 0.2658          | {'precision': 0.9631578947368421, 'recall': 0.9104477611940298, 'f1': 0.9360613810741688, 'number': 201} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.7368421052631579, 'recall': 0.6086956521739131, 'f1': 0.6666666666666666, 'number': 23}  | {'precision': 0.9608938547486033, 'recall': 0.900523560209424, 'f1': 0.9297297297297297, 'number': 191}  | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.7142857142857143, 'recall': 0.6521739130434783, 'f1': 0.6818181818181819, 'number': 23} | {'precision': 0.99536354056902, 'recall': 0.9963084062862567, 'f1': 0.9958357493015655, 'number': 9481}   | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 21} | {'precision': 0.8285181733457595, 'recall': 0.9437367303609342, 'f1': 0.8823821339950372, 'number': 942}   | {'precision': 0.995475113122172, 'recall': 0.9606986899563319, 'f1': 0.9777777777777777, 'number': 458}  | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 8}                               | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 4} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | 0.9777            | 0.9829         | 0.9803     | 0.9725           |


### Framework versions

- Transformers 4.44.2
- Pytorch 2.5.1+cu121
- Datasets 3.1.0
- Tokenizers 0.19.1