layoutlmv3-finetuned-ubiai-dataset-invoice-3

This model is a fine-tuned version of microsoft/layoutlmv3-base on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.0901
• B-b-address: {'precision': 1.0, 'recall': 0.8461538461538461, 'f1': 0.9166666666666666, 'number': 13}
• B-b-name: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 10}
• B-order date: {'precision': 1.0, 'recall': 0.14285714285714285, 'f1': 0.25, 'number': 7}
• B-s-address: {'precision': 1.0, 'recall': 0.7857142857142857, 'f1': 0.88, 'number': 14}
• B-s-name: {'precision': 0.9090909090909091, 'recall': 1.0, 'f1': 0.9523809523809523, 'number': 10}
• B-total gross: {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}
• E-b-address: {'precision': 0.8333333333333334, 'recall': 0.7692307692307693, 'f1': 0.8, 'number': 13}
• E-b-name: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 10}
• E-order date: {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7}
• E-s-address: {'precision': 1.0, 'recall': 0.7857142857142857, 'f1': 0.88, 'number': 14}
• E-s-name: {'precision': 0.9, 'recall': 0.9, 'f1': 0.9, 'number': 10}
• E-total gross: {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}
• I-b-address: {'precision': 0.9664429530201343, 'recall': 1.0, 'f1': 0.9829351535836178, 'number': 144}
• I-b-name: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 10}
• I-order date: {'precision': 0.5263157894736842, 'recall': 1.0, 'f1': 0.6896551724137931, 'number': 10}
• I-s-address: {'precision': 0.9807692307692307, 'recall': 1.0, 'f1': 0.9902912621359222, 'number': 204}
• I-s-name: {'precision': 0.9696969696969697, 'recall': 1.0, 'f1': 0.9846153846153847, 'number': 32}
• S-b-address: {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}
• S-gst no: {'precision': 0.6923076923076923, 'recall': 1.0, 'f1': 0.8181818181818181, 'number': 9}
• S-invoice no: {'precision': 0.8181818181818182, 'recall': 0.9, 'f1': 0.8571428571428572, 'number': 10}
• S-order date: {'precision': 0.75, 'recall': 1.0, 'f1': 0.8571428571428571, 'number': 3}
• S-order no: {'precision': 1.0, 'recall': 0.9, 'f1': 0.9473684210526316, 'number': 10}
• S-s-address: {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}
• S-total gross: {'precision': 0.6363636363636364, 'recall': 0.7777777777777778, 'f1': 0.7000000000000001, 'number': 9}
• Overall Precision: 0.9386
• Overall Recall: 0.9369
• Overall F1: 0.9378
• Overall Accuracy: 0.9851

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 15

Training results

Training Loss	Epoch	Step	Validation Loss	B-b-address	B-b-name	B-order date	B-s-address	B-s-name	B-total gross	E-b-address	E-b-name	E-order date	E-s-address	E-s-name	E-total gross	I-b-address	I-b-name	I-order date	I-s-address	I-s-name	S-b-address	S-gst no	S-invoice no	S-order date	S-order no	S-s-address	S-total gross	Overall Precision	Overall Recall	Overall F1	Overall Accuracy
1.7253	1.0	12	1.0196	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 13}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 14}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 13}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 14}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 144}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 204}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 32}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9}	0.0	0.0	0.0	0.7697
0.8858	2.0	24	0.7540	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 13}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 14}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 13}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 14}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 144}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10}	{'precision': 0.4326241134751773, 'recall': 0.8970588235294118, 'f1': 0.583732057416268, 'number': 204}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 32}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9}	0.4326	0.3297	0.3742	0.8170
0.6423	3.0	36	0.5378	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 13}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 14}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 13}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 14}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.6684210526315789, 'recall': 0.8819444444444444, 'f1': 0.7604790419161677, 'number': 144}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10}	{'precision': 0.6690647482014388, 'recall': 0.9117647058823529, 'f1': 0.7717842323651452, 'number': 204}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 32}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9}	0.6688	0.5640	0.6119	0.8967
0.4856	4.0	48	0.4719	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 13}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 14}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 13}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 14}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.7062146892655368, 'recall': 0.8680555555555556, 'f1': 0.7788161993769471, 'number': 144}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10}	{'precision': 0.6494845360824743, 'recall': 0.9264705882352942, 'f1': 0.7636363636363637, 'number': 204}	{'precision': 0.16666666666666666, 'recall': 0.25, 'f1': 0.2, 'number': 32}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9}	0.6240	0.5802	0.6013	0.8992
0.3184	5.0	60	0.3890	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 13}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 14}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 13}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 14}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.7071823204419889, 'recall': 0.8888888888888888, 'f1': 0.7876923076923077, 'number': 144}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10}	{'precision': 0.8281938325991189, 'recall': 0.9215686274509803, 'f1': 0.8723897911832945, 'number': 204}	{'precision': 0.25, 'recall': 0.75, 'f1': 0.375, 'number': 32}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9}	0.6746	0.6126	0.6421	0.9108
0.2886	6.0	72	0.3365	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 13}	{'precision': 1.0, 'recall': 0.1, 'f1': 0.18181818181818182, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7}	{'precision': 0.6666666666666666, 'recall': 0.14285714285714285, 'f1': 0.23529411764705882, 'number': 14}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 13}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 14}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.7384615384615385, 'recall': 1.0, 'f1': 0.8495575221238938, 'number': 144}	{'precision': 1.0, 'recall': 0.2, 'f1': 0.33333333333333337, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10}	{'precision': 0.8355555555555556, 'recall': 0.9215686274509803, 'f1': 0.8764568764568765, 'number': 204}	{'precision': 0.22988505747126436, 'recall': 0.625, 'f1': 0.33613445378151263, 'number': 32}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.625, 'recall': 0.5555555555555556, 'f1': 0.5882352941176471, 'number': 9}	{'precision': 0.5, 'recall': 0.3, 'f1': 0.37499999999999994, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 1.0, 'recall': 0.1, 'f1': 0.18181818181818182, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9}	0.6932	0.6595	0.6759	0.9203
0.2639	7.0	84	0.2723	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 13}	{'precision': 1.0, 'recall': 0.7, 'f1': 0.8235294117647058, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7}	{'precision': 0.7857142857142857, 'recall': 0.7857142857142857, 'f1': 0.7857142857142857, 'number': 14}	{'precision': 1.0, 'recall': 0.3, 'f1': 0.4615384615384615, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 13}	{'precision': 1.0, 'recall': 0.2, 'f1': 0.33333333333333337, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 14}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.7647058823529411, 'recall': 0.9930555555555556, 'f1': 0.8640483383685801, 'number': 144}	{'precision': 0.6, 'recall': 0.3, 'f1': 0.4, 'number': 10}	{'precision': 1.0, 'recall': 0.2, 'f1': 0.33333333333333337, 'number': 10}	{'precision': 0.9356435643564357, 'recall': 0.9264705882352942, 'f1': 0.9310344827586207, 'number': 204}	{'precision': 0.5166666666666667, 'recall': 0.96875, 'f1': 0.673913043478261, 'number': 32}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.8, 'recall': 0.8888888888888888, 'f1': 0.8421052631578948, 'number': 9}	{'precision': 0.4, 'recall': 0.8, 'f1': 0.5333333333333333, 'number': 10}	{'precision': 1.0, 'recall': 0.3333333333333333, 'f1': 0.5, 'number': 3}	{'precision': 1.0, 'recall': 0.1, 'f1': 0.18181818181818182, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9}	0.7957	0.7369	0.7652	0.9386
0.2236	8.0	96	0.2266	{'precision': 1.0, 'recall': 0.07692307692307693, 'f1': 0.14285714285714288, 'number': 13}	{'precision': 0.7777777777777778, 'recall': 0.7, 'f1': 0.7368421052631577, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7}	{'precision': 0.8181818181818182, 'recall': 0.6428571428571429, 'f1': 0.7200000000000001, 'number': 14}	{'precision': 1.0, 'recall': 0.4, 'f1': 0.5714285714285715, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 13}	{'precision': 0.75, 'recall': 0.3, 'f1': 0.4285714285714285, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7}	{'precision': 1.0, 'recall': 0.07142857142857142, 'f1': 0.13333333333333333, 'number': 14}	{'precision': 0.5, 'recall': 0.1, 'f1': 0.16666666666666669, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.75, 'recall': 1.0, 'f1': 0.8571428571428571, 'number': 144}	{'precision': 0.75, 'recall': 0.9, 'f1': 0.8181818181818182, 'number': 10}	{'precision': 1.0, 'recall': 0.7, 'f1': 0.8235294117647058, 'number': 10}	{'precision': 0.9043062200956937, 'recall': 0.9264705882352942, 'f1': 0.9152542372881356, 'number': 204}	{'precision': 0.6086956521739131, 'recall': 0.875, 'f1': 0.717948717948718, 'number': 32}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.75, 'recall': 1.0, 'f1': 0.8571428571428571, 'number': 9}	{'precision': 0.45, 'recall': 0.9, 'f1': 0.6, 'number': 10}	{'precision': 1.0, 'recall': 0.6666666666666666, 'f1': 0.8, 'number': 3}	{'precision': 0.5714285714285714, 'recall': 0.4, 'f1': 0.47058823529411764, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.8, 'recall': 0.4444444444444444, 'f1': 0.5714285714285714, 'number': 9}	0.7923	0.7766	0.7843	0.9481
0.194	9.0	108	0.1814	{'precision': 1.0, 'recall': 0.15384615384615385, 'f1': 0.2666666666666667, 'number': 13}	{'precision': 0.7142857142857143, 'recall': 1.0, 'f1': 0.8333333333333333, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7}	{'precision': 0.8461538461538461, 'recall': 0.7857142857142857, 'f1': 0.8148148148148148, 'number': 14}	{'precision': 1.0, 'recall': 0.8, 'f1': 0.888888888888889, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 1.0, 'recall': 0.23076923076923078, 'f1': 0.375, 'number': 13}	{'precision': 1.0, 'recall': 0.8, 'f1': 0.888888888888889, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7}	{'precision': 0.6470588235294118, 'recall': 0.7857142857142857, 'f1': 0.7096774193548386, 'number': 14}	{'precision': 1.0, 'recall': 0.7, 'f1': 0.8235294117647058, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.8780487804878049, 'recall': 1.0, 'f1': 0.9350649350649352, 'number': 144}	{'precision': 0.7692307692307693, 'recall': 1.0, 'f1': 0.8695652173913044, 'number': 10}	{'precision': 0.6666666666666666, 'recall': 1.0, 'f1': 0.8, 'number': 10}	{'precision': 0.9838709677419355, 'recall': 0.8970588235294118, 'f1': 0.9384615384615386, 'number': 204}	{'precision': 0.8857142857142857, 'recall': 0.96875, 'f1': 0.9253731343283582, 'number': 32}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.5294117647058824, 'recall': 1.0, 'f1': 0.6923076923076924, 'number': 9}	{'precision': 0.6666666666666666, 'recall': 0.8, 'f1': 0.7272727272727272, 'number': 10}	{'precision': 1.0, 'recall': 0.6666666666666666, 'f1': 0.8, 'number': 3}	{'precision': 0.8181818181818182, 'recall': 0.9, 'f1': 0.8571428571428572, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.625, 'recall': 0.5555555555555556, 'f1': 0.5882352941176471, 'number': 9}	0.8804	0.8486	0.8642	0.9651
0.1412	10.0	120	0.1529	{'precision': 1.0, 'recall': 0.46153846153846156, 'f1': 0.631578947368421, 'number': 13}	{'precision': 0.9, 'recall': 0.9, 'f1': 0.9, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7}	{'precision': 0.9166666666666666, 'recall': 0.7857142857142857, 'f1': 0.8461538461538461, 'number': 14}	{'precision': 0.8888888888888888, 'recall': 0.8, 'f1': 0.8421052631578948, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.8888888888888888, 'recall': 0.6153846153846154, 'f1': 0.7272727272727274, 'number': 13}	{'precision': 1.0, 'recall': 0.8, 'f1': 0.888888888888889, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7}	{'precision': 0.9090909090909091, 'recall': 0.7142857142857143, 'f1': 0.8, 'number': 14}	{'precision': 0.875, 'recall': 0.7, 'f1': 0.7777777777777777, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.9290322580645162, 'recall': 1.0, 'f1': 0.963210702341137, 'number': 144}	{'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 10}	{'precision': 0.6666666666666666, 'recall': 1.0, 'f1': 0.8, 'number': 10}	{'precision': 0.9742268041237113, 'recall': 0.9264705882352942, 'f1': 0.949748743718593, 'number': 204}	{'precision': 0.8888888888888888, 'recall': 1.0, 'f1': 0.9411764705882353, 'number': 32}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.5625, 'recall': 1.0, 'f1': 0.72, 'number': 9}	{'precision': 0.8181818181818182, 'recall': 0.9, 'f1': 0.8571428571428572, 'number': 10}	{'precision': 0.6666666666666666, 'recall': 0.6666666666666666, 'f1': 0.6666666666666666, 'number': 3}	{'precision': 0.9, 'recall': 0.9, 'f1': 0.9, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.5454545454545454, 'recall': 0.6666666666666666, 'f1': 0.6, 'number': 9}	0.9086	0.8775	0.8928	0.9718
0.1239	11.0	132	0.1275	{'precision': 1.0, 'recall': 0.6153846153846154, 'f1': 0.761904761904762, 'number': 13}	{'precision': 0.9090909090909091, 'recall': 1.0, 'f1': 0.9523809523809523, 'number': 10}	{'precision': 1.0, 'recall': 0.14285714285714285, 'f1': 0.25, 'number': 7}	{'precision': 1.0, 'recall': 0.7857142857142857, 'f1': 0.88, 'number': 14}	{'precision': 1.0, 'recall': 0.9, 'f1': 0.9473684210526316, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.9, 'recall': 0.6923076923076923, 'f1': 0.7826086956521738, 'number': 13}	{'precision': 1.0, 'recall': 0.9, 'f1': 0.9473684210526316, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7}	{'precision': 0.9090909090909091, 'recall': 0.7142857142857143, 'f1': 0.8, 'number': 14}	{'precision': 0.9, 'recall': 0.9, 'f1': 0.9, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.9411764705882353, 'recall': 1.0, 'f1': 0.9696969696969697, 'number': 144}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 10}	{'precision': 0.5882352941176471, 'recall': 1.0, 'f1': 0.7407407407407407, 'number': 10}	{'precision': 0.9754901960784313, 'recall': 0.9754901960784313, 'f1': 0.9754901960784313, 'number': 204}	{'precision': 0.9696969696969697, 'recall': 1.0, 'f1': 0.9846153846153847, 'number': 32}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.6428571428571429, 'recall': 1.0, 'f1': 0.782608695652174, 'number': 9}	{'precision': 0.75, 'recall': 0.9, 'f1': 0.8181818181818182, 'number': 10}	{'precision': 0.75, 'recall': 1.0, 'f1': 0.8571428571428571, 'number': 3}	{'precision': 1.0, 'recall': 0.9, 'f1': 0.9473684210526316, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.6363636363636364, 'recall': 0.7777777777777778, 'f1': 0.7000000000000001, 'number': 9}	0.9287	0.9153	0.9220	0.9805
0.1098	12.0	144	0.1056	{'precision': 1.0, 'recall': 0.8461538461538461, 'f1': 0.9166666666666666, 'number': 13}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7}	{'precision': 1.0, 'recall': 0.7857142857142857, 'f1': 0.88, 'number': 14}	{'precision': 0.9090909090909091, 'recall': 1.0, 'f1': 0.9523809523809523, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.9, 'recall': 0.6923076923076923, 'f1': 0.7826086956521738, 'number': 13}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7}	{'precision': 0.9090909090909091, 'recall': 0.7142857142857143, 'f1': 0.8, 'number': 14}	{'precision': 0.8888888888888888, 'recall': 0.8, 'f1': 0.8421052631578948, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.96, 'recall': 1.0, 'f1': 0.9795918367346939, 'number': 144}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 10}	{'precision': 0.5263157894736842, 'recall': 1.0, 'f1': 0.6896551724137931, 'number': 10}	{'precision': 0.9760765550239234, 'recall': 1.0, 'f1': 0.9878934624697336, 'number': 204}	{'precision': 0.9411764705882353, 'recall': 1.0, 'f1': 0.9696969696969697, 'number': 32}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.6428571428571429, 'recall': 1.0, 'f1': 0.782608695652174, 'number': 9}	{'precision': 0.9, 'recall': 0.9, 'f1': 0.9, 'number': 10}	{'precision': 0.75, 'recall': 1.0, 'f1': 0.8571428571428571, 'number': 3}	{'precision': 1.0, 'recall': 0.9, 'f1': 0.9473684210526316, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.6, 'recall': 0.6666666666666666, 'f1': 0.631578947368421, 'number': 9}	0.9330	0.9279	0.9304	0.9834
0.1024	13.0	156	0.0963	{'precision': 1.0, 'recall': 0.7692307692307693, 'f1': 0.8695652173913044, 'number': 13}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 10}	{'precision': 1.0, 'recall': 0.14285714285714285, 'f1': 0.25, 'number': 7}	{'precision': 1.0, 'recall': 0.7857142857142857, 'f1': 0.88, 'number': 14}	{'precision': 0.9090909090909091, 'recall': 1.0, 'f1': 0.9523809523809523, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.9, 'recall': 0.6923076923076923, 'f1': 0.7826086956521738, 'number': 13}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7}	{'precision': 0.9166666666666666, 'recall': 0.7857142857142857, 'f1': 0.8461538461538461, 'number': 14}	{'precision': 0.8888888888888888, 'recall': 0.8, 'f1': 0.8421052631578948, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.9536423841059603, 'recall': 1.0, 'f1': 0.976271186440678, 'number': 144}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 10}	{'precision': 0.5263157894736842, 'recall': 1.0, 'f1': 0.6896551724137931, 'number': 10}	{'precision': 0.9807692307692307, 'recall': 1.0, 'f1': 0.9902912621359222, 'number': 204}	{'precision': 0.9411764705882353, 'recall': 1.0, 'f1': 0.9696969696969697, 'number': 32}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.75, 'recall': 1.0, 'f1': 0.8571428571428571, 'number': 9}	{'precision': 0.8181818181818182, 'recall': 0.9, 'f1': 0.8571428571428572, 'number': 10}	{'precision': 0.75, 'recall': 1.0, 'f1': 0.8571428571428571, 'number': 3}	{'precision': 1.0, 'recall': 0.9, 'f1': 0.9473684210526316, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.6666666666666666, 'recall': 0.8888888888888888, 'f1': 0.761904761904762, 'number': 9}	0.9350	0.9333	0.9342	0.9846
0.0921	14.0	168	0.0926	{'precision': 1.0, 'recall': 0.8461538461538461, 'f1': 0.9166666666666666, 'number': 13}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 10}	{'precision': 1.0, 'recall': 0.14285714285714285, 'f1': 0.25, 'number': 7}	{'precision': 1.0, 'recall': 0.7857142857142857, 'f1': 0.88, 'number': 14}	{'precision': 0.9090909090909091, 'recall': 1.0, 'f1': 0.9523809523809523, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.9090909090909091, 'recall': 0.7692307692307693, 'f1': 0.8333333333333333, 'number': 13}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7}	{'precision': 0.9166666666666666, 'recall': 0.7857142857142857, 'f1': 0.8461538461538461, 'number': 14}	{'precision': 0.8888888888888888, 'recall': 0.8, 'f1': 0.8421052631578948, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.9664429530201343, 'recall': 1.0, 'f1': 0.9829351535836178, 'number': 144}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 10}	{'precision': 0.5263157894736842, 'recall': 1.0, 'f1': 0.6896551724137931, 'number': 10}	{'precision': 0.9807692307692307, 'recall': 1.0, 'f1': 0.9902912621359222, 'number': 204}	{'precision': 0.9411764705882353, 'recall': 1.0, 'f1': 0.9696969696969697, 'number': 32}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.75, 'recall': 1.0, 'f1': 0.8571428571428571, 'number': 9}	{'precision': 0.8181818181818182, 'recall': 0.9, 'f1': 0.8571428571428572, 'number': 10}	{'precision': 0.75, 'recall': 1.0, 'f1': 0.8571428571428571, 'number': 3}	{'precision': 1.0, 'recall': 0.9, 'f1': 0.9473684210526316, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.6363636363636364, 'recall': 0.7777777777777778, 'f1': 0.7000000000000001, 'number': 9}	0.9385	0.9351	0.9368	0.9851
0.1018	15.0	180	0.0901	{'precision': 1.0, 'recall': 0.8461538461538461, 'f1': 0.9166666666666666, 'number': 13}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 10}	{'precision': 1.0, 'recall': 0.14285714285714285, 'f1': 0.25, 'number': 7}	{'precision': 1.0, 'recall': 0.7857142857142857, 'f1': 0.88, 'number': 14}	{'precision': 0.9090909090909091, 'recall': 1.0, 'f1': 0.9523809523809523, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.8333333333333334, 'recall': 0.7692307692307693, 'f1': 0.8, 'number': 13}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7}	{'precision': 1.0, 'recall': 0.7857142857142857, 'f1': 0.88, 'number': 14}	{'precision': 0.9, 'recall': 0.9, 'f1': 0.9, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.9664429530201343, 'recall': 1.0, 'f1': 0.9829351535836178, 'number': 144}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 10}	{'precision': 0.5263157894736842, 'recall': 1.0, 'f1': 0.6896551724137931, 'number': 10}	{'precision': 0.9807692307692307, 'recall': 1.0, 'f1': 0.9902912621359222, 'number': 204}	{'precision': 0.9696969696969697, 'recall': 1.0, 'f1': 0.9846153846153847, 'number': 32}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.6923076923076923, 'recall': 1.0, 'f1': 0.8181818181818181, 'number': 9}	{'precision': 0.8181818181818182, 'recall': 0.9, 'f1': 0.8571428571428572, 'number': 10}	{'precision': 0.75, 'recall': 1.0, 'f1': 0.8571428571428571, 'number': 3}	{'precision': 1.0, 'recall': 0.9, 'f1': 0.9473684210526316, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.6363636363636364, 'recall': 0.7777777777777778, 'f1': 0.7000000000000001, 'number': 9}	0.9386	0.9369	0.9378	0.9851

Framework versions

• Transformers 4.44.2
• Pytorch 2.4.1+cu121
• Datasets 3.0.1
• Tokenizers 0.19.1