layoutlmv3-finetuned-label-studio-dataset-tender-0

This model is a fine-tuned version of microsoft/layoutlmv3-base on the None dataset. It achieves the following results on the evaluation set:

• Loss: 2.6953
• B-content: {'precision': 0.6, 'recall': 1.0, 'f1': 0.7499999999999999, 'number': 12}
• E-content: {'precision': 0.375, 'recall': 0.5, 'f1': 0.42857142857142855, 'number': 12}
• I-content: {'precision': 0.46788990825688076, 'recall': 0.8793103448275862, 'f1': 0.6107784431137725, 'number': 58}
• S-clause: {'precision': 0.5454545454545454, 'recall': 1.0, 'f1': 0.7058823529411764, 'number': 12}
• Overall Precision: 0.4850
• Overall Recall: 0.8617
• Overall F1: 0.6207
• Overall Accuracy: 0.5412

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 40

Training results

Training Loss	Epoch	Step	Validation Loss	B-content	E-content	I-content	S-clause	Overall Precision	Overall Recall	Overall F1	Overall Accuracy
No log	1.0	2	2.1763	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 12}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 12}	{'precision': 0.29896907216494845, 'recall': 1.0, 'f1': 0.4603174603174603, 'number': 58}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 12}	0.2990	0.6170	0.4028	0.2990
No log	2.0	4	2.6132	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 12}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 12}	{'precision': 0.29896907216494845, 'recall': 1.0, 'f1': 0.4603174603174603, 'number': 58}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 12}	0.2990	0.6170	0.4028	0.2990
No log	3.0	6	2.1486	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 12}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 12}	{'precision': 0.32044198895027626, 'recall': 1.0, 'f1': 0.48535564853556484, 'number': 58}	{'precision': 0.9230769230769231, 'recall': 1.0, 'f1': 0.9600000000000001, 'number': 12}	0.3608	0.7447	0.4861	0.3608
No log	4.0	8	2.2764	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 12}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 12}	{'precision': 0.34523809523809523, 'recall': 1.0, 'f1': 0.5132743362831858, 'number': 58}	{'precision': 0.8, 'recall': 1.0, 'f1': 0.888888888888889, 'number': 12}	0.3825	0.7447	0.5054	0.4175
0.5343	5.0	10	2.1199	{'precision': 0.875, 'recall': 0.5833333333333334, 'f1': 0.7000000000000001, 'number': 12}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 12}	{'precision': 0.3972602739726027, 'recall': 1.0, 'f1': 0.5686274509803921, 'number': 58}	{'precision': 0.48, 'recall': 1.0, 'f1': 0.6486486486486487, 'number': 12}	0.4302	0.8191	0.5641	0.4742
0.5343	6.0	12	2.2868	{'precision': 0.8461538461538461, 'recall': 0.9166666666666666, 'f1': 0.8799999999999999, 'number': 12}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 12}	{'precision': 0.4233576642335766, 'recall': 1.0, 'f1': 0.5948717948717949, 'number': 58}	{'precision': 0.5217391304347826, 'recall': 1.0, 'f1': 0.6857142857142856, 'number': 12}	0.4602	0.8617	0.6	0.5103
0.5343	7.0	14	2.1468	{'precision': 0.75, 'recall': 1.0, 'f1': 0.8571428571428571, 'number': 12}	{'precision': 0.3333333333333333, 'recall': 0.3333333333333333, 'f1': 0.3333333333333333, 'number': 12}	{'precision': 0.448, 'recall': 0.9655172413793104, 'f1': 0.6120218579234973, 'number': 58}	{'precision': 0.5217391304347826, 'recall': 1.0, 'f1': 0.6857142857142856, 'number': 12}	0.4773	0.8936	0.6222	0.5258
0.5343	8.0	16	2.4766	{'precision': 0.9230769230769231, 'recall': 1.0, 'f1': 0.9600000000000001, 'number': 12}	{'precision': 0.1, 'recall': 0.08333333333333333, 'f1': 0.0909090909090909, 'number': 12}	{'precision': 0.42962962962962964, 'recall': 1.0, 'f1': 0.6010362694300518, 'number': 58}	{'precision': 0.6666666666666666, 'recall': 1.0, 'f1': 0.8, 'number': 12}	0.4716	0.8830	0.6148	0.5206
0.5343	9.0	18	2.0313	{'precision': 0.7058823529411765, 'recall': 1.0, 'f1': 0.8275862068965517, 'number': 12}	{'precision': 0.3076923076923077, 'recall': 0.6666666666666666, 'f1': 0.42105263157894735, 'number': 12}	{'precision': 0.48214285714285715, 'recall': 0.9310344827586207, 'f1': 0.6352941176470589, 'number': 58}	{'precision': 0.5714285714285714, 'recall': 1.0, 'f1': 0.7272727272727273, 'number': 12}	0.4886	0.9149	0.6370	0.5361
0.0941	10.0	20	2.1493	{'precision': 0.75, 'recall': 1.0, 'f1': 0.8571428571428571, 'number': 12}	{'precision': 0.4, 'recall': 0.6666666666666666, 'f1': 0.5, 'number': 12}	{'precision': 0.4700854700854701, 'recall': 0.9482758620689655, 'f1': 0.6285714285714287, 'number': 58}	{'precision': 0.5217391304347826, 'recall': 1.0, 'f1': 0.6857142857142856, 'number': 12}	0.4943	0.9255	0.6444	0.5412
0.0941	11.0	22	2.2508	{'precision': 0.7333333333333333, 'recall': 0.9166666666666666, 'f1': 0.8148148148148148, 'number': 12}	{'precision': 0.4444444444444444, 'recall': 0.6666666666666666, 'f1': 0.5333333333333333, 'number': 12}	{'precision': 0.4745762711864407, 'recall': 0.9655172413793104, 'f1': 0.6363636363636365, 'number': 58}	{'precision': 0.5, 'recall': 1.0, 'f1': 0.6666666666666666, 'number': 12}	0.4971	0.9255	0.6468	0.5464
0.0941	12.0	24	2.0694	{'precision': 0.5789473684210527, 'recall': 0.9166666666666666, 'f1': 0.7096774193548387, 'number': 12}	{'precision': 0.37037037037037035, 'recall': 0.8333333333333334, 'f1': 0.5128205128205128, 'number': 12}	{'precision': 0.5096153846153846, 'recall': 0.9137931034482759, 'f1': 0.654320987654321, 'number': 58}	{'precision': 0.5, 'recall': 1.0, 'f1': 0.6666666666666666, 'number': 12}	0.4943	0.9149	0.6418	0.5464
0.0941	13.0	26	1.9536	{'precision': 0.5, 'recall': 0.9166666666666666, 'f1': 0.6470588235294118, 'number': 12}	{'precision': 0.3125, 'recall': 0.8333333333333334, 'f1': 0.45454545454545453, 'number': 12}	{'precision': 0.5416666666666666, 'recall': 0.896551724137931, 'f1': 0.6753246753246753, 'number': 58}	{'precision': 0.5, 'recall': 1.0, 'f1': 0.6666666666666666, 'number': 12}	0.4885	0.9043	0.6343	0.5412
0.0941	14.0	28	2.0867	{'precision': 0.55, 'recall': 0.9166666666666666, 'f1': 0.6874999999999999, 'number': 12}	{'precision': 0.38461538461538464, 'recall': 0.4166666666666667, 'f1': 0.4, 'number': 12}	{'precision': 0.4700854700854701, 'recall': 0.9482758620689655, 'f1': 0.6285714285714287, 'number': 58}	{'precision': 0.5, 'recall': 1.0, 'f1': 0.6666666666666666, 'number': 12}	0.4770	0.8830	0.6194	0.5309
0.0571	15.0	30	2.1491	{'precision': 0.6, 'recall': 1.0, 'f1': 0.7499999999999999, 'number': 12}	{'precision': 0.375, 'recall': 0.25, 'f1': 0.3, 'number': 12}	{'precision': 0.4435483870967742, 'recall': 0.9482758620689655, 'f1': 0.6043956043956044, 'number': 58}	{'precision': 0.5217391304347826, 'recall': 1.0, 'f1': 0.6857142857142856, 'number': 12}	0.4686	0.8723	0.6097	0.5206
0.0571	16.0	32	1.9610	{'precision': 0.5454545454545454, 'recall': 1.0, 'f1': 0.7058823529411764, 'number': 12}	{'precision': 0.36363636363636365, 'recall': 0.6666666666666666, 'f1': 0.4705882352941177, 'number': 12}	{'precision': 0.5, 'recall': 0.9137931034482759, 'f1': 0.6463414634146342, 'number': 58}	{'precision': 0.5454545454545454, 'recall': 1.0, 'f1': 0.7058823529411764, 'number': 12}	0.4942	0.9043	0.6391	0.5515
0.0571	17.0	34	1.9388	{'precision': 0.5, 'recall': 1.0, 'f1': 0.6666666666666666, 'number': 12}	{'precision': 0.3333333333333333, 'recall': 0.75, 'f1': 0.46153846153846156, 'number': 12}	{'precision': 0.5306122448979592, 'recall': 0.896551724137931, 'f1': 0.6666666666666666, 'number': 58}	{'precision': 0.5454545454545454, 'recall': 1.0, 'f1': 0.7058823529411764, 'number': 12}	0.4971	0.9043	0.6415	0.5567
0.0571	18.0	36	2.0249	{'precision': 0.5454545454545454, 'recall': 1.0, 'f1': 0.7058823529411764, 'number': 12}	{'precision': 0.3125, 'recall': 0.4166666666666667, 'f1': 0.35714285714285715, 'number': 12}	{'precision': 0.4864864864864865, 'recall': 0.9310344827586207, 'f1': 0.6390532544378699, 'number': 58}	{'precision': 0.5454545454545454, 'recall': 1.0, 'f1': 0.7058823529411764, 'number': 12}	0.4854	0.8830	0.6264	0.5412
0.0571	19.0	38	2.0500	{'precision': 0.5454545454545454, 'recall': 1.0, 'f1': 0.7058823529411764, 'number': 12}	{'precision': 0.2857142857142857, 'recall': 0.3333333333333333, 'f1': 0.30769230769230765, 'number': 12}	{'precision': 0.48672566371681414, 'recall': 0.9482758620689655, 'f1': 0.6432748538011696, 'number': 58}	{'precision': 0.5454545454545454, 'recall': 1.0, 'f1': 0.7058823529411764, 'number': 12}	0.4854	0.8830	0.6264	0.5412
0.0424	20.0	40	2.1047	{'precision': 0.5714285714285714, 'recall': 1.0, 'f1': 0.7272727272727273, 'number': 12}	{'precision': 0.3125, 'recall': 0.4166666666666667, 'f1': 0.35714285714285715, 'number': 12}	{'precision': 0.4954954954954955, 'recall': 0.9482758620689655, 'f1': 0.650887573964497, 'number': 58}	{'precision': 0.5454545454545454, 'recall': 1.0, 'f1': 0.7058823529411764, 'number': 12}	0.4941	0.8936	0.6364	0.5515
0.0424	21.0	42	2.0741	{'precision': 0.5217391304347826, 'recall': 1.0, 'f1': 0.6857142857142856, 'number': 12}	{'precision': 0.3, 'recall': 0.5, 'f1': 0.37499999999999994, 'number': 12}	{'precision': 0.5145631067961165, 'recall': 0.9137931034482759, 'f1': 0.6583850931677019, 'number': 58}	{'precision': 0.5454545454545454, 'recall': 1.0, 'f1': 0.7058823529411764, 'number': 12}	0.4940	0.8830	0.6336	0.5464
0.0424	22.0	44	2.1169	{'precision': 0.5217391304347826, 'recall': 1.0, 'f1': 0.6857142857142856, 'number': 12}	{'precision': 0.2857142857142857, 'recall': 0.5, 'f1': 0.36363636363636365, 'number': 12}	{'precision': 0.52, 'recall': 0.896551724137931, 'f1': 0.6582278481012658, 'number': 58}	{'precision': 0.5454545454545454, 'recall': 1.0, 'f1': 0.7058823529411764, 'number': 12}	0.4940	0.8723	0.6308	0.5515
0.0424	23.0	46	2.2235	{'precision': 0.5217391304347826, 'recall': 1.0, 'f1': 0.6857142857142856, 'number': 12}	{'precision': 0.35714285714285715, 'recall': 0.4166666666666667, 'f1': 0.3846153846153846, 'number': 12}	{'precision': 0.5046728971962616, 'recall': 0.9310344827586207, 'f1': 0.6545454545454545, 'number': 58}	{'precision': 0.5454545454545454, 'recall': 1.0, 'f1': 0.7058823529411764, 'number': 12}	0.5	0.8830	0.6385	0.5567
0.0424	24.0	48	2.2308	{'precision': 0.6, 'recall': 1.0, 'f1': 0.7499999999999999, 'number': 12}	{'precision': 0.375, 'recall': 0.5, 'f1': 0.42857142857142855, 'number': 12}	{'precision': 0.5, 'recall': 0.9137931034482759, 'f1': 0.6463414634146342, 'number': 58}	{'precision': 0.5454545454545454, 'recall': 1.0, 'f1': 0.7058823529411764, 'number': 12}	0.5061	0.8830	0.6434	0.5670
0.0217	25.0	50	2.2949	{'precision': 0.6, 'recall': 1.0, 'f1': 0.7499999999999999, 'number': 12}	{'precision': 0.4, 'recall': 0.5, 'f1': 0.4444444444444445, 'number': 12}	{'precision': 0.4818181818181818, 'recall': 0.9137931034482759, 'f1': 0.6309523809523809, 'number': 58}	{'precision': 0.5454545454545454, 'recall': 1.0, 'f1': 0.7058823529411764, 'number': 12}	0.4970	0.8830	0.6360	0.5515
0.0217	26.0	52	2.3328	{'precision': 0.5714285714285714, 'recall': 1.0, 'f1': 0.7272727272727273, 'number': 12}	{'precision': 0.375, 'recall': 0.5, 'f1': 0.42857142857142855, 'number': 12}	{'precision': 0.48148148148148145, 'recall': 0.896551724137931, 'f1': 0.6265060240963856, 'number': 58}	{'precision': 0.5454545454545454, 'recall': 1.0, 'f1': 0.7058823529411764, 'number': 12}	0.4910	0.8723	0.6284	0.5464
0.0217	27.0	54	2.3552	{'precision': 0.6666666666666666, 'recall': 1.0, 'f1': 0.8, 'number': 12}	{'precision': 0.35294117647058826, 'recall': 0.5, 'f1': 0.41379310344827586, 'number': 12}	{'precision': 0.48598130841121495, 'recall': 0.896551724137931, 'f1': 0.6303030303030304, 'number': 58}	{'precision': 0.5454545454545454, 'recall': 1.0, 'f1': 0.7058823529411764, 'number': 12}	0.5	0.8723	0.6357	0.5619
0.0217	28.0	56	2.3405	{'precision': 0.631578947368421, 'recall': 1.0, 'f1': 0.7741935483870968, 'number': 12}	{'precision': 0.35294117647058826, 'recall': 0.5, 'f1': 0.41379310344827586, 'number': 12}	{'precision': 0.49523809523809526, 'recall': 0.896551724137931, 'f1': 0.6380368098159509, 'number': 58}	{'precision': 0.5454545454545454, 'recall': 1.0, 'f1': 0.7058823529411764, 'number': 12}	0.5031	0.8723	0.6381	0.5670
0.0217	29.0	58	2.3587	{'precision': 0.6, 'recall': 1.0, 'f1': 0.7499999999999999, 'number': 12}	{'precision': 0.35294117647058826, 'recall': 0.5, 'f1': 0.41379310344827586, 'number': 12}	{'precision': 0.49038461538461536, 'recall': 0.8793103448275862, 'f1': 0.6296296296296297, 'number': 58}	{'precision': 0.5454545454545454, 'recall': 1.0, 'f1': 0.7058823529411764, 'number': 12}	0.4969	0.8617	0.6304	0.5619
0.0083	30.0	60	2.4256	{'precision': 0.6, 'recall': 1.0, 'f1': 0.7499999999999999, 'number': 12}	{'precision': 0.35294117647058826, 'recall': 0.5, 'f1': 0.41379310344827586, 'number': 12}	{'precision': 0.49038461538461536, 'recall': 0.8793103448275862, 'f1': 0.6296296296296297, 'number': 58}	{'precision': 0.5454545454545454, 'recall': 1.0, 'f1': 0.7058823529411764, 'number': 12}	0.4969	0.8617	0.6304	0.5619
0.0083	31.0	62	2.4869	{'precision': 0.6, 'recall': 1.0, 'f1': 0.7499999999999999, 'number': 12}	{'precision': 0.3333333333333333, 'recall': 0.5, 'f1': 0.4, 'number': 12}	{'precision': 0.4857142857142857, 'recall': 0.8793103448275862, 'f1': 0.6257668711656442, 'number': 58}	{'precision': 0.5454545454545454, 'recall': 1.0, 'f1': 0.7058823529411764, 'number': 12}	0.4909	0.8617	0.6255	0.5515
0.0083	32.0	64	2.5562	{'precision': 0.5714285714285714, 'recall': 1.0, 'f1': 0.7272727272727273, 'number': 12}	{'precision': 0.375, 'recall': 0.5, 'f1': 0.42857142857142855, 'number': 12}	{'precision': 0.4722222222222222, 'recall': 0.8793103448275862, 'f1': 0.6144578313253012, 'number': 58}	{'precision': 0.5454545454545454, 'recall': 1.0, 'f1': 0.7058823529411764, 'number': 12}	0.4850	0.8617	0.6207	0.5412
0.0083	33.0	66	2.6219	{'precision': 0.5714285714285714, 'recall': 1.0, 'f1': 0.7272727272727273, 'number': 12}	{'precision': 0.375, 'recall': 0.5, 'f1': 0.42857142857142855, 'number': 12}	{'precision': 0.4722222222222222, 'recall': 0.8793103448275862, 'f1': 0.6144578313253012, 'number': 58}	{'precision': 0.5454545454545454, 'recall': 1.0, 'f1': 0.7058823529411764, 'number': 12}	0.4850	0.8617	0.6207	0.5412
0.0083	34.0	68	2.6494	{'precision': 0.5714285714285714, 'recall': 1.0, 'f1': 0.7272727272727273, 'number': 12}	{'precision': 0.375, 'recall': 0.5, 'f1': 0.42857142857142855, 'number': 12}	{'precision': 0.4722222222222222, 'recall': 0.8793103448275862, 'f1': 0.6144578313253012, 'number': 58}	{'precision': 0.5454545454545454, 'recall': 1.0, 'f1': 0.7058823529411764, 'number': 12}	0.4850	0.8617	0.6207	0.5412
0.0042	35.0	70	2.6519	{'precision': 0.5714285714285714, 'recall': 1.0, 'f1': 0.7272727272727273, 'number': 12}	{'precision': 0.375, 'recall': 0.5, 'f1': 0.42857142857142855, 'number': 12}	{'precision': 0.4722222222222222, 'recall': 0.8793103448275862, 'f1': 0.6144578313253012, 'number': 58}	{'precision': 0.5454545454545454, 'recall': 1.0, 'f1': 0.7058823529411764, 'number': 12}	0.4850	0.8617	0.6207	0.5412
0.0042	36.0	72	2.6573	{'precision': 0.5714285714285714, 'recall': 1.0, 'f1': 0.7272727272727273, 'number': 12}	{'precision': 0.375, 'recall': 0.5, 'f1': 0.42857142857142855, 'number': 12}	{'precision': 0.4722222222222222, 'recall': 0.8793103448275862, 'f1': 0.6144578313253012, 'number': 58}	{'precision': 0.5454545454545454, 'recall': 1.0, 'f1': 0.7058823529411764, 'number': 12}	0.4850	0.8617	0.6207	0.5412
0.0042	37.0	74	2.6625	{'precision': 0.6, 'recall': 1.0, 'f1': 0.7499999999999999, 'number': 12}	{'precision': 0.375, 'recall': 0.5, 'f1': 0.42857142857142855, 'number': 12}	{'precision': 0.4722222222222222, 'recall': 0.8793103448275862, 'f1': 0.6144578313253012, 'number': 58}	{'precision': 0.5454545454545454, 'recall': 1.0, 'f1': 0.7058823529411764, 'number': 12}	0.4880	0.8617	0.6231	0.5464
0.0042	38.0	76	2.6773	{'precision': 0.6, 'recall': 1.0, 'f1': 0.7499999999999999, 'number': 12}	{'precision': 0.375, 'recall': 0.5, 'f1': 0.42857142857142855, 'number': 12}	{'precision': 0.4722222222222222, 'recall': 0.8793103448275862, 'f1': 0.6144578313253012, 'number': 58}	{'precision': 0.5454545454545454, 'recall': 1.0, 'f1': 0.7058823529411764, 'number': 12}	0.4880	0.8617	0.6231	0.5464
0.0042	39.0	78	2.6894	{'precision': 0.6, 'recall': 1.0, 'f1': 0.7499999999999999, 'number': 12}	{'precision': 0.375, 'recall': 0.5, 'f1': 0.42857142857142855, 'number': 12}	{'precision': 0.46788990825688076, 'recall': 0.8793103448275862, 'f1': 0.6107784431137725, 'number': 58}	{'precision': 0.5454545454545454, 'recall': 1.0, 'f1': 0.7058823529411764, 'number': 12}	0.4850	0.8617	0.6207	0.5412
0.0034	40.0	80	2.6953	{'precision': 0.6, 'recall': 1.0, 'f1': 0.7499999999999999, 'number': 12}	{'precision': 0.375, 'recall': 0.5, 'f1': 0.42857142857142855, 'number': 12}	{'precision': 0.46788990825688076, 'recall': 0.8793103448275862, 'f1': 0.6107784431137725, 'number': 58}	{'precision': 0.5454545454545454, 'recall': 1.0, 'f1': 0.7058823529411764, 'number': 12}	0.4850	0.8617	0.6207	0.5412

Framework versions

• Transformers 4.44.2
• Pytorch 2.5.0+cu121
• Datasets 3.1.0
• Tokenizers 0.19.1