pankajrajdeo/Bioformer-16L-UMLS-0.25-SpecialTokens

SentenceTransformer

This is a sentence-transformers model trained. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Maximum Sequence Length: 1024 tokens
• Output Dimensionality: 384 tokens
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 1024, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("pankajrajdeo/937457_bioformer_16L")
# Run inference
sentences = [
    'E Vicotrat',
    'Eosine I Bluish, Dipotassium Salt',
    'C2742706',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

• Size: 187,491,593 training samples
• Columns: anchor, positive, negative_id, positive_id, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative_id	positive_id	negative
  type	string	string	string	string	string
  details	min: 3 tokens mean: 13.27 tokens max: 247 tokens	min: 3 tokens mean: 12.25 tokens max: 157 tokens	min: 5 tokens mean: 6.27 tokens max: 7 tokens	min: 5 tokens mean: 6.49 tokens max: 7 tokens	min: 3 tokens mean: 13.53 tokens max: 118 tokens

• Samples:

  anchor	positive	negative_id	positive_id	negative
  Zaburzenie metabolizmu minerałów	Distúrbio não especificado do metabolismo de minerais	C2887914	C0154260	Acute alcoholic hepatic failure
  testy funkčnosti placenty	Metoder som brukes til å vurdere morkakefunksjon.	C2350391	C0032049	Hjärtmuskelscintigrafi
  Tsefapiriin:Susc:Pt:Is:OrdQn	cefapirina:susceptibilidad:punto en el tiempo:cepa clínica:ordinal o cuantitativo:	C0942365	C0801894	2 proyecciones:hallazgo:punto en el tiempo:tobillo.izquierdo:Narrativo:radiografía

• Loss: main.CustomTripletLoss with these parameters:

  {
      "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
      "triplet_margin": 5
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 50
• learning_rate: 2e-05
• num_train_epochs: 5
• warmup_ratio: 0.1
• fp16: True

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 50
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 5
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss
0.0003	1000	1.0069
0.0005	2000	0.9728
0.0008	3000	0.9549
0.0011	4000	0.9217
0.0013	5000	0.9116
0.0016	6000	0.8662
0.0019	7000	0.8412
0.0021	8000	0.7979
0.0024	9000	0.7829
0.0027	10000	0.7578
0.0029	11000	0.7402
0.0032	12000	0.7069
0.0035	13000	0.6906
0.0037	14000	0.6644
0.0040	15000	0.6516
0.0043	16000	0.6344
0.0045	17000	0.6395
0.0048	18000	0.6082
0.0051	19000	0.5944
0.0053	20000	0.5955
0.0056	21000	0.576
0.0059	22000	0.5723
0.0061	23000	0.5475
0.0064	24000	0.5452
0.0067	25000	0.5485
0.0069	26000	0.5143
0.0072	27000	0.5062
0.0075	28000	0.5118
0.0077	29000	0.4992
0.0080	30000	0.5031
0.0083	31000	0.4762
0.0085	32000	0.4773
0.0088	33000	0.4742
0.0091	34000	0.4692
0.0093	35000	0.464
0.0096	36000	0.4687
0.0099	37000	0.4592
0.0101	38000	0.4468
0.0104	39000	0.4425
0.0107	40000	0.4477
0.0109	41000	0.4336
0.0112	42000	0.4331
0.0115	43000	0.4248
0.0117	44000	0.4189
0.0120	45000	0.4147
0.0123	46000	0.4112
0.0125	47000	0.4051
0.0128	48000	0.399
0.0131	49000	0.3921
0.0133	50000	0.3917
0.0136	51000	0.4058
0.0139	52000	0.3843
0.0141	53000	0.3811
0.0144	54000	0.3733
0.0147	55000	0.3787
0.0149	56000	0.3859
0.0152	57000	0.3742
0.0155	58000	0.3682
0.0157	59000	0.3705
0.0160	60000	0.3483
0.0163	61000	0.3469
0.0165	62000	0.3586
0.0168	63000	0.3346
0.0171	64000	0.3474
0.0173	65000	0.3625
0.0176	66000	0.3501
0.0179	67000	0.3456
0.0181	68000	0.3383
0.0184	69000	0.3457
0.0187	70000	0.3437
0.0189	71000	0.3395
0.0192	72000	0.3399
0.0195	73000	0.324
0.0197	74000	0.338
0.0200	75000	0.3268
0.0203	76000	0.3298
0.0205	77000	0.3282
0.0208	78000	0.3356
0.0211	79000	0.3187
0.0213	80000	0.3155
0.0216	81000	0.3181
0.0219	82000	0.3085
0.0221	83000	0.3168
0.0224	84000	0.3162
0.0227	85000	0.3126
0.0229	86000	0.3026
0.0232	87000	0.3017
0.0235	88000	0.2963
0.0237	89000	0.3002
0.0240	90000	0.297
0.0243	91000	0.2993
0.0245	92000	0.306
0.0248	93000	0.2964
0.0251	94000	0.2992
0.0253	95000	0.2921
0.0256	96000	0.3103
0.0259	97000	0.2897
0.0261	98000	0.2843
0.0264	99000	0.2914
0.0267	100000	0.2952
0.0269	101000	0.2922
0.0272	102000	0.2807
0.0275	103000	0.2797
0.0277	104000	0.2849
0.0280	105000	0.2959
0.0283	106000	0.2823
0.0285	107000	0.2637
0.0288	108000	0.2804
0.0291	109000	0.2761
0.0293	110000	0.2821
0.0296	111000	0.2876
0.0299	112000	0.2699
0.0301	113000	0.2758
0.0304	114000	0.2802
0.0307	115000	0.2689
0.0309	116000	0.2871
0.0312	117000	0.2603
0.0315	118000	0.2728
0.0317	119000	0.2769
0.0320	120000	0.2527
0.0323	121000	0.2677
0.0325	122000	0.2748
0.0328	123000	0.2648
0.0331	124000	0.2645
0.0333	125000	0.2637
0.0336	126000	0.2613
0.0339	127000	0.261
0.0341	128000	0.2568
0.0344	129000	0.2611
0.0347	130000	0.2486
0.0349	131000	0.2535
0.0352	132000	0.2525
0.0355	133000	0.2457
0.0357	134000	0.2545
0.0360	135000	0.2596
0.0363	136000	0.2505
0.0365	137000	0.2454
0.0368	138000	0.2696
0.0371	139000	0.2567
0.0373	140000	0.2517
0.0376	141000	0.2436
0.0379	142000	0.2452
0.0381	143000	0.2427
0.0384	144000	0.2525
0.0387	145000	0.243
0.0389	146000	0.2417
0.0392	147000	0.2599
0.0395	148000	0.246
0.0397	149000	0.2379
0.0400	150000	0.2449
0.0403	151000	0.2333
0.0405	152000	0.2399
0.0408	153000	0.2409
0.0411	154000	0.2407
0.0413	155000	0.2369
0.0416	156000	0.2361
0.0419	157000	0.2331
0.0421	158000	0.232
0.0424	159000	0.2337
0.0427	160000	0.2331
0.0429	161000	0.2328
0.0432	162000	0.2278
0.0435	163000	0.2335
0.0437	164000	0.2301
0.0440	165000	0.2381
0.0443	166000	0.2298
0.0445	167000	0.2355
0.0448	168000	0.2254
0.0451	169000	0.2301
0.0453	170000	0.2319
0.0456	171000	0.2314
0.0459	172000	0.236
0.0461	173000	0.2348
0.0464	174000	0.231
0.0467	175000	0.2291
0.0469	176000	0.2246
0.0472	177000	0.2259
0.0475	178000	0.2254
0.0477	179000	0.2223
0.0480	180000	0.2285
0.0483	181000	0.2306
0.0485	182000	0.2233
0.0488	183000	0.2117
0.0491	184000	0.2219
0.0493	185000	0.2226
0.0496	186000	0.2161
0.0499	187000	0.2195
0.0501	188000	0.2208
0.0504	189000	0.2198
0.0507	190000	0.2236
0.0509	191000	0.2178
0.0512	192000	0.2087
0.0515	193000	0.2222
0.0517	194000	0.211
0.0520	195000	0.2287
0.0523	196000	0.2219
0.0525	197000	0.2096
0.0528	198000	0.2112
0.0531	199000	0.2108
0.0533	200000	0.2098
0.0536	201000	0.2176
0.0539	202000	0.2118
0.0541	203000	0.2248
0.0544	204000	0.2124
0.0547	205000	0.2133
0.0549	206000	0.2101
0.0552	207000	0.208
0.0555	208000	0.2129
0.0557	209000	0.208
0.0560	210000	0.2093
0.0563	211000	0.2123
0.0565	212000	0.205
0.0568	213000	0.2012
0.0571	214000	0.2078
0.0573	215000	0.2107
0.0576	216000	0.206
0.0579	217000	0.2055
0.0581	218000	0.2067
0.0584	219000	0.2143
0.0587	220000	0.204
0.0589	221000	0.2071
0.0592	222000	0.2026
0.0595	223000	0.1994
0.0597	224000	0.2045
0.0600	225000	0.2155
0.0603	226000	0.2075
0.0605	227000	0.195
0.0608	228000	0.2028
0.0611	229000	0.1973
0.0613	230000	0.2034
0.0616	231000	0.2039
0.0619	232000	0.1937
0.0621	233000	0.2
0.0624	234000	0.1958
0.0627	235000	0.1986
0.0629	236000	0.1975
0.0632	237000	0.2061
0.0635	238000	0.2021
0.0637	239000	0.1957
0.0640	240000	0.1997
0.0643	241000	0.1968
0.0645	242000	0.1881
0.0648	243000	0.2038
0.0651	244000	0.1991
0.0653	245000	0.1841
0.0656	246000	0.1919
0.0659	247000	0.187
0.0661	248000	0.1889
0.0664	249000	0.1987
0.0667	250000	0.1992
0.0669	251000	0.1913
0.0672	252000	0.1995
0.0675	253000	0.1875
0.0677	254000	0.1923
0.0680	255000	0.1773
0.0683	256000	0.1869
0.0685	257000	0.1975
0.0688	258000	0.1865
0.0691	259000	0.1889
0.0693	260000	0.1896
0.0696	261000	0.1829
0.0699	262000	0.1843
0.0701	263000	0.195
0.0704	264000	0.1818
0.0707	265000	0.1855
0.0709	266000	0.1841
0.0712	267000	0.1889
0.0715	268000	0.1814
0.0717	269000	0.1917
0.0720	270000	0.1862
0.0723	271000	0.1869
0.0725	272000	0.1859
0.0728	273000	0.182
0.0731	274000	0.1896
0.0733	275000	0.1936
0.0736	276000	0.1846
0.0739	277000	0.18
0.0741	278000	0.1812
0.0744	279000	0.1859
0.0747	280000	0.1785
0.0749	281000	0.1806
0.0752	282000	0.182
0.0755	283000	0.1848
0.0757	284000	0.1798
0.0760	285000	0.1853
0.0763	286000	0.1834
0.0765	287000	0.1815
0.0768	288000	0.1819
0.0771	289000	0.1808
0.0773	290000	0.1851
0.0776	291000	0.1823
0.0779	292000	0.179
0.0781	293000	0.1825
0.0784	294000	0.1751
0.0787	295000	0.1778
0.0789	296000	0.1773
0.0792	297000	0.1795
0.0795	298000	0.1854
0.0797	299000	0.1818
0.0800	300000	0.1734
0.0803	301000	0.1787
0.0805	302000	0.1807
0.0808	303000	0.1817
0.0811	304000	0.1722
0.0813	305000	0.1762
0.0816	306000	0.1741
0.0819	307000	0.1754
0.0821	308000	0.1713
0.0824	309000	0.1724
0.0827	310000	0.1745
0.0829	311000	0.1774
0.0832	312000	0.1763
0.0835	313000	0.1768
0.0837	314000	0.1717
0.0840	315000	0.1692
0.0843	316000	0.1721
0.0845	317000	0.1673
0.0848	318000	0.1762
0.0851	319000	0.1784
0.0853	320000	0.1697
0.0856	321000	0.172
0.0859	322000	0.1658
0.0861	323000	0.1761
0.0864	324000	0.1729
0.0867	325000	0.1672
0.0869	326000	0.1671
0.0872	327000	0.1685
0.0875	328000	0.1729
0.0877	329000	0.166
0.0880	330000	0.1712
0.0883	331000	0.1737
0.0885	332000	0.1723
0.0888	333000	0.1705
0.0891	334000	0.1718
0.0893	335000	0.1689
0.0896	336000	0.1747
0.0899	337000	0.1696
0.0901	338000	0.1712
0.0904	339000	0.1674
0.0907	340000	0.1709
0.0909	341000	0.169
0.0912	342000	0.1714
0.0915	343000	0.1544
0.0917	344000	0.1755
0.0920	345000	0.1689
0.0923	346000	0.1561
0.0925	347000	0.1712
0.0928	348000	0.1583
0.0931	349000	0.159
0.0933	350000	0.1715
0.0936	351000	0.1608
0.0939	352000	0.1703
0.0941	353000	0.1682
0.0944	354000	0.1622
0.0947	355000	0.1663
0.0949	356000	0.1632
0.0952	357000	0.1663
0.0955	358000	0.1643
0.0957	359000	0.1674
0.0960	360000	0.1634
0.0963	361000	0.1616
0.0965	362000	0.1691
0.0968	363000	0.1594
0.0971	364000	0.1589
0.0973	365000	0.1568
0.0976	366000	0.1586
0.0979	367000	0.1555
0.0981	368000	0.161
0.0984	369000	0.1615
0.0987	370000	0.1691
0.0989	371000	0.151
0.0992	372000	0.1653
0.0995	373000	0.1545
0.0997	374000	0.1627
0.1000	375000	0.1688
0.1003	376000	0.1594
0.1005	377000	0.1619
0.1008	378000	0.1517
0.1011	379000	0.1605
0.1013	380000	0.1576
0.1016	381000	0.1589
0.1019	382000	0.1643
0.1021	383000	0.164
0.1024	384000	0.158
0.1027	385000	0.1584
0.1029	386000	0.1565
0.1032	387000	0.1566
0.1035	388000	0.1625
0.1037	389000	0.1569
0.1040	390000	0.159
0.1043	391000	0.1541
0.1045	392000	0.159
0.1048	393000	0.1536
0.1051	394000	0.166
0.1053	395000	0.1639
0.1056	396000	0.1491
0.1059	397000	0.1567
0.1061	398000	0.1566
0.1064	399000	0.1641
0.1067	400000	0.1552
0.1069	401000	0.1476
0.1072	402000	0.157
0.1075	403000	0.1538
0.1077	404000	0.152
0.1080	405000	0.1525
0.1083	406000	0.155
0.1085	407000	0.1538
0.1088	408000	0.1506
0.1091	409000	0.1481
0.1093	410000	0.1603
0.1096	411000	0.1509
0.1099	412000	0.1628
0.1101	413000	0.151
0.1104	414000	0.1581
0.1107	415000	0.1511
0.1109	416000	0.1552
0.1112	417000	0.1553
0.1115	418000	0.1508
0.1117	419000	0.1515
0.1120	420000	0.1526
0.1123	421000	0.15
0.1125	422000	0.1497
0.1128	423000	0.1526
0.1131	424000	0.1547
0.1133	425000	0.151
0.1136	426000	0.1471
0.1139	427000	0.1576
0.1141	428000	0.1522
0.1144	429000	0.1506
0.1147	430000	0.1495
0.1149	431000	0.1518
0.1152	432000	0.1467
0.1155	433000	0.1511
0.1157	434000	0.1516
0.1160	435000	0.1476
0.1163	436000	0.1526
0.1165	437000	0.1474
0.1168	438000	0.1445
0.1171	439000	0.1408
0.1173	440000	0.1412
0.1176	441000	0.1445
0.1179	442000	0.145
0.1181	443000	0.1402
0.1184	444000	0.154
0.1187	445000	0.1446
0.1189	446000	0.1476
0.1192	447000	0.1565
0.1195	448000	0.1409
0.1197	449000	0.1511
0.1200	450000	0.139
0.1203	451000	0.1463
0.1205	452000	0.1453
0.1208	453000	0.1432
0.1211	454000	0.1559
0.1213	455000	0.1354
0.1216	456000	0.1419
0.1219	457000	0.1452
0.1221	458000	0.147
0.1224	459000	0.1453
0.1227	460000	0.153
0.1229	461000	0.1496
0.1232	462000	0.1464
0.1235	463000	0.1423
0.1237	464000	0.1403
0.1240	465000	0.1458
0.1243	466000	0.1508
0.1245	467000	0.1442
0.1248	468000	0.1521
0.1251	469000	0.1424
0.1253	470000	0.1545
0.1256	471000	0.1389
0.1259	472000	0.1408
0.1261	473000	0.1398
0.1264	474000	0.1333
0.1267	475000	0.1436
0.1269	476000	0.1423
0.1272	477000	0.1393
0.1275	478000	0.1465
0.1277	479000	0.1484
0.1280	480000	0.1412
0.1283	481000	0.143
0.1285	482000	0.139
0.1288	483000	0.1447
0.1291	484000	0.1388
0.1293	485000	0.1414
0.1296	486000	0.1444
0.1299	487000	0.1365
0.1301	488000	0.1403
0.1304	489000	0.1398
0.1307	490000	0.1302
0.1309	491000	0.1443
0.1312	492000	0.1402
0.1315	493000	0.1451
0.1317	494000	0.1397
0.1320	495000	0.137
0.1323	496000	0.1493
0.1325	497000	0.1415
0.1328	498000	0.1365
0.1331	499000	0.1323
0.1333	500000	0.1384
0.1336	501000	0.1307
0.1339	502000	0.1385
0.1341	503000	0.1394
0.1344	504000	0.1393
0.1347	505000	0.1455
0.1349	506000	0.1374
0.1352	507000	0.1381
0.1355	508000	0.1363
0.1357	509000	0.1392
0.1360	510000	0.1399
0.1363	511000	0.1356
0.1365	512000	0.1395
0.1368	513000	0.1402
0.1371	514000	0.1382
0.1373	515000	0.1408
0.1376	516000	0.1398
0.1379	517000	0.1405
0.1381	518000	0.1351
0.1384	519000	0.1371
0.1387	520000	0.1302
0.1389	521000	0.14
0.1392	522000	0.1363
0.1395	523000	0.1313
0.1397	524000	0.1299
0.1400	525000	0.1372
0.1403	526000	0.1416
0.1405	527000	0.1295
0.1408	528000	0.1359
0.1411	529000	0.1383
0.1413	530000	0.1378
0.1416	531000	0.135
0.1419	532000	0.1405
0.1421	533000	0.14
0.1424	534000	0.1321
0.1427	535000	0.1303
0.1429	536000	0.1319
0.1432	537000	0.1312
0.1435	538000	0.1338
0.1437	539000	0.1361
0.1440	540000	0.139
0.1443	541000	0.1364
0.1445	542000	0.1316
0.1448	543000	0.1331
0.1451	544000	0.1269
0.1453	545000	0.1294
0.1456	546000	0.135
0.1459	547000	0.1328
0.1461	548000	0.1296
0.1464	549000	0.1305
0.1467	550000	0.1334
0.1469	551000	0.1362
0.1472	552000	0.1318
0.1475	553000	0.1312
0.1477	554000	0.1293
0.1480	555000	0.1324
0.1483	556000	0.1256
0.1485	557000	0.1227
0.1488	558000	0.1239
0.1491	559000	0.1287
0.1493	560000	0.1307
0.1496	561000	0.1336
0.1499	562000	0.133
0.1501	563000	0.1278
0.1504	564000	0.1339
0.1507	565000	0.1321
0.1509	566000	0.1322
0.1512	567000	0.1262
0.1515	568000	0.1331
0.1517	569000	0.1361
0.1520	570000	0.1307
0.1523	571000	0.133
0.1525	572000	0.1293
0.1528	573000	0.1283
0.1531	574000	0.1275
0.1533	575000	0.1329
0.1536	576000	0.1307
0.1539	577000	0.1245
0.1541	578000	0.1313
0.1544	579000	0.1256
0.1547	580000	0.1257
0.1549	581000	0.1194
0.1552	582000	0.125
0.1555	583000	0.1345
0.1557	584000	0.1308
0.1560	585000	0.1318
0.1563	586000	0.1348
0.1565	587000	0.1231
0.1568	588000	0.1282
0.1571	589000	0.1281
0.1573	590000	0.1221
0.1576	591000	0.1234
0.1579	592000	0.1334
0.1581	593000	0.1249
0.1584	594000	0.1216
0.1587	595000	0.1295
0.1589	596000	0.1191
0.1592	597000	0.1267
0.1595	598000	0.1273
0.1597	599000	0.124
0.1600	600000	0.1271
0.1603	601000	0.1284
0.1605	602000	0.1285
0.1608	603000	0.1288
0.1611	604000	0.1252
0.1613	605000	0.1255
0.1616	606000	0.1289
0.1619	607000	0.1294
0.1621	608000	0.1294
0.1624	609000	0.1288
0.1627	610000	0.1336
0.1629	611000	0.125
0.1632	612000	0.1288
0.1635	613000	0.122
0.1637	614000	0.1204
0.1640	615000	0.1245
0.1643	616000	0.1303
0.1645	617000	0.1187
0.1648	618000	0.1223
0.1651	619000	0.1311
0.1653	620000	0.1202
0.1656	621000	0.1271
0.1659	622000	0.1218
0.1661	623000	0.1218
0.1664	624000	0.1247
0.1667	625000	0.1289
0.1669	626000	0.1261
0.1672	627000	0.1262
0.1675	628000	0.1251
0.1677	629000	0.1271
0.1680	630000	0.1243
0.1683	631000	0.1266
0.1685	632000	0.1257
0.1688	633000	0.1215
0.1691	634000	0.1236
0.1693	635000	0.1267
0.1696	636000	0.1209
0.1699	637000	0.1188
0.1701	638000	0.1267
0.1704	639000	0.1259
0.1707	640000	0.1225
0.1709	641000	0.1183
0.1712	642000	0.1202
0.1715	643000	0.1279
0.1717	644000	0.1191
0.1720	645000	0.1206
0.1723	646000	0.1178
0.1725	647000	0.1234
0.1728	648000	0.1259
0.1731	649000	0.1227
0.1733	650000	0.1211
0.1736	651000	0.1216
0.1739	652000	0.1182
0.1741	653000	0.1205
0.1744	654000	0.1187
0.1747	655000	0.1144
0.1749	656000	0.1216
0.1752	657000	0.1287
0.1755	658000	0.122
0.1757	659000	0.1213
0.1760	660000	0.1217
0.1763	661000	0.1256
0.1765	662000	0.1227
0.1768	663000	0.1219
0.1771	664000	0.1261
0.1773	665000	0.1169
0.1776	666000	0.1192
0.1779	667000	0.1187
0.1781	668000	0.1117
0.1784	669000	0.1189
0.1787	670000	0.12
0.1789	671000	0.1204
0.1792	672000	0.1208
0.1795	673000	0.119
0.1797	674000	0.1161
0.1800	675000	0.1167
0.1803	676000	0.1235
0.1805	677000	0.1276
0.1808	678000	0.1188
0.1811	679000	0.1135
0.1813	680000	0.1187
0.1816	681000	0.1165
0.1819	682000	0.1224
0.1821	683000	0.125
0.1824	684000	0.1146
0.1827	685000	0.1162
0.1829	686000	0.1172
0.1832	687000	0.1197
0.1835	688000	0.113
0.1837	689000	0.1216
0.1840	690000	0.1144
0.1843	691000	0.1274
0.1845	692000	0.1136
0.1848	693000	0.1202
0.1851	694000	0.1249
0.1853	695000	0.1195
0.1856	696000	0.1158
0.1859	697000	0.1145
0.1861	698000	0.1187
0.1864	699000	0.1173
0.1867	700000	0.1181
0.1869	701000	0.1236
0.1872	702000	0.1223
0.1875	703000	0.1147
0.1877	704000	0.1197
0.1880	705000	0.1125
0.1883	706000	0.1175
0.1885	707000	0.1239
0.1888	708000	0.1263
0.1891	709000	0.1229
0.1893	710000	0.1202
0.1896	711000	0.1159
0.1899	712000	0.1232
0.1901	713000	0.1197
0.1904	714000	0.121
0.1907	715000	0.1189
0.1909	716000	0.1183
0.1912	717000	0.1091
0.1915	718000	0.1186
0.1917	719000	0.115
0.1920	720000	0.1146
0.1923	721000	0.1165
0.1925	722000	0.1192
0.1928	723000	0.1163
0.1931	724000	0.1162
0.1933	725000	0.1156
0.1936	726000	0.1218
0.1939	727000	0.1154
0.1941	728000	0.1131
0.1944	729000	0.118
0.1947	730000	0.1156
0.1949	731000	0.1193
0.1952	732000	0.1143
0.1955	733000	0.1211
0.1957	734000	0.1187
0.1960	735000	0.12
0.1963	736000	0.1164
0.1965	737000	0.1173
0.1968	738000	0.1151
0.1971	739000	0.1143
0.1973	740000	0.1141
0.1976	741000	0.1174
0.1979	742000	0.1185
0.1981	743000	0.1133
0.1984	744000	0.1174
0.1987	745000	0.1154
0.1989	746000	0.1138
0.1992	747000	0.1203
0.1995	748000	0.1119
0.1997	749000	0.111
0.2000	750000	0.1174
0.2003	751000	0.1204
0.2005	752000	0.1177
0.2008	753000	0.1139
0.2011	754000	0.1138
0.2013	755000	0.1179
0.2016	756000	0.1094
0.2019	757000	0.1092
0.2021	758000	0.1108
0.2024	759000	0.1125
0.2027	760000	0.1202
0.2029	761000	0.1119
0.2032	762000	0.1151
0.2035	763000	0.1169
0.2037	764000	0.1109
0.2040	765000	0.1112
0.2043	766000	0.1102
0.2045	767000	0.119
0.2048	768000	0.1131
0.2051	769000	0.1155
0.2053	770000	0.1133
0.2056	771000	0.1127
0.2059	772000	0.1116
0.2061	773000	0.1122
0.2064	774000	0.1151
0.2067	775000	0.1163
0.2069	776000	0.1162
0.2072	777000	0.1096
0.2075	778000	0.1151
0.2077	779000	0.1156
0.2080	780000	0.1135
0.2083	781000	0.1084
0.2085	782000	0.114
0.2088	783000	0.1128
0.2091	784000	0.1142
0.2093	785000	0.1092
0.2096	786000	0.1067
0.2099	787000	0.1156
0.2101	788000	0.1094
0.2104	789000	0.1078
0.2107	790000	0.1133
0.2109	791000	0.1165
0.2112	792000	0.1116
0.2115	793000	0.1111
0.2117	794000	0.1086
0.2120	795000	0.1114
0.2123	796000	0.1069
0.2125	797000	0.1094
0.2128	798000	0.1125
0.2131	799000	0.112
0.2133	800000	0.1107
0.2136	801000	0.1085
0.2139	802000	0.1067
0.2141	803000	0.1149
0.2144	804000	0.1068
0.2147	805000	0.1124
0.2149	806000	0.1109
0.2152	807000	0.1094
0.2155	808000	0.1097
0.2157	809000	0.1106
0.2160	810000	0.1152
0.2163	811000	0.1123
0.2165	812000	0.1102
0.2168	813000	0.11
0.2171	814000	0.1
0.2173	815000	0.1127
0.2176	816000	0.1135
0.2179	817000	0.1127
0.2181	818000	0.108
0.2184	819000	0.1119
0.2187	820000	0.1103
0.2189	821000	0.1084
0.2192	822000	0.1076
0.2195	823000	0.1145
0.2197	824000	0.109
0.2200	825000	0.1119
0.2203	826000	0.1117
0.2205	827000	0.1117
0.2208	828000	0.1062
0.2211	829000	0.1113
0.2213	830000	0.1101
0.2216	831000	0.1053
0.2219	832000	0.1122
0.2221	833000	0.1091
0.2224	834000	0.1106
0.2227	835000	0.1062
0.2229	836000	0.1091
0.2232	837000	0.1144
0.2235	838000	0.1106
0.2237	839000	0.1058
0.2240	840000	0.1085
0.2243	841000	0.1154
0.2245	842000	0.1096
0.2248	843000	0.1062
0.2251	844000	0.1089
0.2253	845000	0.108
0.2256	846000	0.1086
0.2259	847000	0.1084
0.2261	848000	0.1056
0.2264	849000	0.1042
0.2267	850000	0.1204
0.2269	851000	0.1053
0.2272	852000	0.1053
0.2275	853000	0.1065
0.2277	854000	0.1157
0.2280	855000	0.1112
0.2283	856000	0.1058
0.2285	857000	0.1084
0.2288	858000	0.1066
0.2291	859000	0.1116
0.2293	860000	0.1047
0.2296	861000	0.1145
0.2299	862000	0.1094
0.2301	863000	0.1108
0.2304	864000	0.1038
0.2307	865000	0.1044
0.2309	866000	0.106
0.2312	867000	0.105
0.2315	868000	0.108
0.2317	869000	0.1108
0.2320	870000	0.113
0.2323	871000	0.108
0.2325	872000	0.1069
0.2328	873000	0.1098
0.2331	874000	0.1021
0.2333	875000	0.109
0.2336	876000	0.1104
0.2339	877000	0.1043
0.2341	878000	0.1057
0.2344	879000	0.105
0.2347	880000	0.1042
0.2349	881000	0.1116
0.2352	882000	0.1151
0.2355	883000	0.1043
0.2357	884000	0.1023
0.2360	885000	0.1084
0.2363	886000	0.1103
0.2365	887000	0.1028
0.2368	888000	0.1055
0.2371	889000	0.1023
0.2373	890000	0.1099
0.2376	891000	0.1037
0.2379	892000	0.1068
0.2381	893000	0.1128
0.2384	894000	0.1023
0.2387	895000	0.1023
0.2389	896000	0.106
0.2392	897000	0.1005
0.2395	898000	0.1013
0.2397	899000	0.1131
0.2400	900000	0.107
0.2403	901000	0.1096
0.2405	902000	0.0963
0.2408	903000	0.1076
0.2411	904000	0.102
0.2413	905000	0.1147
0.2416	906000	0.1111
0.2419	907000	0.1035
0.2421	908000	0.1059
0.2424	909000	0.1037
0.2427	910000	0.1047
0.2429	911000	0.1049
0.2432	912000	0.1097
0.2435	913000	0.1062
0.2437	914000	0.1016
0.2440	915000	0.1061
0.2443	916000	0.1089
0.2445	917000	0.1032
0.2448	918000	0.1053
0.2451	919000	0.1075
0.2453	920000	0.1048
0.2456	921000	0.1007
0.2459	922000	0.11
0.2461	923000	0.1034
0.2464	924000	0.1059
0.2467	925000	0.1063
0.2469	926000	0.1051
0.2472	927000	0.1064
0.2475	928000	0.0986
0.2477	929000	0.1037
0.2480	930000	0.1093
0.2483	931000	0.102
0.2485	932000	0.0985
0.2488	933000	0.1023
0.2491	934000	0.104
0.2493	935000	0.1108
0.2496	936000	0.1061
0.2499	937000	0.1053

Framework Versions

• Python: 3.12.2
• Sentence Transformers: 3.2.1
• Transformers: 4.45.2
• PyTorch: 2.5.0
• Accelerate: 1.0.1
• Datasets: 3.0.1
• Tokenizers: 0.20.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CustomTripletLoss

@misc{hermans2017defense,
    title={In Defense of the Triplet Loss for Person Re-Identification},
    author={Alexander Hermans and Lucas Beyer and Bastian Leibe},
    year={2017},
    eprint={1703.07737},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}