pankajrajdeo's picture
Add special tokens [TEXT], [YEAR_RANGE]
18c2884 verified
metadata
library_name: sentence-transformers
pipeline_tag: sentence-similarity
tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - generated_from_trainer
  - dataset_size:187491593
  - loss:CustomTripletLoss
widget:
  - source_sentence: Hylocharis xantusii
    sentences:
      - Xantus's hummingbird
      - C5721346
      - C1623532
      - Iole viridescens viridescens
  - source_sentence: HTLV1+2 RNA XXX Ql PCR
    sentences:
      - HTLV 1+2 RNA:MevcEşik:Zmlı:XXX:Srl:Prob.amf.hdf
      - >-
        Nota de progreso:Tipo:Punto temporal:{Configuración}:Documento:Pain
        medicine
      - C0368469
      - C4070921
  - source_sentence: Degeneração Nigroestriatal
    sentences:
      - C0270733
      - >-
        hiperinsulinismo debido a deficiencia de 3-hidroxiacil-coenzima A
        deshidrogenasa de cadena corta
      - Striatonigral atrophy
      - C4303473
  - source_sentence: Clostridioides difficile As:titer:moment:serum:semikwantitatief
    sentences:
      - Dehidroepiandrosteron:MevcEşik:Zmlı:İdrar:Srl
      - C0485219
      - C0364328
      - Clostridium difficile Ac:Título:Pt:Soro:Qn
  - source_sentence: E Vicotrat
    sentences:
      - C2742706
      - C2350910
      - germanium L-cysteine alpha-tocopherol complex
      - Eosine I Bluish, Dipotassium Salt

SentenceTransformer

This is a sentence-transformers model trained. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Maximum Sequence Length: 1024 tokens
  • Output Dimensionality: 384 tokens
  • Similarity Function: Cosine Similarity

Model Sources

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 1024, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("pankajrajdeo/937457_bioformer_16L")
# Run inference
sentences = [
    'E Vicotrat',
    'Eosine I Bluish, Dipotassium Salt',
    'C2742706',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

  • Size: 187,491,593 training samples
  • Columns: anchor, positive, negative_id, positive_id, and negative
  • Approximate statistics based on the first 1000 samples:
    anchor positive negative_id positive_id negative
    type string string string string string
    details
    • min: 3 tokens
    • mean: 13.27 tokens
    • max: 247 tokens
    • min: 3 tokens
    • mean: 12.25 tokens
    • max: 157 tokens
    • min: 5 tokens
    • mean: 6.27 tokens
    • max: 7 tokens
    • min: 5 tokens
    • mean: 6.49 tokens
    • max: 7 tokens
    • min: 3 tokens
    • mean: 13.53 tokens
    • max: 118 tokens
  • Samples:
    anchor positive negative_id positive_id negative
    Zaburzenie metabolizmu minerałów Distúrbio não especificado do metabolismo de minerais C2887914 C0154260 Acute alcoholic hepatic failure
    testy funkčnosti placenty Metoder som brukes til å vurdere morkakefunksjon. C2350391 C0032049 Hjärtmuskelscintigrafi
    Tsefapiriin:Susc:Pt:Is:OrdQn cefapirina:susceptibilidad:punto en el tiempo:cepa clínica:ordinal o cuantitativo: C0942365 C0801894 2 proyecciones:hallazgo:punto en el tiempo:tobillo.izquierdo:Narrativo:radiografía
  • Loss: main.CustomTripletLoss with these parameters:
    {
        "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
        "triplet_margin": 5
    }
    

Training Hyperparameters

Non-Default Hyperparameters

  • per_device_train_batch_size: 50
  • learning_rate: 2e-05
  • num_train_epochs: 5
  • warmup_ratio: 0.1
  • fp16: True

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • eval_strategy: no
  • prediction_loss_only: True
  • per_device_train_batch_size: 50
  • per_device_eval_batch_size: 8
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 1
  • eval_accumulation_steps: None
  • torch_empty_cache_steps: None
  • learning_rate: 2e-05
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1.0
  • num_train_epochs: 5
  • max_steps: -1
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.1
  • warmup_steps: 0
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • use_ipex: False
  • bf16: False
  • fp16: True
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: False
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adamw_torch
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: False
  • resume_from_checkpoint: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_private_repo: False
  • hub_always_push: False
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • eval_do_concat_batches: True
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • dispatch_batches: None
  • split_batches: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: False
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • eval_on_start: False
  • use_liger_kernel: False
  • eval_use_gather_object: False
  • batch_sampler: batch_sampler
  • multi_dataset_batch_sampler: proportional

Training Logs

Click to expand
Epoch Step Training Loss
0.0003 1000 1.0069
0.0005 2000 0.9728
0.0008 3000 0.9549
0.0011 4000 0.9217
0.0013 5000 0.9116
0.0016 6000 0.8662
0.0019 7000 0.8412
0.0021 8000 0.7979
0.0024 9000 0.7829
0.0027 10000 0.7578
0.0029 11000 0.7402
0.0032 12000 0.7069
0.0035 13000 0.6906
0.0037 14000 0.6644
0.0040 15000 0.6516
0.0043 16000 0.6344
0.0045 17000 0.6395
0.0048 18000 0.6082
0.0051 19000 0.5944
0.0053 20000 0.5955
0.0056 21000 0.576
0.0059 22000 0.5723
0.0061 23000 0.5475
0.0064 24000 0.5452
0.0067 25000 0.5485
0.0069 26000 0.5143
0.0072 27000 0.5062
0.0075 28000 0.5118
0.0077 29000 0.4992
0.0080 30000 0.5031
0.0083 31000 0.4762
0.0085 32000 0.4773
0.0088 33000 0.4742
0.0091 34000 0.4692
0.0093 35000 0.464
0.0096 36000 0.4687
0.0099 37000 0.4592
0.0101 38000 0.4468
0.0104 39000 0.4425
0.0107 40000 0.4477
0.0109 41000 0.4336
0.0112 42000 0.4331
0.0115 43000 0.4248
0.0117 44000 0.4189
0.0120 45000 0.4147
0.0123 46000 0.4112
0.0125 47000 0.4051
0.0128 48000 0.399
0.0131 49000 0.3921
0.0133 50000 0.3917
0.0136 51000 0.4058
0.0139 52000 0.3843
0.0141 53000 0.3811
0.0144 54000 0.3733
0.0147 55000 0.3787
0.0149 56000 0.3859
0.0152 57000 0.3742
0.0155 58000 0.3682
0.0157 59000 0.3705
0.0160 60000 0.3483
0.0163 61000 0.3469
0.0165 62000 0.3586
0.0168 63000 0.3346
0.0171 64000 0.3474
0.0173 65000 0.3625
0.0176 66000 0.3501
0.0179 67000 0.3456
0.0181 68000 0.3383
0.0184 69000 0.3457
0.0187 70000 0.3437
0.0189 71000 0.3395
0.0192 72000 0.3399
0.0195 73000 0.324
0.0197 74000 0.338
0.0200 75000 0.3268
0.0203 76000 0.3298
0.0205 77000 0.3282
0.0208 78000 0.3356
0.0211 79000 0.3187
0.0213 80000 0.3155
0.0216 81000 0.3181
0.0219 82000 0.3085
0.0221 83000 0.3168
0.0224 84000 0.3162
0.0227 85000 0.3126
0.0229 86000 0.3026
0.0232 87000 0.3017
0.0235 88000 0.2963
0.0237 89000 0.3002
0.0240 90000 0.297
0.0243 91000 0.2993
0.0245 92000 0.306
0.0248 93000 0.2964
0.0251 94000 0.2992
0.0253 95000 0.2921
0.0256 96000 0.3103
0.0259 97000 0.2897
0.0261 98000 0.2843
0.0264 99000 0.2914
0.0267 100000 0.2952
0.0269 101000 0.2922
0.0272 102000 0.2807
0.0275 103000 0.2797
0.0277 104000 0.2849
0.0280 105000 0.2959
0.0283 106000 0.2823
0.0285 107000 0.2637
0.0288 108000 0.2804
0.0291 109000 0.2761
0.0293 110000 0.2821
0.0296 111000 0.2876
0.0299 112000 0.2699
0.0301 113000 0.2758
0.0304 114000 0.2802
0.0307 115000 0.2689
0.0309 116000 0.2871
0.0312 117000 0.2603
0.0315 118000 0.2728
0.0317 119000 0.2769
0.0320 120000 0.2527
0.0323 121000 0.2677
0.0325 122000 0.2748
0.0328 123000 0.2648
0.0331 124000 0.2645
0.0333 125000 0.2637
0.0336 126000 0.2613
0.0339 127000 0.261
0.0341 128000 0.2568
0.0344 129000 0.2611
0.0347 130000 0.2486
0.0349 131000 0.2535
0.0352 132000 0.2525
0.0355 133000 0.2457
0.0357 134000 0.2545
0.0360 135000 0.2596
0.0363 136000 0.2505
0.0365 137000 0.2454
0.0368 138000 0.2696
0.0371 139000 0.2567
0.0373 140000 0.2517
0.0376 141000 0.2436
0.0379 142000 0.2452
0.0381 143000 0.2427
0.0384 144000 0.2525
0.0387 145000 0.243
0.0389 146000 0.2417
0.0392 147000 0.2599
0.0395 148000 0.246
0.0397 149000 0.2379
0.0400 150000 0.2449
0.0403 151000 0.2333
0.0405 152000 0.2399
0.0408 153000 0.2409
0.0411 154000 0.2407
0.0413 155000 0.2369
0.0416 156000 0.2361
0.0419 157000 0.2331
0.0421 158000 0.232
0.0424 159000 0.2337
0.0427 160000 0.2331
0.0429 161000 0.2328
0.0432 162000 0.2278
0.0435 163000 0.2335
0.0437 164000 0.2301
0.0440 165000 0.2381
0.0443 166000 0.2298
0.0445 167000 0.2355
0.0448 168000 0.2254
0.0451 169000 0.2301
0.0453 170000 0.2319
0.0456 171000 0.2314
0.0459 172000 0.236
0.0461 173000 0.2348
0.0464 174000 0.231
0.0467 175000 0.2291
0.0469 176000 0.2246
0.0472 177000 0.2259
0.0475 178000 0.2254
0.0477 179000 0.2223
0.0480 180000 0.2285
0.0483 181000 0.2306
0.0485 182000 0.2233
0.0488 183000 0.2117
0.0491 184000 0.2219
0.0493 185000 0.2226
0.0496 186000 0.2161
0.0499 187000 0.2195
0.0501 188000 0.2208
0.0504 189000 0.2198
0.0507 190000 0.2236
0.0509 191000 0.2178
0.0512 192000 0.2087
0.0515 193000 0.2222
0.0517 194000 0.211
0.0520 195000 0.2287
0.0523 196000 0.2219
0.0525 197000 0.2096
0.0528 198000 0.2112
0.0531 199000 0.2108
0.0533 200000 0.2098
0.0536 201000 0.2176
0.0539 202000 0.2118
0.0541 203000 0.2248
0.0544 204000 0.2124
0.0547 205000 0.2133
0.0549 206000 0.2101
0.0552 207000 0.208
0.0555 208000 0.2129
0.0557 209000 0.208
0.0560 210000 0.2093
0.0563 211000 0.2123
0.0565 212000 0.205
0.0568 213000 0.2012
0.0571 214000 0.2078
0.0573 215000 0.2107
0.0576 216000 0.206
0.0579 217000 0.2055
0.0581 218000 0.2067
0.0584 219000 0.2143
0.0587 220000 0.204
0.0589 221000 0.2071
0.0592 222000 0.2026
0.0595 223000 0.1994
0.0597 224000 0.2045
0.0600 225000 0.2155
0.0603 226000 0.2075
0.0605 227000 0.195
0.0608 228000 0.2028
0.0611 229000 0.1973
0.0613 230000 0.2034
0.0616 231000 0.2039
0.0619 232000 0.1937
0.0621 233000 0.2
0.0624 234000 0.1958
0.0627 235000 0.1986
0.0629 236000 0.1975
0.0632 237000 0.2061
0.0635 238000 0.2021
0.0637 239000 0.1957
0.0640 240000 0.1997
0.0643 241000 0.1968
0.0645 242000 0.1881
0.0648 243000 0.2038
0.0651 244000 0.1991
0.0653 245000 0.1841
0.0656 246000 0.1919
0.0659 247000 0.187
0.0661 248000 0.1889
0.0664 249000 0.1987
0.0667 250000 0.1992
0.0669 251000 0.1913
0.0672 252000 0.1995
0.0675 253000 0.1875
0.0677 254000 0.1923
0.0680 255000 0.1773
0.0683 256000 0.1869
0.0685 257000 0.1975
0.0688 258000 0.1865
0.0691 259000 0.1889
0.0693 260000 0.1896
0.0696 261000 0.1829
0.0699 262000 0.1843
0.0701 263000 0.195
0.0704 264000 0.1818
0.0707 265000 0.1855
0.0709 266000 0.1841
0.0712 267000 0.1889
0.0715 268000 0.1814
0.0717 269000 0.1917
0.0720 270000 0.1862
0.0723 271000 0.1869
0.0725 272000 0.1859
0.0728 273000 0.182
0.0731 274000 0.1896
0.0733 275000 0.1936
0.0736 276000 0.1846
0.0739 277000 0.18
0.0741 278000 0.1812
0.0744 279000 0.1859
0.0747 280000 0.1785
0.0749 281000 0.1806
0.0752 282000 0.182
0.0755 283000 0.1848
0.0757 284000 0.1798
0.0760 285000 0.1853
0.0763 286000 0.1834
0.0765 287000 0.1815
0.0768 288000 0.1819
0.0771 289000 0.1808
0.0773 290000 0.1851
0.0776 291000 0.1823
0.0779 292000 0.179
0.0781 293000 0.1825
0.0784 294000 0.1751
0.0787 295000 0.1778
0.0789 296000 0.1773
0.0792 297000 0.1795
0.0795 298000 0.1854
0.0797 299000 0.1818
0.0800 300000 0.1734
0.0803 301000 0.1787
0.0805 302000 0.1807
0.0808 303000 0.1817
0.0811 304000 0.1722
0.0813 305000 0.1762
0.0816 306000 0.1741
0.0819 307000 0.1754
0.0821 308000 0.1713
0.0824 309000 0.1724
0.0827 310000 0.1745
0.0829 311000 0.1774
0.0832 312000 0.1763
0.0835 313000 0.1768
0.0837 314000 0.1717
0.0840 315000 0.1692
0.0843 316000 0.1721
0.0845 317000 0.1673
0.0848 318000 0.1762
0.0851 319000 0.1784
0.0853 320000 0.1697
0.0856 321000 0.172
0.0859 322000 0.1658
0.0861 323000 0.1761
0.0864 324000 0.1729
0.0867 325000 0.1672
0.0869 326000 0.1671
0.0872 327000 0.1685
0.0875 328000 0.1729
0.0877 329000 0.166
0.0880 330000 0.1712
0.0883 331000 0.1737
0.0885 332000 0.1723
0.0888 333000 0.1705
0.0891 334000 0.1718
0.0893 335000 0.1689
0.0896 336000 0.1747
0.0899 337000 0.1696
0.0901 338000 0.1712
0.0904 339000 0.1674
0.0907 340000 0.1709
0.0909 341000 0.169
0.0912 342000 0.1714
0.0915 343000 0.1544
0.0917 344000 0.1755
0.0920 345000 0.1689
0.0923 346000 0.1561
0.0925 347000 0.1712
0.0928 348000 0.1583
0.0931 349000 0.159
0.0933 350000 0.1715
0.0936 351000 0.1608
0.0939 352000 0.1703
0.0941 353000 0.1682
0.0944 354000 0.1622
0.0947 355000 0.1663
0.0949 356000 0.1632
0.0952 357000 0.1663
0.0955 358000 0.1643
0.0957 359000 0.1674
0.0960 360000 0.1634
0.0963 361000 0.1616
0.0965 362000 0.1691
0.0968 363000 0.1594
0.0971 364000 0.1589
0.0973 365000 0.1568
0.0976 366000 0.1586
0.0979 367000 0.1555
0.0981 368000 0.161
0.0984 369000 0.1615
0.0987 370000 0.1691
0.0989 371000 0.151
0.0992 372000 0.1653
0.0995 373000 0.1545
0.0997 374000 0.1627
0.1000 375000 0.1688
0.1003 376000 0.1594
0.1005 377000 0.1619
0.1008 378000 0.1517
0.1011 379000 0.1605
0.1013 380000 0.1576
0.1016 381000 0.1589
0.1019 382000 0.1643
0.1021 383000 0.164
0.1024 384000 0.158
0.1027 385000 0.1584
0.1029 386000 0.1565
0.1032 387000 0.1566
0.1035 388000 0.1625
0.1037 389000 0.1569
0.1040 390000 0.159
0.1043 391000 0.1541
0.1045 392000 0.159
0.1048 393000 0.1536
0.1051 394000 0.166
0.1053 395000 0.1639
0.1056 396000 0.1491
0.1059 397000 0.1567
0.1061 398000 0.1566
0.1064 399000 0.1641
0.1067 400000 0.1552
0.1069 401000 0.1476
0.1072 402000 0.157
0.1075 403000 0.1538
0.1077 404000 0.152
0.1080 405000 0.1525
0.1083 406000 0.155
0.1085 407000 0.1538
0.1088 408000 0.1506
0.1091 409000 0.1481
0.1093 410000 0.1603
0.1096 411000 0.1509
0.1099 412000 0.1628
0.1101 413000 0.151
0.1104 414000 0.1581
0.1107 415000 0.1511
0.1109 416000 0.1552
0.1112 417000 0.1553
0.1115 418000 0.1508
0.1117 419000 0.1515
0.1120 420000 0.1526
0.1123 421000 0.15
0.1125 422000 0.1497
0.1128 423000 0.1526
0.1131 424000 0.1547
0.1133 425000 0.151
0.1136 426000 0.1471
0.1139 427000 0.1576
0.1141 428000 0.1522
0.1144 429000 0.1506
0.1147 430000 0.1495
0.1149 431000 0.1518
0.1152 432000 0.1467
0.1155 433000 0.1511
0.1157 434000 0.1516
0.1160 435000 0.1476
0.1163 436000 0.1526
0.1165 437000 0.1474
0.1168 438000 0.1445
0.1171 439000 0.1408
0.1173 440000 0.1412
0.1176 441000 0.1445
0.1179 442000 0.145
0.1181 443000 0.1402
0.1184 444000 0.154
0.1187 445000 0.1446
0.1189 446000 0.1476
0.1192 447000 0.1565
0.1195 448000 0.1409
0.1197 449000 0.1511
0.1200 450000 0.139
0.1203 451000 0.1463
0.1205 452000 0.1453
0.1208 453000 0.1432
0.1211 454000 0.1559
0.1213 455000 0.1354
0.1216 456000 0.1419
0.1219 457000 0.1452
0.1221 458000 0.147
0.1224 459000 0.1453
0.1227 460000 0.153
0.1229 461000 0.1496
0.1232 462000 0.1464
0.1235 463000 0.1423
0.1237 464000 0.1403
0.1240 465000 0.1458
0.1243 466000 0.1508
0.1245 467000 0.1442
0.1248 468000 0.1521
0.1251 469000 0.1424
0.1253 470000 0.1545
0.1256 471000 0.1389
0.1259 472000 0.1408
0.1261 473000 0.1398
0.1264 474000 0.1333
0.1267 475000 0.1436
0.1269 476000 0.1423
0.1272 477000 0.1393
0.1275 478000 0.1465
0.1277 479000 0.1484
0.1280 480000 0.1412
0.1283 481000 0.143
0.1285 482000 0.139
0.1288 483000 0.1447
0.1291 484000 0.1388
0.1293 485000 0.1414
0.1296 486000 0.1444
0.1299 487000 0.1365
0.1301 488000 0.1403
0.1304 489000 0.1398
0.1307 490000 0.1302
0.1309 491000 0.1443
0.1312 492000 0.1402
0.1315 493000 0.1451
0.1317 494000 0.1397
0.1320 495000 0.137
0.1323 496000 0.1493
0.1325 497000 0.1415
0.1328 498000 0.1365
0.1331 499000 0.1323
0.1333 500000 0.1384
0.1336 501000 0.1307
0.1339 502000 0.1385
0.1341 503000 0.1394
0.1344 504000 0.1393
0.1347 505000 0.1455
0.1349 506000 0.1374
0.1352 507000 0.1381
0.1355 508000 0.1363
0.1357 509000 0.1392
0.1360 510000 0.1399
0.1363 511000 0.1356
0.1365 512000 0.1395
0.1368 513000 0.1402
0.1371 514000 0.1382
0.1373 515000 0.1408
0.1376 516000 0.1398
0.1379 517000 0.1405
0.1381 518000 0.1351
0.1384 519000 0.1371
0.1387 520000 0.1302
0.1389 521000 0.14
0.1392 522000 0.1363
0.1395 523000 0.1313
0.1397 524000 0.1299
0.1400 525000 0.1372
0.1403 526000 0.1416
0.1405 527000 0.1295
0.1408 528000 0.1359
0.1411 529000 0.1383
0.1413 530000 0.1378
0.1416 531000 0.135
0.1419 532000 0.1405
0.1421 533000 0.14
0.1424 534000 0.1321
0.1427 535000 0.1303
0.1429 536000 0.1319
0.1432 537000 0.1312
0.1435 538000 0.1338
0.1437 539000 0.1361
0.1440 540000 0.139
0.1443 541000 0.1364
0.1445 542000 0.1316
0.1448 543000 0.1331
0.1451 544000 0.1269
0.1453 545000 0.1294
0.1456 546000 0.135
0.1459 547000 0.1328
0.1461 548000 0.1296
0.1464 549000 0.1305
0.1467 550000 0.1334
0.1469 551000 0.1362
0.1472 552000 0.1318
0.1475 553000 0.1312
0.1477 554000 0.1293
0.1480 555000 0.1324
0.1483 556000 0.1256
0.1485 557000 0.1227
0.1488 558000 0.1239
0.1491 559000 0.1287
0.1493 560000 0.1307
0.1496 561000 0.1336
0.1499 562000 0.133
0.1501 563000 0.1278
0.1504 564000 0.1339
0.1507 565000 0.1321
0.1509 566000 0.1322
0.1512 567000 0.1262
0.1515 568000 0.1331
0.1517 569000 0.1361
0.1520 570000 0.1307
0.1523 571000 0.133
0.1525 572000 0.1293
0.1528 573000 0.1283
0.1531 574000 0.1275
0.1533 575000 0.1329
0.1536 576000 0.1307
0.1539 577000 0.1245
0.1541 578000 0.1313
0.1544 579000 0.1256
0.1547 580000 0.1257
0.1549 581000 0.1194
0.1552 582000 0.125
0.1555 583000 0.1345
0.1557 584000 0.1308
0.1560 585000 0.1318
0.1563 586000 0.1348
0.1565 587000 0.1231
0.1568 588000 0.1282
0.1571 589000 0.1281
0.1573 590000 0.1221
0.1576 591000 0.1234
0.1579 592000 0.1334
0.1581 593000 0.1249
0.1584 594000 0.1216
0.1587 595000 0.1295
0.1589 596000 0.1191
0.1592 597000 0.1267
0.1595 598000 0.1273
0.1597 599000 0.124
0.1600 600000 0.1271
0.1603 601000 0.1284
0.1605 602000 0.1285
0.1608 603000 0.1288
0.1611 604000 0.1252
0.1613 605000 0.1255
0.1616 606000 0.1289
0.1619 607000 0.1294
0.1621 608000 0.1294
0.1624 609000 0.1288
0.1627 610000 0.1336
0.1629 611000 0.125
0.1632 612000 0.1288
0.1635 613000 0.122
0.1637 614000 0.1204
0.1640 615000 0.1245
0.1643 616000 0.1303
0.1645 617000 0.1187
0.1648 618000 0.1223
0.1651 619000 0.1311
0.1653 620000 0.1202
0.1656 621000 0.1271
0.1659 622000 0.1218
0.1661 623000 0.1218
0.1664 624000 0.1247
0.1667 625000 0.1289
0.1669 626000 0.1261
0.1672 627000 0.1262
0.1675 628000 0.1251
0.1677 629000 0.1271
0.1680 630000 0.1243
0.1683 631000 0.1266
0.1685 632000 0.1257
0.1688 633000 0.1215
0.1691 634000 0.1236
0.1693 635000 0.1267
0.1696 636000 0.1209
0.1699 637000 0.1188
0.1701 638000 0.1267
0.1704 639000 0.1259
0.1707 640000 0.1225
0.1709 641000 0.1183
0.1712 642000 0.1202
0.1715 643000 0.1279
0.1717 644000 0.1191
0.1720 645000 0.1206
0.1723 646000 0.1178
0.1725 647000 0.1234
0.1728 648000 0.1259
0.1731 649000 0.1227
0.1733 650000 0.1211
0.1736 651000 0.1216
0.1739 652000 0.1182
0.1741 653000 0.1205
0.1744 654000 0.1187
0.1747 655000 0.1144
0.1749 656000 0.1216
0.1752 657000 0.1287
0.1755 658000 0.122
0.1757 659000 0.1213
0.1760 660000 0.1217
0.1763 661000 0.1256
0.1765 662000 0.1227
0.1768 663000 0.1219
0.1771 664000 0.1261
0.1773 665000 0.1169
0.1776 666000 0.1192
0.1779 667000 0.1187
0.1781 668000 0.1117
0.1784 669000 0.1189
0.1787 670000 0.12
0.1789 671000 0.1204
0.1792 672000 0.1208
0.1795 673000 0.119
0.1797 674000 0.1161
0.1800 675000 0.1167
0.1803 676000 0.1235
0.1805 677000 0.1276
0.1808 678000 0.1188
0.1811 679000 0.1135
0.1813 680000 0.1187
0.1816 681000 0.1165
0.1819 682000 0.1224
0.1821 683000 0.125
0.1824 684000 0.1146
0.1827 685000 0.1162
0.1829 686000 0.1172
0.1832 687000 0.1197
0.1835 688000 0.113
0.1837 689000 0.1216
0.1840 690000 0.1144
0.1843 691000 0.1274
0.1845 692000 0.1136
0.1848 693000 0.1202
0.1851 694000 0.1249
0.1853 695000 0.1195
0.1856 696000 0.1158
0.1859 697000 0.1145
0.1861 698000 0.1187
0.1864 699000 0.1173
0.1867 700000 0.1181
0.1869 701000 0.1236
0.1872 702000 0.1223
0.1875 703000 0.1147
0.1877 704000 0.1197
0.1880 705000 0.1125
0.1883 706000 0.1175
0.1885 707000 0.1239
0.1888 708000 0.1263
0.1891 709000 0.1229
0.1893 710000 0.1202
0.1896 711000 0.1159
0.1899 712000 0.1232
0.1901 713000 0.1197
0.1904 714000 0.121
0.1907 715000 0.1189
0.1909 716000 0.1183
0.1912 717000 0.1091
0.1915 718000 0.1186
0.1917 719000 0.115
0.1920 720000 0.1146
0.1923 721000 0.1165
0.1925 722000 0.1192
0.1928 723000 0.1163
0.1931 724000 0.1162
0.1933 725000 0.1156
0.1936 726000 0.1218
0.1939 727000 0.1154
0.1941 728000 0.1131
0.1944 729000 0.118
0.1947 730000 0.1156
0.1949 731000 0.1193
0.1952 732000 0.1143
0.1955 733000 0.1211
0.1957 734000 0.1187
0.1960 735000 0.12
0.1963 736000 0.1164
0.1965 737000 0.1173
0.1968 738000 0.1151
0.1971 739000 0.1143
0.1973 740000 0.1141
0.1976 741000 0.1174
0.1979 742000 0.1185
0.1981 743000 0.1133
0.1984 744000 0.1174
0.1987 745000 0.1154
0.1989 746000 0.1138
0.1992 747000 0.1203
0.1995 748000 0.1119
0.1997 749000 0.111
0.2000 750000 0.1174
0.2003 751000 0.1204
0.2005 752000 0.1177
0.2008 753000 0.1139
0.2011 754000 0.1138
0.2013 755000 0.1179
0.2016 756000 0.1094
0.2019 757000 0.1092
0.2021 758000 0.1108
0.2024 759000 0.1125
0.2027 760000 0.1202
0.2029 761000 0.1119
0.2032 762000 0.1151
0.2035 763000 0.1169
0.2037 764000 0.1109
0.2040 765000 0.1112
0.2043 766000 0.1102
0.2045 767000 0.119
0.2048 768000 0.1131
0.2051 769000 0.1155
0.2053 770000 0.1133
0.2056 771000 0.1127
0.2059 772000 0.1116
0.2061 773000 0.1122
0.2064 774000 0.1151
0.2067 775000 0.1163
0.2069 776000 0.1162
0.2072 777000 0.1096
0.2075 778000 0.1151
0.2077 779000 0.1156
0.2080 780000 0.1135
0.2083 781000 0.1084
0.2085 782000 0.114
0.2088 783000 0.1128
0.2091 784000 0.1142
0.2093 785000 0.1092
0.2096 786000 0.1067
0.2099 787000 0.1156
0.2101 788000 0.1094
0.2104 789000 0.1078
0.2107 790000 0.1133
0.2109 791000 0.1165
0.2112 792000 0.1116
0.2115 793000 0.1111
0.2117 794000 0.1086
0.2120 795000 0.1114
0.2123 796000 0.1069
0.2125 797000 0.1094
0.2128 798000 0.1125
0.2131 799000 0.112
0.2133 800000 0.1107
0.2136 801000 0.1085
0.2139 802000 0.1067
0.2141 803000 0.1149
0.2144 804000 0.1068
0.2147 805000 0.1124
0.2149 806000 0.1109
0.2152 807000 0.1094
0.2155 808000 0.1097
0.2157 809000 0.1106
0.2160 810000 0.1152
0.2163 811000 0.1123
0.2165 812000 0.1102
0.2168 813000 0.11
0.2171 814000 0.1
0.2173 815000 0.1127
0.2176 816000 0.1135
0.2179 817000 0.1127
0.2181 818000 0.108
0.2184 819000 0.1119
0.2187 820000 0.1103
0.2189 821000 0.1084
0.2192 822000 0.1076
0.2195 823000 0.1145
0.2197 824000 0.109
0.2200 825000 0.1119
0.2203 826000 0.1117
0.2205 827000 0.1117
0.2208 828000 0.1062
0.2211 829000 0.1113
0.2213 830000 0.1101
0.2216 831000 0.1053
0.2219 832000 0.1122
0.2221 833000 0.1091
0.2224 834000 0.1106
0.2227 835000 0.1062
0.2229 836000 0.1091
0.2232 837000 0.1144
0.2235 838000 0.1106
0.2237 839000 0.1058
0.2240 840000 0.1085
0.2243 841000 0.1154
0.2245 842000 0.1096
0.2248 843000 0.1062
0.2251 844000 0.1089
0.2253 845000 0.108
0.2256 846000 0.1086
0.2259 847000 0.1084
0.2261 848000 0.1056
0.2264 849000 0.1042
0.2267 850000 0.1204
0.2269 851000 0.1053
0.2272 852000 0.1053
0.2275 853000 0.1065
0.2277 854000 0.1157
0.2280 855000 0.1112
0.2283 856000 0.1058
0.2285 857000 0.1084
0.2288 858000 0.1066
0.2291 859000 0.1116
0.2293 860000 0.1047
0.2296 861000 0.1145
0.2299 862000 0.1094
0.2301 863000 0.1108
0.2304 864000 0.1038
0.2307 865000 0.1044
0.2309 866000 0.106
0.2312 867000 0.105
0.2315 868000 0.108
0.2317 869000 0.1108
0.2320 870000 0.113
0.2323 871000 0.108
0.2325 872000 0.1069
0.2328 873000 0.1098
0.2331 874000 0.1021
0.2333 875000 0.109
0.2336 876000 0.1104
0.2339 877000 0.1043
0.2341 878000 0.1057
0.2344 879000 0.105
0.2347 880000 0.1042
0.2349 881000 0.1116
0.2352 882000 0.1151
0.2355 883000 0.1043
0.2357 884000 0.1023
0.2360 885000 0.1084
0.2363 886000 0.1103
0.2365 887000 0.1028
0.2368 888000 0.1055
0.2371 889000 0.1023
0.2373 890000 0.1099
0.2376 891000 0.1037
0.2379 892000 0.1068
0.2381 893000 0.1128
0.2384 894000 0.1023
0.2387 895000 0.1023
0.2389 896000 0.106
0.2392 897000 0.1005
0.2395 898000 0.1013
0.2397 899000 0.1131
0.2400 900000 0.107
0.2403 901000 0.1096
0.2405 902000 0.0963
0.2408 903000 0.1076
0.2411 904000 0.102
0.2413 905000 0.1147
0.2416 906000 0.1111
0.2419 907000 0.1035
0.2421 908000 0.1059
0.2424 909000 0.1037
0.2427 910000 0.1047
0.2429 911000 0.1049
0.2432 912000 0.1097
0.2435 913000 0.1062
0.2437 914000 0.1016
0.2440 915000 0.1061
0.2443 916000 0.1089
0.2445 917000 0.1032
0.2448 918000 0.1053
0.2451 919000 0.1075
0.2453 920000 0.1048
0.2456 921000 0.1007
0.2459 922000 0.11
0.2461 923000 0.1034
0.2464 924000 0.1059
0.2467 925000 0.1063
0.2469 926000 0.1051
0.2472 927000 0.1064
0.2475 928000 0.0986
0.2477 929000 0.1037
0.2480 930000 0.1093
0.2483 931000 0.102
0.2485 932000 0.0985
0.2488 933000 0.1023
0.2491 934000 0.104
0.2493 935000 0.1108
0.2496 936000 0.1061
0.2499 937000 0.1053

Framework Versions

  • Python: 3.12.2
  • Sentence Transformers: 3.2.1
  • Transformers: 4.45.2
  • PyTorch: 2.5.0
  • Accelerate: 1.0.1
  • Datasets: 3.0.1
  • Tokenizers: 0.20.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CustomTripletLoss

@misc{hermans2017defense,
    title={In Defense of the Triplet Loss for Person Re-Identification},
    author={Alexander Hermans and Lucas Beyer and Bastian Leibe},
    year={2017},
    eprint={1703.07737},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}