README.md

metadata

tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - generated_from_trainer
  - dataset_size:4859206
  - loss:MultipleNegativesRankingLoss
base_model: tintnguyen/bert-base-vi-uncased-st
widget:
  - source_sentence: ngc 2659 có tổng bán kính bao nhiêu
    sentences:
      - >-
        NGC 2659 ::: NGC 2659 là một cụm sao mở trong chòm sao Thuyền Phàm. Nó
        được phát hiện bởi John Herschel vào ngày 3 tháng 2 năm 1835. Nó thuộc
        lớp Trumpler III3m. Đó là một cụm trẻ, với tuổi gần 8 triệu năm. Lõi của
        cụm dài 1,93 Parsec (6,3 năm ánh sáng) và tổng bán kính là 3,6 pc (11,7
        năm ánh sáng). Tổng số của ngôi sao đó thuộc về cụm được ước tính là
        1.801 ± 608 ngôi sao và tổng khối lượng 857 ± 237 M☉. Trong số các thành
        viên của nó, một là ngôi sao Be, với có thể có thêm bốn ngôi sao Be.
      - >-
        Re: Chi phí sở hữu thuyền trung bình hàng tháng. Quanh đây, bạn có thể
        chi $ 150- $ 200 một tháng để giữ thuyền của bạn trên mặt nước tại một
        bến du thuyền sang trọng, một nửa đến 2/3 số đó nếu nó không được che
        đậy trong nước. Một kho chứa hàng trong phạm vi $ 50- $ 80 một tháng
        xung quanh hồ tại một bến du thuyền trong phạm vi $ 100 cho kho chứa
        khô.
      - >-
        Bay thuyền có một cấu hình thấp. Chúng được thiết kế để sử dụng ở vùng
        nước nông của vịnh nông lớn, cửa sông hoặc gần bờ. Thuyền vịnh có chiều
        dài 18'ࢠ€Â⠀ œ24 'và làm bằng sợi thủy tinh vì chúng được sử
        dụng ở vùng nước mặn hoặc lợ. Họ có nhiều mạn hơn thuyền phẳng.
  - source_sentence: khi nào điều hoang dã xuất hiện
    sentences:
      - ' Wild Thing là một đĩa đơn của rapper Tone LÃâ € ¦Ã ‚c trong album 1989 LÃ⠀ ¦Ã‚ c-ed After Dark của anh ấy. Tiêu đề là một tham chiếu đến cụm từ doin ''the wild thing, một từ ngữ chỉ tình dục, không giống như bài hát nổi tiếng của The Troggs, Wild Thing, (sau đó được Jimi Hendrix cover) trong đó điều hoang dã là một cô gái. Rõ ràng, quyết định này là được thực hiện mà không tham khảo ý kiến ​​của các thành viên ban đầu của ban nhạc (được coi là đồng tác giả của bài hát), những người đã không mong đợi Wild Thing trở thành hit chính mà nó đã trở thành. Một vụ kiện dân sự sau đó đã được giải quyết ngoài tòa án, với ban nhạc nhận được 180.000 đô la Mỹ làm khoản thanh toán dàn xếp.'
      - >-
        Xã Richland, Quận Allen, Ohio ::: Xã Richland (tiếng Anh: Richland
        Township) là một xã thuộc quận Allen, tiểu bang Ohio, Hoa Kỳ. Năm 2010,
        dân số của xã này là 6.289 người.
      - >-
        Đơn âm cổ điển thường bắt đầu với 2 đến 5 ngày cảm thấy mệt mỏi và dưới
        thời tiết, đôi khi bị sốt. Điều này thậm chí có thể kéo dài một hoặc hai
        tuần. Sau đó, đau họng phát triển với các tuyến sưng tấy ở cổ và các nơi
        khác. Sốt và mệt mỏi tăng lên.
  - source_sentence: giáo viên mầm non là gì
    sentences:
      - >-
        Giáo viên mầm non giúp học sinh của họ học chủ yếu thông qua các hoạt
        động vui chơi và tương tác, tận dụng hoạt động vui chơi của trẻ để phát
        triển thêm ngôn ngữ và từ vựng. Một giáo viên mầm non có thể sử dụng các
        trò chơi kể chuyện, ghép vần và diễn kịch để cải thiện các kỹ năng xã
        hội hoặc giới thiệu các khái niệm khoa học và toán học.
      - >-
        Nam cwm (đi bộ đường dài vào mùa hè) Toubkal hoặc Tubkal (tiếng Berber:
        ࢠµŠ“ࢠµÂ⠀ œÃƒÂ ¢ ´ ± ࢠ´½à¢ Ã
        ‚´Â ° ࢠµÂ, Tubkal, hoặc ࢠµŠ“ࢠµÂ⠀ œÃƒÂ
        ¢ ´ ± ࢠµÂ⠀ ¡ÃƒÂ ¢ ´ ° ࢠ嵈 ‚, Tubqal;
        tiếng Ả Rập: تÃ℠¢ Ã‚Ë † بÃ⠄¢ Â⠀ šÃƒËœÃ‚§Ã Â⠀
        žÃƒÂ ¢ €Žà¢ €Ž) là một đỉnh núi ở tây nam Maroc, nằm
        trong Vườn quốc gia Toubkal. Với độ cao 4.167 mét (13.671 ft), nó là
        đỉnh cao nhất trong Dãy núi Atlas và ở Bắc Phi. Đây là một đỉnh núi cực
        kỳ nổi bật nằm cách thành phố Marrakesh 63 km về phía nam và là điểm đến
        nổi tiếng của những người leo núi. Đỉnh cao nhất ở Toubkal. Những chú
        chim bay vút trên đường dẫn lên đỉnh núi.
      - >-
        Tên Kathryn là một tên tiếng Anh của em bé. Trong tiếng Anh, ý nghĩa của
        cái tên Kathryn là: Thuần khiết. Ý nghĩa tiếng Hy Lạp: Tên Kathryn là
        một tên em bé trong tiếng Hy Lạp. Trong tiếng Hy Lạp, ý nghĩa của cái
        tên Kathryn là: Tinh khiết.
  - source_sentence: garcinia cambogia có an toàn cho bệnh nhân tiểu đường không
    sentences:
      - >-
        Ford Escape 2017 có giá khởi điểm 23.750 USD, mức trung bình cho phân
        khúc. Trong số ít những chiếc SUV có thứ hạng cao hơn Escape, chỉ có
        Honda CR-V (24.045 USD) là đắt hơn, nhưng không nhiều.
      - >-
        Tuy nhiên, cũng có những phát hiện ở những bệnh nhân tiểu đường có mức
        đường huyết được kiểm soát cho thấy mức đường huyết của họ thực sự có
        thể giảm xuống quá thấp khi điều trị kết hợp với thực phẩm chức năng
        Garcinia Cambogia. không phù hợp với bạn trước khi bạn sử dụng nó hoặc
        bắt đầu bất kỳ chương trình dùng thử miễn phí nào. Garcinia Cambogia,
        còn được gọi là axit hydroxycitric, có nguồn gốc từ một loại trái cây,
        được gọi là me, có bản chất giống bí ngô.
      - >-
        Haidershofen ::: Haidershofen là một thị trấn của nước Áo. Đô thị này có
        diện tích 31,99 km², dân số năm 2001 là 3461 người. Thị trấn thuộc huyện
        Amstetten, trong bang Niederösterreich.
  - source_sentence: những gì cần giáo dục để trở thành một y tá
    sentences:
      - >-
        AF-S là AF 'đơn' - máy ảnh của bạn sẽ lấy nét vào một đối tượng cố định
        khi bạn nhấn nút AF và sẽ vẫn lấy nét ở điểm đó miễn là bạn giữ nút này.
        Điều này tốt nhất cho các đối tượng tĩnh.AF-C AF là 'liên tục' - máy ảnh
        sẽ lấy nét bất cứ thứ gì trong các điểm AF liên quan (tùy thuộc vào cách
        bạn thiết lập vùng phủ AF của mình) và sẽ cố gắng giữ cho đối tượng được
        lấy nét ở bất cứ nơi nào nó di chuyển, cho dù đó là về phía / ra xa máy
        ảnh hoặc bên cạnh.FA là AF 'tự động' và tự động chuyển đổi giữa hai chế
        độ AF tùy thuộc vào đối tượng đang làm gì. Điều này đòi hỏi người chụp
        ít nỗ lực hơn, nhưng bạn đang dựa vào máy ảnh để đoán chính xác những gì
        bạn đang lấy nét và có thể dẫn đến lấy nét không mong muốn.
      - >-
        Nếu bạn quan tâm đến việc trở thành một y tá, bạn phải có bằng cử nhân
        và bằng tốt nghiệp, cũng như duy trì giấy phép và chứng chỉ hiện tại.
        Tiếp tục đọc để biết tổng quan về các bước giáo dục và yêu cầu chuyên
        môn của các học viên y tá. Tổng quan về Học viên Y tá. Những người hành
        nghề y tá là những y tá đã đăng ký (RN) có trình độ học vấn bổ sung cho
        phép họ đảm nhận vai trò nhà cung cấp dịch vụ chăm sóc sức khỏe ban đầu
        tương tự như một bác sĩ, bao gồm khả năng kê đơn thuốc.
      - >-
        Mũi Capricorn ::: Mũi Capricorn là một mũi đất ở vùng bờ biển miền trung
        bang Queensland, Úc.
pipeline_tag: sentence-similarity
library_name: sentence-transformers

SentenceTransformer based on tintnguyen/bert-base-vi-uncased-st

This is a sentence-transformers model finetuned from tintnguyen/bert-base-vi-uncased-st. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: tintnguyen/bert-base-vi-uncased-st
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("tintnguyen/bert-base-vi-uncased-st-2")
# Run inference
sentences = [
    'những gì cần giáo dục để trở thành một y tá',
    'Nếu bạn quan tâm đến việc trở thành một y tá, bạn phải có bằng cử nhân và bằng tốt nghiệp, cũng như duy trì giấy phép và chứng chỉ hiện tại. Tiếp tục đọc để biết tổng quan về các bước giáo dục và yêu cầu chuyên môn của các học viên y tá. Tổng quan về Học viên Y tá. Những người hành nghề y tá là những y tá đã đăng ký (RN) có trình độ học vấn bổ sung cho phép họ đảm nhận vai trò nhà cung cấp dịch vụ chăm sóc sức khỏe ban đầu tương tự như một bác sĩ, bao gồm khả năng kê đơn thuốc.',
    'Mũi Capricorn ::: Mũi Capricorn là một mũi đất ở vùng bờ biển miền trung bang Queensland, Úc.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

• Size: 4,859,206 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 4 tokens mean: 10.61 tokens max: 27 tokens	min: 19 tokens mean: 84.55 tokens max: 433 tokens

• Samples:

  anchor	positive
  ricardo emanuel silva là ai	Ricardo Enrique Silva ::: Ricardo Enrique Silva là một bác sĩ và nhà bất đồng chính kiến người Cuba.Ông đã bị chính quyền Cuba bắt trong vụ mùa xuân đen năm 2003 và bị xử phạt 10 năm tù.
  gốc của ngôn ngữ yiddish là gì	Tiếng Yiddish là ngôn ngữ lịch sử của người Do Thái Ashkenazic (Trung và Đông Âu), và là ngôn ngữ văn học chính thứ ba trong lịch sử Do Thái, sau tiếng Do Thái cổ điển và (Do Thái) Aramaic .iddish là ngôn ngữ lịch sử của người Do Thái Ashkenazic (Trung và Đông Âu), và là ngôn ngữ văn học chính thứ ba trong lịch sử Do Thái, sau tiếng Do Thái cổ điển và tiếng Aram (Do Thái).
  xã moulin-sous-touvent nằm ở quốc gia nào	Moulin-sous-Touvent ::: Moulin-sous-Touvent là một xã thuộc tỉnh Oise trong vùng Hauts-de-France phía bắc nước Pháp. Xã này nằm ở khu vực có độ cao trung bình 93 mét trên mực nước biển.

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 300 evaluation samples
• Columns: anchor and positive
• Approximate statistics based on the first 300 samples:

  	anchor	positive
  type	string	string
  details	min: 6 tokens mean: 10.63 tokens max: 23 tokens	min: 15 tokens mean: 86.9 tokens max: 512 tokens

• Samples:

  anchor	positive
  dân số của xã west prairie là bao nhiêu	Xã West Prairie, Quận Poinsett, Arkansas ::: Xã West Prairie (tiếng Anh: West Prairie Township) là một xã thuộc quận Poinsett, tiểu bang Arkansas, Hoa Kỳ. Năm 2010, dân số của xã này là 894 người.
  đường giai quan là gì	Đường Cái Quan ::: Đường Cái Quan hay đường Thiên lý, cũng có khi gọi là đường Quan lộ, hay đường Quan báo là một con đường dài chạy từ miền Bắc Việt Nam đến miền Nam Việt Nam, chủ yếu đắp vào đầu thế kỷ 19.
  đài bắc là gì	Đài Bắc ::: Đài Bắc (tiếng Trung: 臺北市; bính âm: Táiběi Shì, Hán Việt: Đài Bắc thị; đọc theo IPA: tʰǎipèi trong tiếng Phổ thông) là thủ đô của Trung Hoa Dân Quốc (Đài Loan) và là thành phố trung tâm của một vùng đô thị lớn nhất tại Đài Loan, một trong sáu thành phố trực thuộc Trung ương của Đài Loan. Đài Bắc nằm ở đầu phía bắc của đảo chính và nằm bên sông Đạm Thủy, cách thành phố cảng Thái Bình Dương Cơ Long 25 km về phía đông bắc. Một thành phố ven biển khác, mà nay trở thành một quận của Tân Bắc là Đạm Thủy, nơi này cách Đài Bắc 20 km về phía tây bắc và nằm ở cửa con sông cùng tên thuộc eo biển Đài Loan. Đài Bắc nằm trên hai thung lũng tương đối hẹp tạo bởi sông Cơ Long (基隆河) và sông Tân Điếm (新店溪), hai sông hợp lưu tạo thành sông Đạm Thủy và chảy dọc theo ranh giới phía tây của thành phố.

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 64
• per_device_eval_batch_size: 32
• learning_rate: 2e-05
• warmup_ratio: 0.1
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 64
• per_device_eval_batch_size: 32
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss	Validation Loss
0.0066	500	0.1818	-
0.0132	1000	0.1624	0.0828
0.0198	1500	0.1525	-
0.0263	2000	0.1316	0.0506
0.0329	2500	0.1182	-
0.0395	3000	0.1197	0.0450
0.0461	3500	0.1101	-
0.0527	4000	0.1057	0.0437
0.0593	4500	0.1031	-
0.0659	5000	0.0987	0.0459
0.0724	5500	0.0989	-
0.0790	6000	0.0978	0.0480
0.0856	6500	0.0877	-
0.0922	7000	0.0851	0.0396
0.0988	7500	0.0871	-
0.1054	8000	0.0878	0.0427
0.1120	8500	0.0875	-
0.1185	9000	0.0837	0.0388
0.1251	9500	0.0835	-
0.1317	10000	0.0796	0.0293
0.1383	10500	0.0835	-
0.1449	11000	0.0839	0.0351
0.1515	11500	0.0797	-
0.1580	12000	0.0789	0.0351
0.1646	12500	0.0791	-
0.1712	13000	0.0774	0.0354
0.1778	13500	0.08	-
0.1844	14000	0.074	0.0287
0.1910	14500	0.0745	-
0.1976	15000	0.0786	0.0307
0.2041	15500	0.0733	-
0.2107	16000	0.0733	0.0245
0.2173	16500	0.0749	-
0.2239	17000	0.0742	0.0289
0.2305	17500	0.0708	-
0.2371	18000	0.0714	0.0279
0.2437	18500	0.0755	-
0.2502	19000	0.0738	0.0252
0.2568	19500	0.0747	-
0.2634	20000	0.0738	0.0287
0.2700	20500	0.0722	-
0.2766	21000	0.0723	0.0279
0.2832	21500	0.0747	-
0.2898	22000	0.0713	0.0296
0.2963	22500	0.0721	-
0.3029	23000	0.0783	0.0318
0.3095	23500	0.0714	-
0.3161	24000	0.0727	0.0260
0.3227	24500	0.0701	-
0.3293	25000	0.0706	0.0313
0.3359	25500	0.0696	-
0.3424	26000	0.0722	0.0287
0.3490	26500	0.0684	-
0.3556	27000	0.071	0.0269
0.3622	27500	0.0694	-
0.3688	28000	0.0677	0.0322
0.3754	28500	0.0658	-
0.3820	29000	0.0676	0.0276
0.3885	29500	0.0666	-
0.3951	30000	0.0639	0.0251
0.4017	30500	0.067	-
0.4083	31000	0.0653	0.0221
0.4149	31500	0.064	-
0.4215	32000	0.0695	0.0261
0.4280	32500	0.0667	-
0.4346	33000	0.0641	0.0279
0.4412	33500	0.0632	-
0.4478	34000	0.0622	0.0212
0.4544	34500	0.0594	-
0.4610	35000	0.0611	0.0214
0.4676	35500	0.0614	-
0.4741	36000	0.0604	0.0186
0.4807	36500	0.06	-
0.4873	37000	0.0628	0.0196
0.4939	37500	0.0619	-
0.5005	38000	0.065	0.0194
0.5071	38500	0.0595	-
0.5137	39000	0.0614	0.0168
0.5202	39500	0.0585	-
0.5268	40000	0.0593	0.0199
0.5334	40500	0.0597	-
0.5400	41000	0.0557	0.0173
0.5466	41500	0.054	-
0.5532	42000	0.0586	0.0166
0.5598	42500	0.0535	-
0.5663	43000	0.0548	0.0169
0.5729	43500	0.0555	-
0.5795	44000	0.0555	0.0166
0.5861	44500	0.0579	-
0.5927	45000	0.0524	0.0234
0.5993	45500	0.0508	-
0.6059	46000	0.0604	0.0260
0.6124	46500	0.0562	-
0.6190	47000	0.0578	0.0217
0.6256	47500	0.0566	-
0.6322	48000	0.0556	0.0189
0.6388	48500	0.0538	-
0.6454	49000	0.0511	0.0178
0.6520	49500	0.0526	-
0.6585	50000	0.0528	0.0259
0.6651	50500	0.05	-
0.6717	51000	0.0531	0.0193
0.6783	51500	0.0572	-
0.6849	52000	0.0532	0.0184
0.6915	52500	0.0545	-
0.6980	53000	0.0557	0.0203
0.7046	53500	0.0542	-
0.7112	54000	0.0535	0.0174
0.7178	54500	0.0533	-
0.7244	55000	0.0523	0.0181
0.7310	55500	0.0527	-
0.7376	56000	0.0515	0.0237
0.7441	56500	0.0536	-
0.7507	57000	0.0523	0.0173
0.7573	57500	0.0498	-
0.7639	58000	0.0491	0.0162
0.7705	58500	0.0496	-
0.7771	59000	0.0503	0.0194
0.7837	59500	0.0505	-
0.7902	60000	0.0488	0.0241
0.7968	60500	0.0513	-
0.8034	61000	0.0522	0.0225
0.8100	61500	0.0507	-
0.8166	62000	0.0521	0.0219
0.8232	62500	0.0494	-
0.8298	63000	0.049	0.0169
0.8363	63500	0.0483	-
0.8429	64000	0.0492	0.0192
0.8495	64500	0.0494	-
0.8561	65000	0.0501	0.0180
0.8627	65500	0.0493	-
0.8693	66000	0.0492	0.0206
0.8759	66500	0.0473	-
0.8824	67000	0.0511	0.0216
0.8890	67500	0.0477	-
0.8956	68000	0.049	0.0216
0.9022	68500	0.0502	-
0.9088	69000	0.0548	0.0198
0.9154	69500	0.0474	-
0.9220	70000	0.0487	0.0183
0.9285	70500	0.0452	-
0.9351	71000	0.046	0.0161
0.9417	71500	0.0491	-
0.9483	72000	0.0461	0.0169
0.9549	72500	0.0505	-
0.9615	73000	0.05	0.0174
0.9680	73500	0.0506	-
0.9746	74000	0.0459	0.0168
0.9812	74500	0.0469	-
0.9878	75000	0.0444	0.0188
0.9944	75500	0.0513	-
1.0010	76000	0.0452	0.0190
1.0076	76500	0.0472	-
1.0141	77000	0.0466	0.0172
1.0207	77500	0.0497	-
1.0273	78000	0.0478	0.0169
1.0339	78500	0.0476	-
1.0405	79000	0.0492	0.0207
1.0471	79500	0.0464	-
1.0537	80000	0.0462	0.0176
1.0602	80500	0.0451	-
1.0668	81000	0.0461	0.0228
1.0734	81500	0.0465	-
1.0800	82000	0.0475	0.0201
1.0866	82500	0.0419	-
1.0932	83000	0.0406	0.0177
1.0998	83500	0.0431	-
1.1063	84000	0.0426	0.0190
1.1129	84500	0.0453	-
1.1195	85000	0.0407	0.0186
1.1261	85500	0.0417	-
1.1327	86000	0.0392	0.0154
1.1393	86500	0.0423	-
1.1459	87000	0.0414	0.0143
1.1524	87500	0.0418	-
1.1590	88000	0.0402	0.0148
1.1656	88500	0.0394	-
1.1722	89000	0.04	0.0136
1.1788	89500	0.0424	-
1.1854	90000	0.038	0.0131
1.1920	90500	0.0387	-
1.1985	91000	0.0422	0.0169
1.2051	91500	0.0367	-
1.2117	92000	0.0401	0.0137
1.2183	92500	0.0375	-
1.2249	93000	0.0394	0.0190
1.2315	93500	0.0372	-
1.2380	94000	0.0363	0.0160
1.2446	94500	0.0362	-
1.2512	95000	0.0371	0.0194
1.2578	95500	0.0363	-
1.2644	96000	0.0376	0.0147
1.2710	96500	0.0371	-
1.2776	97000	0.0363	0.0174
1.2841	97500	0.0363	-
1.2907	98000	0.0354	0.0172
1.2973	98500	0.0372	-
1.3039	99000	0.0358	0.0132
1.3105	99500	0.0353	-
1.3171	100000	0.0363	0.0131
1.3237	100500	0.0358	-
1.3302	101000	0.0359	0.0122
1.3368	101500	0.033	-
1.3434	102000	0.0356	0.0149
1.3500	102500	0.0323	-
1.3566	103000	0.0358	0.0124
1.3632	103500	0.034	-
1.3698	104000	0.0338	0.0141

Framework Versions

• Python: 3.11.10
• Sentence Transformers: 3.3.1
• Transformers: 4.46.3
• PyTorch: 2.5.1+cu124
• Accelerate: 1.1.1
• Datasets: 3.1.0
• Tokenizers: 0.20.3

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}