--- tags: - sentence-transformers - sentence-similarity - feature-extraction - generated_from_trainer - dataset_size:1583079 - loss:MultipleNegativesRankingLoss base_model: bkai-foundation-models/vietnamese-bi-encoder widget: - source_sentence: tính bền vững trong chuỗi cung ứng là gì sentences: - 'Tính bền vững của chuỗi cung ứng ::: Tính bền vững của chuỗi cung ứng là một vấn đề kinh doanh ảnh hưởng đến chuỗi cung ứng hoặc mạng lưới hậu cần của tổ chức về mặt môi trường, rủi ro và chi phí lãng phí. Nhu cầu tích hợp các lựa chọn hợp lý về môi trường vào quản lý chuỗi cung ứng ngày càng tăng. Tính bền vững trong chuỗi cung ứng ngày càng được các nhà quản trị cấp cao coi là cần thiết để mang lại lợi nhuận và đã thay thế chi phí tiền tệ, giá trị và tốc độ là chủ đề thảo luận giữa các chuyên gia mua và cung ứng. Một chuỗi cung ứng bền vững nắm bắt các cơ hội tạo ra giá trị và mang lại lợi thế cạnh tranh đáng kể cho những người chấp nhận sớm và đổi mới quy trình.' - 'Ung thư biểu mô tuyến bã ::: Ung thư biểu mô tuyến bã, còn được gọi là bã nhờn tuyến ung thư biểu mô (SGC), ung thư biểu mô tế bào bã nhờn, và ung thư biểu mô tuyến mebomian là một khối u ác tính ở da phổ biến. Hầu hết thường là các u khoảng 10 mm kích thước tại chỗ. Khối u này được cho là phát sinh từ các tuyến bã nhờn trên da và do đó, có thể bắt nguồn từ bất cứ nơi nào trong cơ thể nơi các tuyến này được tìm thấy. Ung thư biểu mô tuyến bã có thể được chia thành hai loại: mắt và ngoại bào. Bởi vì khu vực quanh mắt rất phong phú về loại tuyến này, khu vực này là một trang web phổ biến về nguồn gốc. Nguyên nhân của những tổn thương này là, trong phần lớn các trường hợp, không rõ. Các trường hợp thỉnh thoảng có thể liên quan đến hội chứng Muir-Torre. Do sự hiếm gặp của khối u này và sự thay đổi trong biểu hiện lâm sàng và mô học, SGc thường bị chẩn đoán nhầm là tình trạng viêm hoặc một loại khối u phổ biến hơn.' - 'Dấu thời gian ::: Dấu thời gian là một chuỗi các ký tự hoặc thông tin được mã hóa xác định khi một sự kiện nào đó xảy ra, thường đưa ra ngày và giờ trong ngày, đôi khi chính xác đến một phần nhỏ của một giây. Thuật ngữ này bắt nguồn từ tem cao su được sử dụng trong các văn phòng để đóng dấu ngày hiện tại và đôi khi, bằng mực trên tài liệu giấy, để ghi lại khi nhận được tài liệu. Các ví dụ phổ biến của loại dấu thời gian này là dấu bưu điện trên một chữ cái hoặc thời gian "vào" và "ra" trên thẻ thời gian.' - source_sentence: lãnh thổ mebel nằm ở đâu sentences: - 'Alexander và một ngày tồi tệ, kinh khủng, chán nản, bực bội ::: Alexander và một ngày tồi tệ, kinh khủng, chán nản, bực bội (tựa gốc tiếng Anh: Alexander and the Terrible, Horrible, No Good, Very Bad Day) là phim điện ảnh thiếu nhi hài hước của Mỹ năm 2014 do Miguel Arteta đạo diễn từ kịch bản chắp bút bởi Rob Lieber. Phim có sự tham gia của Steve Carell, Jennifer Garner và Ed Oxenbould, chủ yếu dựa trên cuốn sách thiếu nhi cùng tên năm 1972 của Judith Viorst. Phim khởi chiếu ở Việt Nam vào ngày 20 tháng 11 năm 2014.' - 'Vườn quốc gia Nanda Devi ::: Vườn quốc gia Nanda Devi hay Khu dự trữ sinh quyển Nanda Devi là một vườn quốc gia được thành lập vào năm 1982 bao gồm khu vực tự nhiên xung quanh đỉnh Nanda Devi (7.816 mét) ở bang Uttarakhand, miền bắc Ấn Độ. Toàn bộ vườn quốc gia nằm ở độ cao trên 3.500 m (11.500 ft) so với mực nước biển trung bình. Vườn quốc gia được UNESCO công nhận là Di sản thế giới từ năm 1988 trước khi được mở rộng thêm Vườn quốc gia Thung lũng các loài hoa vào năm 2005 đổi thành Nanda Devi và Vườn quốc gia Thung lũng các loài hoa.' - 'Vùng Klaipėda ::: Vùng Klaipėda (tiếng Litva: Klaipėdos kraštas) hoặc Lãnh thổ Memel (tiếng Đức: Memelland hay Memelgebiet) được định nghĩa bởi Hiệp ước Versailles năm 1919 năm 1920 và được gọi là phần phía bắc của tỉnh East Prussia của Đức, dưới sự điều hành của Entente ''s Hội đồng Đại sứ. Lãnh thổ Memel, cùng với các khu vực khác bị cắt đứt từ Đức (Saar và Danzig) sẽ nằm dưới sự kiểm soát của Liên minh các quốc gia cho đến một ngày trong tương lai khi người dân của các khu vực này sẽ được phép bỏ phiếu về việc liệu đất có trở lại Đức hay không. Ngày nay, Lãnh thổ Memel cũ được kiểm soát bởi Litva, quốc gia đã tổ chức nó thành các quận Klaipeda, Taurage, Marijampole và Alytus.' - source_sentence: mục đích của chiến lược gleichschaltung là gì sentences: - 'Đường sắt cao tốc Thượng Hải – Hàng Châu ::: Tuyến đường sắt cao tốc Thượng Hải Hàng Châu (tiếng Trung: 沪杭 客运 hoặc 沪杭 高速 铁路), còn được gọi là đường sắt cao tốc Huhang hoặc đường sắt chở khách Huhang là tuyến đường sắt cao tốc ở Trung Quốc giữa Thượng Hải và Hàng Châu, Chiết Giang. Tuyến có chiều dài 202 km (126 mi) và được thiết kế cho dịch vụ tàu thương mại với tốc độ 350 km/h (217 dặm / giờ). Nó được xây dựng trong 20 tháng và mở cửa vào ngày 26 tháng 10 năm 2010. Đường dây rút ngắn thời gian di chuyển giữa hai thành phố từ 78 xuống còn 45 phút. Tuyến này cũng được sử dụng bởi các chuyến tàu rời ga Thượng Hải đến Côn Minh và Thâm Quyến, trở thành một phần của Đường sắt cao tốc Thượng Hải Côn Minh và Hành lang đường sắt cao tốc Bờ biển Đông Nam. Nó đã làm cho đề xuất tuyến tàu đệm từ Thượng Hải Hàng Châu không thể triển khai.' - 'Trật tự thế giới mới ::: Thuật ngữ "Trật tự thế giới mới" đã được sử dụng để chỉ bất kỳ giai đoạn lịch sử mới nào chứng minh sự thay đổi mạnh mẽ trong tư tưởng chính trị thế giới và cán cân quyền lực. Mặc dù có nhiều cách hiểu khác nhau về thuật ngữ này, nó chủ yếu gắn liền với khái niệm ý thức hệ về quản trị toàn cầu chỉ trong ý nghĩa của những nỗ lực tập thể mới để xác định, hiểu hoặc giải quyết các vấn đề trên toàn thế giới vượt quá khả năng giải quyết của từng quốc gia.' - 'Gleichschaltung ::: Gleichschaltung trong bối cảnh chính trị - văn hóa là một chiến lược đạt được tầm quan trọng trung tâm, đặc biệt là trong thời kỳ phát xít. Từ những năm 1930, từ này đề cập đến quá trình thống nhất toàn bộ đời sống chính trị xã hội trong giai đoạn tiếp quản quyền lực ở Đức. Mục đích là để 1934 mâu thuẫn hiểu như đa nguyên trong chính phủ và xã hội nên được bãi bỏ và một chế độ độc tài để xây dựng chỉ với một trung tâm quyền lực.' - source_sentence: giáng son sinh ngày mấy sentences: - 'Proxymetacaine ::: Proxymetacaine (INN) hoặc proparacaine (USAN) là một loại thuốc gây tê tại chỗ của nhóm aminoester.' - 'Giáng Son ::: Tạ Thị Giáng Son (sinh ngày 1 tháng 2 năm 1975), thường được biết đến với nghệ danh Giáng Son hay Giáng Sol, là một nữ nhạc sĩ người Việt Nam. Cô là một trong số rất ít những nữ nhạc sĩ thành công vào đầu thập niên 2000 của Việt Nam và là cựu thủ lĩnh sáng lập nên nhóm nhạc 5 Dòng Kẻ. Cô là Ủy viên Ban chấp hành của Hội Nhạc sĩ Việt Nam, hội viên của Hội các nhà soạn nhạc thế giới thế kỷ 21 (Composers 21) và thành viên của nhóm tác giả M6. Hiện cô đang giữ chức Phó trưởng khoa Kịch hát dân tộc tại trường Đại học Sân khấu và Điện ảnh Hà Nội.' - 'Sông Kiến Giang (Thái Bình) ::: Sông Kiến Giang là con sông đào gồm nhiều đoạn khác nhau ở khu vực nam Thái Bình .' - source_sentence: tên thật của tỉnh drava banovina là gì sentences: - 'Drava Banovina ::: Drava Banovina hoặc Drava Banate (tiếng Slovenia: Dravska banovina) là một tỉnh (banovina) của Vương quốc Nam Tư từ năm 1929 đến năm 1941. Tỉnh này bao gồm hầu hết ngày nay Slovenia và được đặt tên cho Drava sông. Thành phố thủ đô của Drava Banovina là Ljubljana.' - 'Đo khoảng cách (vũ trụ) ::: Đo khoảng cách được sử dụng trong vũ trụ học vật lý để đưa ra một khái niệm tự nhiên về khoảng cách giữa hai vật thể hoặc sự kiện trong vũ trụ. Chúng thường được sử dụng để buộc một số lượng có thể quan sát được (như độ chói của một quasar ở xa, dịch chuyển đỏ của một thiên hà xa xôi hoặc kích thước góc của các đỉnh âm trong phổ công suất CMB) với một đại lượng khác không thể quan sát trực tiếp, nhưng thuận tiện hơn cho việc tính toán (chẳng hạn như tọa độ đồng chuyển động của chuẩn tinh, thiên hà, v.v.). Các biện pháp khoảng cách được thảo luận ở đây đều làm giảm khái niệm chung về khoảng cách Euclide ở độ dịch chuyển thấp.' - 'Mùa bão Tây Bắc Thái Bình Dương 1986 ::: Mùa bão năm 1986 ở Tây Bắc Thái Bình Dương không có giới hạn chính thức; nó chạy quanh năm vào năm 1986, nhưng hầu hết các cơn bão nhiệt đới có xu hướng hình thành ở tây bắc Thái Bình Dương giữa tháng Năm và tháng Mười Hai. Những ngày này thường phân định thời kỳ mỗi năm khi hầu hết các cơn bão nhiệt đới hình thành ở tây bắc Thái Bình Dương. Bão nhiệt đới hình thành trong toàn bộ lưu vực phía tây Thái Bình Dương đã được Trung tâm Cảnh báo Bão chung đặt tên. Áp thấp nhiệt đới xâm nhập hoặc hình thành trong khu vực trách nhiệm của Philippines được đặt tên bởi Cơ quan Dịch vụ Khí quyển, Địa vật lý và Thiên văn học Philippines hoặc PAGASA. Điều này thường có thể dẫn đến cùng một cơn bão có hai tên.' pipeline_tag: sentence-similarity library_name: sentence-transformers --- # SentenceTransformer based on bkai-foundation-models/vietnamese-bi-encoder This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [bkai-foundation-models/vietnamese-bi-encoder](https://huggingface.co/bkai-foundation-models/vietnamese-bi-encoder). It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more. ## Model Details ### Model Description - **Model Type:** Sentence Transformer - **Base model:** [bkai-foundation-models/vietnamese-bi-encoder](https://huggingface.co/bkai-foundation-models/vietnamese-bi-encoder) - **Maximum Sequence Length:** 256 tokens - **Output Dimensionality:** 768 dimensions - **Similarity Function:** Cosine Similarity ### Model Sources - **Documentation:** [Sentence Transformers Documentation](https://sbert.net) - **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers) - **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers) ### Full Model Architecture ``` SentenceTransformer( (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True}) ) ``` ## Usage ### Direct Usage (Sentence Transformers) First install the Sentence Transformers library: ```bash pip install -U sentence-transformers ``` Then you can load this model and run inference. ```python from sentence_transformers import SentenceTransformer # Download from the 🤗 Hub model = SentenceTransformer("tintnguyen/vietnamese-bi-encoder-ft") # Run inference sentences = [ 'tên thật của tỉnh drava banovina là gì', 'Drava Banovina ::: Drava Banovina hoặc Drava Banate (tiếng Slovenia: Dravska banovina) là một tỉnh (banovina) của Vương quốc Nam Tư từ năm 1929 đến năm 1941. Tỉnh này bao gồm hầu hết ngày nay Slovenia và được đặt tên cho Drava sông. Thành phố thủ đô của Drava Banovina là Ljubljana.', 'Mùa bão Tây Bắc Thái Bình Dương 1986 ::: Mùa bão năm 1986 ở Tây Bắc Thái Bình Dương không có giới hạn chính thức; nó chạy quanh năm vào năm 1986, nhưng hầu hết các cơn bão nhiệt đới có xu hướng hình thành ở tây bắc Thái Bình Dương giữa tháng Năm và tháng Mười Hai. Những ngày này thường phân định thời kỳ mỗi năm khi hầu hết các cơn bão nhiệt đới hình thành ở tây bắc Thái Bình Dương. Bão nhiệt đới hình thành trong toàn bộ lưu vực phía tây Thái Bình Dương đã được Trung tâm Cảnh báo Bão chung đặt tên. Áp thấp nhiệt đới xâm nhập hoặc hình thành trong khu vực trách nhiệm của Philippines được đặt tên bởi Cơ quan Dịch vụ Khí quyển, Địa vật lý và Thiên văn học Philippines hoặc PAGASA. Điều này thường có thể dẫn đến cùng một cơn bão có hai tên.', ] embeddings = model.encode(sentences) print(embeddings.shape) # [3, 768] # Get the similarity scores for the embeddings similarities = model.similarity(embeddings, embeddings) print(similarities.shape) # [3, 3] ``` ## Evaluation ### Metrics #### Information Retrieval * Evaluated with [InformationRetrievalEvaluator](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator) on [ir-eval](https://huggingface.co/datasets/tintnguyen/ir-eval/tree/main) ``` {'aaa_cosine_accuracy@1': 0.6559, 'aaa_cosine_accuracy@3': 0.7988, 'aaa_cosine_accuracy@5': 0.8473, 'aaa_cosine_accuracy@10': 0.8915, 'aaa_cosine_precision@1': 0.6559, 'aaa_cosine_precision@3': 0.4683333333333332, 'aaa_cosine_precision@5': 0.39014000000000004, 'aaa_cosine_precision@10': 0.29126, 'aaa_cosine_recall@1': 0.14735861230027672, 'aaa_cosine_recall@3': 0.2534958821819028, 'aaa_cosine_recall@5': 0.3139822545058687, 'aaa_cosine_recall@10': 0.3978179383957577, 'aaa_cosine_ndcg@10': 0.4994592874617665, 'aaa_cosine_mrr@10': 0.7369935317460269, 'aaa_cosine_map@100': 0.3890462930756453} ``` ## Training Details ### Training Dataset #### Unnamed Dataset * Size: 1,583,079 training samples * Columns: anchor and positive * Approximate statistics based on the first 1000 samples: | | anchor | positive | |:--------|:----------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------| | type | string | string | | details | | | * Samples: | anchor | positive | |:------------------------------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------| | đặng văn hoàn từng giữ chức vụ nào | Đặng Văn Hoàn ::: Đặng Văn Hoàn là chính trị gia người Việt Nam. Ông từng giữ chức vụ Chủ tịch Ủy ban Mặt trận Tổ quốc Việt Nam tỉnh Quảng Bình. | | đặng văn hoàn là người nào | Đặng Văn Hoàn ::: Đặng Văn Hoàn là chính trị gia người Việt Nam. Ông từng giữ chức vụ Chủ tịch Ủy ban Mặt trận Tổ quốc Việt Nam tỉnh Quảng Bình. | | đặng văn hoàn là ai | Đặng Văn Hoàn ::: Đặng Văn Hoàn là chính trị gia người Việt Nam. Ông từng giữ chức vụ Chủ tịch Ủy ban Mặt trận Tổ quốc Việt Nam tỉnh Quảng Bình. | * Loss: [MultipleNegativesRankingLoss](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters: ```json { "scale": 20.0, "similarity_fct": "cos_sim" } ``` ### Training Hyperparameters #### Non-Default Hyperparameters - `per_device_train_batch_size`: 64 - `per_device_eval_batch_size`: 32 - `learning_rate`: 2e-05 - `num_train_epochs`: 2 - `warmup_ratio`: 0.1 - `fp16`: True - `batch_sampler`: no_duplicates #### All Hyperparameters
Click to expand - `overwrite_output_dir`: False - `do_predict`: False - `eval_strategy`: no - `prediction_loss_only`: True - `per_device_train_batch_size`: 64 - `per_device_eval_batch_size`: 32 - `per_gpu_train_batch_size`: None - `per_gpu_eval_batch_size`: None - `gradient_accumulation_steps`: 1 - `eval_accumulation_steps`: None - `torch_empty_cache_steps`: None - `learning_rate`: 2e-05 - `weight_decay`: 0.0 - `adam_beta1`: 0.9 - `adam_beta2`: 0.999 - `adam_epsilon`: 1e-08 - `max_grad_norm`: 1.0 - `num_train_epochs`: 2 - `max_steps`: -1 - `lr_scheduler_type`: linear - `lr_scheduler_kwargs`: {} - `warmup_ratio`: 0.1 - `warmup_steps`: 0 - `log_level`: passive - `log_level_replica`: warning - `log_on_each_node`: True - `logging_nan_inf_filter`: True - `save_safetensors`: True - `save_on_each_node`: False - `save_only_model`: False - `restore_callback_states_from_checkpoint`: False - `no_cuda`: False - `use_cpu`: False - `use_mps_device`: False - `seed`: 42 - `data_seed`: None - `jit_mode_eval`: False - `use_ipex`: False - `bf16`: False - `fp16`: True - `fp16_opt_level`: O1 - `half_precision_backend`: auto - `bf16_full_eval`: False - `fp16_full_eval`: False - `tf32`: None - `local_rank`: 0 - `ddp_backend`: None - `tpu_num_cores`: None - `tpu_metrics_debug`: False - `debug`: [] - `dataloader_drop_last`: False - `dataloader_num_workers`: 0 - `dataloader_prefetch_factor`: None - `past_index`: -1 - `disable_tqdm`: False - `remove_unused_columns`: True - `label_names`: None - `load_best_model_at_end`: False - `ignore_data_skip`: False - `fsdp`: [] - `fsdp_min_num_params`: 0 - `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False} - `fsdp_transformer_layer_cls_to_wrap`: None - `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None} - `deepspeed`: None - `label_smoothing_factor`: 0.0 - `optim`: adamw_torch - `optim_args`: None - `adafactor`: False - `group_by_length`: False - `length_column_name`: length - `ddp_find_unused_parameters`: None - `ddp_bucket_cap_mb`: None - `ddp_broadcast_buffers`: False - `dataloader_pin_memory`: True - `dataloader_persistent_workers`: False - `skip_memory_metrics`: True - `use_legacy_prediction_loop`: False - `push_to_hub`: False - `resume_from_checkpoint`: None - `hub_model_id`: None - `hub_strategy`: every_save - `hub_private_repo`: False - `hub_always_push`: False - `gradient_checkpointing`: False - `gradient_checkpointing_kwargs`: None - `include_inputs_for_metrics`: False - `include_for_metrics`: [] - `eval_do_concat_batches`: True - `fp16_backend`: auto - `push_to_hub_model_id`: None - `push_to_hub_organization`: None - `mp_parameters`: - `auto_find_batch_size`: False - `full_determinism`: False - `torchdynamo`: None - `ray_scope`: last - `ddp_timeout`: 1800 - `torch_compile`: False - `torch_compile_backend`: None - `torch_compile_mode`: None - `dispatch_batches`: None - `split_batches`: None - `include_tokens_per_second`: False - `include_num_input_tokens_seen`: False - `neftune_noise_alpha`: None - `optim_target_modules`: None - `batch_eval_metrics`: False - `eval_on_start`: False - `use_liger_kernel`: False - `eval_use_gather_object`: False - `average_tokens_across_devices`: False - `prompts`: None - `batch_sampler`: no_duplicates - `multi_dataset_batch_sampler`: proportional
### Training Logs | Epoch | Step | Training Loss | |:------:|:-----:|:-------------:| | 0.0202 | 500 | 0.3446 | | 0.0404 | 1000 | 0.3366 | | 0.0606 | 1500 | 0.4109 | | 0.0809 | 2000 | 0.1684 | | 0.1011 | 2500 | 0.2029 | | 0.1213 | 3000 | 0.1815 | | 0.1415 | 3500 | 0.1493 | | 0.1617 | 4000 | 0.1606 | | 0.1819 | 4500 | 0.1221 | | 0.2021 | 5000 | 0.1488 | | 0.2223 | 5500 | 0.1751 | | 0.2426 | 6000 | 0.2354 | | 0.2628 | 6500 | 0.1252 | | 0.2830 | 7000 | 0.1352 | | 0.3032 | 7500 | 0.1798 | | 0.3234 | 8000 | 0.1166 | | 0.3436 | 8500 | 0.1247 | | 0.3638 | 9000 | 0.1664 | | 0.3841 | 9500 | 0.1451 | | 0.4043 | 10000 | 0.1391 | | 0.4245 | 10500 | 0.3064 | | 0.4447 | 11000 | 0.373 | | 0.4649 | 11500 | 0.2125 | | 0.4851 | 12000 | 0.1839 | | 0.5053 | 12500 | 0.3237 | | 0.5255 | 13000 | 0.4 | | 0.5458 | 13500 | 0.2788 | | 0.5660 | 14000 | 0.2936 | | 0.5862 | 14500 | 0.1388 | | 0.6064 | 15000 | 0.1581 | | 0.6266 | 15500 | 0.1876 | | 0.6468 | 16000 | 0.1569 | | 0.6670 | 16500 | 0.1575 | | 0.6873 | 17000 | 0.2999 | | 0.7075 | 17500 | 0.2072 | | 0.7277 | 18000 | 0.2041 | | 0.7479 | 18500 | 0.2705 | | 0.7681 | 19000 | 0.3727 | | 0.7883 | 19500 | 0.2635 | | 0.8085 | 20000 | 0.2007 | | 0.8288 | 20500 | 0.1417 | | 0.8490 | 21000 | 0.1682 | | 0.8692 | 21500 | 0.1665 | | 0.8894 | 22000 | 0.0305 | | 0.9096 | 22500 | 0.0184 | | 0.9298 | 23000 | 0.0159 | | 0.9500 | 23500 | 0.0166 | | 0.9702 | 24000 | 0.0149 | | 0.9905 | 24500 | 0.0158 | | 1.0107 | 25000 | 0.0725 | | 1.0309 | 25500 | 0.1099 | | 1.0511 | 26000 | 0.2281 | | 1.0713 | 26500 | 0.1607 | | 1.0915 | 27000 | 0.0796 | | 1.1117 | 27500 | 0.0998 | | 1.1320 | 28000 | 0.0603 | | 1.1522 | 28500 | 0.0815 | | 1.1724 | 29000 | 0.0754 | | 1.1926 | 29500 | 0.0873 | | 1.2128 | 30000 | 0.079 | | 1.2330 | 30500 | 0.0748 | | 1.2532 | 31000 | 0.1438 | | 1.2734 | 31500 | 0.0575 | | 1.2937 | 32000 | 0.1203 | | 1.3139 | 32500 | 0.0585 | | 1.3341 | 33000 | 0.0626 | | 1.3543 | 33500 | 0.0641 | | 1.3745 | 34000 | 0.0953 | | 1.3947 | 34500 | 0.0625 | | 1.4149 | 35000 | 0.1376 | | 1.4352 | 35500 | 0.309 | | 1.4554 | 36000 | 0.1851 | | 1.4756 | 36500 | 0.1268 | | 1.4958 | 37000 | 0.1762 | | 1.5160 | 37500 | 0.3293 | | 1.5362 | 38000 | 0.2692 | | 1.5564 | 38500 | 0.2661 | | 1.5766 | 39000 | 0.139 | | 1.5969 | 39500 | 0.0764 | | 1.6171 | 40000 | 0.1381 | | 1.6373 | 40500 | 0.0821 | | 1.6575 | 41000 | 0.0868 | | 1.6777 | 41500 | 0.1709 | | 1.6979 | 42000 | 0.1946 | | 1.7181 | 42500 | 0.1325 | | 1.7384 | 43000 | 0.1217 | | 1.7586 | 43500 | 0.2898 | | 1.7788 | 44000 | 0.2789 | | 1.7990 | 44500 | 0.1743 | | 1.8192 | 45000 | 0.1075 | | 1.8394 | 45500 | 0.1036 | | 1.8596 | 46000 | 0.1409 | | 1.8799 | 46500 | 0.0504 | | 1.9001 | 47000 | 0.0114 | | 1.9203 | 47500 | 0.009 | | 1.9405 | 48000 | 0.0083 | | 1.9607 | 48500 | 0.0082 | | 1.9809 | 49000 | 0.0079 | ### Framework Versions - Python: 3.11.10 - Sentence Transformers: 3.3.1 - Transformers: 4.46.3 - PyTorch: 2.5.1+cu124 - Accelerate: 1.1.1 - Datasets: 3.1.0 - Tokenizers: 0.20.4 ## Citation ### BibTeX #### Sentence Transformers ```bibtex @inproceedings{reimers-2019-sentence-bert, title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks", author = "Reimers, Nils and Gurevych, Iryna", booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing", month = "11", year = "2019", publisher = "Association for Computational Linguistics", url = "https://arxiv.org/abs/1908.10084", } ``` #### MultipleNegativesRankingLoss ```bibtex @misc{henderson2017efficient, title={Efficient Natural Language Response Suggestion for Smart Reply}, author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil}, year={2017}, eprint={1705.00652}, archivePrefix={arXiv}, primaryClass={cs.CL} } ```