metadata

tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - generated_from_trainer
  - dataset_size:1449744
  - loss:MultipleNegativesRankingLoss
base_model: tintnguyen/bert-base-vi-uncased-st-3
widget:
  - source_sentence: đánh chìm hms lightning khi nào
    sentences:
      - >-
        Nữ tính ::: Nữ tính là một tập hợp các thuộc tính, hành vi và vai trò
        thường liên quan đến con gái và phụ nữ. Nữ tính được xây dựng một phần
        về mặt xã hội, được tạo thành từ cả hai yếu tố được xác định về mặt xã
        hội và sinh học. Điều này làm cho nữ tính khác biệt với định nghĩa về
        giới tính nữ sinh học, vì cả nam và nữ đều có thể biểu hiện những đặc
        điểm nữ tính.
      - >-
        HMS Lightning (G55) ::: HMS Lightning (G55) là một tàu khu trục lớp L
        được Hải quân Hoàng gia Anh Quốc chế tạo vào cuối những năm 1930. Nó đã
        nhập biên chế và phục vụ trong Chiến tranh Thế giới thứ hai cho đến khi
        bị đánh chìm bởi ngư lôi phóng từ tàu phóng lôi E-boat Đức S-55 tại Địa
        Trung Hải vào ngày 12 tháng 3 năm 1943.
      - >-
        HMS Glowworm (H92) ::: HMS Glowworm (H92) là một tàu khu trục lớp G được
        chế tạo cho Hải quân Hoàng gia Anh Quốc vào giữa những năm 1930. Nó trải
        qua một phần lớn thời gian tại vùng biển Tây Ban Nha trong giai đoạn Nội
        chiến ở nước này vào năm 1936–1939, thực thi chính sách cấm vận vũ khí
        mà Anh và Pháp áp đặt cho các bên xung đột. Nó được điều từ Hạm đội Địa
        Trung Hải trở về quần đảo Anh vào đầu Chiến tranh Thế giới thứ hai để hộ
        tống tàu bè tại vùng biển nhà. Đến tháng 3 năm 1940, nó được điều sang
        Hạm đội Nhà vừa kịp lúc để tham gia giai đoạn mở màn của Chiến dịch Na
        Uy. Vào ngày 8 tháng 4 năm 1940, Glowworm đụng độ với các tàu khu trục
        Đức đang vận chuyển binh lính xâm chiếm Na Uy trong Chiến dịch
        Weserübung. Các tàu khu trục Đức tìm cách tách khỏi trận chiến và gửi
        tín hiệu cầu cứu đến tàu tuần dương hạng nặng Admiral Hipper. Glowworm
        bị hư hại nặng bởi hỏa lực pháo hạng nặng của Admiral Hipper, nhưng vẫn
        tìm cách phóng ngư lôi vào chiếc tàu chiến Đức. Hai con tàu va chạm, làm
        vỡ mũi tàu của Glowworm, và nó đắm không lâu sau đó.
  - source_sentence: cầu thủ bóng đá milison niasexe sinh năm bao nhiêu
    sentences:
      - >-
        Daniel Jarl ::: Daniel Jarl (born ngày 13 tháng 4 năm 1992) là một cầu
        thủ bóng đá người Thụy Điển thi đấu cho IK Sirius ở vị trí hậu vệ.
      - >-
        Milison Niasexe ::: Milison Niasexe (sinh ngày 16 tháng 2 năm 1986 ở
        Adema) là một cầu thủ bóng đá người Madagascar, hiện tại thi đấu cho
        Anse Réunion FC.
      - >-
        Thierno Niang (cầu thủ bóng đá) ::: Thierno Niang (sinh ngày 18 tháng 1
        năm 1992) là một cầu thủ bóng đá người Sénégal thi đấu cho S.C.
        Freamunde.
  - source_sentence: dân số của zebrzydowice
    sentences:
      - >-
        Zbizuby ::: Zbizuby là một làng thuộc huyện Kutná Hora, vùng
        Středočeský, Cộng hòa Séc.
      - >-
        Krzekoszewo ::: Krzekoszewo  là một khu định cư ở khu hành chính của
        Gmina Malechowo, thuộc hạt Sławno, West Pomeranian Voivodeship, ở phía
        tây bắc Ba Lan. Nó nằm khoảng 7 kilômét (4 dặm)   phía nam Malechowo, 18
        km (11 dặm) phía tây nam Sławno và 157 km (98 dặm) về phía đông bắc của
        thủ đô khu vực Szczecin.
      - >-
        Zebrzydowice, Rybnik ::: Zebrzydowice (tiếng Đức: Seibersdorf) là một
        quận của Rybnik, Silesian Voivodeship, miền nam Ba Lan. Vào ngày 31
        tháng 12 năm 2013, quận có 3.150 cư dân.
  - source_sentence: tạp chí thủy sản việt nam là gì
    sentences:
      - >-
        Tạp chí Thủy sản Việt Nam ::: Tạp chí Thủy sản Việt Nam là tạp chí về
        lĩnh vực thủy sản tại Việt Nam, là diễn đàn của nông ngư dân, doanh
        nghiệp, hoạt động trên các lĩnh vực nuôi trồng, khai thác, chế biến,
        tiêu thụ và dịch vụ hậu cần nghề cá. Chuyển tải thông tin về khoa học và
        công nghệ đến với bà nông, ngư dân, doanh nghiệp.
      - 'Độc tố thủy sản ::: Dưới đây là danh mục độc tố từ thủy sản, hải sản'
      - >-
        Nick van der Velden ::: Nick van der Velden (sinh ngày 16 tháng 12 năm
        1981) là một cầu thủ bóng đá người Hà Lan hiện tại thi đấu cho câu lạc
        bộ Indonesia Bali United ở Liga 1. Trước đây anh thi đấu cho FC
        Dordrecht, RKC Waalwijk, AZ Alkmaar, NEC, FC Groningen, Willem II và
        Dundee United. Tại AZ anh giành chức vô địch Eredivisie 2008-09.
  - source_sentence: rotheca là gì
    sentences:
      - >-
        Rotheca ::: Rotheca là một chi thực vật có hoa trong họ Hoa môi
        (Lamiaceae).
      - >-
        Rothera ::: Trạm Nghiên cứu Rothera là một Cơ sở Khảo sát Nam Cực của
        Anh (BAS) trên bán đảo Nam Cực, tọa lạc tại Điểm Rothera, Đảo Adelaide.
        Rothera cũng phục vụ như là thủ phủ của Lãnh thổ Nam Cực thuộc Anh, Lãnh
        thổ hải ngoại thuộc Anh.
      - >-
        Kim Bo-hyon ::: Kim Bo-hyon (tiếng Triều Tiên: 김보현; Hanja: 金輔鉉; 3 tháng
        10 năm 1871 - 2 tháng 9 năm 1955) xuất thân là một nông dân từ tỉnh Nam
        Pyongan. Ông là ông nội của người sáng lập Cộng hòa Dân chủ Nhân dân
        Triều Tiên, Kim Nhật Thành.
datasets:
  - tintnguyen/generated-viwiki-questions-negs-2
pipeline_tag: sentence-similarity
library_name: sentence-transformers

SentenceTransformer based on tintnguyen/bert-base-vi-uncased-st-3

This is a sentence-transformers model finetuned from tintnguyen/bert-base-vi-uncased-st-3 on the train dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: tintnguyen/bert-base-vi-uncased-st-3
Maximum Sequence Length: 512 tokens
Output Dimensionality: 768 dimensions
Similarity Function: Cosine Similarity
Training Dataset:
- train

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("tintnguyen/bert-base-vi-uncased-st-4")
# Run inference
sentences = [
    'rotheca là gì',
    'Rotheca ::: Rotheca là một chi thực vật có hoa trong họ Hoa môi (Lamiaceae).',
    'Rothera ::: Trạm Nghiên cứu Rothera là một Cơ sở Khảo sát Nam Cực của Anh (BAS) trên bán đảo Nam Cực, tọa lạc tại Điểm Rothera, Đảo Adelaide. Rothera cũng phục vụ như là thủ phủ của Lãnh thổ Nam Cực thuộc Anh, Lãnh thổ hải ngoại thuộc Anh.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

train

Dataset: train at 73dbd75
Size: 1,449,744 training samples
Columns: anchor, positive, and negative

Approximate statistics based on the first 1000 samples:

	anchor	positive	negative
type	string	string	string
details	min: 6 tokens mean: 10.87 tokens max: 26 tokens	min: 21 tokens mean: 93.5 tokens max: 402 tokens	min: 19 tokens mean: 99.32 tokens max: 463 tokens

Samples:

anchor	positive	negative
`cầu thủ ahn joon-soo là ai`	`Ahn Joon-soo ::: Ahn Joon-soo (安俊洙, sinh ngày 28 tháng 1 năm 1998) là một cầu thủ bóng đá người Hàn Quốc. Anh thi đấu cho Cerezo Osaka.`	`Ahn Jung-hwan ::: Ahn Jung-Hwan (Hangul: 안정환; sinh ngày 27 tháng 1 năm 1976 tại Paju, Gyeonggi) là một cựu cầu thủ bóng đá người Hàn Quốc, anh nổi tiếng với việc ghi bàn thắng vàng cho đội tuyển Hàn Quốc trong trận gặp Ý tại vòng hai World Cup 2002 đồng thời đưa tuyển Hàn tiến vào tứ kết.`
`cầu thủ ahn joon-soo là ai`	`Ahn Joon-soo ::: Ahn Joon-soo (安俊洙, sinh ngày 28 tháng 1 năm 1998) là một cầu thủ bóng đá người Hàn Quốc. Anh thi đấu cho Cerezo Osaka.`	`Ahn Sung-nam ::: Ahn Sung-Nam (Hangul: 안성남; Hanja: 安成男, sinh ngày 17 tháng 4 năm 1984) là một cầu thủ bóng đá Hàn Quốc hiện tại thi đấu cho Gyeongnam FC.`
`cầu thủ ahn joon-soo là ai`	`Ahn Joon-soo ::: Ahn Joon-soo (安俊洙, sinh ngày 28 tháng 1 năm 1998) là một cầu thủ bóng đá người Hàn Quốc. Anh thi đấu cho Cerezo Osaka.`	`Ahn So-hee ::: Ahn So-hee (Hangul: 안소희), sinh ngày 27 tháng 6 năm 1992, là nữ ca sĩ, diễn viên, vũ công, MC người Hàn Quốc, cựu thành viên nhóm nhạc Wonder Girls do JYP quản lý nhưng đã rời JYP. Hiện cô đang đầu quân cho KeyEast, tập trung vào diễn xuất.`

Loss: MultipleNegativesRankingLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Training Hyperparameters

Non-Default Hyperparameters

per_device_train_batch_size: 40
per_device_eval_batch_size: 32
learning_rate: 2e-05
num_train_epochs: 2
warmup_ratio: 0.1
fp16: True
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: no
prediction_loss_only: True
per_device_train_batch_size: 40
per_device_eval_batch_size: 32
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 2e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 2
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: True
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: False
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss
0.0138	500	0.2135
0.0276	1000	0.1575
0.0414	1500	0.1395
0.0552	2000	0.1241
0.0690	2500	0.1041
0.0828	3000	0.1063
0.0966	3500	0.1011
0.1104	4000	0.0982
0.1242	4500	0.0923
0.1380	5000	0.0916
0.1517	5500	0.0831
0.1655	6000	0.0904
0.1793	6500	0.0891
0.1931	7000	0.0843
0.2069	7500	0.0816
0.2207	8000	0.0862
0.2345	8500	0.0743
0.2483	9000	0.09
0.2621	9500	0.0761
0.2759	10000	0.0762
0.2897	10500	0.0794
0.3035	11000	0.0761
0.3173	11500	0.0757
0.3311	12000	0.0697
0.3449	12500	0.0746
0.3587	13000	0.0736
0.3725	13500	0.0672
0.3863	14000	0.0683
0.4001	14500	0.0684
0.4139	15000	0.0683
0.4277	15500	0.0717
0.4415	16000	0.0673
0.4552	16500	0.0624
0.4690	17000	0.0658
0.4828	17500	0.0661
0.4966	18000	0.0667
0.5104	18500	0.0658
0.5242	19000	0.0665
0.5380	19500	0.0642
0.5518	20000	0.0635
0.5656	20500	0.0634
0.5794	21000	0.0623
0.5932	21500	0.0628
0.6070	22000	0.0658
0.6208	22500	0.0611
0.6346	23000	0.0623
0.6484	23500	0.0655
0.6622	24000	0.0587
0.6760	24500	0.0551
0.6898	25000	0.0555
0.7036	25500	0.0551
0.7174	26000	0.0622
0.7312	26500	0.0528
0.7450	27000	0.058
0.7587	27500	0.0538
0.7725	28000	0.0568
0.7863	28500	0.0531
0.8001	29000	0.0552
0.8139	29500	0.0533
0.8277	30000	0.0547
0.8415	30500	0.0541
0.8553	31000	0.055
0.8691	31500	0.0519
0.8829	32000	0.0492
0.8967	32500	0.0569
0.9105	33000	0.0484
0.9243	33500	0.0493
0.9381	34000	0.0507
0.9519	34500	0.0496
0.9657	35000	0.0502
0.9795	35500	0.0473
0.9933	36000	0.0532
1.0071	36500	0.0492
1.0209	37000	0.0469
1.0347	37500	0.046
1.0484	38000	0.0385
1.0622	38500	0.037
1.0760	39000	0.0359
1.0898	39500	0.0315
1.1036	40000	0.0274
1.1174	40500	0.0271
1.1312	41000	0.0242
1.1450	41500	0.0249
1.1588	42000	0.021
1.1726	42500	0.0197
1.1864	43000	0.0194
1.2002	43500	0.0157
1.2140	44000	0.0153
1.2278	44500	0.0143
1.2416	45000	0.0179
1.2554	45500	0.0148
1.2692	46000	0.0155
1.2830	46500	0.0145
1.2968	47000	0.0147
1.3106	47500	0.0141
1.3244	48000	0.0138
1.3382	48500	0.0148
1.3519	49000	0.0137
1.3657	49500	0.014
1.3795	50000	0.0132
1.3933	50500	0.0131
1.4071	51000	0.0125

Framework Versions

Python: 3.11.10
Sentence Transformers: 3.3.1
Transformers: 4.46.3
PyTorch: 2.5.1+cu124
Accelerate: 1.1.1
Datasets: 3.1.0
Tokenizers: 0.20.3

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}