SentenceTransformer based on comet24082002/finetune_bge_simsce_V1

This is a sentence-transformers model finetuned from comet24082002/finetune_bge_simsce_V1. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: comet24082002/finetune_bge_simsce_V1
Maximum Sequence Length: 512 tokens
Output Dimensionality: 1024 tokens
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("comet24082002/ft_bge_newLaw_ContrastiveLoss_SimSCE_V1_5epochs")
# Run inference
sentences = [
    'Nhân viên khai thác mặt đất phục vụ chuyến bay được cấp Giấy phép nhân viên hàng không cần đáp ứng mấy điều kiện?',
    'Nhiệm vụ của Hội đồng sát hạch\n1. Xây dựng và ban hành quy chế hoạt động của Hội đồng sát hạch.\n2. Thành lập Tổ sát hạch theo từng lĩnh vực chuyên môn và trình độ tiếng Anh.\n3. Tổ chức xây dựng kế hoạch sát hạch, quy trình sát hạch, nội dung sát hạch, đề và đáp án sát hạch trình Cục trưởng Cục Hàng không Việt Nam ban hành.\n4. Tổ chức sát hạch và báo cáo Cục trưởng Cục Hàng không Việt Nam kết quả sát hạch để cấp giấy phép, năng định chuyên môn, chứng nhận trình độ tiếng Anh cho nhân viên hàng không.\n5. Chủ tịch Hội đồng sát hạch chịu trách nhiệm về việc lựa chọn sát hạch viên và kết quả sát hạch trước Cục trưởng Cục Hàng không Việt Nam.\n6. Tổ chức chấm phúc khảo (nếu có) đối với bài sát hạch trên giấy và thông báo kết quả cho người đề nghị phúc khảo.\n7. Lập Biên bản làm việc của Hội đồng sát hạch theo mẫu quy định tại Phụ lục 06 ban hành kèm theo Thông tư này.',
    '...\nIV. CHUẨN BỊ\n1. Người thực hiện: 04 người\n- Bác sỹ: 01\n- Kỹ thuật viên: 03\n2. Người bệnh:\n- Sau tai nạn sinh hoạt, tai nạn lao động…..\n- Có chẩn đoán gãy Dupuytren và có chỉ định điều trị bảo tồn.\n- Được giải thích kỹ mục đích của thủ thuật, quá trình tiến hành làm thủ thuật.\n- Được vệ sinh sạch sẽ, bộc lộ vùng cẳng chân bên bó bột.\n- Với người bệnh gây mê cần nhịn ăn uống 6 giờ.\n3. Phương tiện:\n- Thuốc gây mê tĩnh mạch hoặc gây tê tại chỗ\n- Máy C- ARM\n- Bơm, kim tiêm, bông băng, cồn, gạc\n- Bàn nắn.\n- Bột thạch cao: 4- 6 cuộn khổ 20cm (bột liền), 6- 8 cuộn khổ 20cm (bột tự cán).\n- Bông lót: 2-3 cuộn khổ 20cm.\n4. Thời gian thực hiện thủ thuật: 60- 80 phút.\nV. CÁC BƯỚC TIẾN HÀNH\n1. Tư thế:\nNgười bệnh nằm ngửa trên bàn chỉnh hình để được gây mê hoặc gây tê tại chỗ.\n2. Vô cảm:\n- Gây mê tĩnh mạch\n- Gây tê tại ổ gãy\n3. Kỹ thuật:\n- Sau gây mê, gây tê cho người bệnh nằm ngửa kê đệm gối dưới đùi. Cố định gối của người bệnh vào bàn chỉnh hình.\n- Kỹ thuật viên 1. Tay trái nắm bàn chân, tay phải đỡ dưới gót chân của người bệnh kéo thẳng trục 5-7 phút.\n- Kỹ thuật viên 2. Đứng vuông góc với KTV1 nắn đầu dưới xương chày ra ngoài. Đẩy mắt cá trong lên trên. Đưa bàn chân vẹo vào trong.\n- Kỹ thuật viên 3. Kiểm tra trên C- ARM và bó bột Cẳng bàn chân.\n...',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

Size: 21,048 training samples
Columns: sentence1, sentence2, and label
Approximate statistics based on the first 1000 samples:
sentence1 sentence2 label
type string string int
details
min: 7 tokens
mean: 23.71 tokens
max: 47 tokens

min: 31 tokens
mean: 289.42 tokens
max: 512 tokens

0: ~50.00%
1: ~50.00%

	sentence1	sentence2	label
type	string	string	int
details	min: 7 tokens mean: 23.71 tokens max: 47 tokens	min: 31 tokens mean: 289.42 tokens max: 512 tokens	0: ~50.00% 1: ~50.00%

Samples:

sentence1	sentence2	label
`Người sử dụng lao động không thực hiện chế độ bồi dưỡng bằng hiện vật cho người lao động thì có bị xử phạt không?`	"Điều 22. Vi phạm quy định về phòng ngừa tai nạn lao động, bệnh nghề nghiệp ... 8. Phạt tiền đối với người sử dụng lao động có một trong các hành vi: Không trang cấp hoặc trang cấp không đầy đủ phương tiện bảo vệ cá nhân hoặc có trang cấp nhưng không đạt chất lượng theo quy định; không thực hiện chế độ bồi dưỡng bằng hiện vật hoặc bồi dưỡng bằng hiện vật thấp hơn mức theo quy định; trả tiền thay cho bồi dưỡng bằng hiện vật cho người lao động làm việc trong điều kiện có yếu tố nguy hiểm, yếu tố có hại theo một trong các mức sau đây: a) Từ 3.000.000 đồng đến 6.000.000 đồng đối với vi phạm từ 01 người đến 10 người lao động; b) Từ 6.000.000 đồng đến 10.000.000 đồng đối với vi phạm từ 11 người đến 50 người lao động; c) Từ 10.000.000 đồng đến 15.000.000 đồng đối với vi phạm từ 51 người đến 100 người lao động; d) Từ 15.000.000 đồng đến 20.000.000 đồng đối với vi phạm từ 101 người đến 300 người lao động; đ) Từ 20.000.000 đồng đến 30.000.000 đồng đối với hành vi vi phạm từ 301 người lao động trở lên. ... 11. Biện pháp khắc phục hậu quả Buộc người sử dụng lao động trả cho người lao động khoản bồi dưỡng bằng hiện vật được quy thành tiền theo đúng mức quy định đối với hành vi không thực hiện chế độ bồi dưỡng bằng hiện vật hoặc bồi dưỡng bằng hiện vật thấp hơn mức theo quy định cho người lao động làm việc trong điều kiện có yếu tố nguy hiểm, độc hại quy định tại khoản 8 Điều này."	`1`
`Người sử dụng lao động không thực hiện chế độ bồi dưỡng bằng hiện vật cho người lao động thì có bị xử phạt không?`	"Điều 2. Đối tượng áp dụng 1. Người lao động là công dân nước ngoài làm việc tại Việt Nam thuộc đối tượng tham gia bảo hiểm xã hội bắt buộc khi có giấy phép lao động hoặc chứng chỉ hành nghề hoặc giấy phép hành nghề do cơ quan có thẩm quyền của Việt Nam cấp và có hợp đồng lao động không xác định thời hạn, hợp đồng lao động xác định thời hạn từ đủ 01 năm trở lên với người sử dụng lao động tại Việt Nam. 2. Người lao động quy định tại khoản 1 Điều này không thuộc đối tượng tham gia bảo hiểm xã hội bắt buộc theo quy định tại Nghị định này khi thuộc một trong các trường hợp sau: a) Di chuyển trong nội bộ doanh nghiệp theo quy định tại khoản 1 Điều 3 của Nghị định số 11/2016/NĐ-CP ngày 03 tháng 02 năm 2016 của Chính phủ quy định chi tiết thi hành một số điều của Bộ luật Lao động về lao động nước ngoài làm việc tại Việt Nam; b) Người lao động đã đủ tuổi nghỉ hưu theo quy định tại khoản 1 Điều 187 của Bộ luật Lao động. 3. Người sử dụng lao động tham gia bảo hiểm xã hội bắt buộc bao gồm cơ quan nhà nước, đơn vị sự nghiệp, tổ chức chính trị, tổ chức chính trị - xã hội, tổ chức chính trị xã hội - nghề nghiệp, tổ chức xã hội - nghề nghiệp, tổ chức xã hội khác; cơ quan, tổ chức nước ngoài, tổ chức quốc tế hoạt động trên lãnh thổ Việt Nam; doanh nghiệp, hợp tác xã, hộ kinh doanh cá thể, tổ hợp tác, tổ chức khác và cá nhân được phép hoạt động kinh doanh theo quy định của pháp luật có thuê mướn, sử dụng lao động theo hợp đồng lao động. 4. Cơ quan, tổ chức và cá nhân có liên quan đến bảo hiểm xã hội bắt buộc đối với người lao động là công dân nước ngoài."	`0`
`Thời điểm nào được ra quyết định nghỉ hưu cho người lao động?`	"Điều 59. Thời điểm hưởng lương hưu 1. Đối với người lao động đang đóng bảo hiểm xã hội bắt buộc quy định tại các điểm a, b, c, d, đ, e và i khoản 1 Điều 2 của Luật này, thời điểm hưởng lương hưu là thời điểm ghi trong quyết định nghỉ việc do người sử dụng lao động lập khi người lao động đã đủ điều kiện hưởng lương hưu theo quy định của pháp luật. 2. Đối với người lao động đang đóng bảo hiểm xã hội bắt buộc quy định tại điểm h khoản 1 Điều 2 của Luật này, thời điểm hưởng lương hưu được tính từ tháng liền kề khi người lao động đủ điều kiện hưởng lương hưu và có văn bản đề nghị gửi cho cơ quan bảo hiểm xã hội. 3. Đối với người lao động quy định tại điểm g khoản 1 Điều 2 của Luật này và người đang bảo lưu thời gian đóng bảo hiểm xã hội, thời điểm hưởng lương hưu là thời điểm ghi trong văn bản đề nghị của người lao động đã đủ điều kiện hưởng lương hưu theo quy định. 4. Bộ trưởng Bộ Lao động - Thương binh và Xã hội quy định chi tiết về thời điểm hưởng lương hưu đối với người lao động quy định tại khoản 1 Điều 2 của Luật này."	`1`

Loss: ContrastiveLoss with these parameters:

{
    "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE",
    "margin": 0.5,
    "size_average": true
}

Training Hyperparameters

Non-Default Hyperparameters

per_device_train_batch_size: 4
learning_rate: 2e-05
num_train_epochs: 5
warmup_ratio: 0.1

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: no
prediction_loss_only: True
per_device_train_batch_size: 4
per_device_eval_batch_size: 8
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
learning_rate: 2e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 5
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: False
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
batch_sampler: batch_sampler
multi_dataset_batch_sampler: proportional

Training Logs