SentenceTransformer based on comet24082002/finetune_bge_simsce_V1

This is a sentence-transformers model finetuned from comet24082002/finetune_bge_simsce_V1. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: comet24082002/finetune_bge_simsce_V1
Maximum Sequence Length: 512 tokens
Output Dimensionality: 1024 tokens
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("comet24082002/ft_bge_newLaw_MultipleNegativeRankingLoss_SimSCE_V1_5epochs")
# Run inference
sentences = [
    'Đơn tố cáo nặc danh có được tiếp nhận xử lý không?',
    '1. Trước khi thụ lý tố cáo, người giải quyết tố cáo tự mình hoặc giao cơ quan thanh tra nhà nước cùng cấp hoặc cơ quan, tổ chức, cá nhân khác xác minh thông tin về người tố cáo và điều kiện thụ lý tố cáo. Trường hợp người tố cáo không cư trú tại địa bàn quản lý hoặc gặp khó khăn trong việc xác minh thì người giải quyết tố cáo có thể ủy quyền cho cơ quan nhà nước ngang cấp hoặc cơ quan nhà nước cấp dưới xác minh thông tin cần thiết phục vụ việc ra quyết định thụ lý tố cáo. Việc thụ lý tố cáo được thực hiện theo quy định tại Điều 29 Luật Tố cáo. Quyết định thụ lý tố cáo được thực hiện theo Mẫu số 04 tại Phụ lục ban hành kèm theo Nghị định này.\n2. Trong thời hạn 05 ngày làm việc kể từ ngày ra quyết định thụ lý tố cáo, người giải quyết tố cáo có trách nhiệm thông báo cho người tố cáo và thông báo về nội dung tố cáo cho người bị tố cáo biết. Thông báo việc thụ lý tố cáo được thực hiện theo Mẫu số 05, thông báo về nội dung tố cáo cho người bị tố cáo thực hiện theo Mẫu số 06 tại Phụ lục ban hành kèm theo Nghị định này.',
    'Chương trình, tài liệu đào tạo, bồi dưỡng\n...\n2. Chương trình, tài liệu bồi dưỡng:\na) Chương trình, tài liệu bồi dưỡng theo tiêu chuẩn ngạch công chức, thời gian thực hiện tối thiểu là 06 tuần, tối đa là 08 tuần, bao gồm:\n- Chương trình bồi dưỡng ngạch cán sự và tương đương;\n- Chương trình bồi dưỡng các ngạch: chuyên viên và tương đương; chuyên viên chính và tương đương; chuyên viên cao cấp và tương đương.\nb) Chương trình, tài liệu bồi dưỡng theo tiêu chuẩn chức vụ cán bộ lãnh đạo, quản lý, thời gian thực hiện tối thiểu là 02 tuần, tối đa là 04 tuần, bao gồm:\n- Chương trình bồi dưỡng lãnh đạo cấp phòng và tương đương;\n- Chương trình bồi dưỡng lãnh đạo VKSND cấp huyện và tương đương;\n- Chương trình bồi dưỡng lãnh đạo VKSND cấp tỉnh, lãnh đạo cấp vụ và tương đương.\nc) Chương trình, tài liệu bồi dưỡng theo yêu cầu của vị trí việc làm, kiến thức, kỹ năng chuyên ngành, thời gian thực hiện tối đa là 01 tuần.\nd) Đối với việc bồi dưỡng lãnh đạo VKSND tối cao và các chương trình bồi dưỡng khác (bao gồm bồi dưỡng viên chức) thực hiện theo quy định của Đảng và Nhà nước.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

Size: 10,524 training samples
Columns: anchor and positive
Approximate statistics based on the first 1000 samples:
anchor positive
type string string
details
min: 8 tokens
mean: 24.26 tokens
max: 52 tokens

min: 18 tokens
mean: 266.55 tokens
max: 512 tokens

	anchor	positive
type	string	string
details	min: 8 tokens mean: 24.26 tokens max: 52 tokens	min: 18 tokens mean: 266.55 tokens max: 512 tokens

Samples:

anchor	positive
`Phó trưởng phòng của một đơn vị sự nghiệp công lập có được bổ nhiệm làm kế toán trưởng tại đơn vị mình đang công tác không?`	“Điều 52. Những người không được làm kế toán 1. Người chưa thành niên; người bị Tòa án tuyên bố hạn chế hoặc mất năng lực hành vi dân sự; người đang phải chấp hành biện pháp đưa vào cơ sở giáo dục bắt buộc, cơ sở cai nghiện bắt buộc. 2. Người đang bị cấm hành nghề kế toán theo bản án hoặc quyết định của Tòa án đã có hiệu lực pháp luật; người đang bị truy cứu trách nhiệm hình sự; người đang phải chấp hành hình phạt tù hoặc đã bị kết án về một trong các tội xâm phạm trật tự quản lý kinh tế, tội phạm về chức vụ liên quan đến tài chính, kế toán mà chưa được xóa án tích. 3. Cha đẻ, mẹ đẻ, cha nuôi, mẹ nuôi, vợ, chồng, con đẻ, con nuôi, anh, chị, em ruột của người đại diện theo pháp luật, của người đứng đầu, của giám đốc, tổng giám đốc và của cấp phó của người đứng đầu, phó giám đốc, phó tổng giám đốc phụ trách công tác tài chính - kế toán, kế toán trưởng trong cùng một đơn vị kế toán, trừ doanh nghiệp tư nhân, công ty trách nhiệm hữu hạn do một cá nhân làm chủ sở hữu và các trường hợp khác do Chính phủ quy định. 4. Người đang là người quản lý, điều hành, thủ kho, thủ quỹ, người mua, bán tài sản trong cùng một đơn vị kế toán, trừ trong doanh nghiệp tư nhân, công ty trách nhiệm hữu hạn do một cá nhân làm chủ sở hữu và các trường hợp khác do Chính phủ quy định.”
`Có được hưởng cùng lúc trợ cấp thất nghiệp và bảo hiểm thai sản không?`	“Điều 31. Điều kiện hưởng chế độ thai sản 1. Người lao động được hưởng chế độ thai sản khi thuộc một trong các trường hợp sau đây: a) Lao động nữ mang thai; b) Lao động nữ sinh con; c) Lao động nữ mang thai hộ và người mẹ nhờ mang thai hộ; d) Người lao động nhận nuôi con nuôi dưới 06 tháng tuổi; đ) Lao động nữ đặt vòng tránh thai, người lao động thực hiện biện pháp triệt sản; e) Lao động nam đang đóng bảo hiểm xã hội có vợ sinh con. 2. Người lao động quy định tại các điểm b, c và d khoản 1 Điều này phải đóng bảo hiểm xã hội từ đủ 06 tháng trở lên trong thời gian 12 tháng trước khi sinh con hoặc nhận nuôi con nuôi. 3. Người lao động quy định tại điểm b khoản 1 Điều này đã đóng bảo hiểm xã hội từ đủ 12 tháng trở lên mà khi mang thai phải nghỉ việc để dưỡng thai theo chỉ định của cơ sở khám bệnh, chữa bệnh có thẩm quyền thì phải đóng bảo hiểm xã hội từ đủ 03 tháng trở lên trong thời gian 12 tháng trước khi sinh con. 4. Người lao động đủ điều kiện quy định tại khoản 2 và khoản 3 Điều này mà chấm dứt hợp đồng lao động, hợp đồng làm việc hoặc thôi việc trước thời điểm sinh con hoặc nhận con nuôi dưới 06 tháng tuổi thì vẫn được hưởng chế độ thai sản theo quy định tại các Điều 34, 36, 38 và khoản 1 Điều 39 của Luật này.”
`Viên chức cảng vụ hàng không phải đáp ứng những tiêu chuẩn nào?`	Cảng vụ viên hàng không hạng V - Mã số V.12.01.05 ... 2. Tiêu chuẩn về trình độ đào tạo, bồi dưỡng a) Có bằng tốt nghiệp trung cấp trở lên với ngành, chuyên ngành đào tạo phù hợp với vị trí việc làm; b) Có chứng chỉ bồi dưỡng theo tiêu chuẩn chức danh nghề nghiệp viên chức chuyên ngành cảng vụ hàng không. 3. Tiêu chuẩn về năng lực chuyên môn, nghiệp vụ a) Nắm chắc các nguyên tắc và các hướng dẫn nghiệp vụ, quy trình tác nghiệp theo yêu cầu nhiệm vụ được giao; b) Có kỹ năng sử dụng công nghệ thông tin cơ bản và sử dụng được ngoại ngữ hoặc sử dụng được tiếng dân tộc thiểu số đối với viên chức công tác ở vùng dân tộc thiểu số theo yêu cầu của vị trí việc làm; c) Sử dụng thành thạo các phương tiện, thiết bị kỹ thuật phục vụ yêu cầu nhiệm vụ.

Loss: MultipleNegativesRankingLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Training Hyperparameters

Non-Default Hyperparameters

per_device_train_batch_size: 4
learning_rate: 2e-05
num_train_epochs: 5
warmup_ratio: 0.1

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: no
prediction_loss_only: True
per_device_train_batch_size: 4
per_device_eval_batch_size: 8
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
learning_rate: 2e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 5
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: False
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
batch_sampler: batch_sampler
multi_dataset_batch_sampler: proportional

Training Logs