SentenceTransformer based on BAAI/bge-m3

This is a sentence-transformers model finetuned from BAAI/bge-m3. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: BAAI/bge-m3
Maximum Sequence Length: 512 tokens
Output Dimensionality: 1024 tokens
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("comet24082002/ft_bge_newLaw_ContrastiveLoss_V2_5epochs")
# Run inference
sentences = [
    'Cách ghi thông tin phiếu điều chỉnh thông tin căn cước công dân được hướng dẫn thế nào?',
    'Tờ khai Căn cước công dân (CC01)\n...\n2. Cách ghi thông tin\na) Mục “Họ, chữ đệm và tên”, “Họ và tên gọi khác”: ghi đầy đủ họ, chữ đệm và tên theo giấy khai sinh; chữ in hoa đủ dấu. Chỉ ghi họ, tên gọi khác nếu trong giấy khai sinh có họ và tên gọi khác;\nb) Mục “Ngày, tháng, năm sinh”: ghi ngày, tháng, năm sinh của công dân được cấp, đổi, cấp lại thẻ Căn cước công dân. Ngày sinh ghi 02 chữ số; năm sinh ghi đủ bốn chữ số. Đối với tháng sinh từ tháng 3 đến tháng 9 ghi 01 chữ số, các tháng sinh còn lại ghi 02 chữ số;\nc) Mục “Giới tính”: nếu giới tính nam ghi là “Nam”, nếu giới tính nữ ghi là “Nữ”;\n...',
    '“Điều 76. Trách nhiệm của Thẩm phán\n1. Trung thành với Tổ quốc, gương mẫu chấp hành Hiến pháp và pháp luật.\n2. Tôn trọng nhân dân, tận tụy phục vụ nhân dân, liên hệ chặt chẽ với nhân dân, lắng nghe ý kiến và chịu sự giám sát của nhân dân.\n3. Độc lập, vô tư, khách quan, bảo vệ công lý trong xét xử; chấp hành quy tắc ứng xử, đạo đức nghề nghiệp Thẩm phán, giữ gìn uy tín của Tòa án.\n4. Giữ bí mật nhà nước và bí mật công tác theo quy định của pháp luật.\n5. Học tập, nghiên cứu để nâng cao kiến thức, trình độ chính trị và chuyên môn nghiệp vụ Tòa án.\n6. Chịu trách nhiệm trước pháp luật về việc thực hiện nhiệm vụ, quyền hạn và các quyết định của mình; nếu có hành vi vi phạm pháp luật thì tùy theo tính chất, mức độ vi phạm mà bị xử lý kỷ luật hoặc truy cứu trách nhiệm hình sự theo quy định của luật. Thẩm phán trong khi thực hiện nhiệm vụ, quyền hạn của mình mà gây thiệt hại thì Tòa án nơi Thẩm phán thực hiện nhiệm vụ xét xử có trách nhiệm bồi thường và Thẩm phán đã gây thiệt hại có trách nhiệm bồi hoàn cho Tòa án theo quy định của luật.”',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

Size: 21,048 training samples
Columns: sentence1, sentence2, and label
Approximate statistics based on the first 1000 samples:
sentence1 sentence2 label
type string string int
details
min: 10 tokens
mean: 24.21 tokens
max: 43 tokens

min: 27 tokens
mean: 279.33 tokens
max: 512 tokens

0: ~50.00%
1: ~50.00%

	sentence1	sentence2	label
type	string	string	int
details	min: 10 tokens mean: 24.21 tokens max: 43 tokens	min: 27 tokens mean: 279.33 tokens max: 512 tokens	0: ~50.00% 1: ~50.00%

Samples:

sentence1	sentence2	label
`Về đảm bảo vệ sinh thực phẩm thì các hành vi cần tránh của người tham gia vào các hoạt động, thao tác chế biến thực phẩm là gì?`	Vệ sinh cá nhân Những người tiếp xúc với thực phẩm cần giữ vệ sinh cá nhân thật tốt và cần mặc quần áo bảo vệ, đội mũ, đi giầy, khi thích hợp. Các vết cắt hay vết thương, nếu người đó đã được người quản lý cho phép tiếp tục làm việc thì các vết thương đó phải được bao bọc bằng băng không thấm nước. Các nhân viên luôn phải rửa tay sạch để không ảnh hưởng tới tính an toàn của thực phẩm, ví dụ: - lúc bắt đầu các hoạt động xử lý hay tiếp xúc với thực phẩm; - ngay sau khi đi vệ sinh; và - sau khi xử lý thực phẩm tươi sống hay bất kỳ một nguyên liệu bị nhiễm bẩn nào mà có thể gây nhiễm cho thực phẩm khác, họ nên tránh xử lý các thực phẩm ăn sẵn.	`1`
`Về đảm bảo vệ sinh thực phẩm thì các hành vi cần tránh của người tham gia vào các hoạt động, thao tác chế biến thực phẩm là gì?`	Kiểm dịch viên thực vật 1. Chức trách Là công chức chuyên môn, nghiệp vụ giúp lãnh đạo tổ chức thực hiện công tác kiểm dịch thực vật xuất khẩu, nhập khẩu, quá cảnh và nội địa tại các cơ quan, tổ chức nhà nước cấp tỉnh, vùng và Trung ương có nhiệm vụ kiểm dịch thực vật. 2. Nhiệm vụ a) Xây dựng kế hoạch, đề xuất phương án, thực hiện và tổ chức thực hiện công tác kiểm dịch thực vật xuất khẩu, nhập khẩu, quá cảnh, nội địa của cơ quan thuộc lĩnh vực được giao. b) Phát hiện dịch hại thuộc diện điều chỉnh và xác minh các trường hợp nghi ngờ nhiễm dịch hại thuộc đối tượng kiểm dịch thực vật thường gặp. c) Thực hiện nhiều khâu hoặc toàn bộ quy trình kiểm tra vật thể thuộc diện kiểm dịch thực vật xuất khẩu, nhập khẩu và quá cảnh thực vật. d) Quyết định, giám sát và xác nhận việc thực hiện các biện pháp xử lý đối với vật thể nhiễm dịch theo quy định và chịu trách nhiệm cá nhân về quyết định của mình. đ) Tuyên truyền, phổ biến, hướng dẫn các quy định pháp luật về kiểm dịch thực vật; phát hiện, ngăn ngừa và xử lý theo thẩm quyền hoặc đề xuất xử lý những hành vi vi phạm pháp luật. e) Chủ trì đề tài, khảo sát thực nghiệm của cơ quan; tham gia xây dựng văn bản quy phạm pháp luật, đề tài, đề án, dự án, chương trình nghiên cứu khoa học từ cấp cơ sở trở lên về kiểm dịch thực vật. Đề xuất các nội dung sửa đổi, bổ sung quy định trong lĩnh vực chuyên môn, nghiệp vụ, kỹ thuật kiểm dịch thực vật được giao. g) Tham gia kiểm tra việc thực hiện các quy định của nhà nước về quản lý hoạt động khử trùng xông hơi và các biện pháp xử lý khác trong lĩnh vực bảo vệ và kiểm dịch thực vật. h) Hướng dẫn, bồi dưỡng chuyên môn, nghiệp vụ kỹ thuật cho ngạch công chức thấp hơn. i) Thực hiện nhiệm vụ khác theo quy định pháp luật hoặc lãnh đạo cơ quan giao. 3. Tiêu chuẩn về năng lực chuyên môn, nghiệp vụ a) Nắm vững chủ trương, đường lối của Đảng, pháp luật của Nhà nước và định hướng phát triển, chiến lược, chính sách của ngành có liên quan đến nhiệm vụ được giao về bảo vệ và kiểm dịch thực vật. b) Nắm vững những quy định của pháp luật về bảo vệ, kiểm dịch thực vật và quy định pháp luật khác có liên quan. Nắm được thông lệ và tiêu chuẩn quốc tế về kiểm dịch thực vật trong lĩnh vực được phân công. c) Nắm được các quy trình, tiêu chuẩn, quy chuẩn kỹ thuật, quy phạm kiểm dịch thực vật và các thông tin khoa học kỹ thuật có liên quan. d) Nắm được các thủ tục, nguyên tắc hành chính nhà nước có liên quan đến hoạt động kiểm dịch thực vật được giao. đ) Nắm được tình hình kinh tế, xã hội, chính trị có liên quan đến hoạt động kiểm dịch thực vật được giao. e) Có kỹ năng sử dụng công nghệ thông tin cơ bản và sử dụng được ngoại ngữ hoặc sử dụng được tiếng dân tộc thiểu số đối với công chức công tác ở vùng dân tộc thiểu số theo yêu cầu của vị trí việc làm. 4. Tiêu chuẩn về trình độ đào tạo, bồi dưỡng a) Có bằng tốt nghiệp đại học trở lên ngành, chuyên ngành phù hợp yêu cầu của vị trí việc làm. b) Có chứng chỉ bồi dưỡng kiến thức, kỹ năng quản lý nhà nước đối với công chức ngạch chuyên viên hoặc tương đương. 5. Yêu cầu đối với công chức dự thi nâng ngạch lên ngạch kiểm dịch viên thực vật Có thời gian giữ ngạch kỹ thuật viên kiểm dịch thực vật và tương đương từ đủ 03 năm trở lên (không kể thời gian tập sự). Trường hợp có thời gian tương đương với kỹ thuật viên kiểm dịch thực vật thì thời gian giữ ngạch kỹ thuật viên kiểm dịch thực vật tối thiểu 01 năm (đủ 12 tháng) tính đến ngày hết thời hạn nộp hồ sơ đăng ký dự thi nâng ngạch.	`0`
`Điều kiện chuyển mục đích sử dụng đất trồng lúa để thực hiện dự án không do Quốc hội chấp thuận chủ trương đầu tư là gì?`	"Điều 58. Điều kiện giao đất, cho thuê đất, cho phép chuyển mục đích sử dụng đất để thực hiện dự án đầu tư 1. Đối với dự án có sử dụng đất trồng lúa, đất rừng phòng hộ, đất rừng đặc dụng vào các mục đích khác mà không thuộc trường hợp được Quốc hội quyết định, Thủ tướng Chính phủ chấp thuận chủ trương đầu tư thì cơ quan nhà nước có thẩm quyền chỉ được quyết định giao đất, cho thuê đất, cho phép chuyển mục đích sử dụng đất khi có một trong các văn bản sau đây: a) Văn bản chấp thuận của Thủ tướng Chính phủ đối với trường hợp chuyển mục đích sử dụng từ 10 héc ta đất trồng lúa trở lên; từ 20 héc ta đất rừng phòng hộ, đất rừng đặc dụng trở lên; b) Nghị quyết của Hội đồng nhân dân cấp tỉnh đối với trường hợp chuyển mục đích sử dụng dưới 10 héc ta đất trồng lúa; dưới 20 héc ta đất rừng phòng hộ, đất rừng đặc dụng. 2. Đối với dự án sử dụng đất tại đảo và xã, phường, thị trấn biên giới, ven biển thì cơ quan nhà nước có thẩm quyền chỉ được quyết định giao đất, cho thuê đất, cho phép chuyển mục đích sử dụng đất khi được sự chấp thuận bằng văn bản của các bộ, ngành có liên quan. 3. Người được Nhà nước giao đất, cho thuê đất, cho phép chuyển mục đích sử dụng đất để thực hiện dự án đầu tư phải có các điều kiện sau đây: a) Có năng lực tài chính để bảo đảm việc sử dụng đất theo tiến độ của dự án đầu tư; b) Ký quỹ theo quy định của pháp luật về đầu tư; c) Không vi phạm quy định của pháp luật về đất đai đối với trường hợp đang sử dụng đất do Nhà nước giao đất, cho thuê đất để thực hiện dự án đầu tư khác. 4. Chính phủ quy định chi tiết Điều này."	`1`

Loss: ContrastiveLoss with these parameters:

{
    "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE",
    "margin": 0.5,
    "size_average": true
}

Training Hyperparameters

Non-Default Hyperparameters

per_device_train_batch_size: 4
learning_rate: 2e-05
num_train_epochs: 5
warmup_ratio: 0.1

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
prediction_loss_only: True
per_device_train_batch_size: 4
per_device_eval_batch_size: 8
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
learning_rate: 2e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 5
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: False
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_sampler: batch_sampler
multi_dataset_batch_sampler: proportional

Training Logs