metadata

language: []
library_name: sentence-transformers
tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - dataset_size:10K<n<100K
  - loss:MultipleNegativesRankingLoss
base_model: vinai/phobert-base-v2
widget:
  - source_sentence: >-
      sau khi cắt amiđan cháu nên lưu ý gì thưa  cháu vừa cắt amiđan cháu có thể
      ăn kem không  vn
    sentences:
      - >-
        dán thuốc gì làm mụn mắt cá chân tự rụng em có đi mổ mắt cá chân nhưng
        vì thấy vết thương còn hở nên không đi cắt chỉ để đến tận 1 tháng nghe
        bà chị nói bấy giờ cắt chỉ sẽ đau lắm xin tư vấn giúp em có đúng không
      - >-
        nguy cơ tái nhiễm hp ở người đã từng mắc cao không với người đã điều trị
        khỏi hp rồi nguy cơ tái nhiễm có cao hay không ạ nếu nghi ngờ tái nhiễm
        thì nên kiểm tra bằng phương pháp nào
      - >-
        chỉ số creatinin là 112 5 liệu em có mắc bệnh suy thận chỉ số creatinin
        112 5 pro trong nước tiểu 100 thường xuyên đi tiểu ban đêm đi tiểu 1 2
        lần vậy cho em hỏi đây có phải là bệnh suy thận và là suy thận giai đoạn
        1
  - source_sentence: >-
      anh em cần phải được đi khám để xác định vấn đề của và có biện pháp điều
      trị thích hợp
    sentences:
      - >-
        đi cà nhắc sau phẫu thuật đứt dây chằng gối có phải di chứng anh em
        trước đây có chơi đánh cầu lông do bất cẩn nên bị đứt dây chằng gối sau
        khi đi phẫu thuật thì có thể đi bình thường nhưng d vn
      - >-
        những thuốc tim mạch cần có trong tủ thuốc gia đình cho tôi hỏi người
        cao tuổi có nên chuẩn bị một số thuốc tim mạch tại nhà không đó là những
        thuốc gì mong nhận được sự tư vấn
      - >-
        thuốc điều trị mề đay dị ứng có gây mất sữa mẹ thuốc chlorpheniramin có
        gây mất sữa không ạ vì em bị nổi mề đay toàn thân ngứa quá không chịu
        nổi nên đi xét nghiệm ạ em 
  - source_sentence: >-
      có nên cho trẻ nằm máy lạnh khi bị sốt trẻ bị sốt nếu nằm quạt hay máy
      lạnh thì cần lưu ý gì ạ
    sentences:
      - >-
        sau 5 tiếng uống thuốc bé vẫn không hạ sốt cần làm gì thưa nếu cho bé
        uống thuốc sau 5 tiếng mà không hạ sốt thì cần làm gì ạ mong tư vấn sớm
        giúp em đang rất lo lắng cho con ạ em 
      - ' ơi mổ nội soi u xơ tử cung đã 1 tuần mà mẹ em vẫn đi tiểu ra máu mẹ em đã mổ nội soi u xơ tử cung sau 1 tuần đi tiểu vẫn ra máu như vậy có nguy hiểm gì không trần lai – bình dương'
      - >-
        kết quả chụp x quang của bạn cho thấy buồng tử cung bình thường hai tai
        vòi thông tai vòi phải thông chậm hơn bên trái bạn cứ tái khám chuyên
        khoa hiếm muộn để được hỗ trợ 
  - source_sentence: >-
      ung thư đại tràng t4nomo nghĩa là gì thưa bố cháu đang uống thuốc điều trị
      ung thư đ
    sentences:
      - >-
        giảm phù cho bệnh nhân ung thư như thế nào ơi làm sao giảm phù cho bố em
        ạ bố em bị ung thư giai đoạn cuối bị phù to ở chân bụng chướng
      - >-
        biểu hiện trên cần loại trừ hẹp bao quy đầu hoặc nhiễm trùng tiểu ngoài
        ra cũng cần loại trừ chứng bàng quang thần kinh bây giờ em nên đưa bé
        đến bệnh viện khám và điều trị
      - >-
        nước rửa mũi chảy vào tai gây đau có bị sao không ơi lúc em rửa mũi thì
        nước có chảy lên tai sau đó bị ù và đau tai cho em hỏi nếu như vậy thì
        có bị gì không ạ em 
  - source_sentence: >-
      xử lý khi bị sứa cắn như thế nào nếu bị sứa cắn cần xử lý như thế nào bôi
      thuốc gì thưa
    sentences:
      - >-
        trường hợp của em là bỏng độ 1 ngày thứ 4 hết đỏ hết rát nhưng rất ngứa
        là diễn tiến tốt của bệnh có thể em sẽ khỏi trong vài ngày tới nếu tình
        trạng ngứa gây khó chịu em có thể dùng thêm thuốc kháng histamin để
        chống ngứa
      - >-
        về nơi điều trị chị nên đưa cháu đến các bệnh viện có chuyên khoa thần
        kinh tốt nhất là thần kinh nhi ở tphcm hiện có bệnh viện nhi đồng 1 và
        nhi đồng 2 có chuyên khoa này 
      - >-
        thai hơn 6 tuần túi ối 23mm có nhỏ không  cho em hỏi em đi siêu âm thai
        thì thai được 6 tuần 2 ngày đường kính túi ối là 23mm như vậy có nhỏ
        không ạ tim thai 148 lần phút có chậm không ạ
pipeline_tag: sentence-similarity

SentenceTransformer based on vinai/phobert-base-v2

This is a sentence-transformers model finetuned from vinai/phobert-base-v2. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: vinai/phobert-base-v2
Maximum Sequence Length: 256 tokens
Output Dimensionality: 768 tokens
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'xử lý khi bị sứa cắn như thế nào nếu bị sứa cắn cần xử lý như thế nào bôi thuốc gì thưa',
    'trường hợp của em là bỏng độ 1 ngày thứ 4 hết đỏ hết rát nhưng rất ngứa là diễn tiến tốt của bệnh có thể em sẽ khỏi trong vài ngày tới nếu tình trạng ngứa gây khó chịu em có thể dùng thêm thuốc kháng histamin để chống ngứa',
    'về nơi điều trị chị nên đưa cháu đến các bệnh viện có chuyên khoa thần kinh tốt nhất là thần kinh nhi ở tphcm hiện có bệnh viện nhi đồng 1 và nhi đồng 2 có chuyên khoa này ',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

Size: 16,053 training samples
Columns: sentence_0 and sentence_1
Approximate statistics based on the first 1000 samples:
sentence_0 sentence_1
type string string
details
min: 19 tokens
mean: 82.38 tokens
max: 256 tokens

min: 20 tokens
mean: 149.34 tokens
max: 256 tokens

	sentence_0	sentence_1
type	string	string
details	min: 19 tokens mean: 82.38 tokens max: 256 tokens	min: 20 tokens mean: 149.34 tokens max: 256 tokens

Samples:

sentence_0	sentence_1
`bệnh trĩ chữa tận gốc được không chào bác sĩ em bị bệnh trĩ nội hay bị lòi ra ngày nào em bón không đi ngoài là cảm giác đau rất khó chịu xin hỏi bị trĩ có chữa được tận gốc không và bằng phương pháp nào nên tới bệnh viện nào trị hiệu quả ạ em chưa từng điều trị trĩ`	bệnh trĩ là bệnh phổ biến hiện nay trĩ mức độ nhẹ thì thường gây khó khăn khi đại tiện do búi trĩ phồng lên cản trở đường thoát của phân nặng hơn thì gây chảy máu khi đi tiêu trĩ ngoại hay trĩ nội kèm nứt hậu môn thì thường kèm triệu chứng đau đối với búi trĩ lớn nếu bị tắc nghẹt búi trĩ sẽ gây đau nhức viêm nhiễm và hoại tử mức độ trĩ nội gồm 4 độ trĩ độ 1 thì đi tiêu không rặn ra búi trĩ độ 2 thì sau đi tiêu đứng dậy búi trĩ tự thụt vào độ 3 thì phải lấy tay đẩy búi trĩ vào và độ 4 thì không thể lấy tay đẩy búi trĩ vào trong điều trị trĩ đối với trĩ mức độ nhẹ 1 2 thì có thể dùng thuốc uống thuốc bôi thuốc đặt hậu môn để giảm nhỏ kích thước búi trĩ và giảm đau trĩ mức độ nặng hơn hay trĩ có biến chứng thì nên mổ cắt trĩ có nhiều phương pháp để phẫu thuật mổ trĩ phương pháp ít tốn kém là thắt búi trĩ qua nội soi trực tràng tốt hơn chích xơ búi trĩ cho đến phương pháp hiện đại hơn và cũng tốn kém nhiều hơn là phương pháp longo với thắt búi trĩ qua nội soi trực tràng thì chi phí thấp nhất khoảng vài trăm ngàn em có thể về liền sau khi thắt trĩ nhưng thường phải làm lại nhiều lần và khá đau trĩ độ 2 thì trị bằng phương pháp này tốt hơn trĩ độ 3 độ 4 phương pháp longo thì ít đau hơn làm 1 lần nhưng cần nhập viện khoảng 2 ngày và giá thành cao vài triệu đồng phương pháp cắt trĩ bằng máy đốt điện cao tần hoặc máy cắt siêu âm được sử dụng cho tất cả mọi loại trĩ trĩ hỗn hợp trĩ biến chứng huyết khối da thừa hậu môn nhưng khá đau và chăm sóc khó để điều trị bệnh trĩ em nên đăng ký khám tại chuyên khoa ngoại tiêu hóa là phù hợp bệnh trĩ là bệnh có thể điều trị được nhưng vẫn có khả năng tái phát nếu tình trạng táo bón vẫn tiếp tục tiếp diễn sau đó do đó điều quan trọng là em cần thay đổi lối sống của mình ăn nhiều rau xanh uống nhiều nước hạn chế thức ăn nhiều gia vị cay và chất kích thích như rượu bia cà phê không hút thuốc lá tăng cường vận động tránh ngồi lâu khi đi vệ sinh em nhé
`chữa trị triệu chứng ù tai như thế nào tôi bị ù tai chói tai khoảng 5 năm nay nghe không rõ vậy bệnh của tôi có thể chữa như thế nào tối đến tiếng ù tai chói tai rõ hơn tôi cảm thấy rất mệt mỏi nhờ tư vấn giúp ạ`	ù tai có nhiều nguyên nhân từ tổn thương tại cơ quan tai giữa tai trong do viêm nhiễm u chấn thương… cho tới các tổn thương dẫn truyền và vùng vỏ não thính giác… muốn tìm hiểu nguyên nhân cần biết rõ bệnh sử diễn tiến ù tai hoàn cảnh khởi phát và thăm khám cẩn thận phương pháp điều trị sẽ tuỳ thuộc vào nguyên nhân tiên lượng rất khác nhau trước tiên bạn nên khám chuyên khoa tai ở bệnh viện tai mũi họng để làm rõ chẩn đoán bạn nhé
`có thể sinh con lần 3 sau 2 lần đẻ mổ phụ nữ hai lần đẻ mổ thì có thể sinh con lần thứ ba không`	`nếu lần mổ thứ 2 không căn dặn là không được có thai nữa thì bạn vẫn có thể sinh lần nữa nhưng chú ý là nên theo dõi ở bv sản khoa lớn có phòng mổ bởi vì lần 3 sẽ phải sinh mổ`

Loss: MultipleNegativesRankingLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Training Hyperparameters

Non-Default Hyperparameters

num_train_epochs: 1
multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: no
prediction_loss_only: True
per_device_train_batch_size: 8
per_device_eval_batch_size: 8
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
learning_rate: 5e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1
num_train_epochs: 1
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.0
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: False
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
batch_sampler: batch_sampler
multi_dataset_batch_sampler: round_robin

Training Logs

Epoch	Step	Training Loss
0.2491	500	0.2573
0.4983	1000	0.1191
0.7474	1500	0.0877
0.9965	2000	0.0681

Framework Versions

Python: 3.8.10
Sentence Transformers: 3.0.0
Transformers: 4.41.2
PyTorch: 2.3.0+cu118
Accelerate: 0.30.1
Datasets: 2.19.1
Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply}, 
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}