Add new SentenceTransformer model.

1_Pooling/config.json

@@ -0,0 +1,10 @@
+{
+  "word_embedding_dimension": 768,
+  "pooling_mode_cls_token": false,
+  "pooling_mode_mean_tokens": true,
+  "pooling_mode_max_tokens": false,
+  "pooling_mode_mean_sqrt_len_tokens": false,
+  "pooling_mode_weightedmean_tokens": false,
+  "pooling_mode_lasttoken": false,
+  "include_prompt": true
+}

README.md

@@ -0,0 +1,384 @@
+---
+language: []
+library_name: sentence-transformers
+tags:
+- sentence-transformers
+- sentence-similarity
+- feature-extraction
+- dataset_size:10K<n<100K
+- loss:MultipleNegativesRankingLoss
+base_model: vinai/phobert-base-v2
+widget:
+- source_sentence: sau khi cắt amiđan cháu nên lưu ý gì thưa  cháu vừa cắt amiđan
+    cháu có thể ăn kem không  vn
+  sentences:
+  - dán thuốc gì làm mụn mắt cá chân tự rụng em có đi mổ mắt cá chân nhưng vì thấy
+    vết thương còn hở nên không đi cắt chỉ để đến tận 1 tháng nghe bà chị nói bấy
+    giờ cắt chỉ sẽ đau lắm xin tư vấn giúp em có đúng không
+  - nguy cơ tái nhiễm hp ở người đã từng mắc cao không với người đã điều trị khỏi
+    hp rồi nguy cơ tái nhiễm có cao hay không ạ nếu nghi ngờ tái nhiễm thì nên kiểm
+    tra bằng phương pháp nào
+  - chỉ số creatinin là 112 5 liệu em có mắc bệnh suy thận chỉ số creatinin 112 5
+    pro trong nước tiểu 100 thường xuyên đi tiểu ban đêm đi tiểu 1 2 lần vậy cho em
+    hỏi đây có phải là bệnh suy thận và là suy thận giai đoạn 1
+- source_sentence: anh em cần phải được đi khám để xác định vấn đề của và có biện
+    pháp điều trị thích hợp
+  sentences:
+  - đi cà nhắc sau phẫu thuật đứt dây chằng gối có phải di chứng anh em trước đây
+    có chơi đánh cầu lông do bất cẩn nên bị đứt dây chằng gối sau khi đi phẫu thuật
+    thì có thể đi bình thường nhưng d vn
+  - những thuốc tim mạch cần có trong tủ thuốc gia đình cho tôi hỏi người cao tuổi
+    có nên chuẩn bị một số thuốc tim mạch tại nhà không đó là những thuốc gì mong
+    nhận được sự tư vấn
+  - 'thuốc điều trị mề đay dị ứng có gây mất sữa mẹ thuốc chlorpheniramin có gây mất
+    sữa không ạ vì em bị nổi mề đay toàn thân ngứa quá không chịu nổi nên đi xét nghiệm
+    ạ em '
+- source_sentence: có nên cho trẻ nằm máy lạnh khi bị sốt trẻ bị sốt nếu nằm quạt
+    hay máy lạnh thì cần lưu ý gì ạ
+  sentences:
+  - 'sau 5 tiếng uống thuốc bé vẫn không hạ sốt cần làm gì thưa nếu cho bé uống thuốc
+    sau 5 tiếng mà không hạ sốt thì cần làm gì ạ mong tư vấn sớm giúp em đang rất
+    lo lắng cho con ạ em '
+  - ' ơi mổ nội soi u xơ tử cung đã 1 tuần mà mẹ em vẫn đi tiểu ra máu mẹ em đã mổ
+    nội soi u xơ tử cung sau 1 tuần đi tiểu vẫn ra máu như vậy có nguy hiểm gì không
+    trần lai – bình dương'
+  - 'kết quả chụp x quang của bạn cho thấy buồng tử cung bình thường hai tai vòi thông
+    tai vòi phải thông chậm hơn bên trái bạn cứ tái khám chuyên khoa hiếm muộn để
+    được hỗ trợ '
+- source_sentence: ung thư đại tràng t4nomo nghĩa là gì thưa bố cháu đang uống thuốc
+    điều trị ung thư đ
+  sentences:
+  - giảm phù cho bệnh nhân ung thư như thế nào ơi làm sao giảm phù cho bố em ạ bố
+    em bị ung thư giai đoạn cuối bị phù to ở chân bụng chướng
+  - biểu hiện trên cần loại trừ hẹp bao quy đầu hoặc nhiễm trùng tiểu ngoài ra cũng
+    cần loại trừ chứng bàng quang thần kinh bây giờ em nên đưa bé đến bệnh viện khám
+    và điều trị
+  - 'nước rửa mũi chảy vào tai gây đau có bị sao không ơi lúc em rửa mũi thì nước
+    có chảy lên tai sau đó bị ù và đau tai cho em hỏi nếu như vậy thì có bị gì không
+    ạ em '
+- source_sentence: xử lý khi bị sứa cắn như thế nào nếu bị sứa cắn cần xử lý như thế
+    nào bôi thuốc gì thưa
+  sentences:
+  - trường hợp của em là bỏng độ 1 ngày thứ 4 hết đỏ hết rát nhưng rất ngứa là diễn
+    tiến tốt của bệnh có thể em sẽ khỏi trong vài ngày tới nếu tình trạng ngứa gây
+    khó chịu em có thể dùng thêm thuốc kháng histamin để chống ngứa
+  - 'về nơi điều trị chị nên đưa cháu đến các bệnh viện có chuyên khoa thần kinh tốt
+    nhất là thần kinh nhi ở tphcm hiện có bệnh viện nhi đồng 1 và nhi đồng 2 có chuyên
+    khoa này '
+  - thai hơn 6 tuần túi ối 23mm có nhỏ không  cho em hỏi em đi siêu âm thai thì thai
+    được 6 tuần 2 ngày đường kính túi ối là 23mm như vậy có nhỏ không ạ tim thai 148
+    lần phút có chậm không ạ
+pipeline_tag: sentence-similarity
+---
+
+# SentenceTransformer based on vinai/phobert-base-v2
+
+This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [vinai/phobert-base-v2](https://huggingface.co/vinai/phobert-base-v2). It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
+
+## Model Details
+
+### Model Description
+- **Model Type:** Sentence Transformer
+- **Base model:** [vinai/phobert-base-v2](https://huggingface.co/vinai/phobert-base-v2) <!-- at revision 2b51e367d92093c9688112098510e6a58bab67cd -->
+- **Maximum Sequence Length:** 256 tokens
+- **Output Dimensionality:** 768 tokens
+- **Similarity Function:** Cosine Similarity
+<!-- - **Training Dataset:** Unknown -->
+<!-- - **Language:** Unknown -->
+<!-- - **License:** Unknown -->
+
+### Model Sources
+
+- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
+- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
+- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
+
+### Full Model Architecture
+
+```
+SentenceTransformer(
+  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel 
+  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
+)
+```
+
+## Usage
+
+### Direct Usage (Sentence Transformers)
+
+First install the Sentence Transformers library:
+
+```bash
+pip install -U sentence-transformers
+```
+
+Then you can load this model and run inference.
+```python
+from sentence_transformers import SentenceTransformer
+
+# Download from the 🤗 Hub
+model = SentenceTransformer("sentence_transformers_model_id")
+# Run inference
+sentences = [
+    'xử lý khi bị sứa cắn như thế nào nếu bị sứa cắn cần xử lý như thế nào bôi thuốc gì thưa',
+    'trường hợp của em là bỏng độ 1 ngày thứ 4 hết đỏ hết rát nhưng rất ngứa là diễn tiến tốt của bệnh có thể em sẽ khỏi trong vài ngày tới nếu tình trạng ngứa gây khó chịu em có thể dùng thêm thuốc kháng histamin để chống ngứa',
+    'về nơi điều trị chị nên đưa cháu đến các bệnh viện có chuyên khoa thần kinh tốt nhất là thần kinh nhi ở tphcm hiện có bệnh viện nhi đồng 1 và nhi đồng 2 có chuyên khoa này ',
+]
+embeddings = model.encode(sentences)
+print(embeddings.shape)
+# [3, 768]
+
+# Get the similarity scores for the embeddings
+similarities = model.similarity(embeddings, embeddings)
+print(similarities.shape)
+# [3, 3]
+```
+
+<!--
+### Direct Usage (Transformers)
+
+<details><summary>Click to see the direct usage in Transformers</summary>
+
+</details>
+-->
+
+<!--
+### Downstream Usage (Sentence Transformers)
+
+You can finetune this model on your own dataset.
+
+<details><summary>Click to expand</summary>
+
+</details>
+-->
+
+<!--
+### Out-of-Scope Use
+
+*List how the model may foreseeably be misused and address what users ought not to do with the model.*
+-->
+
+<!--
+## Bias, Risks and Limitations
+
+*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
+-->
+
+<!--
+### Recommendations
+
+*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
+-->
+
+## Training Details
+
+### Training Dataset
+
+#### Unnamed Dataset
+
+
+* Size: 16,053 training samples
+* Columns: <code>sentence_0</code> and <code>sentence_1</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | sentence_0                                                                          | sentence_1                                                                           |
+  |:--------|:------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|
+  | type    | string                                                                              | string                                                                               |
+  | details | <ul><li>min: 19 tokens</li><li>mean: 82.38 tokens</li><li>max: 256 tokens</li></ul> | <ul><li>min: 20 tokens</li><li>mean: 149.34 tokens</li><li>max: 256 tokens</li></ul> |
+* Samples:
+  | sentence_0                                                                                                                                                                                                                                                                                               | sentence_1                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                 |
+  |:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+  | <code>bệnh trĩ chữa tận gốc được không chào bác sĩ em bị bệnh trĩ nội hay bị lòi ra ngày nào em bón không đi ngoài là cảm giác đau rất khó chịu xin hỏi bị trĩ có chữa được tận gốc không và bằng phương pháp nào nên tới bệnh viện nào trị hiệu quả ạ em chưa từng điều trị trĩ</code> | <code>bệnh trĩ là bệnh phổ biến hiện nay trĩ mức độ nhẹ thì thường gây khó khăn khi đại tiện do búi trĩ phồng lên cản trở đường thoát của phân nặng hơn thì gây chảy máu khi đi tiêu trĩ ngoại hay trĩ nội kèm nứt hậu môn thì thường kèm triệu chứng đau đối với búi trĩ lớn nếu bị tắc nghẹt búi trĩ sẽ gây đau nhức viêm nhiễm và hoại tử mức độ trĩ nội gồm 4 độ trĩ độ 1 thì đi tiêu không rặn ra búi trĩ độ 2 thì sau đi tiêu đứng dậy búi trĩ tự thụt vào độ 3 thì phải lấy tay đẩy búi trĩ vào và độ 4 thì không thể lấy tay đẩy búi trĩ vào trong điều trị trĩ đối với trĩ mức độ nhẹ 1 2 thì có thể dùng thuốc uống thuốc bôi thuốc đặt hậu môn để giảm nhỏ kích thước búi trĩ và giảm đau trĩ mức độ nặng hơn hay trĩ có biến chứng thì nên mổ cắt trĩ có nhiều phương pháp để phẫu thuật mổ trĩ phương pháp ít tốn kém là thắt búi trĩ qua nội soi trực tràng tốt hơn chích xơ búi trĩ cho đến phương pháp hiện đại hơn và cũng tốn kém nhiều hơn là phương pháp longo với thắt búi trĩ qua nội soi trực tràng thì chi phí thấp nhất khoảng vài trăm ngàn em có thể về liền sau khi thắt trĩ nhưng thường phải làm lại nhiều lần và khá đau trĩ độ 2 thì trị bằng phương pháp này tốt hơn trĩ độ 3 độ 4 phương pháp longo thì ít đau hơn làm 1 lần nhưng cần nhập viện khoảng 2 ngày và giá thành cao vài triệu đồng phương pháp cắt trĩ bằng máy đốt điện cao tần hoặc máy cắt siêu âm được sử dụng cho tất cả mọi loại trĩ trĩ hỗn hợp trĩ biến chứng huyết khối da thừa hậu môn nhưng khá đau và chăm sóc khó để điều trị bệnh trĩ em nên đăng ký khám tại chuyên khoa ngoại tiêu hóa là phù hợp bệnh trĩ là bệnh có thể điều trị được nhưng vẫn có khả năng tái phát nếu tình trạng táo bón vẫn tiếp tục tiếp diễn sau đó do đó điều quan trọng là em cần thay đổi lối sống của mình ăn nhiều rau xanh uống nhiều nước hạn chế thức ăn nhiều gia vị cay và chất kích thích như rượu bia cà phê không hút thuốc lá tăng cường vận động tránh ngồi lâu khi đi vệ sinh em nhé</code> |
+  | <code>chữa trị triệu chứng ù tai như thế nào tôi bị ù tai chói tai khoảng 5 năm nay nghe không rõ vậy bệnh của tôi có thể chữa như thế nào tối đến tiếng ù tai chói tai rõ hơn tôi cảm thấy rất mệt mỏi nhờ tư vấn giúp ạ</code>                                                                         | <code>ù tai có nhiều nguyên nhân từ tổn thương tại cơ quan tai giữa tai trong do viêm nhiễm u chấn thương… cho tới các tổn thương dẫn truyền và vùng vỏ não thính giác… muốn tìm hiểu nguyên nhân cần biết rõ bệnh sử diễn tiến ù tai hoàn cảnh khởi phát và thăm khám cẩn thận phương pháp điều trị sẽ tuỳ thuộc vào nguyên nhân tiên lượng rất khác nhau trước tiên bạn nên khám chuyên khoa tai ở bệnh viện tai mũi họng để làm rõ chẩn đoán bạn nhé </code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                            |
+  | <code>có thể sinh con lần 3 sau 2 lần đẻ mổ phụ nữ hai lần đẻ mổ thì có thể sinh con lần thứ ba không</code>                                                                                                                                                                                             | <code>nếu lần mổ thứ 2 không căn dặn là không được có thai nữa thì bạn vẫn có thể sinh lần nữa nhưng chú ý là nên theo dõi ở bv sản khoa lớn có phòng mổ bởi vì lần 3 sẽ phải sinh mổ</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                               |
+* Loss: [<code>MultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters:
+  ```json
+  {
+      "scale": 20.0,
+      "similarity_fct": "cos_sim"
+  }
+  ```
+
+### Training Hyperparameters
+#### Non-Default Hyperparameters
+
+- `num_train_epochs`: 1
+- `multi_dataset_batch_sampler`: round_robin
+
+#### All Hyperparameters
+<details><summary>Click to expand</summary>
+
+- `overwrite_output_dir`: False
+- `do_predict`: False
+- `eval_strategy`: no
+- `prediction_loss_only`: True
+- `per_device_train_batch_size`: 8
+- `per_device_eval_batch_size`: 8
+- `per_gpu_train_batch_size`: None
+- `per_gpu_eval_batch_size`: None
+- `gradient_accumulation_steps`: 1
+- `eval_accumulation_steps`: None
+- `learning_rate`: 5e-05
+- `weight_decay`: 0.0
+- `adam_beta1`: 0.9
+- `adam_beta2`: 0.999
+- `adam_epsilon`: 1e-08
+- `max_grad_norm`: 1
+- `num_train_epochs`: 1
+- `max_steps`: -1
+- `lr_scheduler_type`: linear
+- `lr_scheduler_kwargs`: {}
+- `warmup_ratio`: 0.0
+- `warmup_steps`: 0
+- `log_level`: passive
+- `log_level_replica`: warning
+- `log_on_each_node`: True
+- `logging_nan_inf_filter`: True
+- `save_safetensors`: True
+- `save_on_each_node`: False
+- `save_only_model`: False
+- `restore_callback_states_from_checkpoint`: False
+- `no_cuda`: False
+- `use_cpu`: False
+- `use_mps_device`: False
+- `seed`: 42
+- `data_seed`: None
+- `jit_mode_eval`: False
+- `use_ipex`: False
+- `bf16`: False
+- `fp16`: False
+- `fp16_opt_level`: O1
+- `half_precision_backend`: auto
+- `bf16_full_eval`: False
+- `fp16_full_eval`: False
+- `tf32`: None
+- `local_rank`: 0
+- `ddp_backend`: None
+- `tpu_num_cores`: None
+- `tpu_metrics_debug`: False
+- `debug`: []
+- `dataloader_drop_last`: False
+- `dataloader_num_workers`: 0
+- `dataloader_prefetch_factor`: None
+- `past_index`: -1
+- `disable_tqdm`: False
+- `remove_unused_columns`: True
+- `label_names`: None
+- `load_best_model_at_end`: False
+- `ignore_data_skip`: False
+- `fsdp`: []
+- `fsdp_min_num_params`: 0
+- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
+- `fsdp_transformer_layer_cls_to_wrap`: None
+- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
+- `deepspeed`: None
+- `label_smoothing_factor`: 0.0
+- `optim`: adamw_torch
+- `optim_args`: None
+- `adafactor`: False
+- `group_by_length`: False
+- `length_column_name`: length
+- `ddp_find_unused_parameters`: None
+- `ddp_bucket_cap_mb`: None
+- `ddp_broadcast_buffers`: False
+- `dataloader_pin_memory`: True
+- `dataloader_persistent_workers`: False
+- `skip_memory_metrics`: True
+- `use_legacy_prediction_loop`: False
+- `push_to_hub`: False
+- `resume_from_checkpoint`: None
+- `hub_model_id`: None
+- `hub_strategy`: every_save
+- `hub_private_repo`: False
+- `hub_always_push`: False
+- `gradient_checkpointing`: False
+- `gradient_checkpointing_kwargs`: None
+- `include_inputs_for_metrics`: False
+- `eval_do_concat_batches`: True
+- `fp16_backend`: auto
+- `push_to_hub_model_id`: None
+- `push_to_hub_organization`: None
+- `mp_parameters`: 
+- `auto_find_batch_size`: False
+- `full_determinism`: False
+- `torchdynamo`: None
+- `ray_scope`: last
+- `ddp_timeout`: 1800
+- `torch_compile`: False
+- `torch_compile_backend`: None
+- `torch_compile_mode`: None
+- `dispatch_batches`: None
+- `split_batches`: None
+- `include_tokens_per_second`: False
+- `include_num_input_tokens_seen`: False
+- `neftune_noise_alpha`: None
+- `optim_target_modules`: None
+- `batch_eval_metrics`: False
+- `batch_sampler`: batch_sampler
+- `multi_dataset_batch_sampler`: round_robin
+
+</details>
+
+### Training Logs
+| Epoch  | Step | Training Loss |
+|:------:|:----:|:-------------:|
+| 0.2491 | 500  | 0.2573        |
+| 0.4983 | 1000 | 0.1191        |
+| 0.7474 | 1500 | 0.0877        |
+| 0.9965 | 2000 | 0.0681        |
+
+
+### Framework Versions
+- Python: 3.8.10
+- Sentence Transformers: 3.0.0
+- Transformers: 4.41.2
+- PyTorch: 2.3.0+cu118
+- Accelerate: 0.30.1
+- Datasets: 2.19.1
+- Tokenizers: 0.19.1
+
+## Citation
+
+### BibTeX
+
+#### Sentence Transformers
+```bibtex
+@inproceedings{reimers-2019-sentence-bert,
+    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
+    author = "Reimers, Nils and Gurevych, Iryna",
+    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
+    month = "11",
+    year = "2019",
+    publisher = "Association for Computational Linguistics",
+    url = "https://arxiv.org/abs/1908.10084",
+}
+```
+
+#### MultipleNegativesRankingLoss
+```bibtex
+@misc{henderson2017efficient,
+    title={Efficient Natural Language Response Suggestion for Smart Reply}, 
+    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
+    year={2017},
+    eprint={1705.00652},
+    archivePrefix={arXiv},
+    primaryClass={cs.CL}
+}
+```
+
+<!--
+## Glossary
+
+*Clearly define terms in order to be accessible across audiences.*
+-->
+
+<!--
+## Model Card Authors
+
+*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
+-->
+
+<!--
+## Model Card Contact
+
+*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
+-->

added_tokens.json

@@ -0,0 +1,3 @@
+{
+  "<mask>": 64000
+}

config.json

@@ -0,0 +1,28 @@
+{
+  "_name_or_path": "/home/data3/nghianguyen/MedicalRetrieval/checkpoint-ft/MultipleNegativesRankingLoss/1positive",
+  "architectures": [
+    "RobertaModel"
+  ],
+  "attention_probs_dropout_prob": 0.1,
+  "bos_token_id": 0,
+  "classifier_dropout": null,
+  "eos_token_id": 2,
+  "hidden_act": "gelu",
+  "hidden_dropout_prob": 0.1,
+  "hidden_size": 768,
+  "initializer_range": 0.02,
+  "intermediate_size": 3072,
+  "layer_norm_eps": 1e-05,
+  "max_position_embeddings": 258,
+  "model_type": "roberta",
+  "num_attention_heads": 12,
+  "num_hidden_layers": 12,
+  "pad_token_id": 1,
+  "position_embedding_type": "absolute",
+  "tokenizer_class": "PhobertTokenizer",
+  "torch_dtype": "float32",
+  "transformers_version": "4.41.2",
+  "type_vocab_size": 1,
+  "use_cache": true,
+  "vocab_size": 64001
+}

config_sentence_transformers.json

@@ -0,0 +1,10 @@
+{
+  "__version__": {
+    "sentence_transformers": "3.0.0",
+    "transformers": "4.41.2",
+    "pytorch": "2.3.0+cu118"
+  },
+  "prompts": {},
+  "default_prompt_name": null,
+  "similarity_fn_name": null
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:72483e3f783dfe41f4eb2f7ae8f57923aead035648f9864f070621b7c6d8282c
+size 540015464

modules.json

@@ -0,0 +1,14 @@
+[
+  {
+    "idx": 0,
+    "name": "0",
+    "path": "",
+    "type": "sentence_transformers.models.Transformer"
+  },
+  {
+    "idx": 1,
+    "name": "1",
+    "path": "1_Pooling",
+    "type": "sentence_transformers.models.Pooling"
+  }
+]

sentence_bert_config.json

@@ -0,0 +1,4 @@
+{
+  "max_seq_length": 256,
+  "do_lower_case": false
+}

special_tokens_map.json

@@ -0,0 +1,51 @@
+{
+  "bos_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "cls_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "eos_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "mask_token": {
+    "content": "<mask>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "<pad>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "sep_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "<unk>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

tokenizer_config.json

@@ -0,0 +1,54 @@
+{
+  "added_tokens_decoder": {
+    "0": {
+      "content": "<s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "<pad>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "</s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "3": {
+      "content": "<unk>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "64000": {
+      "content": "<mask>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "bos_token": "<s>",
+  "clean_up_tokenization_spaces": true,
+  "cls_token": "<s>",
+  "eos_token": "</s>",
+  "mask_token": "<mask>",
+  "model_max_length": 256,
+  "pad_token": "<pad>",
+  "sep_token": "</s>",
+  "tokenizer_class": "PhobertTokenizer",
+  "unk_token": "<unk>"
+}