SentenceTransformer based on Alibaba-NLP/gte-multilingual-base

This is a sentence-transformers model finetuned from Alibaba-NLP/gte-multilingual-base. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: Alibaba-NLP/gte-multilingual-base
Maximum Sequence Length: 1024 tokens
Output Dimensionality: 768 tokens
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 1024, 'do_lower_case': False}) with Transformer model: NewModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("seongil-dn/gte-base-miracl-unretrieved")
# Run inference
sentences = [
    '메이지 천황이 사망한 년도는 언제인가?',
    '이보담이 봉원사 주지가 된 해인 1912년에 일본의 메이지 천황이 사망했다. 이때 이보담은 메이지가 위독하다는 보도를 접한 뒤 곧바로 병세 회복을 위한 기도를 사흘간 올렸고, 얼마 지나지 않아 사망 소식이 들려오자 일주일 동안 일장기를 내걸고 미타경을 읽으며 애도했다. 메이지 사망 당시 조선에서 공개적으로 애도 기도를 한 승려는 이회광과 이보담, 그리고 이름이 밝혀지지 않은 울산의 한 승려까지 총 세 명뿐이었다.',
    '메이지 2년(1869년) 6월 22일에 가메다 지번사에 임명되었고, 같은해 7월 5일에 영지 부임을 허가받았으며, 8월 5일, 종5위에 서임되었다. 메이지 4년(1871년) 7월 폐번치현이 됨에 따라 지번사에서 면직되었다. 같은해 9월 24일 메이지 천황을 알현하였다. 메이지 12년(1879년)에 17세의 나이로 사망하였다. 아내와 자식이 없어서 양부 다카쿠니의 친 장남인 이와키 다카하루가 이와키씨 계승하였다.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

Size: 144,712 training samples
Columns: anchor, positive, and negative

Approximate statistics based on the first 1000 samples:

	anchor	positive	negative
type	string	string	string
details	min: 7 tokens mean: 16.34 tokens max: 29 tokens	min: 46 tokens mean: 161.2 tokens max: 774 tokens	min: 46 tokens mean: 162.5 tokens max: 767 tokens

Samples:

anchor	positive	negative
`남이 장군은 언제 죽었는가?`	`1468년 10월 24일 예종이 즉위한 지 한 달 보름만에 유자광이 남이(南怡)가 역모를 꾀하고 있다는 고변으로 시작되어 이시애의 난을 진압하는 데 공을 세웠던 남이(南怡)와 강순을 비롯해 민서, 문효량, 변영수, 변자의, 오치권 등이 역모죄로 죽음을 당한 사건이다.`	"백두산의 돌을 칼 갈아 없애고(白頭山石磨刀盡)/두만강의 물은 말 먹여 없애니(豆滿江水飮馬無)/남아 이십에 나라를 평안케 못하면(男兒二十未平國)/후세에 누가 대장부라 부르리오(後世誰稱大丈夫)"에서 간신 유자광(1439 ~ 1512, 무오사화를 일으킨 장본인)은 "男兒二十未得國"이라 고쳐 모함하여 25세에 공조판서와 병조판서를 역임하였던 장군 남이를 1468년(예종 1년) 11월 2일 겨우 26세의 나이에 마차에 묶어 사지가 찢겨나가는 거열형(車裂刑)에 처해지는 참살을 겪게 하였다.
`남이 장군은 언제 죽었는가?`	`1468년 10월 24일 예종이 즉위한 지 한 달 보름만에 유자광이 남이(南怡)가 역모를 꾀하고 있다는 고변으로 시작되어 이시애의 난을 진압하는 데 공을 세웠던 남이(南怡)와 강순을 비롯해 민서, 문효량, 변영수, 변자의, 오치권 등이 역모죄로 죽음을 당한 사건이다.`	1667년 승정원우승지가 되고 이후 병조참지(參知), 병조참의(參議), 공조참의가 되었다. 이어서 경주부윤·회양부사에 제수되었다. 1675년 남인이 집권하여 외직으로 밀려났으나 1680년(숙종 6) 경신대출척으로 남인이 추방되자 다시 정계에 복귀하였다. 그해 숙종이 공신 후손들의 회맹(會盟)을 소집할 때에는 좌명공신 윤곤의 적장손(윤곤의 봉사손)으로 회맹에 참여하고 특별히 가선대부로 가자되었고, 같은 해 호조참판에 제수되고 파원군(坡原君)에 봉하여졌다. 그해 12월 29일에 병으로 사망하였다.
`남이 장군은 언제 죽었는가?`	`1468년 10월 24일 예종이 즉위한 지 한 달 보름만에 유자광이 남이(南怡)가 역모를 꾀하고 있다는 고변으로 시작되어 이시애의 난을 진압하는 데 공을 세웠던 남이(南怡)와 강순을 비롯해 민서, 문효량, 변영수, 변자의, 오치권 등이 역모죄로 죽음을 당한 사건이다.`	예종이 즉위한 지 얼마 되지 않아 1468년에 남이의 옥 사건이 일어났으며, 1469년에는 삼포(부산포, 염포, 제포)에서 일본과의 개별 무역을 금지하였고, 그 외에도 병영에 딸려 있는 논과 밭을 일반 농민들이 농사를 지을 수 있도록 해 주었다. 또한 세조 때부터 편찬하기 시작했던 《경국대전》을 드디어 완성했으나 이를 반포하지 못한 채 20세를 일기로 1469년 12월 31일 (음력 11월 28일) 진시(辰時) (오전 7시~9시) 에 자미당(紫薇堂)에서 승하(崩御)하였다. 제위한 지 14개월 만의 일이었다. 사인은 봉와직염의 악화로 인한 패혈증으로 추정된다. 묘호는 예종 자신의 유지에 따라 예종(睿宗)으로 결정됐고, 시호는 흠문성무의인소효(欽文聖武懿仁昭孝)이다.

Loss: MultipleNegativesRankingLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Training Hyperparameters

Non-Default Hyperparameters

per_device_train_batch_size: 40
gradient_accumulation_steps: 4
adam_epsilon: 1e-07
warmup_ratio: 0.1
bf16: True
dataloader_drop_last: True
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: no
prediction_loss_only: True
per_device_train_batch_size: 40
per_device_eval_batch_size: 8
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 4
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 5e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-07
max_grad_norm: 1.0
num_train_epochs: 3
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: True
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: True
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: False
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
eval_use_gather_object: False
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional

Training Logs