gte multi base BEGES Matryoshka

This is a sentence-transformers model finetuned from dangvantuan/sentence-camembert-base. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: dangvantuan/sentence-camembert-base
Maximum Sequence Length: 128 tokens
Output Dimensionality: 768 tokens
Similarity Function: Cosine Similarity
Language: en
License: apache-2.0

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: CamembertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sylvain471/sentence-camembert-base-ademe")
# Run inference
sentences = [
    "Quel est le site web de l'expérimentation pour plus d'informations sur les niveaux de performance et le label ?",
    "Les facteurs d’émissions associés ne sont à utiliser que dans ce cadre très précis. Plus d’informations sur le [site de l’expérimentation](http://www.batiment-energiecarbone.fr/niveaux-de-performance-et-label/documentation/)[.](new_liquides.htm) Sources : [[101] Arrêté du 31 octobre 2012 relatif à la vérification et à la quantification des émissions déclarées dans le cadre du système d'échange de quotas d'émission de gaz à effet de serre pour sa troisième période (2013-2020)](references.htm) [[102] Rapport OMINEA 2011, CITEPA](references.htm) [[103] Décision 2007/589/CE définissant des lignes directrices pour la surveillance et la déclaration des émissions de gaz à effet de serre, conformément à la directive 2003/87/CE du Parlement européen et du Conseil](references.htm) [[110] Wikipédia - raffinage du pétrole](references.htm) [[111] Guide méthodologique d'application de l'application de l'article L.",
    "Ces valeurs sont bien entendu plus précises que les valeurs ci-dessous et s'y substitue donc. Part CH4 En pratique, il faut une durée de séjour minimum en conditions anaérobies et une concentration minimum des eaux usées en matières organiques, pour que les émissions soient significatives, ce qui suit ne concerne pas: *les eaux rejetées dans un milieu non stagnant (eaux en mouvement de rivière ou de fleuve, par exemple), où les conditions anaérobies ne sont pas réunies, *les eaux rejetées dans un réseau qui aboutit à une station d’épuration, car le maintien en conditions anaérobies de la matière organique en suspension (qui ne dure que le temps d’arriver à la station) est bien trop court pour que des émissions significatives aient lieu. Seules les eaux en sortie de station, et rejetées dans un milieu stagnant, sont éventuellement à prendre en compte.",
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

Dataset: dim_768
Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.1224
cosine_accuracy@3	0.2857
cosine_accuracy@5	0.3785
cosine_accuracy@10	0.4954
cosine_precision@1	0.1224
cosine_precision@3	0.0952
cosine_precision@5	0.0757
cosine_precision@10	0.0495
cosine_recall@1	0.1224
cosine_recall@3	0.2857
cosine_recall@5	0.3785
cosine_recall@10	0.4954
cosine_ndcg@10	0.2931
cosine_mrr@10	0.2301
cosine_map@100	0.2414

Information Retrieval

Dataset: dim_512
Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.1169
cosine_accuracy@3	0.3006
cosine_accuracy@5	0.3785
cosine_accuracy@10	0.4787
cosine_precision@1	0.1169
cosine_precision@3	0.1002
cosine_precision@5	0.0757
cosine_precision@10	0.0479
cosine_recall@1	0.1169
cosine_recall@3	0.3006
cosine_recall@5	0.3785
cosine_recall@10	0.4787
cosine_ndcg@10	0.2869
cosine_mrr@10	0.2266
cosine_map@100	0.2388

Information Retrieval

Dataset: dim_256
Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.102
cosine_accuracy@3	0.2653
cosine_accuracy@5	0.3673
cosine_accuracy@10	0.475
cosine_precision@1	0.102
cosine_precision@3	0.0884
cosine_precision@5	0.0735
cosine_precision@10	0.0475
cosine_recall@1	0.102
cosine_recall@3	0.2653
cosine_recall@5	0.3673
cosine_recall@10	0.475
cosine_ndcg@10	0.2739
cosine_mrr@10	0.2115
cosine_map@100	0.2234

Information Retrieval

Dataset: dim_128
Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.1076
cosine_accuracy@3	0.2412
cosine_accuracy@5	0.3302
cosine_accuracy@10	0.4712
cosine_precision@1	0.1076
cosine_precision@3	0.0804
cosine_precision@5	0.066
cosine_precision@10	0.0471
cosine_recall@1	0.1076
cosine_recall@3	0.2412
cosine_recall@5	0.3302
cosine_recall@10	0.4712
cosine_ndcg@10	0.2675
cosine_mrr@10	0.205
cosine_map@100	0.2157

Information Retrieval

Dataset: dim_64
Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.0965
cosine_accuracy@3	0.2245
cosine_accuracy@5	0.3265
cosine_accuracy@10	0.4434
cosine_precision@1	0.0965
cosine_precision@3	0.0748
cosine_precision@5	0.0653
cosine_precision@10	0.0443
cosine_recall@1	0.0965
cosine_recall@3	0.2245
cosine_recall@5	0.3265
cosine_recall@10	0.4434
cosine_ndcg@10	0.2486
cosine_mrr@10	0.1885
cosine_map@100	0.2002

Training Details

Training Dataset

Unnamed Dataset

Size: 4,842 training samples
Columns: positive and anchor
Approximate statistics based on the first 1000 samples:
positive anchor
type string string
details
min: 8 tokens
mean: 21.72 tokens
max: 105 tokens

min: 5 tokens
mean: 123.1 tokens
max: 128 tokens

	positive	anchor
type	string	string
details	min: 8 tokens mean: 21.72 tokens max: 105 tokens	min: 5 tokens mean: 123.1 tokens max: 128 tokens

Samples:

positive	anchor
`Quelles sont les deux phases de cycle de vie pour les articles d'habillement qui contribuent le plus aux émissions ?`	Les conclusions de l’étude, montrent que, sur l’ensemble du cycle de vie: * Pour les articles d’habillement, les deux phases de cycle de vie les plus contributrices sont la phase de production des matières premières (variation entre 8% pour le pull en coton recyclé et 72%pour l’anorak; 35% en moyenne) et l’étape de mise en forme (variation entre 15 et 51%; 36% en moyenne). Remarque: la phase d’utilisation est évaluée en attribuant 100% des impacts des consommables à l’article d’habillement. Ainsi le scénario de référence est: aucun lavage (pour couvrir aussi bien le lavage machine que le nettoyage à sec), aucun séchage (étape non obligatoire) et aucun repassage (étape non obligatoire). De manière générale, les procédés contributeurs pour les articles d’habillement sont: •La production de la matière première textile•L'électricité consommée pendant la mise en forme. La contribution est fonction des pays de production.
`Quels sont les types de navires qui ne sont pas représentés par l'ensemble des données disponibles pour la Base Carbone ?`	* Poste "Fabrication de véhicule" Peu de ressources bibliographiques sont disponibles et la représentativité technique des données identifiées n’est pas suffisante pour permettre une intégration d’un poste «Fabrication» dans les facteurs d’émissions existants. En effet, seules deux sources hors base de donnée ecoinvent ont permis d’évaluer grossièrement (ie. à l’aide d’hypothèses) l’impact de la fabrication d’un pétrolier et d’un vraquier. seules des analyses de cycle de vie de ferry parcourant un nombre restreint de km ont été identifiées. Aucune de ces données n’est pertinente pour évaluer le transport de marchandises. Seules des données ecoinvent correspondent techniquement aux navires recherchés pour la Base Carbone. Cet échantillon de données n’est pas satisfaisant car les sources ne sont pas suffisamment diversifiées et l’ensemble des navires types de la Base Carbone ne sont pas représentés.
`Quel était le pourcentage d'abattement des émissions de gaz à effet de serre observé pour la commune de Belle Neuve ?`	Sornac 0,106 0,145 74,1% 2020 1904C Réseau de Servières le Château SERVIERES-LE-CHATEAU 0,000 0,028 100,0% 2020 1906C BORG WARNER EYREIN 0,271 0,305 0,0% 2020 1907C Réseau de Brive BRIVE-LA-GAILLARDE 0,098 0,114 67,6% 2020 2001C Réseau de Corte CORTE 0,257 0,265 33,3% moyenne 2102C Réseau du Grand Dijon Ouest Dijon 0,098 0,131 52,7% moyenne 2105C Les Gresilles Dijon 0,088 0,122 51,4% moyenne 2106C Dijon énergies DIJON 0,055 0,077 74,6% 2020 2107C Mairie BELLENEUVE 0,109 0,150 77,2% moyenne 2108C Réseau de la commune de Nuits Saint Georges NUITS-SAINT-GEORGES 0,113 0,146 74,1% moyenne 2202C RESEAU DE CHALEUR CHAUFFERIE 1 PLOUARET 0,000 0,103 100,0% 2020 2203C RESEAU DE CHALEUR CHAUFFERIE 2 PLOUARET 0,000 0,089 100,0% 2020 2204C SMITRED OUEST d'ARMOR PLUZUNET 0,000 0,004 100,0% 2020 2205C

Loss: MatryoshkaLoss with these parameters:

{
    "loss": "MultipleNegativesRankingLoss",
    "matryoshka_dims": [
        768,
        512,
        256,
        128,
        64
    ],
    "matryoshka_weights": [
        1,
        1,
        1,
        1,
        1
    ],
    "n_dims_per_step": -1
}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: epoch
per_device_train_batch_size: 32
per_device_eval_batch_size: 16
gradient_accumulation_steps: 16
learning_rate: 2e-05
num_train_epochs: 20
lr_scheduler_type: cosine
warmup_ratio: 0.1
bf16: True
tf32: True
load_best_model_at_end: True
optim: adamw_torch_fused
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: epoch
prediction_loss_only: True
per_device_train_batch_size: 32
per_device_eval_batch_size: 16
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 16
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 2e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 20
max_steps: -1
lr_scheduler_type: cosine
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: True
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: True
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: True
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch_fused
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: False
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
eval_use_gather_object: False
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss	dim_128_cosine_map@100	dim_256_cosine_map@100	dim_512_cosine_map@100	dim_64_cosine_map@100	dim_768_cosine_map@100
0.9474	9	-	0.1043	0.1451	0.1301	0.0804	0.1353
1.0526	10	10.439	-	-	-	-	-
2.0	19	-	0.1313	0.1614	0.1639	0.1034	0.1752
2.1053	20	7.6184	-	-	-	-	-
2.9474	28	-	0.1464	0.1725	0.1818	0.1102	0.1812
3.1579	30	5.8477	-	-	-	-	-
4.0	38	-	0.1649	0.1915	0.1977	0.1327	0.2031
4.2105	40	4.7386	-	-	-	-	-
4.9474	47	-	0.1783	0.2023	0.2104	0.1546	0.2160
5.2632	50	4.011	-	-	-	-	-
6.0	57	-	0.1875	0.2092	0.2152	0.1625	0.2205
6.3158	60	3.3806	-	-	-	-	-
6.9474	66	-	0.1950	0.2133	0.2193	0.1639	0.2236
7.3684	70	2.9599	-	-	-	-	-
8.0	76	-	0.1969	0.2156	0.2272	0.1710	0.2288
8.4211	80	2.5981	-	-	-	-	-
8.9474	85	-	0.2020	0.2172	0.2280	0.1770	0.2288
9.4737	90	2.2513	-	-	-	-	-
10.0	95	-	0.2051	0.2235	0.2309	0.1809	0.2293
10.5263	100	2.01	-	-	-	-	-
10.9474	104	-	0.2043	0.2253	0.2323	0.1847	0.2321
11.5789	110	1.8012	-	-	-	-	-
12.0	114	-	0.2019	0.2212	0.2327	0.1873	0.2315
12.6316	120	1.6787	-	-	-	-	-
12.9474	123	-	0.2032	0.2217	0.2321	0.1886	0.2331
13.6842	130	1.6183	-	-	-	-	-
14.0	133	-	0.2055	0.2230	0.2330	0.1901	0.2364
14.7368	140	1.5298	-	-	-	-	-
14.9474	142	-	0.2059	0.2246	0.2349	0.1909	0.2371
15.7895	150	1.4565	-	-	-	-	-
16.0	152	-	0.2081	0.2250	0.2362	0.1899	0.2371
16.8421	160	1.4486	-	-	-	-	-
16.9474	161	-	0.2081	0.2241	0.2343	0.1885	0.2348
17.8947	170	1.4163	-	-	-	-	-
18.0	171	-	0.2072	0.2250	0.2333	0.1906	0.2363
18.9474	180	1.4396	0.2081	0.2241	0.2343	0.1885	0.2348
0.9474	9	-	0.2077	0.2272	0.2335	0.1906	0.2388
1.0526	10	1.4076	-	-	-	-	-
2.0	19	-	0.2108	0.2281	0.2376	0.1878	0.2383
2.1053	20	1.3222	-	-	-	-	-
2.9474	28	-	0.2110	0.2297	0.2366	0.1955	0.2381
3.1579	30	1.0961	-	-	-	-	-
4.0	38	-	0.2122	0.2285	0.2425	0.1948	0.2416
4.2105	40	0.9421	-	-	-	-	-
4.9474	47	-	0.2139	0.2296	0.2401	0.2015	0.2391
5.2632	50	0.7959	-	-	-	-	-
6.0	57	-	0.2135	0.2296	0.2380	0.1997	0.2405
6.3158	60	0.6813	-	-	-	-	-
6.9474	66	-	0.2163	0.2277	0.2384	0.1967	0.2424
7.3684	70	0.5678	-	-	-	-	-
8.0	76	-	0.2172	0.2324	0.2400	0.1989	0.2412
8.4211	80	0.5139	-	-	-	-	-
8.9474	85	-	0.2163	0.2260	0.2399	0.1968	0.2419
9.4737	90	0.4495	-	-	-	-	-
10.0	95	-	0.2144	0.2234	0.2390	0.1985	0.2380
10.5263	100	0.4038	-	-	-	-	-
10.9474	104	-	0.2159	0.2270	0.2394	0.1992	0.2390
11.5789	110	0.3735	-	-	-	-	-
12.0	114	-	0.2124	0.2245	0.2394	0.1986	0.2410
12.6316	120	0.3537	-	-	-	-	-
12.9474	123	-	0.2116	0.2236	0.2378	0.1978	0.2372
13.6842	130	0.3417	-	-	-	-	-
14.0	133	-	0.2115	0.2207	0.2390	0.1999	0.2369
14.7368	140	0.3236	-	-	-	-	-
14.9474	142	-	0.2102	0.2228	0.2391	0.2011	0.2363
15.7895	150	0.3081	-	-	-	-	-
16.0	152	-	0.2095	0.2227	0.2388	0.2010	0.2379
16.8421	160	0.304	-	-	-	-	-
16.9474	161	-	0.2115	0.2218	0.2398	0.1997	0.2371
17.8947	170	0.3096	-	-	-	-	-
18.0	171	-	0.2104	0.2226	0.2386	0.1992	0.2368
18.9474	180	0.3182	0.2172	0.2324	0.2400	0.1989	0.2412
0.9474	9	-	0.2156	0.232	0.2382	0.2004	0.2433
1.0526	10	0.4808	-	-	-	-	-
2.0	19	-	0.2150	0.2259	0.2368	0.2011	0.2426
2.1053	20	0.4524	-	-	-	-	-
2.9474	28	-	0.2158	0.2277	0.2422	0.2029	0.2390
3.1579	30	0.4079	-	-	-	-	-
4.0	38	-	0.2150	0.2280	0.2420	0.2025	0.2391
4.2105	40	0.3377	-	-	-	-	-
4.9474	47	-	0.2158	0.2284	0.2405	0.2030	0.2378
5.2632	50	0.3138	-	-	-	-	-
6.0	57	-	0.2156	0.2268	0.2374	0.2006	0.2389
6.3158	60	0.2666	-	-	-	-	-
6.9474	66	-	0.2128	0.2227	0.2380	0.2003	0.2369
7.3684	70	0.2385	-	-	-	-	-
8.0	76	-	0.2134	0.2215	0.2387	0.1978	0.2374
8.4211	80	0.2161	-	-	-	-	-
8.9474	85	-	0.2101	0.2188	0.2367	0.1990	0.2372
9.4737	90	0.1948	-	-	-	-	-
10.0	95	-	0.2080	0.2174	0.2355	0.1963	0.2367
10.5263	100	0.1829	-	-	-	-	-
10.9474	104	-	0.2055	0.2188	0.2344	0.1973	0.2358
11.5789	110	0.1599	-	-	-	-	-
12.0	114	-	0.2096	0.2193	0.2326	0.1974	0.2315
12.6316	120	0.1592	-	-	-	-	-
12.9474	123	-	0.2067	0.2170	0.2330	0.1945	0.2335
13.6842	130	0.1522	-	-	-	-	-
14.0	133	-	0.2072	0.2145	0.2292	0.1970	0.2351
14.7368	140	0.1475	-	-	-	-	-
14.9474	142	-	0.2076	0.2157	0.2289	0.1987	0.2351
15.7895	150	0.1372	-	-	-	-	-
16.0	152	-	0.2074	0.2164	0.2300	0.1985	0.2358
16.8421	160	0.139	-	-	-	-	-
16.9474	161	-	0.2064	0.2166	0.2304	0.1981	0.2347
17.8947	170	0.1374	-	-	-	-	-
18.0	171	-	0.2071	0.2167	0.2305	0.1973	0.2335
18.9474	180	0.1428	0.2065	0.2157	0.2305	0.1964	0.2332
0.9474	9	-	0.216	0.2307	0.2414	0.1998	0.2446
1.0526	10	0.472	-	-	-	-	-
2.0	19	-	0.2157	0.2279	0.2390	0.2038	0.2437
2.1053	20	0.4299	-	-	-	-	-
2.9474	28	-	0.2143	0.2290	0.2444	0.2001	0.2454
3.1579	30	0.3927	-	-	-	-	-
4.0	38	-	0.2170	0.2193	0.2385	0.1981	0.2399
4.2105	40	0.3396	-	-	-	-	-
4.9474	47	-	0.2131	0.2283	0.2383	0.1987	0.2421
5.2632	50	0.2937	-	-	-	-	-
6.0	57	-	0.2166	0.2254	0.2410	0.2018	0.2409
6.3158	60	0.2707	-	-	-	-	-
6.9474	66	-	0.2136	0.2283	0.2404	0.1973	0.2452
7.3684	70	0.2329	-	-	-	-	-
8.0	76	-	0.2103	0.2245	0.2392	0.1987	0.2408
8.4211	80	0.2059	-	-	-	-	-
8.9474	85	-	0.2118	0.2212	0.2366	0.1958	0.2372
9.4737	90	0.1947	-	-	-	-	-
10.0	95	-	0.2116	0.2166	0.2333	0.1947	0.2352
10.5263	100	0.1721	-	-	-	-	-
10.9474	104	-	0.2110	0.2168	0.2335	0.1947	0.2332
11.5789	110	0.1637	-	-	-	-	-
12.0	114	-	0.2076	0.2159	0.2343	0.1950	0.2331
12.6316	120	0.1553	-	-	-	-	-
12.9474	123	-	0.2077	0.2169	0.2321	0.1955	0.2342
13.6842	130	0.1488	-	-	-	-	-
14.0	133	-	0.2083	0.2170	0.2313	0.1952	0.2369
14.7368	140	0.1436	-	-	-	-	-
14.9474	142	-	0.2082	0.2184	0.2312	0.1927	0.2368
15.7895	150	0.1347	-	-	-	-	-
16.0	152	-	0.2069	0.2162	0.2297	0.1925	0.2340
16.8421	160	0.1363	-	-	-	-	-
16.9474	161	-	0.2081	0.2183	0.2331	0.1915	0.2357
17.8947	170	0.1391	-	-	-	-	-
18.0	171	-	0.2067	0.2170	0.2312	0.1931	0.2328
18.9474	180	0.1376	0.2077	0.2171	0.2312	0.1926	0.2316
0.9474	9	-	0.2157	0.2234	0.2388	0.2002	0.2414
1.0526	10	0.236	-	-	-	-	-
2.0	19	-	0.2104	0.2256	0.2406	0.1950	0.2409
2.1053	20	0.23	-	-	-	-	-
2.9474	28	-	0.2103	0.2267	0.2362	0.1973	0.2405
3.1579	30	0.2026	-	-	-	-	-
4.0	38	-	0.2052	0.2210	0.2352	0.1939	0.2405
4.2105	40	0.1806	-	-	-	-	-
4.9474	47	-	0.2055	0.2201	0.2338	0.1930	0.2397
5.2632	50	0.1738	-	-	-	-	-
6.0	57	-	0.2060	0.2190	0.2358	0.1935	0.2391
6.3158	60	0.147	-	-	-	-	-
6.9474	66	-	0.2071	0.2128	0.2299	0.1928	0.2321
7.3684	70	0.1341	-	-	-	-	-
8.0	76	-	0.2054	0.2114	0.2281	0.1908	0.2325
8.4211	80	0.1225	-	-	-	-	-
8.9474	85	-	0.2037	0.2104	0.2244	0.1933	0.2263
9.4737	90	0.118	-	-	-	-	-
10.0	95	-	0.2072	0.2092	0.2248	0.1902	0.2305
10.5263	100	0.1037	-	-	-	-	-
10.9474	104	-	0.2053	0.2096	0.2240	0.1867	0.2300
11.5789	110	0.0954	-	-	-	-	-
12.0	114	-	0.2040	0.2067	0.2230	0.1846	0.2287
12.6316	120	0.0947	-	-	-	-	-
12.9474	123	-	0.2006	0.2043	0.2222	0.1850	0.2267
13.6842	130	0.0892	-	-	-	-	-
14.0	133	-	0.2044	0.2060	0.2210	0.1831	0.2249
14.7368	140	0.0834	-	-	-	-	-
14.9474	142	-	0.2057	0.2046	0.2223	0.1802	0.2252
15.7895	150	0.0821	-	-	-	-	-
16.0	152	-	0.2047	0.2048	0.2208	0.1806	0.2244
16.8421	160	0.0847	-	-	-	-	-
16.9474	161	-	0.2046	0.2042	0.2221	0.1829	0.2239
17.8947	170	0.0817	-	-	-	-	-
18.0	171	-	0.2046	0.2055	0.2218	0.1813	0.2245
18.9474	180	0.0833	0.2157	0.2234	0.2388	0.2002	0.2414

The bold row denotes the saved checkpoint.

Framework Versions

Python: 3.10.12
Sentence Transformers: 3.0.1
Transformers: 4.44.2
PyTorch: 2.4.1+cu121
Accelerate: 0.34.2
Datasets: 2.21.0
Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning}, 
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply}, 
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

sylvain471
/

sentence-camembert-base-ademe

gte multi base BEGES Matryoshka

Model Details

Model Description

Model Sources

Full Model Architecture

Usage

Direct Usage (Sentence Transformers)

Evaluation

Metrics

Information Retrieval

Information Retrieval

Information Retrieval

Information Retrieval

Information Retrieval

Training Details

Training Dataset

Unnamed Dataset

Training Hyperparameters

Non-Default Hyperparameters

All Hyperparameters

Training Logs

Framework Versions

Citation

BibTeX

Sentence Transformers

MatryoshkaLoss

MultipleNegativesRankingLoss

Model tree for sylvain471/sentence-camembert-base-ademe

Evaluation results