ymelka/camembert-cosmetic-similarity-v2

SentenceTransformer based on ymelka/camembert-cosmetic-finetuned

This is a sentence-transformers model finetuned from ymelka/camembert-cosmetic-finetuned. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: ymelka/camembert-cosmetic-finetuned
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 tokens
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: CamembertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("ymelka/camembert-cosmetic-similarity-v2")
# Run inference
sentences = [
    "En complément du nettoyant et du soin, il est recommandé d'utiliser un masque purifiant et matifiant une à deux fois par semaine. Ce masque aidera à resserrer les pores, purifier la peau en profondeur et réguler l'excès de sébum pour un teint plus éclatant et uniforme.",
    "Le Masque Purifiant Aromatique à l'Argile Darphin Skin Mat est un soin visage qui absorbe l'excès de sébum et purifie en profondeur l'épiderme. Grâce à sa formule, ce masque nettoie, clarifie et purifie la peau, la laissant plus fraîche et plus claire. Adapté à tous les types de peaux, il s'applique en fine couche sur le visage et le cou, en évitant le contour des yeux, et se laisse poser pendant 10 à 15 minutes avant de rincer à l'eau tiède. Ce masque contient de l'argile, connue pour ses propriétés absorbantes et purifiantes, ainsi que des ingrédients aromatiques pour une expérience sensorielle agréable. Il est recommandé de l'utiliser une à deux fois par semaine pour des résultats optimaux. Il est conseillé de ne pas l'utiliser sur une peau irritée ou lésée, et de faire un test préalable sur une petite zone de la peau pour éviter toute réaction allergique. Profitez des bienfaits de ce masque pour retrouver une peau nette et éclatante.",
    "Le Fond de Teint Correcteur Fluide Avène en teinte miel est spécialement conçu pour corriger les imperfections cutanées modérées et unifier le teint de manière naturelle. Sa formule résistante à l'eau et à la sueur offre une haute tenue tout en protégeant la peau des rayons UV grâce à son indice de protection 20. Enrichi en pré-tocophéryl, il prévient le vieillissement photo-induit. Ce fond de teint contient un complexe pigmentaire photo-correcteur pour un teint homogène et lumineux. Il convient à tous les types de peaux sensibles, claires ou mates, et permet de camoufler efficacement les imperfections modérées. Pour une application optimale, il est recommandé de l'appliquer avec les doigts en unifiant sur l'ensemble du visage et du cou. Ce produit de parapharmacie est testé en centre de recherche dermatologique et utilisé à l'Atelier de Maquillage Médical de la Station thermale d'Avène.",
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Semantic Similarity

• Dataset: stsb-fr-dev
• Evaluated with EmbeddingSimilarityEvaluator

Metric	Value
pearson_cosine	0.8893
spearman_cosine	0.9396
pearson_manhattan	0.8816
spearman_manhattan	0.9349
pearson_euclidean	0.8813
spearman_euclidean	0.9361
pearson_dot	0.7699
spearman_dot	0.8819
pearson_max	0.8893
spearman_max	0.9396

Training Details

Training Dataset

Unnamed Dataset

• Size: 5,000 training samples
• Columns: sentence1, sentence2, and score
• Approximate statistics based on the first 1000 samples:

  	sentence1	sentence2	score
  type	string	string	float
  details	min: 30 tokens mean: 55.51 tokens max: 90 tokens	min: 124 tokens mean: 199.72 tokens max: 503 tokens	min: 0.0 mean: 0.47 max: 1.0

• Samples:

  sentence1	sentence2	score
  En complément, un sérum anti-imperfections peut être utilisé pour cibler spécifiquement les problèmes de peau tels que les imperfections et les rougeurs. Ce sérum aidera à purifier la peau et à réduire l'apparence des boutons.	Le sérum anti-imperfections Endro à base d'huile végétale de noisette et d'huiles essentielles bio est un concentré d'actifs naturels et antibactériens qui laisse la peau saine et les pores resserrés. Grâce à son action ciblée et hyper concentrée, il lutte efficacement contre les imperfections cutanées, réduisant ainsi les boutons et les rougeurs. Ce sérum convient aux adultes et aux adolescents à partir de 10 ans, et 73,35% des utilisateurs ont constaté une amélioration de leur peau en une semaine seulement. Les principaux ingrédients actifs tels que l'huile de noisette, l'huile essentielle de palmarosa et l'huile essentielle d'arbre à thé agissent en synergie pour purifier la peau et réguler l'excès de sébum. Pour une utilisation optimale, il est recommandé d'appliquer une petite goutte du sérum sur les zones à traiter le soir avant de dormir, en évitant le contour des yeux. Cependant, ce produit n'est pas adapté aux femmes enceintes ou allaitantes. En cas de contact avec les yeux, il est important de rincer abondamment et d'éviter toute exposition au soleil après application. Avec Endro Sérum Anti-Imperfections, retrouvez une peau nette et éclatante en toute simplicité.	0.9809522032737732
  Un soin régulateur et matifiant, idéal pour traiter les imperfections et les pores dilatés. Sa formule spécifique permettra de réduire l'apparence des imperfections tout en resserrant les pores pour une peau plus lisse et uniforme.	Le La Roche-Posay Effaclar MAT Soin Hydratant Sébo-Régulateur Visage Peaux Grasses est un soin spécialement conçu pour les peaux grasses sensibles sujettes à la brillance. Sa formule anti-brillance et anti-pores dilatés, grâce à l'association de Sebulyse, de microsphères absorbantes et de perlite, régule la production de sébum et matifie la peau immédiatement. Ce soin hydratant offre un effet matifiant et hydratant longue durée, tout en étant une excellente base de maquillage. Il convient aux adultes et aux adolescents, et est idéal pour les peaux à imperfections, à tendance acnéique et sujettes à la brillance. Pour une utilisation optimale, il est recommandé d'appliquer le produit matin et/ou soir sur l'ensemble du visage. Il est important de noter que ce produit est testé sous contrôle dermatologique, non comédogène et hypoallergénique.	0.9946829676628112
  Un complément de traitement anti-taches, conçu pour cibler spécifiquement les taches pigmentaires. Ce complément concentré en actifs éclaircissants aidera à atténuer les taches existantes et à prévenir l'apparition de nouvelles taches. Il est recommandé de l'utiliser en complément des autres soins pour une action ciblée et efficace.	Le Lierac Lumilogie Anti-Taches est un traitement ciblé pour les 3 types de taches cutanées : naissantes, visibles et incrustées. Grâce à sa formule innovante inspirée des techniques esthétiques combinées, ce produit agit sur les taches à tous les stades de leur développement. Enrichi en Hexyl R., Lys de mer et Extrait de plantain, il freine la production de mélanine, diminue les taches visibles et lutte contre l'incrustation de la mélanine en profondeur. De plus, les concentrés de vitamines E et B3 ainsi que les 7 hydroxy acides activent le renouvellement cellulaire pour éliminer la mélanine en surface. En résulte un teint unifié et plus uniforme dès la première utilisation, avec une efficacité prouvée dès 7 jours et une correction visible des taches dès 28 jours. Pour une utilisation optimale, appliquez 2 pressions du concentré jour le matin et du concentré nuit le soir sur l'ensemble du visage, en évitant le contour des yeux. Veillez à éviter le contour des yeux et à utiliser une protection solaire avec IP en cas d'exposition au soleil.	0.9939286708831788

• Loss: CoSENTLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "pairwise_cos_sim"
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 1,000 evaluation samples
• Columns: sentence1, sentence2, and score
• Approximate statistics based on the first 1000 samples:

  	sentence1	sentence2	score
  type	string	string	float
  details	min: 30 tokens mean: 54.83 tokens max: 88 tokens	min: 120 tokens mean: 197.93 tokens max: 491 tokens	min: 0.0 mean: 0.46 max: 1.0

• Samples:

  sentence1	sentence2	score
  Un complément hydratant et correcteur, idéal pour les peaux sensibles et sujettes aux taches. Ce complément aidera à hydrater en profondeur, à atténuer les rides et à réduire l'apparence des pores pour une peau plus lisse et uniforme.	L'Huile Végétale de Karité Bio de Puressentiel est un produit nutritif, réparateur et apaisant, idéal pour nourrir et réparer en profondeur la peau et les cheveux. Cette huile 100% pure et naturelle est recommandée pour une utilisation externe sur la peau et les cheveux. Enrichie en beurre de karité issu de l'agriculture biologique, elle offre des propriétés nourrissantes et réparatrices. Pour une utilisation sur le visage et le corps, il est conseillé de chauffer une noisette de beurre de karité dans la paume de la main et de l'appliquer sur les zones sèches et craquelées. Pour les cheveux secs et abîmés, il suffit de chauffer une petite noisette de beurre de karité entre les mains et de l'appliquer sur les pointes et les longueurs. Il est important d'éviter le contact avec les yeux et les muqueuses, et de se laver les mains après application. Il est recommandé de conserver le produit à l'abri de la lumière, de l'air et de la chaleur. Disponible en pot de 100 ml, cette huile de karité bio est un allié naturel pour prendre soin de sa peau et de ses cheveux.	0.0544042661786079
  Un soin anti-âge global, conçu pour traiter les rides, les taches pigmentaires et les imperfections. Sa formule régulatrice et éclatante aidera à lisser la peau, à atténuer les taches et à réduire les imperfections pour un teint plus uniforme et lumineux.	Le sérum contour des yeux anti-rides Maison Éole Elle Et Lui Émerveillé est un produit de parapharmacie haut de gamme qui agit efficacement contre les rides, les ridules, les cernes et les poches. Sa formule complète enrichie en Bakuchiol, alternative naturelle au Rétinol A, nourrit la peau en profondeur et réduit les tâches cutanées. Grâce à ses actifs tels que l'huile de pépin de raisin, le Bisabolol et le Resvératrol, ce sérum hydrate intensément, lisse la peau et prévient le vieillissement cutané. Son utilisation matin et soir sur une peau propre permet d'obtenir un regard éclatant et reposé. Le flacon-pipette de 15ml facilite son application. Ce produit convient à tous les types de peau et ne contient ni parabène, ni silicone, ni ingrédients d'origine animale. Il est recommandé de suivre les instructions d'utilisation pour des résultats optimaux.	0.0781720206141471
  Un soin anti-rides et éclat, enrichi en actifs régénérants et illuminants. Ce soin aidera à lisser les rides, à uniformiser le teint et à redonner de l'éclat à la peau fatiguée.	L'Eau Micellaire Sebiaclear de SVR est un produit de parapharmacie qui purifie, nettoie et démaquille la peau en un seul geste. Adaptée aux peaux sensibles mixtes à grasses, cette eau micellaire aide à éliminer les impuretés, les boutons, les points noirs et l'excès de sébum sans dessécher la peau. Grâce à sa formule innovante contenant de la gluconolactone et de la niacinamide, elle offre une haute efficacité tout en respectant la peau. Les micelles présentes dans le produit nettoient et démaquillent en douceur, laissant la peau nette et fraîche. Pour l'utiliser, il suffit d'appliquer l'eau micellaire matin et/ou soir à l'aide d'un coton sur le visage et les yeux, sans rinçage. Avec une présentation en flacon de 400 ml, ce produit convient aux peaux sensibles à tendance acnéique et offre des résultats visibles dès 7 jours d'utilisation. Il est recommandé de ne pas l'utiliser en cas d'allergie à l'un des ingrédients et de consulter un professionnel de santé en cas de doute.	0.0607918016612529

• Loss: CoSENTLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "pairwise_cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• learning_rate: 2e-05
• weight_decay: 0.01
• num_train_epochs: 4
• warmup_ratio: 0.1
• bf16: True
• load_best_model_at_end: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• learning_rate: 2e-05
• weight_decay: 0.01
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 4
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	loss	stsb-fr-dev_spearman_cosine
0	0	-	-	0.4986
0.3195	100	4.6554	4.3185	0.8719
0.6390	200	4.2773	4.1772	0.8984
0.9585	300	4.1015	4.0808	0.9128
1.2748	400	4.0285	4.0244	0.9215
1.5942	500	3.9269	4.0512	0.9317
1.9137	600	3.8057	3.9970	0.9348
2.2300	700	3.7665	4.0250	0.9350
2.5495	800	3.7541	3.9587	0.9396
2.8690	900	3.6029	4.0481	0.9407
3.1853	1000	3.6183	3.9964	0.9416
3.5048	1100	3.5848	3.9711	0.9454
3.8243	1200	3.5029	3.9985	0.9452
3.9904	1252	-	-	0.9396

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 3.0.1
• Transformers: 4.41.2
• PyTorch: 2.3.0+cu121
• Accelerate: 0.31.0
• Datasets: 2.20.0
• Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CoSENTLoss

@online{kexuefm-8847,
    title={CoSENT: A more efficient sentence vector scheme than Sentence-BERT},
    author={Su Jianlin},
    year={2022},
    month={Jan},
    url={https://kexue.fm/archives/8847},
}