ManoloPueblo commited on
Commit
79d2bd3
1 Parent(s): e7ae5ad

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +3 -3
README.md CHANGED
@@ -24,7 +24,7 @@ LLM_MERGE_CC3 est une fusion des modèles suivants créée par ManoloPueblo util
24
 
25
  ## 🧩 Configuration de la fusion
26
  ```yaml
27
- merge_method: ties
28
  base_model: mistralai/Mistral-7B-v0.1
29
  models:
30
  - model: mistralai/Mistral-7B-v0.1
@@ -54,13 +54,13 @@ LLM_MERGE_CC3 est un modèle de langage créé par la fusion de trois variantes
54
  2. mistral-ft-optimized-1218 - Version optimisée par OpenPipe (poids: 0.5, densité: 0.5)
55
  3. NeuralHermes-2.5-Mistral-7B - Version améliorée par MLabonne (poids: 0.3, densité: 0.5)
56
 
57
- Cette fusion utilise la méthode "ties" avec normalisation et une précision float16 pour combiner les forces des trois modèles.
58
 
59
  ## Architecture
60
  Le modèle conserve l'architecture de base de Mistral-7B tout en incorporant les améliorations des trois versions à travers une fusion pondérée. La méthode "ties" permet une fusion plus sophistiquée des poids des modèles.
61
 
62
  ## Paramètres de fusion
63
- - Méthode de fusion : ties
64
  - Normalisation : activée
65
  - Type de données : float16
66
  - Densités et poids :
 
24
 
25
  ## 🧩 Configuration de la fusion
26
  ```yaml
27
+ merge_method: dare
28
  base_model: mistralai/Mistral-7B-v0.1
29
  models:
30
  - model: mistralai/Mistral-7B-v0.1
 
54
  2. mistral-ft-optimized-1218 - Version optimisée par OpenPipe (poids: 0.5, densité: 0.5)
55
  3. NeuralHermes-2.5-Mistral-7B - Version améliorée par MLabonne (poids: 0.3, densité: 0.5)
56
 
57
+ Cette fusion utilise la méthode "dare" avec normalisation et une précision float16 pour combiner les forces des trois modèles.
58
 
59
  ## Architecture
60
  Le modèle conserve l'architecture de base de Mistral-7B tout en incorporant les améliorations des trois versions à travers une fusion pondérée. La méthode "ties" permet une fusion plus sophistiquée des poids des modèles.
61
 
62
  ## Paramètres de fusion
63
+ - Méthode de fusion : dare
64
  - Normalisation : activée
65
  - Type de données : float16
66
  - Densités et poids :