ManoloPueblo
commited on
Commit
•
79d2bd3
1
Parent(s):
e7ae5ad
Update README.md
Browse files
README.md
CHANGED
@@ -24,7 +24,7 @@ LLM_MERGE_CC3 est une fusion des modèles suivants créée par ManoloPueblo util
|
|
24 |
|
25 |
## 🧩 Configuration de la fusion
|
26 |
```yaml
|
27 |
-
merge_method:
|
28 |
base_model: mistralai/Mistral-7B-v0.1
|
29 |
models:
|
30 |
- model: mistralai/Mistral-7B-v0.1
|
@@ -54,13 +54,13 @@ LLM_MERGE_CC3 est un modèle de langage créé par la fusion de trois variantes
|
|
54 |
2. mistral-ft-optimized-1218 - Version optimisée par OpenPipe (poids: 0.5, densité: 0.5)
|
55 |
3. NeuralHermes-2.5-Mistral-7B - Version améliorée par MLabonne (poids: 0.3, densité: 0.5)
|
56 |
|
57 |
-
Cette fusion utilise la méthode "
|
58 |
|
59 |
## Architecture
|
60 |
Le modèle conserve l'architecture de base de Mistral-7B tout en incorporant les améliorations des trois versions à travers une fusion pondérée. La méthode "ties" permet une fusion plus sophistiquée des poids des modèles.
|
61 |
|
62 |
## Paramètres de fusion
|
63 |
-
- Méthode de fusion :
|
64 |
- Normalisation : activée
|
65 |
- Type de données : float16
|
66 |
- Densités et poids :
|
|
|
24 |
|
25 |
## 🧩 Configuration de la fusion
|
26 |
```yaml
|
27 |
+
merge_method: dare
|
28 |
base_model: mistralai/Mistral-7B-v0.1
|
29 |
models:
|
30 |
- model: mistralai/Mistral-7B-v0.1
|
|
|
54 |
2. mistral-ft-optimized-1218 - Version optimisée par OpenPipe (poids: 0.5, densité: 0.5)
|
55 |
3. NeuralHermes-2.5-Mistral-7B - Version améliorée par MLabonne (poids: 0.3, densité: 0.5)
|
56 |
|
57 |
+
Cette fusion utilise la méthode "dare" avec normalisation et une précision float16 pour combiner les forces des trois modèles.
|
58 |
|
59 |
## Architecture
|
60 |
Le modèle conserve l'architecture de base de Mistral-7B tout en incorporant les améliorations des trois versions à travers une fusion pondérée. La méthode "ties" permet une fusion plus sophistiquée des poids des modèles.
|
61 |
|
62 |
## Paramètres de fusion
|
63 |
+
- Méthode de fusion : dare
|
64 |
- Normalisation : activée
|
65 |
- Type de données : float16
|
66 |
- Densités et poids :
|