RichardErkhov commited on
Commit
4460f34
·
verified ·
1 Parent(s): 82f1db8

uploaded readme

Browse files
Files changed (1) hide show
  1. README.md +199 -0
README.md ADDED
@@ -0,0 +1,199 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ Quantization made by Richard Erkhov.
2
+
3
+ [Github](https://github.com/RichardErkhov)
4
+
5
+ [Discord](https://discord.gg/pvy7H8DZMG)
6
+
7
+ [Request more models](https://github.com/RichardErkhov/quant_request)
8
+
9
+
10
+ leniachat-qwen2-1.5B-v0 - GGUF
11
+ - Model creator: https://huggingface.co/LenguajeNaturalAI/
12
+ - Original model: https://huggingface.co/LenguajeNaturalAI/leniachat-qwen2-1.5B-v0/
13
+
14
+
15
+ | Name | Quant method | Size |
16
+ | ---- | ---- | ---- |
17
+ | [leniachat-qwen2-1.5B-v0.Q2_K.gguf](https://huggingface.co/RichardErkhov/LenguajeNaturalAI_-_leniachat-qwen2-1.5B-v0-gguf/blob/main/leniachat-qwen2-1.5B-v0.Q2_K.gguf) | Q2_K | 0.63GB |
18
+ | [leniachat-qwen2-1.5B-v0.IQ3_XS.gguf](https://huggingface.co/RichardErkhov/LenguajeNaturalAI_-_leniachat-qwen2-1.5B-v0-gguf/blob/main/leniachat-qwen2-1.5B-v0.IQ3_XS.gguf) | IQ3_XS | 0.68GB |
19
+ | [leniachat-qwen2-1.5B-v0.IQ3_S.gguf](https://huggingface.co/RichardErkhov/LenguajeNaturalAI_-_leniachat-qwen2-1.5B-v0-gguf/blob/main/leniachat-qwen2-1.5B-v0.IQ3_S.gguf) | IQ3_S | 0.71GB |
20
+ | [leniachat-qwen2-1.5B-v0.Q3_K_S.gguf](https://huggingface.co/RichardErkhov/LenguajeNaturalAI_-_leniachat-qwen2-1.5B-v0-gguf/blob/main/leniachat-qwen2-1.5B-v0.Q3_K_S.gguf) | Q3_K_S | 0.71GB |
21
+ | [leniachat-qwen2-1.5B-v0.IQ3_M.gguf](https://huggingface.co/RichardErkhov/LenguajeNaturalAI_-_leniachat-qwen2-1.5B-v0-gguf/blob/main/leniachat-qwen2-1.5B-v0.IQ3_M.gguf) | IQ3_M | 0.72GB |
22
+ | [leniachat-qwen2-1.5B-v0.Q3_K.gguf](https://huggingface.co/RichardErkhov/LenguajeNaturalAI_-_leniachat-qwen2-1.5B-v0-gguf/blob/main/leniachat-qwen2-1.5B-v0.Q3_K.gguf) | Q3_K | 0.77GB |
23
+ | [leniachat-qwen2-1.5B-v0.Q3_K_M.gguf](https://huggingface.co/RichardErkhov/LenguajeNaturalAI_-_leniachat-qwen2-1.5B-v0-gguf/blob/main/leniachat-qwen2-1.5B-v0.Q3_K_M.gguf) | Q3_K_M | 0.77GB |
24
+ | [leniachat-qwen2-1.5B-v0.Q3_K_L.gguf](https://huggingface.co/RichardErkhov/LenguajeNaturalAI_-_leniachat-qwen2-1.5B-v0-gguf/blob/main/leniachat-qwen2-1.5B-v0.Q3_K_L.gguf) | Q3_K_L | 0.82GB |
25
+ | [leniachat-qwen2-1.5B-v0.IQ4_XS.gguf](https://huggingface.co/RichardErkhov/LenguajeNaturalAI_-_leniachat-qwen2-1.5B-v0-gguf/blob/main/leniachat-qwen2-1.5B-v0.IQ4_XS.gguf) | IQ4_XS | 0.84GB |
26
+ | [leniachat-qwen2-1.5B-v0.Q4_0.gguf](https://huggingface.co/RichardErkhov/LenguajeNaturalAI_-_leniachat-qwen2-1.5B-v0-gguf/blob/main/leniachat-qwen2-1.5B-v0.Q4_0.gguf) | Q4_0 | 0.87GB |
27
+ | [leniachat-qwen2-1.5B-v0.IQ4_NL.gguf](https://huggingface.co/RichardErkhov/LenguajeNaturalAI_-_leniachat-qwen2-1.5B-v0-gguf/blob/main/leniachat-qwen2-1.5B-v0.IQ4_NL.gguf) | IQ4_NL | 0.88GB |
28
+ | [leniachat-qwen2-1.5B-v0.Q4_K_S.gguf](https://huggingface.co/RichardErkhov/LenguajeNaturalAI_-_leniachat-qwen2-1.5B-v0-gguf/blob/main/leniachat-qwen2-1.5B-v0.Q4_K_S.gguf) | Q4_K_S | 0.88GB |
29
+ | [leniachat-qwen2-1.5B-v0.Q4_K.gguf](https://huggingface.co/RichardErkhov/LenguajeNaturalAI_-_leniachat-qwen2-1.5B-v0-gguf/blob/main/leniachat-qwen2-1.5B-v0.Q4_K.gguf) | Q4_K | 0.92GB |
30
+ | [leniachat-qwen2-1.5B-v0.Q4_K_M.gguf](https://huggingface.co/RichardErkhov/LenguajeNaturalAI_-_leniachat-qwen2-1.5B-v0-gguf/blob/main/leniachat-qwen2-1.5B-v0.Q4_K_M.gguf) | Q4_K_M | 0.92GB |
31
+ | [leniachat-qwen2-1.5B-v0.Q4_1.gguf](https://huggingface.co/RichardErkhov/LenguajeNaturalAI_-_leniachat-qwen2-1.5B-v0-gguf/blob/main/leniachat-qwen2-1.5B-v0.Q4_1.gguf) | Q4_1 | 0.95GB |
32
+ | [leniachat-qwen2-1.5B-v0.Q5_0.gguf](https://huggingface.co/RichardErkhov/LenguajeNaturalAI_-_leniachat-qwen2-1.5B-v0-gguf/blob/main/leniachat-qwen2-1.5B-v0.Q5_0.gguf) | Q5_0 | 1.02GB |
33
+ | [leniachat-qwen2-1.5B-v0.Q5_K_S.gguf](https://huggingface.co/RichardErkhov/LenguajeNaturalAI_-_leniachat-qwen2-1.5B-v0-gguf/blob/main/leniachat-qwen2-1.5B-v0.Q5_K_S.gguf) | Q5_K_S | 1.02GB |
34
+ | [leniachat-qwen2-1.5B-v0.Q5_K.gguf](https://huggingface.co/RichardErkhov/LenguajeNaturalAI_-_leniachat-qwen2-1.5B-v0-gguf/blob/main/leniachat-qwen2-1.5B-v0.Q5_K.gguf) | Q5_K | 1.05GB |
35
+ | [leniachat-qwen2-1.5B-v0.Q5_K_M.gguf](https://huggingface.co/RichardErkhov/LenguajeNaturalAI_-_leniachat-qwen2-1.5B-v0-gguf/blob/main/leniachat-qwen2-1.5B-v0.Q5_K_M.gguf) | Q5_K_M | 1.05GB |
36
+ | [leniachat-qwen2-1.5B-v0.Q5_1.gguf](https://huggingface.co/RichardErkhov/LenguajeNaturalAI_-_leniachat-qwen2-1.5B-v0-gguf/blob/main/leniachat-qwen2-1.5B-v0.Q5_1.gguf) | Q5_1 | 1.1GB |
37
+ | [leniachat-qwen2-1.5B-v0.Q6_K.gguf](https://huggingface.co/RichardErkhov/LenguajeNaturalAI_-_leniachat-qwen2-1.5B-v0-gguf/blob/main/leniachat-qwen2-1.5B-v0.Q6_K.gguf) | Q6_K | 1.18GB |
38
+ | [leniachat-qwen2-1.5B-v0.Q8_0.gguf](https://huggingface.co/RichardErkhov/LenguajeNaturalAI_-_leniachat-qwen2-1.5B-v0-gguf/blob/main/leniachat-qwen2-1.5B-v0.Q8_0.gguf) | Q8_0 | 1.53GB |
39
+
40
+
41
+
42
+
43
+ Original model description:
44
+ ---
45
+ language: es
46
+ license: apache-2.0
47
+ tags:
48
+ - text-generation-inference
49
+ - transformers
50
+ - qwen2
51
+ - chat
52
+ - qa
53
+ - multi-task-learning
54
+ - instruction-tuning
55
+ base_model: Qwen/Qwen2-1.5B
56
+ ---
57
+
58
+
59
+ ![image/png](https://cdn-uploads.huggingface.co/production/uploads/61f333df8f26cc42dc587011/KX0yrpzeH2x3M4FWyx40Y.png)
60
+
61
+ # Chat & Instructions 1.5B LLM by LenguajeNatural.AI | Modelo LenguajeNatural.AI Chat e Instrucciones 1.5B
62
+
63
+ ## Developed by LenguajeNatural.AI
64
+
65
+ This model has been developed by [**LenguajeNatural.AI**](https://lenguajenatural.ai/), with the aim of providing the Spanish-speaking community with advanced tools for text generation, chat, and instructions.
66
+ It is the second released model of the LeNIA series, significantly outperforming the first one, being also smaller (1.5B vs 2B) and with a larger sequence size (32K vs 8K).
67
+
68
+ ### Technical Details
69
+
70
+ - Maximum Sequence Length: 32K
71
+ - Model Size: 1.5B parameters
72
+ - Architecture: Qwen2
73
+ - Trained in 3 steps:
74
+ - Domain Flan-style adaptation to Spanish: Massive Spanish instruction tuning
75
+ - High Quality Spanish Instruction Tuning
76
+ - Chat-Abstractive QA Fine-Tuning
77
+
78
+ ## Desarrollado por LenguajeNatural.AI
79
+
80
+ Este modelo ha sido desarrollado por [**LenguajeNatural.AI**](https://lenguajenatural.ai/), con el objetivo de proporcionar a la comunidad de habla hispana herramientas avanzadas para la generación de texto, chat e instrucciones.
81
+ Es el segundo modelo liberado de la saga LeNIA, superando con bastante margen el rendimiento del primero de ellos, siendo además más pequeño (1.5B vs 2B) y con mayor tamaño de secuencia (32K vs 8K).
82
+
83
+ ## License
84
+
85
+ This model is distributed under Apache 2.0. License.
86
+
87
+ ## Licencia
88
+
89
+ Este modelo se distribuye bajo la licencia Apache 2.0.
90
+
91
+ ## Base Model
92
+
93
+ This model has been fine-tuned from Qwen/Qwen2-1.5B, incorporating advanced features for better text generation and understanding in Spanish chat and instruction tasks.
94
+
95
+ ## Modelo Base
96
+
97
+ Este modelo se ha afinado a partir de `Qwen/Qwen2-1.5B`, incorporando características avanzadas para una mejor generación de texto y comprensión en tareas de chat e instrucciones en español.
98
+
99
+ ## Language
100
+
101
+ The model has been trained exclusively in Spanish, with the aim of maximizing its effectiveness in applications intended for Spanish-speaking users.
102
+
103
+ ## Idioma
104
+
105
+ El modelo ha sido entrenado exclusivamente en español, con el objetivo de maximizar su efectividad en aplicaciones destinadas a usuarios de habla hispana.
106
+
107
+ ## Training
108
+
109
+ The model has been trained in three distinct phases to ensure good performance across a wide range of tasks:
110
+
111
+ 1. **Multi-task learning in Spanish**: Using multiple supervised datasets for FLAN-style training.
112
+ 2. **High-quality instruction training**: Fine-tuning the model to understand and generate responses to complex instructions.
113
+ 3. **Chat and abstractive QA training**: Optimizing the model for smooth conversations and generating answers to abstract questions.
114
+
115
+ In all three phases, training was carried out thanks to our library [autotransformers](https://github.com/lenguajenatural-ai/autotransformers).
116
+
117
+ ## Entrenamiento
118
+
119
+ El modelo se ha entrenado en tres fases distintas para asegurar un buen rendimiento en una amplia gama de tareas:
120
+
121
+ 1. **Aprendizaje multi-tarea en español**: Utilizando múltiples conjuntos de datos supervisados para un entrenamiento al estilo FLAN.
122
+ 2. **Entrenamiento de instrucciones de alta calidad**: Afinando el modelo para entender y generar respuestas a instrucciones complejas.
123
+ 3. **Entrenamiento de chat y QA abstractivo**: Optimizando el modelo para conversaciones fluidas y la generación de respuestas a preguntas abstractas.
124
+
125
+ En las 3 fases se ha llevado a cabo el entrenamiento gracias a nuestra librería [autotransformers](https://github.com/lenguajenatural-ai/autotransformers).
126
+
127
+
128
+ ![image/png](https://cdn-uploads.huggingface.co/production/uploads/61f333df8f26cc42dc587011/LbzqllY6iX7IHhqXx4qeA.png)
129
+
130
+ ## Maximum Sequence Length
131
+
132
+ The maximum sequence length for this model is 32768 tokens, 4x more than the previous LeNIA-Chat version.
133
+
134
+ ## Tamaño máximo de secuencia
135
+
136
+ El tamaño máximo de secuencia para este modelo es de 8192 tokens, 4 veces más que la versión anterior de LeNIA-Chat.
137
+
138
+ ## Usage and Limitations
139
+
140
+ This model is designed to be used in text generation applications, chatbots, and virtual assistants in Spanish. Although it has been trained to minimize biases and errors, we recommend evaluating its performance in its specific context of use. Users should be aware of the inherent limitations of language models and use this model responsibly.
141
+ Additionally, it should be noted that the base model is only 1.5B parameters, so this model shares the inherent limitations of models of that size.
142
+
143
+ ## Usos y Limitaciones
144
+
145
+ Este modelo está diseñado para ser utilizado en aplicaciones de generación de texto, chatbots, y asistentes virtuales en español. Aunque ha sido entrenado para minimizar sesgos y errores, recomendamos evaluar su desempeño en su contexto específico de uso. Los usuarios deben ser conscientes de las limitaciones inherentes a los modelos de lenguaje y utilizar este modelo de manera responsable.
146
+ Además, debe tenerse en cuenta que el modelo base es de únicamente 1.5b parámetros, por lo que este modelo comparte las limitaciones inherentes a los modelos de ese tamaño.
147
+
148
+ ## How to start?
149
+
150
+ You can start using this model through the Hugging Face API or integrate it into your applications using the transformers library. Here is an example of how to load the model:
151
+
152
+ ## ¿Cómo empezar?
153
+
154
+ Puedes empezar a utilizar este modelo a través de la API de Hugging Face o integrarlo en tus aplicaciones utilizando la biblioteca `transformers`. Aquí tienes un ejemplo de cómo cargar el modelo:
155
+
156
+ ```python
157
+ from transformers import AutoModelForCausalLM, AutoTokenizer
158
+ import torch
159
+
160
+ model_name = "LenguajeNaturalAI/leniachat-gemma-2b-v0"
161
+ tokenizer = AutoTokenizer.from_pretrained(model_name)
162
+ model = AutoModelForCausalLM.from_pretrained(model_name)
163
+
164
+ # Generar texto
165
+ messages = [
166
+ {"role": "system", "content": "Eres un asistente que ayuda al usuario a lo largo de la conversación resolviendo sus dudas."},
167
+ {"role": "user", "content": "¿Qué fue la revolución industrial?"}
168
+ ]
169
+ input_ids = tokenizer.apply_chat_template(messages, tokenize=True, return_tensors="pt")
170
+ with torch.no_grad():
171
+ output = model.generate(input_ids, max_new_tokens=50)
172
+ print(tokenizer.decode(output[0], skip_special_tokens=True))
173
+ ```
174
+
175
+ ## Evaluation
176
+
177
+ To ensure the quality of the model, an extensive evaluation has been carried out on several datasets, showing significant performance in text generation and understanding instructions in Spanish. The specific details of the evaluation of the LeNIA-Chat models are available in the following table.
178
+
179
+ ## Evaluación
180
+
181
+ Para asegurar la calidad del modelo, se ha realizado una evaluación exhaustiva en varios conjuntos de datos, mostrando un rendimiento significativo en la generación de texto y la comprensión de instrucciones en español. Los detalles específicos de la evaluación de los modelos LeNIA-Chat están disponibles en la siguiente tabla.
182
+
183
+
184
+ ![image/png](https://cdn-uploads.huggingface.co/production/uploads/61f333df8f26cc42dc587011/V4pAiSeaj3-vKhuba9dPZ.png)
185
+
186
+ ## Contributions and Future Versions
187
+
188
+ We encourage the community to help to build better LLMs in Spanish by providing suggestions or feedback to improve the model. Collaboration is fundamental for AI advancements, specially to make it accessible and ethical.
189
+
190
+ We plan to keep on improving this model and launch future versions with advanced capabilities. Stay tuned to our updates through our [webpage](https://lenguajenatural.ai/) or our [LinkedIn page](https://www.linkedin.com/company/lenguajenatural-ai/)
191
+
192
+
193
+ ## Contribuciones
194
+ Animamos a la comunidad a contribuir con retroalimentación, sugerencias, y mejoras para este modelo. La colaboración es fundamental para el avance de la inteligencia artificial accesible y ética.
195
+
196
+ ## Futuras Versiones
197
+ Planeamos continuar mejorando este modelo y lanzar versiones futuras con capacidades ampliadas. Mantente atento a nuestras actualizaciones. Puedes estar al tanto en nuestra [página web](https://lenguajenatural.ai/) o nuestra [página de LinkedIn](https://www.linkedin.com/company/lenguajenatural-ai/).
198
+
199
+