Update README.md

README.md

@@ -1,5 +1,6 @@
 ---
 license: apache-2.0
+base_model: openchat/openchat-3.5-0106
 datasets:
 - somosnlp/Resumen_Noticias_Clickbait
 language:
@@ -66,4 +67,74 @@ widget:
  generar resúmenes concisos y de alta calidad de artículos con titulares clickbait.
 
 
- # 
+ # Entrenamiento del Modelo
+
+Para entrenar el modelo hemos desarrollado nuestra propia librería de entrenamiento y anotación: [https://github.com/ikergarcia1996/NoticIA](https://github.com/ikergarcia1996/NoticIA). Esta librería hace uso 
+de 🤗 Transformers, 🤗 PEFT, Bitsandbytes y Deepspeed. 
+
+Para el hackathon hemos decidido entrenar un modelo de 7 Billones de parámetros, ya que, usando cuantificación de 4 bits, es posible ejecutar el modelo en hardware doméstico. 
+Tras analizar el rendimiento de una gran cantidad de LLMs, nos hemos decantado por [openchat-3.5-0106](https://huggingface.co/openchat/openchat-3.5-0106) debido a su gran rendimiento sin
+necesidad de ser preentrenado. Para perturbar lo mínimo posible el conocimiento previo del modelo que le permite obtener este rendimiento, hemos optado por usar la técnica de
+entrenamiento *Low-Rank Adaptation* (LoRA). 
+
+La configuración exacta de entrenamiento está disponible en []()
+
+### Prompt
+El prompt utilizado para el entrenamiento es el mismo definido explicado en [https://huggingface.co/datasets/somosnlp/Resumen_Noticias_Clickbait](https://huggingface.co/datasets/somosnlp/Resumen_Noticias_Clickbait). 
+El prompt es convertido al template de chat específico de cada modelo. 
+
+# Rendimiento
+
+Como es habitual en las tareas de resumen, utilizamos la métrica de puntuación ROUGE para evaluar automáticamente los resúmenes producidos por los modelos. 
+Nuestra métrica principal es ROUGE-1, que considera las palabras enteras como unidades básicas. Para calcular la puntuación ROUGE, ponemos en minúsculas ambos resúmenes y eliminamos los signos de puntuación. 
+Además de la puntuación ROUGE, también tenemos en cuenta la longitud media de los resúmenes. 
+Para nuestra tarea, pretendemos que los resúmenes sean concisos, un aspecto que la puntuación ROUGE no evalúa. Por lo tanto, al evaluar los modelos tenemos en cuenta tanto la puntuación ROUGE-1 como la longitud media de los resúmenes. Nuestro objetivo es encontrar un modelo que consiga la mayor puntuación ROUGE posible con la menor longitud de resumen posible, equilibrando calidad y brevedad.
+
+Hemos realizado una evaluación incluyendo los mejores modelos de lenguaje entrenados para seguir instrucciones actuales, también hemos incluido el rendimiento obtenido por un anotador humano.
+El código para reproducir los resultados se encuentra en el siguiente enlace: [https://github.com/ikergarcia1996/NoticIA](https://github.com/ikergarcia1996/NoticIA)
+
+<p align="center">
+    <img src="https://huggingface.co/datasets/somosnlp/Resumen_Noticias_Clickbait/resolve/main/Results_zero.png" style="width: 100%;">
+</p>
+
+
+Tras el entrenamiento nuestro modelo adquire la capacidad de realizar resúmenes con una capacidad cercana a los humanos. Superando amplicamente a cualquier modelo en un setting zero-shot. 
+Al mismo tiempo, el modelo produce resúmenes más concisos y cortos. 
+
+# Demo
+
+Una demo para probar nuestro modelo está disponible en el siguiente enlace: [Coming Soon]()
+
+
+
+# Usos del modelo
+Este dataset ha sido entrenado para su uso en investigación científica. Si quieres hacer un uso comercial del modelo tendrás que tener 
+el permiso expreso de los medios de los cuales han sido obtenidas las noticias usadas para entrenarlo. Prohibimos el uso de este modelo para 
+realizar cualquier acción que pueda perjudicar la legitimidad o viabilidad económica de medios de comunicación legítimos y profesionales. 
+
+
+
+# Model Description
+- **Author:** [Iker García-Ferrero](https://ikergarcia1996.github.io/Iker-Garcia-Ferrero/)
+- **Author** [Begoña Altuna](https://www.linkedin.com/in/bego%C3%B1a-altuna-78014139)
+- **Web Page**: [Github](https://github.com/ikergarcia1996/NoticIA)
+- **Language(s) (NLP):** Spanish
+
+# Autores
+
+Este modelo ha sido creado por [Iker García-Ferrero](https://ikergarcia1996.github.io/Iker-Garcia-Ferrero/) y [Begoña Altuna](https://www.linkedin.com/in/bego%C3%B1a-altuna-78014139). 
+Somos investigadores en PLN en la Universidad del País Vasco, dentro del grupo de investigación [IXA](https://www.ixa.eus/) y formamos parte de [HiTZ, el Centro Vasco de Tecnología de la Lengua](https://www.hitz.eus/es).
+
+
+<div style="display: flex; justify-content: space-around; width: 100%;">
+  <div style="width: 50%;" align="left">
+    <a href="http://ixa.si.ehu.es/">
+      <img src="https://raw.githubusercontent.com/ikergarcia1996/Iker-Garcia-Ferrero/master/icons/ixa.png" width="50" height="50"  alt="Ixa NLP Group">
+    </a>
+  </div>
+  <div style="width: 50%;" align="right">
+    <a href="http://www.hitz.eus/">
+      <img src="https://raw.githubusercontent.com/ikergarcia1996/Iker-Garcia-Ferrero/master/icons/Hitz.png" width="300" height="50" alt="HiTZ Basque Center for Language Technologies">
+    </a>
+  </div>
+</div>