README.md

---
license: gpl
---

# Nombre del estudiante: Brayam Arvey Ardila 


# Nombre del modelo: BAAO

Se enfoca en la implementación y entrenamiento de un modelo de procesamiento 
de lenguaje natural basado en la arquitectura T5, utilizando la biblioteca Transformers de Hugging Face. 


# Descripciòn

Este modelo utiliza la arquitectura T5 de Transformers para tareas de procesamiento de lenguaje natural, 
centradas en la generación de texto. Se implemento y entreno usando PyTorch Lightning, 
lo que facilita la escalabilidad y eficiencia en el entrenamiento.

# Funcionamiento: 

El proceso comienza con la instalación de las bibliotecas necesarias: transformers, sentencepiece 
y pytorch_lightning. Estas bibliotecas proporcionan las herramientas para trabajar con modelos de 
lenguaje avanzados y facilitan el manejo del entrenamiento y la validación de modelos.

Se utiliza una clase personalizada, T5Dataset, para preparar y gestionar los datos. 
El modelo se construye y entrena dentro de una clase T5Model, que hereda de pl.LightningModule. 
Esto implica que el modelo se beneficia de las características de PyTorch Lightning, como la gestión 
eficiente del entrenamiento y la escalabilidad. El entrenamiento del modelo se realiza con callbacks 
y checkpoints para monitorizar y guardar el progreso.


# Caracterìsticas del modelo

Tipo de Modelo: T5 para generación condicional de texto.

Entrenado con: PyTorch Lightning.

Bibliotecas Clave: Transformers, SentencePiece, PyTorch Lightning.

# Datos utilizados

Preparación de Datos: Uso de T5Dataset para la manipulación y preparación de datos, adaptado para trabajar con el modelo T5.

División de Datos: Dividido en conjuntos de entrenamiento y prueba para una evaluación efectiva.

# Arquitectura del modelo

Base: T5ForConditionalGeneration de la biblioteca Transformers.
Personalización: Implementación dentro de una clase T5Model que extiende pl.LightningModule, 
lo que indica una integración con PyTorch Lightning para gestionar el entrenamiento y la validación.