Nombre del estudiante: Brayam Arvey Ardila
Nombre del modelo: BAAO
Se enfoca en la implementaci贸n y entrenamiento de un modelo de procesamiento de lenguaje natural basado en la arquitectura T5, utilizando la biblioteca Transformers de Hugging Face.
Descripci貌n
Este modelo utiliza la arquitectura T5 de Transformers para tareas de procesamiento de lenguaje natural, centradas en la generaci贸n de texto. Se implemento y entreno usando PyTorch Lightning, lo que facilita la escalabilidad y eficiencia en el entrenamiento.
Funcionamiento:
El proceso comienza con la instalaci贸n de las bibliotecas necesarias: transformers, sentencepiece y pytorch_lightning. Estas bibliotecas proporcionan las herramientas para trabajar con modelos de lenguaje avanzados y facilitan el manejo del entrenamiento y la validaci贸n de modelos.
Se utiliza una clase personalizada, T5Dataset, para preparar y gestionar los datos. El modelo se construye y entrena dentro de una clase T5Model, que hereda de pl.LightningModule. Esto implica que el modelo se beneficia de las caracter铆sticas de PyTorch Lightning, como la gesti贸n eficiente del entrenamiento y la escalabilidad. El entrenamiento del modelo se realiza con callbacks y checkpoints para monitorizar y guardar el progreso.
Caracter矛sticas del modelo
Tipo de Modelo: T5 para generaci贸n condicional de texto.
Entrenado con: PyTorch Lightning.
Bibliotecas Clave: Transformers, SentencePiece, PyTorch Lightning.
Datos utilizados
Preparaci贸n de Datos: Uso de T5Dataset para la manipulaci贸n y preparaci贸n de datos, adaptado para trabajar con el modelo T5.
Divisi贸n de Datos: Dividido en conjuntos de entrenamiento y prueba para una evaluaci贸n efectiva.
Arquitectura del modelo
Base: T5ForConditionalGeneration de la biblioteca Transformers. Personalizaci贸n: Implementaci贸n dentro de una clase T5Model que extiende pl.LightningModule, lo que indica una integraci贸n con PyTorch Lightning para gestionar el entrenamiento y la validaci贸n.