BrayamArdila
commited on
Commit
•
cdd343b
1
Parent(s):
c4213c0
Update README.md
Browse files
README.md
CHANGED
@@ -2,10 +2,14 @@
|
|
2 |
license: gpl
|
3 |
---
|
4 |
|
|
|
|
|
5 |
|
6 |
# Nombre del modelo: BAAO
|
7 |
|
8 |
-
|
|
|
|
|
9 |
|
10 |
# Descripciòn
|
11 |
|
@@ -13,6 +17,18 @@ Este modelo utiliza la arquitectura T5 de Transformers para tareas de procesamie
|
|
13 |
centradas en la generación de texto. Se implemento y entreno usando PyTorch Lightning,
|
14 |
lo que facilita la escalabilidad y eficiencia en el entrenamiento.
|
15 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
16 |
|
17 |
# Caracterìsticas del modelo
|
18 |
|
@@ -33,3 +49,6 @@ División de Datos: Dividido en conjuntos de entrenamiento y prueba para una eva
|
|
33 |
Base: T5ForConditionalGeneration de la biblioteca Transformers.
|
34 |
Personalización: Implementación dentro de una clase T5Model que extiende pl.LightningModule,
|
35 |
lo que indica una integración con PyTorch Lightning para gestionar el entrenamiento y la validación.
|
|
|
|
|
|
|
|
2 |
license: gpl
|
3 |
---
|
4 |
|
5 |
+
# Nombre del estudiante: Brayam Arvey Ardila
|
6 |
+
|
7 |
|
8 |
# Nombre del modelo: BAAO
|
9 |
|
10 |
+
Se enfoca en la implementación y entrenamiento de un modelo de procesamiento
|
11 |
+
de lenguaje natural basado en la arquitectura T5, utilizando la biblioteca Transformers de Hugging Face.
|
12 |
+
|
13 |
|
14 |
# Descripciòn
|
15 |
|
|
|
17 |
centradas en la generación de texto. Se implemento y entreno usando PyTorch Lightning,
|
18 |
lo que facilita la escalabilidad y eficiencia en el entrenamiento.
|
19 |
|
20 |
+
# Funcionamiento:
|
21 |
+
|
22 |
+
El proceso comienza con la instalación de las bibliotecas necesarias: transformers, sentencepiece
|
23 |
+
y pytorch_lightning. Estas bibliotecas proporcionan las herramientas para trabajar con modelos de
|
24 |
+
lenguaje avanzados y facilitan el manejo del entrenamiento y la validación de modelos.
|
25 |
+
|
26 |
+
Se utiliza una clase personalizada, T5Dataset, para preparar y gestionar los datos.
|
27 |
+
El modelo se construye y entrena dentro de una clase T5Model, que hereda de pl.LightningModule.
|
28 |
+
Esto implica que el modelo se beneficia de las características de PyTorch Lightning, como la gestión
|
29 |
+
eficiente del entrenamiento y la escalabilidad. El entrenamiento del modelo se realiza con callbacks
|
30 |
+
y checkpoints para monitorizar y guardar el progreso.
|
31 |
+
|
32 |
|
33 |
# Caracterìsticas del modelo
|
34 |
|
|
|
49 |
Base: T5ForConditionalGeneration de la biblioteca Transformers.
|
50 |
Personalización: Implementación dentro de una clase T5Model que extiende pl.LightningModule,
|
51 |
lo que indica una integración con PyTorch Lightning para gestionar el entrenamiento y la validación.
|
52 |
+
|
53 |
+
# Parte del modelo es tomado de:
|
54 |
+
|