Spaces:
Runtime error
Runtime error
Isaac Isaías
commited on
Commit
•
0d93e4f
1
Parent(s):
70c9d09
Update app.py
Browse files
app.py
CHANGED
@@ -9,10 +9,13 @@ article = """
|
|
9 |
## Obtención de los datos
|
10 |
|
11 |
### Motivos y Objetivo de la Obtención de los Datos
|
12 |
-
|
|
|
13 |
|
14 |
### Proceso de Obtención
|
|
|
15 |
Se optó realizar un [scraper](https://github.com/IsaacIsaias/NLP-clasificador-tesis/blob/main/main.py) para conseguir la información. Se decidió usar la base de datos [TESIUNAM](https://tesiunam.dgb.unam.mx/F?func=find-b-0&local_base=TES01), la cual es un catálogo en donde se pueden visualizar las tesis de los sustentantes que obtuvieron un grado en la Universidad Nacional Autónoma de México (UNAM), así como de las tesis de licenciatura de escuelas incorporadas a ella.
|
|
|
16 |
Para ello, en primer lugar se consultó la [Oferta Académica](http://oferta.unam.mx/indice-alfabetico.html) de la Universidad, sitio de donde se extrajo cada una de las 131 licenciaturas en forma de lista. Después, se analizó cada uno de los casos presente en la base de datos, debido a que existen carreras con más de 10 tesis, otras con menos de 10, o con solo una o ninguna tesis disponible. Se usó Selenium para la interacción con un navegador Web (Edge) y está actualmente configurado para obtener las primeras 20 tesis, o menos, por carrera.
|
17 |
|
18 |
Este scraper obtiene de esta base de datos:
|
@@ -23,15 +26,22 @@ article = """
|
|
23 |
- Carrera de la Tesis
|
24 |
|
25 |
A la vez, este scraper descarga cada una de las tesis en la carpeta *Downloads* del equipo local.
|
|
|
26 |
En el csv formado por el scraper se añadió el Resumen/Introduccion/Conclusion de la tesis, dependiendo cual primero estuviera disponible, ya que la complejidad recae en la diferencia de la estructura y formato de cada una de las tesis.
|
|
|
27 |
Posteriormente, se le realizó un procesado al dataset con las siguientes tareas:
|
28 |
- Conversión a minúsculas
|
29 |
- Tokenización
|
30 |
- Eliminación de palabras que no son alfanuméricas
|
31 |
- Eliminación de palabras vacías
|
32 |
- Stemming: eliminación de plurales
|
33 |
-
|
|
|
|
|
|
|
|
|
34 |
## Miembros del Equipo:
|
|
|
35 |
- Isaac Isaías López López ([MajorIsaiah](https://huggingface.co/MajorIsaiah))
|
36 |
- Dionis López Ramos ([inoid](https://huggingface.co/inoid))
|
37 |
- Yisel Clavel Quintero ([clavel](https://huggingface.co/clavel))
|
@@ -119,14 +129,14 @@ def thesis_prediction(input):
|
|
119 |
#pass
|
120 |
|
121 |
|
122 |
-
examples = ["Introducción al análisis de riesgos competitivos bajo el enfoque de la función de incidencia acumulada (FIA) y su aplicación con R", "Los promedios de calificaciones y clasificar por grupo o asignatura se realizaron a través de tablas dinámicas en Excel"]
|
123 |
|
124 |
if __name__ == "__main__":
|
125 |
gr.Interface(
|
126 |
fn=thesis_prediction,
|
127 |
inputs=gr.inputs.Textbox(
|
128 |
lines=2,
|
129 |
-
placeholder="Ingrese de favor el título de la tesis o un fragmento de esta."
|
130 |
),
|
131 |
outputs=["text"],
|
132 |
title=title,
|
|
|
9 |
## Obtención de los datos
|
10 |
|
11 |
### Motivos y Objetivo de la Obtención de los Datos
|
12 |
+
|
13 |
+
La creación de este dataset ha sido motivado por la participación en el Hackathon 2022 de PLN en Español organizado por Somos NLP, con el objetivo de democratizar el NLP en español y promover su aplicación a buenas causas y, debido a que no existe un dataset de tesis en español.
|
14 |
|
15 |
### Proceso de Obtención
|
16 |
+
|
17 |
Se optó realizar un [scraper](https://github.com/IsaacIsaias/NLP-clasificador-tesis/blob/main/main.py) para conseguir la información. Se decidió usar la base de datos [TESIUNAM](https://tesiunam.dgb.unam.mx/F?func=find-b-0&local_base=TES01), la cual es un catálogo en donde se pueden visualizar las tesis de los sustentantes que obtuvieron un grado en la Universidad Nacional Autónoma de México (UNAM), así como de las tesis de licenciatura de escuelas incorporadas a ella.
|
18 |
+
|
19 |
Para ello, en primer lugar se consultó la [Oferta Académica](http://oferta.unam.mx/indice-alfabetico.html) de la Universidad, sitio de donde se extrajo cada una de las 131 licenciaturas en forma de lista. Después, se analizó cada uno de los casos presente en la base de datos, debido a que existen carreras con más de 10 tesis, otras con menos de 10, o con solo una o ninguna tesis disponible. Se usó Selenium para la interacción con un navegador Web (Edge) y está actualmente configurado para obtener las primeras 20 tesis, o menos, por carrera.
|
20 |
|
21 |
Este scraper obtiene de esta base de datos:
|
|
|
26 |
- Carrera de la Tesis
|
27 |
|
28 |
A la vez, este scraper descarga cada una de las tesis en la carpeta *Downloads* del equipo local.
|
29 |
+
|
30 |
En el csv formado por el scraper se añadió el Resumen/Introduccion/Conclusion de la tesis, dependiendo cual primero estuviera disponible, ya que la complejidad recae en la diferencia de la estructura y formato de cada una de las tesis.
|
31 |
+
|
32 |
Posteriormente, se le realizó un procesado al dataset con las siguientes tareas:
|
33 |
- Conversión a minúsculas
|
34 |
- Tokenización
|
35 |
- Eliminación de palabras que no son alfanuméricas
|
36 |
- Eliminación de palabras vacías
|
37 |
- Stemming: eliminación de plurales
|
38 |
+
|
39 |
+
## Impacto Social
|
40 |
+
|
41 |
+
El presente conjunto de datos favorecerá la búsqueda e investigación relacionada con tesis en español, a partir de su categorización automática por un modelo entrenado con este dataset. Esta tarea favorece el cumplimiento del Objetivo 4 de Desarrollo Sostenible de la ONU: Educación y Calidad (https://www.un.org/sustainabledevelopment/es/objetivos-de-desarrollo-sostenible/).
|
42 |
+
|
43 |
## Miembros del Equipo:
|
44 |
+
|
45 |
- Isaac Isaías López López ([MajorIsaiah](https://huggingface.co/MajorIsaiah))
|
46 |
- Dionis López Ramos ([inoid](https://huggingface.co/inoid))
|
47 |
- Yisel Clavel Quintero ([clavel](https://huggingface.co/clavel))
|
|
|
129 |
#pass
|
130 |
|
131 |
|
132 |
+
examples = [["Introducción al análisis de riesgos competitivos bajo el enfoque de la función de incidencia acumulada (FIA) y su aplicación con R"], ["Los promedios de calificaciones y clasificar por grupo o asignatura se realizaron a través de tablas dinámicas en Excel"]]
|
133 |
|
134 |
if __name__ == "__main__":
|
135 |
gr.Interface(
|
136 |
fn=thesis_prediction,
|
137 |
inputs=gr.inputs.Textbox(
|
138 |
lines=2,
|
139 |
+
placeholder="Ingrese de favor el título de la tesis o un fragmento de esta."
|
140 |
),
|
141 |
outputs=["text"],
|
142 |
title=title,
|