jorgeortizfuentes
commited on
Commit
•
a0a4b13
1
Parent(s):
360bead
Update README.md
Browse files
README.md
CHANGED
@@ -19,13 +19,13 @@ should probably proofread and complete it, then remove this comment. -->
|
|
19 |
|
20 |
# Tulio Chilean Spanish BERT
|
21 |
|
22 |
-
Este modelo es una versión fine-tuneada
|
23 |
|
24 |
## Descripción
|
25 |
|
26 |
Tulio ha sido entrenado con textos en español de Chile (noticias, web, reclamos y tweets) y libros en español.
|
27 |
|
28 |
-
### Hiperparámetros
|
29 |
|
30 |
Los siguientes hiperparámetros fueron usados durante el entrenamiento:
|
31 |
|
@@ -37,7 +37,7 @@ Los siguientes hiperparámetros fueron usados durante el entrenamiento:
|
|
37 |
- lr_scheduler_type: constant
|
38 |
- num_epochs: 1
|
39 |
|
40 |
-
|
41 |
|
42 |
| Epoch | Training Loss |
|
43 |
|-------|----------|
|
@@ -52,7 +52,7 @@ Los siguientes hiperparámetros fueron usados durante el entrenamiento:
|
|
52 |
| 0.9 | 1.3429 |
|
53 |
| 1.0 | 1.3995 |
|
54 |
|
55 |
-
|
56 |
|
57 |
| Modelo | Text classification task (en español de Chile) | Token classification task (en español de Chile) |
|
58 |
|----------------|------------------------------------------------------|----------------------------------------------------|
|
@@ -63,7 +63,7 @@ Los siguientes hiperparámetros fueron usados durante el entrenamiento:
|
|
63 |
| Patana BERT | 0.8435 | 0.7777 |
|
64 |
|
65 |
|
66 |
-
|
67 |
|
68 |
- Transformers 4.30.2
|
69 |
- Pytorch 2.0.1+cu117
|
|
|
19 |
|
20 |
# Tulio Chilean Spanish BERT
|
21 |
|
22 |
+
Este modelo es una versión fine-tuneada del modelo [dccuchile/bert-base-spanish-wwm-cased](https://huggingface.co/dccuchile/bert-base-spanish-wwm-cased) con el [Universal and Chilean Spanish Corpus](https://huggingface.co/datasets/jorgeortizfuentes/universal_spanish_chilean_corpus)
|
23 |
|
24 |
## Descripción
|
25 |
|
26 |
Tulio ha sido entrenado con textos en español de Chile (noticias, web, reclamos y tweets) y libros en español.
|
27 |
|
28 |
+
### Hiperparámetros de entrenamiento
|
29 |
|
30 |
Los siguientes hiperparámetros fueron usados durante el entrenamiento:
|
31 |
|
|
|
37 |
- lr_scheduler_type: constant
|
38 |
- num_epochs: 1
|
39 |
|
40 |
+
### Training Loss
|
41 |
|
42 |
| Epoch | Training Loss |
|
43 |
|-------|----------|
|
|
|
52 |
| 0.9 | 1.3429 |
|
53 |
| 1.0 | 1.3995 |
|
54 |
|
55 |
+
### Evaluación y comparativa con otros modelos en español
|
56 |
|
57 |
| Modelo | Text classification task (en español de Chile) | Token classification task (en español de Chile) |
|
58 |
|----------------|------------------------------------------------------|----------------------------------------------------|
|
|
|
63 |
| Patana BERT | 0.8435 | 0.7777 |
|
64 |
|
65 |
|
66 |
+
### Framework versions
|
67 |
|
68 |
- Transformers 4.30.2
|
69 |
- Pytorch 2.0.1+cu117
|