Commit
·
be33808
1
Parent(s):
10f04a1
Update README.md
Browse files
README.md
CHANGED
@@ -33,20 +33,20 @@ The final output of this model, although holding substantial potential to enhanc
|
|
33 |
---
|
34 |
|
35 |
## Training Data (WIP)
|
36 |
-
<small><em>This model
|
37 |
|
38 |
| **Epoch** | **Training Loss** | **Validation Loss** | **F1** | **Roc Auc** | **Validation Acc** | **Test Acc** |
|
39 |
|----------|-------------------|---------------------|-----------|------------|-------------------|--------------|
|
40 |
| 1 | 0.374800 | 0.374789 | 0.438253 | 0.643794 | 0.344436 | 51.56% |
|
41 |
| 2 | 0.346300 | 0.367311 | 0.469088 | 0.660424 | 0.384696 | 52.22% |
|
42 |
| 3 | 0.311500 | 0.386395 | 0.480959 | 0.669563 | 0.423579 | 51.25% |
|
43 |
-
| 4 | 0.261800 | 0.431841 | 0.496517 | 0.680931 | 0.458986 | 51.27
|
44 |
| 5 | 0.222300 | 0.478353 | 0.495308 | 0.681398 | 0.468297 | 50.43% |
|
45 |
-
|
|
46 |
| 7 | 0.166200 | 0.608345 | 0.492919 | 0.680791 | 0.472166 | 49.78% |
|
47 |
| 8 | 0.142400 | 0.651709 | 0.496586 | 0.683545 | 0.480428 | 50.07% |
|
48 |
|
49 |
-
<small>Note:
|
50 |
|
51 |
---
|
52 |
|
@@ -54,11 +54,11 @@ The final output of this model, although holding substantial potential to enhanc
|
|
54 |
|
55 |
## id:
|
56 |
|
57 |
-
Proyek pembuatan pretrained_model ini melibatkan serangkaian langkah
|
58 |
|
59 |
Tujuan utama di balik pengembangan model ini adalah mengatasi bias yang sering muncul dalam ulasan produk di platform e-commerce. Salah satu masalah klasik di platform semacam ini adalah ketidaksesuaian antara kata-kata dalam ulasan dan peringkat yang diberikan oleh pengguna. Model ini diciptakan dengan fokus pada penyelesaian masalah ini.
|
60 |
|
61 |
-
Namun
|
62 |
|
63 |
Hasil akhir dari model ini, meskipun memiliki potensi besar untuk meningkatkan kualitas ulasan di platform e-commerce masih perlu ditinjau secara kritis. Evaluasi mendalam diperlukan untuk memahami sejauh mana model ini berhasil mengatasi masalah bias dalam ulasan produk. Pemahaman tentang batasan dan potensi dampak dari dataset scraping juga penting dalam mengartikan keluaran dari model ini.
|
64 |
|
|
|
33 |
---
|
34 |
|
35 |
## Training Data (WIP)
|
36 |
+
<small><em>This model comes from **Epoch 4** Checkpoint</em></small>
|
37 |
|
38 |
| **Epoch** | **Training Loss** | **Validation Loss** | **F1** | **Roc Auc** | **Validation Acc** | **Test Acc** |
|
39 |
|----------|-------------------|---------------------|-----------|------------|-------------------|--------------|
|
40 |
| 1 | 0.374800 | 0.374789 | 0.438253 | 0.643794 | 0.344436 | 51.56% |
|
41 |
| 2 | 0.346300 | 0.367311 | 0.469088 | 0.660424 | 0.384696 | 52.22% |
|
42 |
| 3 | 0.311500 | 0.386395 | 0.480959 | 0.669563 | 0.423579 | 51.25% |
|
43 |
+
| **4** | **0.261800** | **0.431841** | **0.496517** | **0.680931** | **0.458986** | **51.27%** |
|
44 |
| 5 | 0.222300 | 0.478353 | 0.495308 | 0.681398 | 0.468297 | 50.43% |
|
45 |
+
| 6 | 0.198800 | 0.536330 | 0.496174 | 0.682431 | 0.473149 | 50.69% |
|
46 |
| 7 | 0.166200 | 0.608345 | 0.492919 | 0.680791 | 0.472166 | 49.78% |
|
47 |
| 8 | 0.142400 | 0.651709 | 0.496586 | 0.683545 | 0.480428 | 50.07% |
|
48 |
|
49 |
+
<small>Note: Low accuracy might be attributed to the presence of reviewer bias in the validation and testing dataset.</small>
|
50 |
|
51 |
---
|
52 |
|
|
|
54 |
|
55 |
## id:
|
56 |
|
57 |
+
Proyek pembuatan pretrained_model ini melibatkan serangkaian langkah yang dimulai dengan pemanfaatan pretrained model [IndoBERTweet](https://huggingface.co/indolem/indobertweet-base-uncased).
|
58 |
|
59 |
Tujuan utama di balik pengembangan model ini adalah mengatasi bias yang sering muncul dalam ulasan produk di platform e-commerce. Salah satu masalah klasik di platform semacam ini adalah ketidaksesuaian antara kata-kata dalam ulasan dan peringkat yang diberikan oleh pengguna. Model ini diciptakan dengan fokus pada penyelesaian masalah ini.
|
60 |
|
61 |
+
Namun dalam perjalanan pengembangannya, terdapat sejumlah keterbatasan yang perlu diperhatikan. Pertama, model ini hanya di finetune pada ulasan produk kecantikan wanita, sehingga kemampuannya hanya terbatas pada kategori ini. Selain itu dataset yang digunakan dalam pelatihan model ini dihasilkan melalui teknik scraping. Meskipun teknik ini efisien, namun juga memiliki potensi bias rating ulasan apabila tidak dilakukan supervisi.
|
62 |
|
63 |
Hasil akhir dari model ini, meskipun memiliki potensi besar untuk meningkatkan kualitas ulasan di platform e-commerce masih perlu ditinjau secara kritis. Evaluasi mendalam diperlukan untuk memahami sejauh mana model ini berhasil mengatasi masalah bias dalam ulasan produk. Pemahaman tentang batasan dan potensi dampak dari dataset scraping juga penting dalam mengartikan keluaran dari model ini.
|
64 |
|