Commit
•
74e75cd
1
Parent(s):
6a64c7a
Add SetFit ABSA model
Browse files- README.md +66 -71
- config_sentence_transformers.json +1 -1
- config_setfit.json +3 -4
- model.safetensors +1 -1
- model_head.pkl +2 -2
README.md
CHANGED
|
@@ -10,18 +10,20 @@ base_model: cointegrated/rubert-tiny2
|
|
| 10 |
metrics:
|
| 11 |
- accuracy
|
| 12 |
widget:
|
| 13 |
-
- text:
|
| 14 |
-
|
| 15 |
-
- text: '
|
| 16 |
-
|
| 17 |
-
|
| 18 |
-
|
| 19 |
-
- text: '
|
| 20 |
-
|
| 21 |
-
|
| 22 |
-
|
| 23 |
-
|
| 24 |
-
|
|
|
|
|
|
|
| 25 |
pipeline_tag: text-classification
|
| 26 |
inference: false
|
| 27 |
---
|
|
@@ -47,11 +49,11 @@ This model was trained within the context of a larger system for ABSA, which loo
|
|
| 47 |
- **Model Type:** SetFit
|
| 48 |
- **Sentence Transformer body:** [cointegrated/rubert-tiny2](https://huggingface.co/cointegrated/rubert-tiny2)
|
| 49 |
- **Classification head:** a [LogisticRegression](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html) instance
|
| 50 |
-
- **spaCy Model:**
|
| 51 |
- **SetFitABSA Aspect Model:** [isolation-forest/setfit-absa-aspect](https://huggingface.co/isolation-forest/setfit-absa-aspect)
|
| 52 |
- **SetFitABSA Polarity Model:** [isolation-forest/setfit-absa-polarity](https://huggingface.co/isolation-forest/setfit-absa-polarity)
|
| 53 |
- **Maximum Sequence Length:** 2048 tokens
|
| 54 |
-
- **Number of Classes:**
|
| 55 |
<!-- - **Training Dataset:** [Unknown](https://huggingface.co/datasets/unknown) -->
|
| 56 |
<!-- - **Language:** Unknown -->
|
| 57 |
<!-- - **License:** Unknown -->
|
|
@@ -63,11 +65,10 @@ This model was trained within the context of a larger system for ABSA, which loo
|
|
| 63 |
- **Blogpost:** [SetFit: Efficient Few-Shot Learning Without Prompts](https://huggingface.co/blog/setfit)
|
| 64 |
|
| 65 |
### Model Labels
|
| 66 |
-
| Label | Examples
|
| 67 |
-
|
| 68 |
-
| Positive | <ul><li>'
|
| 69 |
-
|
|
| 70 |
-
| Negative | <ul><li>'как в работе официантов так и в:Очень много недочетов как в работе официантов так и в блюдах . 1 .'</li><li>'так и в блюдах . 1 .:Очень много недочетов как в работе официантов так и в блюдах . 1 .'</li><li>'К большому удивлению пицца ( ещё раз:К большому удивлению пицца ( ещё раз - из детского меню ! ) была на столько острая , что и взрослые не смогли её есть , не говоря уже о ребенке .'</li></ul> |
|
| 71 |
|
| 72 |
## Uses
|
| 73 |
|
|
@@ -122,13 +123,12 @@ preds = model("The food was great, but the venue is just way too busy.")
|
|
| 122 |
### Training Set Metrics
|
| 123 |
| Training set | Min | Median | Max |
|
| 124 |
|:-------------|:----|:--------|:----|
|
| 125 |
-
| Word count |
|
| 126 |
|
| 127 |
| Label | Training Sample Count |
|
| 128 |
|:---------|:----------------------|
|
| 129 |
-
| Negative |
|
| 130 |
-
|
|
| 131 |
-
| Positive | 183 |
|
| 132 |
|
| 133 |
### Training Hyperparameters
|
| 134 |
- batch_size: (16, 2)
|
|
@@ -150,58 +150,53 @@ preds = model("The food was great, but the venue is just way too busy.")
|
|
| 150 |
### Training Results
|
| 151 |
| Epoch | Step | Training Loss | Validation Loss |
|
| 152 |
|:------:|:----:|:-------------:|:---------------:|
|
| 153 |
-
| 0.
|
| 154 |
-
| 0.
|
| 155 |
-
| 0.
|
| 156 |
-
| 0.
|
| 157 |
-
| 0.
|
| 158 |
-
| 0.
|
| 159 |
-
| 0.
|
| 160 |
-
| 0.
|
| 161 |
-
| 0.
|
| 162 |
-
| 0.
|
| 163 |
-
| 0.
|
| 164 |
-
| 0.
|
| 165 |
-
| 0.
|
| 166 |
-
| 0.
|
| 167 |
-
| 0.
|
| 168 |
-
| 0.
|
| 169 |
-
| 0.
|
| 170 |
-
| 0.
|
| 171 |
-
| 0.
|
| 172 |
-
| 0.
|
| 173 |
-
| 0.
|
| 174 |
-
| 0.
|
| 175 |
-
| 0.
|
| 176 |
-
| 0.
|
| 177 |
-
| 0.
|
| 178 |
-
| 0.
|
| 179 |
-
| 0.
|
| 180 |
-
| 0.
|
| 181 |
-
| 0.
|
| 182 |
-
| 0.
|
| 183 |
-
| 0.
|
| 184 |
-
| 0.
|
| 185 |
-
| 0.
|
| 186 |
-
| 0.
|
| 187 |
-
| 0.
|
| 188 |
-
| 0.
|
| 189 |
-
| 0.
|
| 190 |
-
| 0.
|
| 191 |
-
| 0.
|
| 192 |
-
| 0.
|
| 193 |
-
| 0.
|
| 194 |
-
| 0.
|
| 195 |
-
| 0.9075 | 2100 | 0.0033 | - |
|
| 196 |
-
| 0.9291 | 2150 | 0.0047 | - |
|
| 197 |
-
| 0.9507 | 2200 | 0.0048 | - |
|
| 198 |
-
| 0.9723 | 2250 | 0.0042 | - |
|
| 199 |
-
| 0.9939 | 2300 | 0.0043 | - |
|
| 200 |
|
| 201 |
### Framework Versions
|
| 202 |
- Python: 3.10.13
|
| 203 |
- SetFit: 1.0.3
|
| 204 |
-
- Sentence Transformers: 2.
|
| 205 |
- spaCy: 3.7.2
|
| 206 |
- Transformers: 4.39.3
|
| 207 |
- PyTorch: 2.1.2
|
|
|
|
| 10 |
metrics:
|
| 11 |
- accuracy
|
| 12 |
widget:
|
| 13 |
+
- text: а л а палтуса запеченного – х о:П о п р о б о в а л а палтуса запеченного
|
| 14 |
+
– х о р о ш , д а и к р а с и в о с м о т р и т с я н а т а р е л к е .
|
| 15 |
+
- text: 'с курицей , лосось со шпинатным соусом , чай облепиховый:При каждом новом
|
| 16 |
+
посещении я стараюсь пробовать новые блюда из меню , особенно мне понравились
|
| 17 |
+
: цезарь с курицей , лосось со шпинатным соусом , чай облепиховый и тирамису от
|
| 18 |
+
шеф повара .'
|
| 19 |
+
- text: ', но качество еды ее не украсило:Свадьба , конечно , прошла весело , но качество
|
| 20 |
+
еды ее не украсило .'
|
| 21 |
+
- text: найти уютное недорогое местечко в районе метро:Думаю , если стоит задача найти
|
| 22 |
+
уютное недорогое местечко в районе метро московская , то это наверно один из лучших
|
| 23 |
+
вариантов .
|
| 24 |
+
- text: они начали разнообразить кухню мясными блюдами ,:Хочется , чтобы мой отзыв
|
| 25 |
+
дошел до администрации , и они начали разнообразить кухню мясными блюдами , гарнирами
|
| 26 |
+
, интересными салатами и супами .
|
| 27 |
pipeline_tag: text-classification
|
| 28 |
inference: false
|
| 29 |
---
|
|
|
|
| 49 |
- **Model Type:** SetFit
|
| 50 |
- **Sentence Transformer body:** [cointegrated/rubert-tiny2](https://huggingface.co/cointegrated/rubert-tiny2)
|
| 51 |
- **Classification head:** a [LogisticRegression](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html) instance
|
| 52 |
+
- **spaCy Model:** ru_core_news_lg
|
| 53 |
- **SetFitABSA Aspect Model:** [isolation-forest/setfit-absa-aspect](https://huggingface.co/isolation-forest/setfit-absa-aspect)
|
| 54 |
- **SetFitABSA Polarity Model:** [isolation-forest/setfit-absa-polarity](https://huggingface.co/isolation-forest/setfit-absa-polarity)
|
| 55 |
- **Maximum Sequence Length:** 2048 tokens
|
| 56 |
+
- **Number of Classes:** 2 classes
|
| 57 |
<!-- - **Training Dataset:** [Unknown](https://huggingface.co/datasets/unknown) -->
|
| 58 |
<!-- - **Language:** Unknown -->
|
| 59 |
<!-- - **License:** Unknown -->
|
|
|
|
| 65 |
- **Blogpost:** [SetFit: Efficient Few-Shot Learning Without Prompts](https://huggingface.co/blog/setfit)
|
| 66 |
|
| 67 |
### Model Labels
|
| 68 |
+
| Label | Examples |
|
| 69 |
+
|:---------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
|
| 70 |
+
| Positive | <ul><li>'И порции " достойные ":И порции " достойные " .'</li><li>'Салаты вообще оказались вкуснейшими:Салаты вообще оказались вкуснейшими .'</li><li>'порадовала , большая пивная тарелка , действительно оказалась:Кухня порадовала , большая пивная тарелка , действительно оказалась большой и вкусной !'</li></ul> |
|
| 71 |
+
| Negative | <ul><li>'Потом официантка как будто пропала:Потом официантка как будто пропала , было не дозваться , чтобы что - то дозаказать , очень долго приходилось ждать , в итоге посчитали неправильно , в счет внесли на 2 пункта больше , чем мы заказывали .'</li><li>'Обслуживание не впечатлило .:Обслуживание не впечатлило .'</li><li>'приятно удивлена " китайским интерьером " - диванчики:Была приятно удивлена " китайским интерьером " - диванчики как в бистро , скатерти на столах по типу а - ля столовая , европейские светильники / люстры , в общем в плане интерьера китайского никакого абсолютно !'</li></ul> |
|
|
|
|
| 72 |
|
| 73 |
## Uses
|
| 74 |
|
|
|
|
| 123 |
### Training Set Metrics
|
| 124 |
| Training set | Min | Median | Max |
|
| 125 |
|:-------------|:----|:--------|:----|
|
| 126 |
+
| Word count | 3 | 28.4766 | 92 |
|
| 127 |
|
| 128 |
| Label | Training Sample Count |
|
| 129 |
|:---------|:----------------------|
|
| 130 |
+
| Negative | 128 |
|
| 131 |
+
| Positive | 128 |
|
|
|
|
| 132 |
|
| 133 |
### Training Hyperparameters
|
| 134 |
- batch_size: (16, 2)
|
|
|
|
| 150 |
### Training Results
|
| 151 |
| Epoch | Step | Training Loss | Validation Loss |
|
| 152 |
|:------:|:----:|:-------------:|:---------------:|
|
| 153 |
+
| 0.0005 | 1 | 0.2196 | - |
|
| 154 |
+
| 0.0242 | 50 | 0.2339 | - |
|
| 155 |
+
| 0.0484 | 100 | 0.2258 | - |
|
| 156 |
+
| 0.0727 | 150 | 0.246 | - |
|
| 157 |
+
| 0.0969 | 200 | 0.1963 | - |
|
| 158 |
+
| 0.1211 | 250 | 0.18 | - |
|
| 159 |
+
| 0.1453 | 300 | 0.1176 | - |
|
| 160 |
+
| 0.1696 | 350 | 0.0588 | - |
|
| 161 |
+
| 0.1938 | 400 | 0.0482 | - |
|
| 162 |
+
| 0.2180 | 450 | 0.1131 | - |
|
| 163 |
+
| 0.2422 | 500 | 0.0134 | - |
|
| 164 |
+
| 0.2665 | 550 | 0.0415 | - |
|
| 165 |
+
| 0.2907 | 600 | 0.0144 | - |
|
| 166 |
+
| 0.3149 | 650 | 0.012 | - |
|
| 167 |
+
| 0.3391 | 700 | 0.0091 | - |
|
| 168 |
+
| 0.3634 | 750 | 0.0055 | - |
|
| 169 |
+
| 0.3876 | 800 | 0.0054 | - |
|
| 170 |
+
| 0.4118 | 850 | 0.0055 | - |
|
| 171 |
+
| 0.4360 | 900 | 0.0072 | - |
|
| 172 |
+
| 0.4603 | 950 | 0.0094 | - |
|
| 173 |
+
| 0.4845 | 1000 | 0.0054 | - |
|
| 174 |
+
| 0.5087 | 1050 | 0.0045 | - |
|
| 175 |
+
| 0.5329 | 1100 | 0.003 | - |
|
| 176 |
+
| 0.5572 | 1150 | 0.0067 | - |
|
| 177 |
+
| 0.5814 | 1200 | 0.0041 | - |
|
| 178 |
+
| 0.6056 | 1250 | 0.0048 | - |
|
| 179 |
+
| 0.6298 | 1300 | 0.0053 | - |
|
| 180 |
+
| 0.6541 | 1350 | 0.0048 | - |
|
| 181 |
+
| 0.6783 | 1400 | 0.0038 | - |
|
| 182 |
+
| 0.7025 | 1450 | 0.0037 | - |
|
| 183 |
+
| 0.7267 | 1500 | 0.0031 | - |
|
| 184 |
+
| 0.7510 | 1550 | 0.0038 | - |
|
| 185 |
+
| 0.7752 | 1600 | 0.0032 | - |
|
| 186 |
+
| 0.7994 | 1650 | 0.0039 | - |
|
| 187 |
+
| 0.8236 | 1700 | 0.0032 | - |
|
| 188 |
+
| 0.8479 | 1750 | 0.0023 | - |
|
| 189 |
+
| 0.8721 | 1800 | 0.0029 | - |
|
| 190 |
+
| 0.8963 | 1850 | 0.0041 | - |
|
| 191 |
+
| 0.9205 | 1900 | 0.0026 | - |
|
| 192 |
+
| 0.9448 | 1950 | 0.0027 | - |
|
| 193 |
+
| 0.9690 | 2000 | 0.0035 | - |
|
| 194 |
+
| 0.9932 | 2050 | 0.003 | - |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 195 |
|
| 196 |
### Framework Versions
|
| 197 |
- Python: 3.10.13
|
| 198 |
- SetFit: 1.0.3
|
| 199 |
+
- Sentence Transformers: 2.7.0
|
| 200 |
- spaCy: 3.7.2
|
| 201 |
- Transformers: 4.39.3
|
| 202 |
- PyTorch: 2.1.2
|
config_sentence_transformers.json
CHANGED
|
@@ -1,6 +1,6 @@
|
|
| 1 |
{
|
| 2 |
"__version__": {
|
| 3 |
-
"sentence_transformers": "2.
|
| 4 |
"transformers": "4.39.3",
|
| 5 |
"pytorch": "2.1.2"
|
| 6 |
},
|
|
|
|
| 1 |
{
|
| 2 |
"__version__": {
|
| 3 |
+
"sentence_transformers": "2.7.0",
|
| 4 |
"transformers": "4.39.3",
|
| 5 |
"pytorch": "2.1.2"
|
| 6 |
},
|
config_setfit.json
CHANGED
|
@@ -1,10 +1,9 @@
|
|
| 1 |
{
|
| 2 |
-
"spacy_model": "
|
| 3 |
-
"span_context": 3,
|
| 4 |
"labels": [
|
| 5 |
"Negative",
|
| 6 |
-
"Neutral",
|
| 7 |
"Positive"
|
| 8 |
],
|
| 9 |
-
"normalize_embeddings": false
|
|
|
|
| 10 |
}
|
|
|
|
| 1 |
{
|
| 2 |
+
"spacy_model": "ru_core_news_lg",
|
|
|
|
| 3 |
"labels": [
|
| 4 |
"Negative",
|
|
|
|
| 5 |
"Positive"
|
| 6 |
],
|
| 7 |
+
"normalize_embeddings": false,
|
| 8 |
+
"span_context": 3
|
| 9 |
}
|
model.safetensors
CHANGED
|
@@ -1,3 +1,3 @@
|
|
| 1 |
version https://git-lfs.github.com/spec/v1
|
| 2 |
-
oid sha256:
|
| 3 |
size 116781184
|
|
|
|
| 1 |
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:74662c65ee63b0fd558a7b2223fa5df50082cb515d3767a495971ba94770353b
|
| 3 |
size 116781184
|
model_head.pkl
CHANGED
|
@@ -1,3 +1,3 @@
|
|
| 1 |
version https://git-lfs.github.com/spec/v1
|
| 2 |
-
oid sha256:
|
| 3 |
-
size
|
|
|
|
| 1 |
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:b0d79bc7edf9389f04a1b1d034cbbd9d5f5e009c7d403fdee370b2fe9d01c7dd
|
| 3 |
+
size 3391
|