SetFit with mini1013/master_domain

This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: mini1013/master_domain
Classification head: a LogisticRegression instance
Maximum Sequence Length: 512 tokens
Number of Classes: 6 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
2.0	'멜킨 바른 그래핀 무릎 온열 찜질 마사지기 무선 안마기 찜질마사지기듀얼2개 아이니쥬♥' '눈편한세상 눈 안마기 온열안대 공기압 기계 마사지기 오아월드' '엘보타파 전완근 무선 온열 공기압 손 마사지기 MDM-1422S 실버 MDM-1422S 메디니스'
6.0	'보이로 640.37 MG 260 지압 마사지기 시트 커버 블랙 사무실 의자 시니어 부모님 유로사이드라인' '차량용안마기 화물차 기사용 바디 피로 자궁 쿠션 안정기 탑 USB/308E 디럭스 2 오션글림' '차량용안마기 화물차 기사용 바디 피로 자궁 쿠션 안정기 탑 USB/308E 디럭스 1 오션글림'
0.0	'접이식 도수 치료 추나 테이블 경락 안마 피부샵 베드 미용 침대 마사지 관리 조절형 커피색 60cm 침대+침공베개 레비하이' '고급 비닐커버 특대형 침대비닐커버 침대 맞춤 병원 피부샵 경락샵 2000x1300_피부비닐커버(구멍X) skin2010' '바이오힐보 프로바이오덤 리프팅 괄사 마사저 림프 마사지기 쿨링 마사저 쿨링 마사저 제이글로벌'
4.0	'[ 추가 만원 할인쿠폰 ] 파나소닉 김강우 안마의자 EP-MA05 (2종택1)+/ 카페트 및 무상 AS 1년 화이트&클래식블루 (주)렙테크' '[세라젬] 파우제 M4 안마의자 마사지 휴식가전 베이지 세라젬' '웰모아 안마의자 공기압마사지기 다리길이 조절 등 허리 온열 HCW-6300 도레미마켓'
3.0	'굿프렌드 온열 전신안마매트 GT-S6 GSSHOP_' '목욕탕 때밀이 침대 교체용 마사지 베드 매트 쿠션 판 블루 185x60 밀꾸밀꾸' '혜성의료기 국내생산 두타매트 HS-770 온열과 안마 받침대옵션 마사지매트 받침대없음_14봉 멸치쇼핑'
1.0	'멜킨 멜리즈 마사지건 무선 전동 휴대용 저소음 마사지기 어깨 승모근 전신 안마기 선물 빈티지 아이보리 (주)거성디지털' '인썸 휴대용 미니 핸디 전동 마사지건 IMG-150 ' '멜킨 멜리즈 마사지건 무선 전동 휴대용 저소음 마사지기 어깨 승모근 전신 안마기 선물 제트 블랙 (주)거성디지털'

Evaluation

Metrics

Label	Metric
all	0.8101

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mini1013/master_cate_lh17")
# Run inference
preds = model("등 허리 경추 다기능 전신 목 어깨 전기 마사지 쿠션 허리안마기 A_EU 파밀리아")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	3	11.3370	23

Label	Training Sample Count
0.0	50
1.0	20
2.0	50
3.0	50
4.0	50
6.0	50

Training Hyperparameters

batch_size: (512, 512)
num_epochs: (20, 20)
max_steps: -1
sampling_strategy: oversampling
num_iterations: 40
body_learning_rate: (2e-05, 2e-05)
head_learning_rate: 2e-05
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
seed: 42
eval_max_steps: -1
load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0233	1	0.4557	-
1.1628	50	0.2241	-
2.3256	100	0.0604	-
3.4884	150	0.0172	-
4.6512	200	0.0031	-
5.8140	250	0.0009	-
6.9767	300	0.004	-
8.1395	350	0.0001	-
9.3023	400	0.0	-
10.4651	450	0.0	-
11.6279	500	0.0	-
12.7907	550	0.0	-
13.9535	600	0.0	-
15.1163	650	0.0	-
16.2791	700	0.0	-
17.4419	750	0.0	-
18.6047	800	0.0	-
19.7674	850	0.0	-

Framework Versions

Python: 3.10.12
SetFit: 1.1.0.dev0
Sentence Transformers: 3.1.1
Transformers: 4.46.1
PyTorch: 2.4.0+cu121
Datasets: 2.20.0
Tokenizers: 0.20.0

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}

mini1013
/

master_cate_lh17