Edit model card

SetFit with mini1013/master_domain

This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

  1. Fine-tuning a Sentence Transformer with contrastive learning.
  2. Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Sources

Model Labels

Label Examples
6.0
  • '자갈 매트 지압판 조약돌 발판 지압길 지압 발매트 40X60CM 컬러풀 에이알'
  • '뽀송뽀송 메모리폼 발닦개매트 욕실 주방 발매트 러그 대형 면 화장실 라지 50X80_레드 시그나몰'
  • '굳은 살 걱정없는 특허기술 헬스핀 발 지압매트 지압판 부모님 선물 효도 헬스핀 운동 기획상품_핑크 붐코리아'
1.0
  • '김수자 엔젤 종아리 발마사지기 다리안마기 GKM-1004 닥터PLUS'
  • '듀플렉스 쎄라웨어 온열찜질 발마사지기 DP-FM700 신인선'
  • '7만원대 추가할인 여름휴가필수 [ ]업그레이드 3세대 스마트센서 종아리부터 허벅지까지 붓기 싹!! 무선다리마사지기 SR-S1+슬리밍삭스(옐로우) 수련닷컴'
5.0
  • '발각질양말 실리콘 패드 발보습 양말 발각질 케어 화이트 석진케이 주식회사'
  • '[BZJKWP4I_49]irbrush 뒤꿈치 패드 풋케어 발각질 3.블랙(5mm)FREE 롯데아이몰'
  • '일상공감 보드랍족 발보호대 1+1 뒤꿈치 발각질 보습풋패드 양말 발보호대 1+1_스킨 L 1쌍+화이트 M 1쌍 주식회사 이공구오'
4.0
  • '쾌발Q 60매 발냄새제거제/유해세균억제/무좀/발관리 해피MART'
  • '편백나무 슈즈프레쉬 신발장 옷장 탈취 발냄새제거 제습 방향효과 크레비스'
  • '[공식수입] 발냄새제거제 그랜즈레미디 페퍼민트향 cscosmetics'
0.0
  • '평발 아치 슬리퍼 발바닥 통증 완화 아치슬리퍼 사파이어 블루_290 탱큐'
  • '통굽 지압슬리퍼 실내화 층간소음방지 미끄럼방지 욕실화 도톨 지압 옐로우 39-40 9025 파인메탈릭'
  • '[낫소]낫소 지압2 슬리퍼 아이보리/230 패션플러스'
3.0
  • '바렌 매직 스텐 양면 프로 발각질제거기 포유어뷰티'
  • '바렌 패디퍼펙트 전동 발각질 제거기 퍼플에디션 발 뒤꿈치 발바닥 굳은살 제거 패디플래닝 1세트(사은품 증정)_리뷰약속 x (주)마르스랩스'
  • '오제끄 실크풋 버퍼 단품 인앤인마켓'
7.0
  • '[리퍼브]굿프렌드 밸런스휴 건식좌훈족욕기 GOOD-F5 리퍼브 건식좌훈족욕기 GOOD-F5 주식회사 굿테크'
  • 'GSN-1610 편백나무 원적외선 건식 좌훈기+족욕기 겸용 MinSellAmount 온유어핏'
  • 'B 굿프렌드 캐나다산 소나무 원목 스마트 건식족욕기 GOOD-F4 휴게실 가정용 마켓뷰'
2.0
  • '염색도구세트 셀프 키트 볼 브러쉬 가정용 헤어 브러시 빗 머리 모발 간편 07.Aeib 염색빗세트3P_본상품선택 주식회사유마켓'
  • 'OC1242 손가락 발가락 관절보호 보습 실리콘 골무18종 통기화이트S(12425) 테익디스(TAKE THIS)'
  • 'OC1242 손가락 발가락 보호 보습 실리콘 골무18종 실리콘골무 구멍뚫린골무 발가락 보호 골무스킨톤L(11033) 제이한 주식회사'

Evaluation

Metrics

Label Metric
all 0.9710

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mini1013/master_cate_lh11")
# Run inference
preds = model("풋 브러쉬 발각질 제거 마사지  큐오랩")

Training Details

Training Set Metrics

Training set Min Median Max
Word count 3 9.9325 21
Label Training Sample Count
0.0 50
1.0 50
2.0 50
3.0 50
4.0 50
5.0 50
6.0 50
7.0 50

Training Hyperparameters

  • batch_size: (512, 512)
  • num_epochs: (20, 20)
  • max_steps: -1
  • sampling_strategy: oversampling
  • num_iterations: 40
  • body_learning_rate: (2e-05, 2e-05)
  • head_learning_rate: 2e-05
  • loss: CosineSimilarityLoss
  • distance_metric: cosine_distance
  • margin: 0.25
  • end_to_end: False
  • use_amp: False
  • warmup_proportion: 0.1
  • seed: 42
  • eval_max_steps: -1
  • load_best_model_at_end: False

Training Results

Epoch Step Training Loss Validation Loss
0.0159 1 0.4383 -
0.7937 50 0.2003 -
1.5873 100 0.0636 -
2.3810 150 0.0158 -
3.1746 200 0.0239 -
3.9683 250 0.0153 -
4.7619 300 0.0004 -
5.5556 350 0.0023 -
6.3492 400 0.0005 -
7.1429 450 0.0002 -
7.9365 500 0.0001 -
8.7302 550 0.0001 -
9.5238 600 0.0001 -
10.3175 650 0.0001 -
11.1111 700 0.0001 -
11.9048 750 0.0001 -
12.6984 800 0.0 -
13.4921 850 0.0001 -
14.2857 900 0.0001 -
15.0794 950 0.0001 -
15.8730 1000 0.0 -
16.6667 1050 0.0001 -
17.4603 1100 0.0 -
18.2540 1150 0.0001 -
19.0476 1200 0.0001 -
19.8413 1250 0.0 -

Framework Versions

  • Python: 3.10.12
  • SetFit: 1.1.0.dev0
  • Sentence Transformers: 3.1.1
  • Transformers: 4.46.1
  • PyTorch: 2.4.0+cu121
  • Datasets: 2.20.0
  • Tokenizers: 0.20.0

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}
Downloads last month
1,020
Safetensors
Model size
111M params
Tensor type
F32
·
Inference Examples
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social visibility and check back later, or deploy to Inference Endpoints (dedicated) instead.

Model tree for mini1013/master_cate_lh11

Base model

klue/roberta-base
Finetuned
(54)
this model

Evaluation results