SetFit with mini1013/master_domain

This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: mini1013/master_domain
Classification head: a LogisticRegression instance
Maximum Sequence Length: 512 tokens
Number of Classes: 10 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
9.0	'원목배냇함 탯줄보관함 배냇저고리함 출산선물 돌 백일 배냇함 큰사이즈(제작기간2주)_B 출산/육아 > 출산/돌기념품 > 탯줄보관함' '탯줄보관함/유치보관함/출산선물/배냇함/배냇저고리함 C 출산/육아 > 출산/돌기념품 > 탯줄보관함' '발도장 탯줄 보관 유리병 배냇머리 유치 임테기 보관함 선물 쥐띠 용띠 토끼띠 신생아 임테기용(3X16.5cm)_초음파사진(초음파&태명) 출산/육아 > 출산/돌기념품 > 탯줄보관함'
6.0	'발도장 신생아 아기 백일 돌 선물 무드등 주문제작 01 화이트_01 정사각 라운드형 (200x200)_04(ai 파일 전달) 출산/육아 > 출산/돌기념품 > 손발도장' '아기 발도장 손도장 스탬프 스탠드액자 탁상액자 프레임 신생아 강아지 백일 돌잔치 사각발도장스템프 출산/육아 > 출산/돌기념품 > 손발도장' '[주문제작] 신생아 아기 탄생 백일 손 발도장 액자 가렌더 캔버스 다양한 소재 인쇄만도 가능 fp005_액자(블랙)_소(8x10inch) 출산/육아 > 출산/돌기념품 > 손발도장'
5.0	'[정글 탐험가] 백일 200일 300일 400일 500일 돌 두돌 아기 기념일 셀프 촬영 소품 및 의상 대여 카카오채널_L(상하타입 100)_미포함 출산/육아 > 출산/돌기념품 > 셀프촬영 > 촬영소품' '[블루밍] 아기셀프촬영 소품대여 100일 200일 300일 400일 500일 돌상 첫돌 900일_선택안함 출산/육아 > 출산/돌기념품 > 셀프촬영 > 촬영소품' '[대여][너의하루 키즈]복고컨셉 - 응답하라 유아 소품 셀프 촬영 대여 400일 500일 600일 11월30일출고(12월4일반납)_여아 땡땡이원피스 110 출산/육아 > 출산/돌기념품 > 셀프촬영 > 촬영의상'
2.0	'생활공작소 핸드워시/주방세제 + 수건답례품 돌잔치 결혼식 개업 돌답례품 핸드워시500ml-청포도향 (+1500)_5)이집트코튼180 (+700)_20/30개 구매시 선택 (+500) 출산/육아 > 출산/돌기념품 > 돌잔치용품 > 답례품' '화답 답례품 견과류 결혼 결혼식 돌 잔치 고소한프리미엄넛_500개 이상(-300원)_레드리프 출산/육아 > 출산/돌기념품 > 돌잔치용품 > 답례품' '꿀스틱 답례품 결혼식 돌잔치 직계가족 회사결혼 10g X 20포_연피치 출산/육아 > 출산/돌기념품 > 돌잔치용품 > 답례품'
8.0	'연말특별이벤트 민자흑단 세움 탯줄도장 엄마랑 아기랑 연결고리 diy아님 통고형몰드 한문고인체_기계인각 출산/육아 > 출산/돌기념품 > 탯줄도장' '열두달 탯줄도장 아기 인감 돌도장 셀프 DIY 자연석 확인_확인_k256 출산/육아 > 출산/돌기념품 > 탯줄도장' '[벨리보틀] 베이직 탄생석 혈액형 실리콘 탯줄도장 유치보관 임테기 배넷액자 미니유리병 투명코팅_기본(너와나의연결고리)_Big베이직1 출산/육아 > 출산/돌기념품 > 탯줄도장'
3.0	'(이거찜) 초음파 사진 여 진 성장 가족 앨범 블루 출산/육아 > 출산/돌기념품 > 성장앨범/액자' '커버 스티커8종 포함 초음파앨범 접착식 사진 아기성장앨범 포토북 신혼여행 90장 보관 베어 출산/육아 > 출산/돌기념품 > 성장앨범/액자' '드로잉토퍼 라인토퍼 아기기념일 커스텀토퍼_열둘라인 추가금 출산/육아 > 출산/돌기념품 > 성장앨범/액자'
1.0	'[텐바이텐]프랑스 보니숑 아기베개 짱구두상관리 유모차목배게 무형광-엔젤인우드(메쉬) 출산/육아 > 출산/돌기념품 > 기타출산/돌기념품' '[갤러리아] [메르베] 굿모닝 글로리 신생아 내의／아기실내복_여름용(7부) 70 출산/육아 > 출산/돌기념품 > 기타출산/돌기념품' '[젤리베어]동물그림 발도장액자 & 손도장 액자/돌잔치액자 토끼_A4_이미지만구입 출산/육아 > 출산/돌기념품 > 기타출산/돌기념품'
4.0	'[Indigo] 포토베이비북 ver2 출산/육아 > 출산/돌기념품 > 성장카드' '엄마카드 빨래끝 육아퇴근 육퇴 출산/육아 > 출산/돌기념품 > 성장카드' '단품 한글우드토퍼 성장카드 50일 백일 첫돌 셀프촬영 # 출산/육아 > 출산/돌기념품 > 성장카드'
0.0	'더몽드 토이랜드 츄러블 핑크 기저귀케이크 - 출산선물 돌선물 베이비샤워케이크 백일_기본 투명박스 출산/육아 > 출산/돌기념품 > 기저귀케이크' '더몽드 토이랜드 츄러블 핑크 기저귀케이크 - 출산선물 돌선물 베이비샤워케이크 백일_쇼핑백 출산/육아 > 출산/돌기념품 > 기저귀케이크' '하우트 러블리1(6~8패키지) 기저귀케이크 DIY 만들기 재료 세트 3종 엄마표 백일상 돌상 (기저귀 미포함) 8.러블리 스트라이프 실버_2.100th day_M(폭13cm) 60장 출산/육아 > 출산/돌기념품 > 기저귀케이크'
7.0	'[벨리보틀]유치보관 유리볼 키링 목걸이 유치보관함 오로라 퍼플_왁스끈목걸이 출산/육아 > 출산/돌기념품 > 유치보관함' '코지투스박스 유치보관함 치아 케이스 이빨 유치보관 통 양 핑크 출산/육아 > 출산/돌기념품 > 유치보관함' '유치보관함 유치 생일 강아지유치 탯줄 답례품 원목 치아 M1파스텔크리스털(아님)[바다고래블루 출산/육아 > 출산/돌기념품 > 유치보관함'

Evaluation

Metrics

Label	Accuracy
all	1.0

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mini1013/master_cate_bc29")
# Run inference
preds = model("첫돌 답례품 스티커 무광사각(21개입)가로3.8x세로6.4cm_백일 출산/육아 > 출산/돌기념품 > 돌잔치용품 > 행사용스티커")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	7	15.0529	28

Label	Training Sample Count
0.0	70
1.0	70
2.0	70
3.0	70
4.0	70
5.0	70
6.0	70
7.0	70
8.0	70
9.0	70

Training Hyperparameters

batch_size: (256, 256)
num_epochs: (30, 30)
max_steps: -1
sampling_strategy: oversampling
num_iterations: 50
body_learning_rate: (2e-05, 1e-05)
head_learning_rate: 0.01
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
l2_weight: 0.01
seed: 42
eval_max_steps: -1
load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0073	1	0.4834	-
0.3650	50	0.4992	-
0.7299	100	0.3772	-
1.0949	150	0.1276	-
1.4599	200	0.0502	-
1.8248	250	0.0345	-
2.1898	300	0.022	-
2.5547	350	0.0146	-
2.9197	400	0.0029	-
3.2847	450	0.0002	-
3.6496	500	0.0001	-
4.0146	550	0.0001	-
4.3796	600	0.0001	-
4.7445	650	0.0001	-
5.1095	700	0.0001	-
5.4745	750	0.0001	-
5.8394	800	0.0	-
6.2044	850	0.0	-
6.5693	900	0.0	-
6.9343	950	0.0	-
7.2993	1000	0.0	-
7.6642	1050	0.0	-
8.0292	1100	0.0	-
8.3942	1150	0.0	-
8.7591	1200	0.0	-
9.1241	1250	0.0	-
9.4891	1300	0.0	-
9.8540	1350	0.0	-
10.2190	1400	0.0	-
10.5839	1450	0.0	-
10.9489	1500	0.0	-
11.3139	1550	0.0	-
11.6788	1600	0.0	-
12.0438	1650	0.0	-
12.4088	1700	0.0	-
12.7737	1750	0.0	-
13.1387	1800	0.0	-
13.5036	1850	0.0	-
13.8686	1900	0.0	-
14.2336	1950	0.0	-
14.5985	2000	0.0	-
14.9635	2050	0.0	-
15.3285	2100	0.0	-
15.6934	2150	0.0	-
16.0584	2200	0.0	-
16.4234	2250	0.0	-
16.7883	2300	0.0	-
17.1533	2350	0.0	-
17.5182	2400	0.0	-
17.8832	2450	0.0	-
18.2482	2500	0.0	-
18.6131	2550	0.0	-
18.9781	2600	0.0	-
19.3431	2650	0.0	-
19.7080	2700	0.0	-
20.0730	2750	0.0	-
20.4380	2800	0.0	-
20.8029	2850	0.0	-
21.1679	2900	0.0	-
21.5328	2950	0.0	-
21.8978	3000	0.0	-
22.2628	3050	0.0	-
22.6277	3100	0.0	-
22.9927	3150	0.0	-
23.3577	3200	0.0	-
23.7226	3250	0.0	-
24.0876	3300	0.0	-
24.4526	3350	0.0	-
24.8175	3400	0.0	-
25.1825	3450	0.0	-
25.5474	3500	0.0	-
25.9124	3550	0.0	-
26.2774	3600	0.0	-
26.6423	3650	0.0	-
27.0073	3700	0.0	-
27.3723	3750	0.0	-
27.7372	3800	0.0	-
28.1022	3850	0.0	-
28.4672	3900	0.0	-
28.8321	3950	0.0	-
29.1971	4000	0.0	-
29.5620	4050	0.0	-
29.9270	4100	0.0	-

Framework Versions

Python: 3.10.12
SetFit: 1.1.0
Sentence Transformers: 3.3.1
Transformers: 4.44.2
PyTorch: 2.2.0a0+81ea7a4
Datasets: 3.2.0
Tokenizers: 0.19.1

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}

Downloads last month: -

Safetensors

Model size

0.1B params

Tensor type

F32

Model tree for mini1013/master_cate_bc29

Base model

klue/roberta-base

Finetuned

mini1013/master_domain

Finetuned

(214)

this model

Paper for mini1013/master_cate_bc29

Efficient Few-Shot Learning Without Prompts

Paper • 2209.11055 • Published Sep 22, 2022 • 4

Evaluation results

Accuracy on Unknown
test set self-reported

1.000