scottsuk0306 commited on
Commit
6ba9ae3
1 Parent(s): c6106b9

End of training

Browse files
1_Pooling/config.json ADDED
@@ -0,0 +1,10 @@
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "word_embedding_dimension": 768,
3
+ "pooling_mode_cls_token": true,
4
+ "pooling_mode_mean_tokens": false,
5
+ "pooling_mode_max_tokens": false,
6
+ "pooling_mode_mean_sqrt_len_tokens": false,
7
+ "pooling_mode_weightedmean_tokens": false,
8
+ "pooling_mode_lasttoken": false,
9
+ "include_prompt": true
10
+ }
README.md ADDED
@@ -0,0 +1,450 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ base_model: Alibaba-NLP/gte-multilingual-base
3
+ datasets:
4
+ - nlpai-lab/ko-triplet-v1.0
5
+ language:
6
+ - ko
7
+ library_name: sentence-transformers
8
+ metrics:
9
+ - cosine_accuracy
10
+ - dot_accuracy
11
+ - manhattan_accuracy
12
+ - euclidean_accuracy
13
+ - max_accuracy
14
+ pipeline_tag: sentence-similarity
15
+ tags:
16
+ - sentence-transformers
17
+ - sentence-similarity
18
+ - feature-extraction
19
+ - generated_from_trainer
20
+ - dataset_size:10000
21
+ - loss:MultipleNegativesRankingLoss
22
+ widget:
23
+ - source_sentence: 비, 오다, 배, 뜨다
24
+ sentences:
25
+ - 그가 좋아하는 과일은 귤, 사과, 배, 감이다.
26
+ - 현재 산업적으로 생산되고 있는 젤란의 평균 분자량은 약 \( 1.00 \times 10^{5} \) 이며 pullulan의 평균 분자량은 배양
27
+ 조건 및 사용한 균주에 따라 \( 1.50 \times 10^{4} \) 에서 \( 1.00 \times 10^{7} \) 정도이다.
28
+ - 비가 너무 많이 와서 배조차 뜨지 못했다.
29
+ - source_sentence: 학교, 영어, 교환, 학생, 보내다
30
+ sentences:
31
+ - 댄싱하이 측은 10대 춤꾼들의 댄스 배틀을 통해 대한민국의 끼 많고 그루브 넘치는 10댈의 모습을 담아보고자 한다. 많은 관심과 지원 부탁드린다고
32
+ 전했다
33
+ - 학교에서 이번 기회에 영어 교환 학생을 보냈다.
34
+ - 재주는 예절, 음악, 활쏘기, 글쓰기, 말타기, 계산하기 등등 이다.
35
+ - source_sentence: 방황하다, 한동안, 이제, 살다, 형
36
+ sentences:
37
+ - 한동안 여기저기 방황하며 살던 형은 이제는 열심히 산다.
38
+ - 재주는 예절, 음악, 활쏘기, 글쓰기, 말타기, 계산하기 등등 이다.
39
+ - 능숙한 조련사가 사자 위에 올라탔지만 구경꾼들은 조마조마했다.
40
+ - source_sentence: 할아버지, 연세, 많다, 기력, 좋다, 정정하다
41
+ sentences:
42
+ - 할아버지는 연세가 많으신데도 타고난 기력이 좋아 정정하시다.
43
+ - '헝가리 헌법
44
+
45
+
46
+ 제XII조 (1) 모든 사람은 직업, 직장 및 기업활동을 자유롭게 선택할 권리를 가진다. 모든 사람은 능력과 잠재력을 최대한 발휘하여 공동체
47
+ 강화에 기여할 의무가 있다. (2) 헝가리는 일할 수 있는 능력과 의지가 있는 모든 사람이 일할 기회를 가질 수 있는 조건을 만들기 위해 노력하여야
48
+ 한다.'
49
+ - 재주라는 것은 예절, 음악, 활쏘기, 글쓰기, 말타기, 계산하기다.
50
+ - source_sentence: 중, 인사하다, 시주하다, 치다, 사람, 목탁
51
+ sentences:
52
+ - 2006년 6월 1일~ 2단계 2차년도 사업시작
53
+ - 그 중은 시주한 사람에게 목탁을 치며 인사를 했다.
54
+ - 재주라는 것은 예절, 음악, 활쏘기, 글쓰기, 말타기, 계산하기다.
55
+ model-index:
56
+ - name: SentenceTransformer based on Alibaba-NLP/gte-multilingual-base
57
+ results:
58
+ - task:
59
+ type: triplet
60
+ name: Triplet
61
+ dataset:
62
+ name: dev
63
+ type: dev
64
+ metrics:
65
+ - type: cosine_accuracy
66
+ value: 0.985499462943072
67
+ name: Cosine Accuracy
68
+ - type: dot_accuracy
69
+ value: 0.014500537056928034
70
+ name: Dot Accuracy
71
+ - type: manhattan_accuracy
72
+ value: 0.985499462943072
73
+ name: Manhattan Accuracy
74
+ - type: euclidean_accuracy
75
+ value: 0.985499462943072
76
+ name: Euclidean Accuracy
77
+ - type: max_accuracy
78
+ value: 0.985499462943072
79
+ name: Max Accuracy
80
+ ---
81
+
82
+ # SentenceTransformer based on Alibaba-NLP/gte-multilingual-base
83
+
84
+ This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [Alibaba-NLP/gte-multilingual-base](https://huggingface.co/Alibaba-NLP/gte-multilingual-base) on the [nlpai-lab/ko-triplet-v1.0](https://huggingface.co/datasets/nlpai-lab/ko-triplet-v1.0) dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
85
+
86
+ ## Model Details
87
+
88
+ ### Model Description
89
+ - **Model Type:** Sentence Transformer
90
+ - **Base model:** [Alibaba-NLP/gte-multilingual-base](https://huggingface.co/Alibaba-NLP/gte-multilingual-base) <!-- at revision 3f013725dc4dcee1e4ca72d1ce7e053c0dcee5ef -->
91
+ - **Maximum Sequence Length:** 8192 tokens
92
+ - **Output Dimensionality:** 768 tokens
93
+ - **Similarity Function:** Cosine Similarity
94
+ - **Training Dataset:**
95
+ - [nlpai-lab/ko-triplet-v1.0](https://huggingface.co/datasets/nlpai-lab/ko-triplet-v1.0)
96
+ - **Language:** ko
97
+ <!-- - **License:** Unknown -->
98
+
99
+ ### Model Sources
100
+
101
+ - **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
102
+ - **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
103
+ - **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
104
+
105
+ ### Full Model Architecture
106
+
107
+ ```
108
+ SentenceTransformer(
109
+ (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: NewModel
110
+ (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
111
+ (2): Normalize()
112
+ )
113
+ ```
114
+
115
+ ## Usage
116
+
117
+ ### Direct Usage (Sentence Transformers)
118
+
119
+ First install the Sentence Transformers library:
120
+
121
+ ```bash
122
+ pip install -U sentence-transformers
123
+ ```
124
+
125
+ Then you can load this model and run inference.
126
+ ```python
127
+ from sentence_transformers import SentenceTransformer
128
+
129
+ # Download from the 🤗 Hub
130
+ model = SentenceTransformer("scottsuk0306/gte-base-ko")
131
+ # Run inference
132
+ sentences = [
133
+ '중, 인사하다, 시주하다, 치다, 사람, 목탁',
134
+ '그 중은 시주한 사람에게 목탁을 치며 인사를 했다.',
135
+ '재주라는 것은 예절, 음악, 활쏘기, 글쓰기, 말타기, 계산하기다.',
136
+ ]
137
+ embeddings = model.encode(sentences)
138
+ print(embeddings.shape)
139
+ # [3, 768]
140
+
141
+ # Get the similarity scores for the embeddings
142
+ similarities = model.similarity(embeddings, embeddings)
143
+ print(similarities.shape)
144
+ # [3, 3]
145
+ ```
146
+
147
+ <!--
148
+ ### Direct Usage (Transformers)
149
+
150
+ <details><summary>Click to see the direct usage in Transformers</summary>
151
+
152
+ </details>
153
+ -->
154
+
155
+ <!--
156
+ ### Downstream Usage (Sentence Transformers)
157
+
158
+ You can finetune this model on your own dataset.
159
+
160
+ <details><summary>Click to expand</summary>
161
+
162
+ </details>
163
+ -->
164
+
165
+ <!--
166
+ ### Out-of-Scope Use
167
+
168
+ *List how the model may foreseeably be misused and address what users ought not to do with the model.*
169
+ -->
170
+
171
+ ## Evaluation
172
+
173
+ ### Metrics
174
+
175
+ #### Triplet
176
+ * Dataset: `dev`
177
+ * Evaluated with [<code>TripletEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.TripletEvaluator)
178
+
179
+ | Metric | Value |
180
+ |:-------------------|:-----------|
181
+ | cosine_accuracy | 0.9855 |
182
+ | dot_accuracy | 0.0145 |
183
+ | manhattan_accuracy | 0.9855 |
184
+ | euclidean_accuracy | 0.9855 |
185
+ | **max_accuracy** | **0.9855** |
186
+
187
+ <!--
188
+ ## Bias, Risks and Limitations
189
+
190
+ *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
191
+ -->
192
+
193
+ <!--
194
+ ### Recommendations
195
+
196
+ *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
197
+ -->
198
+
199
+ ## Training Details
200
+
201
+ ### Training Dataset
202
+
203
+ #### nlpai-lab/ko-triplet-v1.0
204
+
205
+ * Dataset: [nlpai-lab/ko-triplet-v1.0](https://huggingface.co/datasets/nlpai-lab/ko-triplet-v1.0) at [9cc1d6a](https://huggingface.co/datasets/nlpai-lab/ko-triplet-v1.0/tree/9cc1d6aeecd44fef05cb5955d9290f6213feb863)
206
+ * Size: 10,000 training samples
207
+ * Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
208
+ * Approximate statistics based on the first 1000 samples:
209
+ | | anchor | positive | negative |
210
+ |:--------|:-----------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------|
211
+ | type | string | string | string |
212
+ | details | <ul><li>min: 9 tokens</li><li>mean: 22.12 tokens</li><li>max: 146 tokens</li></ul> | <ul><li>min: 10 tokens</li><li>mean: 92.69 tokens</li><li>max: 1815 tokens</li></ul> | <ul><li>min: 8 tokens</li><li>mean: 99.24 tokens</li><li>max: 880 tokens</li></ul> |
213
+ * Samples:
214
+ | anchor | positive | negative |
215
+ |:----------------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
216
+ | <code>글쓰기, 대회, 참가료, 받다</code> | <code>글쓰기 대회는 참가자한테 일정분의 참가료를 받았다.</code> | <code>재주는 예절, 음악, 활쏘기, 글쓰기, 말타기, 계산하기 등등 이다.</code> |
217
+ | <code>"K리그 2002 시즌"에서 기록한 관객의 수보다 독일 고틀리프 다임러 경기장에서 개최된 "제4회 세계 육상 선수권 대회"의 관객 수가 많았나?</code> | <code>1993년 세계 육상 선수권 대회. 제4회 세계 육상 선수권 대회는 국제 육상 경기 연맹 주관으로 1993년 8월 13일에서 8월 22일까지 독일 슈투트가르트 고틀리프 다임러 경기장에서 열린 국제 육상 대회이다. 독일에서 열린 첫 번째 세계 육상 선수권 대회였다. 187개국 선수 1630명이 참가했으며, 대회 역사상 가장 많은 수인 58만 5000명의 관중이 입장했다.</code> | <code>송강호. 경력. 1996-2000: 초기 경력과 주목 받다. 1999년에는 강제규 감독의 영화 《쉬리》에 이장길 역할로 출연했다. 이 영화는 관객수 582만 명을 기록하며 당시 국내 최다 관객 영화 기록을 갱신했고, 최초로 500만 관객을 넘어섰다. 2000년에는 코미디 영화 《반칙왕》에서 첫 주연을 맡았다. 이 영화에서 그는 은행원이자 레슬러 대호 역할로 캐스팅 되어 영화를 위해 레슬링 훈련을 했었다. 이후 송강호는 이 영화가 가장 인상 깊다고 꼽으며 "물리적으로 가장 극한의 상황까지 간 작품이었다는 생각이 든다. 만약 지금 레슬링을 다시 한다면 죽을 거다"라고 말했다. 같은 해 그는 박찬욱 감독의 영화 《공동경비구역 JSA》에서 오경필 중사 역할로 출연했다. 이 영화는 이전까지 반공이데올로기에서 벗어나지 못했던 분단 소재 한국영화의 시각을 인간애로 확장한 작품으로 583만 명의 관객수를 기록하며 역대 흥행 1위 영화로 기록했다. 송강호는 2019년 매체와의 인터뷰에서 배우 인생의 전환점이 됐다고 언급하며 “두 영화가 개봉한 2000년은 배우 생활 초반의 분기점이 됐다”고 말했다. 한 영화 관계자는 송강호에게 "《반칙왕》에서 보여준뛰어난 연기를 보고 그 이상의 연기는 나올 수 없을 것이라 생각했다. 이번 영화를 보고 내가 당신 연기의 한계를 너무 낮게 잡았음을 알았다"고 말했다. 《매일경제》의 프리뷰에서는 "송강호가 그려낸 따뜻하고 넉넉한 오경필 중사는 군기가 한참 빠져 서로 노닥거리는 것으로 비칠수도 있는 모습들을 눈물나는 형제애로 잡아주는 든든한 받침대다"라고 리뷰했다. 이러한 호평 속에 제1회 부산영화평론가협회상, 제38회 대종상영화제, 제3회 도빌아시아영화제, 에서 남우주연상을 수상했고, 이 외에도 백상예술대상에서 인기상을 받는 등 다수의 시상식에서 연기력과 스타성에서 인정을 받았다.</code> |
218
+ | <code>트리거는 데이터를 저장시켜?</code> | <code>트리거는 안테나 시험 장비를 구동시켜 시나리오를 발생시키며, 시나리오에 따라 안테나부의 송신기와 수신기를 제어 및 측정하여 데이터를 저장하 게 된다.</code> | <code>영화관에서는 왜 대부분의 관객이 실감나게 소리가 잘 들리는 걸까? 디자인이 Ugly하지만 왜 CRT일때는 소리가 잘 들렸을까? 이런 질문에 대한 해답을 영화관 스크린속에서 찾을 수 있었다.</code> |
219
+ * Loss: [<code>MultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters:
220
+ ```json
221
+ {
222
+ "scale": 20.0,
223
+ "similarity_fct": "cos_sim"
224
+ }
225
+ ```
226
+
227
+ ### Evaluation Dataset
228
+
229
+ #### nlpai-lab/ko-triplet-v1.0
230
+
231
+ * Dataset: [nlpai-lab/ko-triplet-v1.0](https://huggingface.co/datasets/nlpai-lab/ko-triplet-v1.0) at [9cc1d6a](https://huggingface.co/datasets/nlpai-lab/ko-triplet-v1.0/tree/9cc1d6aeecd44fef05cb5955d9290f6213feb863)
232
+ * Size: 3,724 evaluation samples
233
+ * Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
234
+ * Approximate statistics based on the first 1000 samples:
235
+ | | anchor | positive | negative |
236
+ |:--------|:-----------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------|
237
+ | type | string | string | string |
238
+ | details | <ul><li>min: 6 tokens</li><li>mean: 21.63 tokens</li><li>max: 143 tokens</li></ul> | <ul><li>min: 8 tokens</li><li>mean: 88.89 tokens</li><li>max: 2003 tokens</li></ul> | <ul><li>min: 10 tokens</li><li>mean: 102.66 tokens</li><li>max: 3190 tokens</li></ul> |
239
+ * Samples:
240
+ | anchor | positive | negative |
241
+ |:------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:--------------------------------------------------------------|
242
+ | <code>지하, 차도, 빠져나가다, 우회전, 하다, 목적지, 도착하다</code> | <code>지하 차도를 재빨리 빠져나가자마자 우회전을 하면 목적지에 도착한다.</code> | <code>재주라는 것은 예절, 음악, 활쏘기, 글쓰기, 말타기, 계산하기다.</code> |
243
+ | <code>본문의 표 6에서 packet length = 0.5이고 노드수가 4일 때 Basic CSMA/CA의 수학적분석값은 얼마일까?</code> | <code><table border><caption>표 6. 패킷 길이에 따른 IEEE 802.11 MAC 프로토콜의 시뮬레이션 결과와 Analytic 결과 비교</caption> <tbody><tr><td rowspan=3>노드의 수</td><td colspan=4>packet length = 0.5</td><td colspan=4>packet length = 0.3</td></tr><tr><td colspan=2>Basic CSMA/CA</td><td colspan=2>RTS/CTS 프로토콜</td><td colspan=2>Basic CSMA/CA</td><td colspan=2>RTS/CTS 프로토콜</td></tr><tr><td>시뮬레이션</td><td>수학적분석</td><td>시뮬레이션</td><td>수학적분석</td><td>시뮬레이션</td><td>수학적분석</td><td>시뮬레이션</td><td>수학적분석</td></tr><tr><td>1</td><td>0.670</td><td>0.672</td><td>0.682</td><td>0.673</td><td>0.625</td><td>0.625</td><td>0.570</td><td>0.571</td></tr><tr><td>2</td><td>0.772</td><td>0.770</td><td>0.746</td><td>0.735</td><td>0.708</td><td>0.710</td><td>0.650</td><td>0.652</td></tr><tr><td>3</td><td>0.779</td><td>0.781</td><td>0.780</td><td>0.772</td><td>0.739</td><td>0.738</td><td>0.690</td><td>0.690</td></tr><tr><td>4</td><td>0.780</td><td>0.783</td><td>0.785</td><td>0.784</td><td>0.740</td><td>0.741</td><td>0.700</td><td>0.701</td></tr><tr><td>5</td><td>0.780</td><td>0.782</td><td>0.811</td><td>0.797</td><td>0.739</td><td>0.738</td><td>0.710</td><td>0.713</td></tr><tr><td>6</td><td>0.780</td><td>0.782</td><td>0.811</td><td>0.810</td><td>0.735</td><td>0.735</td><td>0.720</td><td>0.720</td></tr><tr><td>7</td><td>0.764</td><td>0.752</td><td>0.812</td><td>0.811</td><td>0.731</td><td>0.728</td><td>0.728</td><td>0.729</td></tr><tr><td>8</td><td>0.753</td><td>0.748</td><td>0.815</td><td>0.814</td><td>0.700</td><td>0.701</td><td>0.730</td><td>0.731</td></tr><tr><td>9</td><td>0.750</td><td>0.746</td><td>0.816</td><td>0.816</td><td>0.690</td><td>0.687</td><td>0.735</td><td>0.733</td></tr><tr><td>10</td><td>0.742</td><td>0.741</td><td>0.821</td><td>0.820</td><td>0.675</td><td>0.672</td><td>0.735</td><td>0.734</td></tr><tr><td>15</td><td>0.730</td><td>0.728</td><td>0.821</td><td>0.822</td><td>0.650</td><td>0.651</td><td>0.735</td><td>0.736</td></tr><tr><td>20</td><td>0.686</td><td>0.681</td><td>0.821</td><td>0.822</td><td>0.630</td><td>0.630</td><td>0.740</td><td>0.741</td></tr></tbody></table></code> | <code>표 5 및 6은 수학적 분석의 결과값과 컴퓨터 시뮬레이션을 한 결과값을 비교한 표이다.</code> |
244
+ | <code>점심시간, 유산소, 운동, 하다</code> | <code>건강을 위하여 점심시간에 유산소 운동을 했다.</code> | <code>흑미밥과 바���락미역국, 닭볶음, 냉이무침, 무말랭이, 배추김치가 오늘 점심이다.</code> |
245
+ * Loss: [<code>MultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters:
246
+ ```json
247
+ {
248
+ "scale": 20.0,
249
+ "similarity_fct": "cos_sim"
250
+ }
251
+ ```
252
+
253
+ ### Training Hyperparameters
254
+ #### Non-Default Hyperparameters
255
+
256
+ - `eval_strategy`: steps
257
+ - `per_device_train_batch_size`: 16
258
+ - `per_device_eval_batch_size`: 16
259
+ - `learning_rate`: 1e-05
260
+ - `num_train_epochs`: 1
261
+ - `warmup_ratio`: 0.1
262
+ - `bf16`: True
263
+ - `push_to_hub`: True
264
+ - `hub_model_id`: scottsuk0306/gte-base-ko
265
+ - `batch_sampler`: no_duplicates
266
+
267
+ #### All Hyperparameters
268
+ <details><summary>Click to expand</summary>
269
+
270
+ - `overwrite_output_dir`: False
271
+ - `do_predict`: False
272
+ - `eval_strategy`: steps
273
+ - `prediction_loss_only`: True
274
+ - `per_device_train_batch_size`: 16
275
+ - `per_device_eval_batch_size`: 16
276
+ - `per_gpu_train_batch_size`: None
277
+ - `per_gpu_eval_batch_size`: None
278
+ - `gradient_accumulation_steps`: 1
279
+ - `eval_accumulation_steps`: None
280
+ - `torch_empty_cache_steps`: None
281
+ - `learning_rate`: 1e-05
282
+ - `weight_decay`: 0.0
283
+ - `adam_beta1`: 0.9
284
+ - `adam_beta2`: 0.999
285
+ - `adam_epsilon`: 1e-08
286
+ - `max_grad_norm`: 1.0
287
+ - `num_train_epochs`: 1
288
+ - `max_steps`: -1
289
+ - `lr_scheduler_type`: linear
290
+ - `lr_scheduler_kwargs`: {}
291
+ - `warmup_ratio`: 0.1
292
+ - `warmup_steps`: 0
293
+ - `log_level`: passive
294
+ - `log_level_replica`: warning
295
+ - `log_on_each_node`: True
296
+ - `logging_nan_inf_filter`: True
297
+ - `save_safetensors`: True
298
+ - `save_on_each_node`: False
299
+ - `save_only_model`: False
300
+ - `restore_callback_states_from_checkpoint`: False
301
+ - `no_cuda`: False
302
+ - `use_cpu`: False
303
+ - `use_mps_device`: False
304
+ - `seed`: 42
305
+ - `data_seed`: None
306
+ - `jit_mode_eval`: False
307
+ - `use_ipex`: False
308
+ - `bf16`: True
309
+ - `fp16`: False
310
+ - `fp16_opt_level`: O1
311
+ - `half_precision_backend`: auto
312
+ - `bf16_full_eval`: False
313
+ - `fp16_full_eval`: False
314
+ - `tf32`: None
315
+ - `local_rank`: 0
316
+ - `ddp_backend`: None
317
+ - `tpu_num_cores`: None
318
+ - `tpu_metrics_debug`: False
319
+ - `debug`: []
320
+ - `dataloader_drop_last`: False
321
+ - `dataloader_num_workers`: 0
322
+ - `dataloader_prefetch_factor`: None
323
+ - `past_index`: -1
324
+ - `disable_tqdm`: False
325
+ - `remove_unused_columns`: True
326
+ - `label_names`: None
327
+ - `load_best_model_at_end`: False
328
+ - `ignore_data_skip`: False
329
+ - `fsdp`: []
330
+ - `fsdp_min_num_params`: 0
331
+ - `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
332
+ - `fsdp_transformer_layer_cls_to_wrap`: None
333
+ - `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
334
+ - `deepspeed`: None
335
+ - `label_smoothing_factor`: 0.0
336
+ - `optim`: adamw_torch
337
+ - `optim_args`: None
338
+ - `adafactor`: False
339
+ - `group_by_length`: False
340
+ - `length_column_name`: length
341
+ - `ddp_find_unused_parameters`: None
342
+ - `ddp_bucket_cap_mb`: None
343
+ - `ddp_broadcast_buffers`: False
344
+ - `dataloader_pin_memory`: True
345
+ - `dataloader_persistent_workers`: False
346
+ - `skip_memory_metrics`: True
347
+ - `use_legacy_prediction_loop`: False
348
+ - `push_to_hub`: True
349
+ - `resume_from_checkpoint`: None
350
+ - `hub_model_id`: scottsuk0306/gte-base-ko
351
+ - `hub_strategy`: every_save
352
+ - `hub_private_repo`: False
353
+ - `hub_always_push`: False
354
+ - `gradient_checkpointing`: False
355
+ - `gradient_checkpointing_kwargs`: None
356
+ - `include_inputs_for_metrics`: False
357
+ - `eval_do_concat_batches`: True
358
+ - `fp16_backend`: auto
359
+ - `push_to_hub_model_id`: None
360
+ - `push_to_hub_organization`: None
361
+ - `mp_parameters`:
362
+ - `auto_find_batch_size`: False
363
+ - `full_determinism`: False
364
+ - `torchdynamo`: None
365
+ - `ray_scope`: last
366
+ - `ddp_timeout`: 1800
367
+ - `torch_compile`: False
368
+ - `torch_compile_backend`: None
369
+ - `torch_compile_mode`: None
370
+ - `dispatch_batches`: None
371
+ - `split_batches`: None
372
+ - `include_tokens_per_second`: False
373
+ - `include_num_input_tokens_seen`: False
374
+ - `neftune_noise_alpha`: None
375
+ - `optim_target_modules`: None
376
+ - `batch_eval_metrics`: False
377
+ - `eval_on_start`: False
378
+ - `eval_use_gather_object`: False
379
+ - `batch_sampler`: no_duplicates
380
+ - `multi_dataset_batch_sampler`: proportional
381
+
382
+ </details>
383
+
384
+ ### Training Logs
385
+ | Epoch | Step | Training Loss | dev_max_accuracy |
386
+ |:-----:|:----:|:-------------:|:----------------:|
387
+ | 0 | 0 | - | 0.9855 |
388
+ | 0.16 | 100 | 0.137 | - |
389
+ | 0.32 | 200 | 0.0573 | - |
390
+ | 0.48 | 300 | 0.0488 | - |
391
+ | 0.64 | 400 | 0.0494 | - |
392
+ | 0.8 | 500 | 0.0441 | - |
393
+ | 0.96 | 600 | 0.0189 | - |
394
+
395
+
396
+ ### Framework Versions
397
+ - Python: 3.11.9
398
+ - Sentence Transformers: 3.0.1
399
+ - Transformers: 4.44.2
400
+ - PyTorch: 2.4.0+cu121
401
+ - Accelerate: 1.1.1
402
+ - Datasets: 2.19.0
403
+ - Tokenizers: 0.19.1
404
+
405
+ ## Citation
406
+
407
+ ### BibTeX
408
+
409
+ #### Sentence Transformers
410
+ ```bibtex
411
+ @inproceedings{reimers-2019-sentence-bert,
412
+ title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
413
+ author = "Reimers, Nils and Gurevych, Iryna",
414
+ booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
415
+ month = "11",
416
+ year = "2019",
417
+ publisher = "Association for Computational Linguistics",
418
+ url = "https://arxiv.org/abs/1908.10084",
419
+ }
420
+ ```
421
+
422
+ #### MultipleNegativesRankingLoss
423
+ ```bibtex
424
+ @misc{henderson2017efficient,
425
+ title={Efficient Natural Language Response Suggestion for Smart Reply},
426
+ author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
427
+ year={2017},
428
+ eprint={1705.00652},
429
+ archivePrefix={arXiv},
430
+ primaryClass={cs.CL}
431
+ }
432
+ ```
433
+
434
+ <!--
435
+ ## Glossary
436
+
437
+ *Clearly define terms in order to be accessible across audiences.*
438
+ -->
439
+
440
+ <!--
441
+ ## Model Card Authors
442
+
443
+ *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
444
+ -->
445
+
446
+ <!--
447
+ ## Model Card Contact
448
+
449
+ *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
450
+ -->
config_sentence_transformers.json ADDED
@@ -0,0 +1,10 @@
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "__version__": {
3
+ "sentence_transformers": "3.0.1",
4
+ "transformers": "4.44.2",
5
+ "pytorch": "2.4.0+cu121"
6
+ },
7
+ "prompts": {},
8
+ "default_prompt_name": null,
9
+ "similarity_fn_name": null
10
+ }
modules.json ADDED
@@ -0,0 +1,20 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ [
2
+ {
3
+ "idx": 0,
4
+ "name": "0",
5
+ "path": "",
6
+ "type": "sentence_transformers.models.Transformer"
7
+ },
8
+ {
9
+ "idx": 1,
10
+ "name": "1",
11
+ "path": "1_Pooling",
12
+ "type": "sentence_transformers.models.Pooling"
13
+ },
14
+ {
15
+ "idx": 2,
16
+ "name": "2",
17
+ "path": "2_Normalize",
18
+ "type": "sentence_transformers.models.Normalize"
19
+ }
20
+ ]
sentence_bert_config.json ADDED
@@ -0,0 +1,4 @@
 
 
 
 
 
1
+ {
2
+ "max_seq_length": 8192,
3
+ "do_lower_case": false
4
+ }