caldana commited on
Commit
c0c47d6
·
verified ·
1 Parent(s): 2c295c1

End of training

Browse files
Files changed (1) hide show
  1. README.md +15 -1005
README.md CHANGED
@@ -67,7 +67,7 @@ wandb_entity:
67
  gradient_accumulation_steps: 4
68
  micro_batch_size: 16
69
  eval_batch_size: 16
70
- num_epochs: 1000
71
  optimizer: adamw_bnb_8bit
72
  lr_scheduler: cosine
73
  learning_rate: 0.0002
@@ -116,7 +116,7 @@ save_safetensors: true
116
 
117
  This model is a fine-tuned version of [mistralai/Mistral-7B-v0.1](https://huggingface.co/mistralai/Mistral-7B-v0.1) on the None dataset.
118
  It achieves the following results on the evaluation set:
119
- - Loss: 0.3172
120
 
121
  ## Model description
122
 
@@ -144,1012 +144,22 @@ The following hyperparameters were used during training:
144
  - optimizer: Adam with betas=(0.9,0.95) and epsilon=1e-05
145
  - lr_scheduler_type: cosine
146
  - lr_scheduler_warmup_steps: 20
147
- - num_epochs: 1000
148
 
149
  ### Training results
150
 
151
- | Training Loss | Epoch | Step | Validation Loss |
152
- |:-------------:|:--------:|:----:|:---------------:|
153
- | 1.334 | 0.6667 | 1 | 1.2849 |
154
- | 1.3476 | 1.3333 | 2 | 1.2764 |
155
- | 1.2978 | 2.0 | 3 | 1.2489 |
156
- | 1.3159 | 2.6667 | 4 | 1.1846 |
157
- | 1.1755 | 3.3333 | 5 | 1.0708 |
158
- | 1.1371 | 4.0 | 6 | 0.9095 |
159
- | 0.9384 | 4.6667 | 7 | 0.7200 |
160
- | 0.7389 | 5.3333 | 8 | 0.5638 |
161
- | 0.5539 | 6.0 | 9 | 0.4326 |
162
- | 0.406 | 6.6667 | 10 | 0.3255 |
163
- | 0.2777 | 7.3333 | 11 | 0.2892 |
164
- | 0.2191 | 8.0 | 12 | 0.2483 |
165
- | 0.1747 | 8.6667 | 13 | 0.2174 |
166
- | 0.1595 | 9.3333 | 14 | 0.2131 |
167
- | 0.1526 | 10.0 | 15 | 0.1747 |
168
- | 0.1177 | 10.6667 | 16 | 0.1537 |
169
- | 0.087 | 11.3333 | 17 | 0.1459 |
170
- | 0.1005 | 12.0 | 18 | 0.1610 |
171
- | 0.0823 | 12.6667 | 19 | 0.1739 |
172
- | 0.0769 | 13.3333 | 20 | 0.1614 |
173
- | 0.0693 | 14.0 | 21 | 0.1523 |
174
- | 0.0618 | 14.6667 | 22 | 0.1645 |
175
- | 0.0571 | 15.3333 | 23 | 0.1591 |
176
- | 0.0468 | 16.0 | 24 | 0.1427 |
177
- | 0.0355 | 16.6667 | 25 | 0.1656 |
178
- | 0.0355 | 17.3333 | 26 | 0.1900 |
179
- | 0.0389 | 18.0 | 27 | 0.1734 |
180
- | 0.0314 | 18.6667 | 28 | 0.1780 |
181
- | 0.0216 | 19.3333 | 29 | 0.1946 |
182
- | 0.027 | 20.0 | 30 | 0.2246 |
183
- | 0.0182 | 20.6667 | 31 | 0.2307 |
184
- | 0.0159 | 21.3333 | 32 | 0.2404 |
185
- | 0.013 | 22.0 | 33 | 0.2605 |
186
- | 0.0143 | 22.6667 | 34 | 0.2981 |
187
- | 0.0629 | 23.3333 | 35 | 0.2668 |
188
- | 0.0128 | 24.0 | 36 | 0.2713 |
189
- | 0.0083 | 24.6667 | 37 | 0.2776 |
190
- | 0.0138 | 25.3333 | 38 | 0.2692 |
191
- | 0.0079 | 26.0 | 39 | 0.2750 |
192
- | 0.0061 | 26.6667 | 40 | 0.2842 |
193
- | 0.0103 | 27.3333 | 41 | 0.2706 |
194
- | 0.0077 | 28.0 | 42 | 0.2726 |
195
- | 0.0057 | 28.6667 | 43 | 0.2829 |
196
- | 0.0063 | 29.3333 | 44 | 0.2975 |
197
- | 0.0049 | 30.0 | 45 | 0.3123 |
198
- | 0.0266 | 30.6667 | 46 | 0.3457 |
199
- | 0.0029 | 31.3333 | 47 | 0.3873 |
200
- | 0.0079 | 32.0 | 48 | 0.3586 |
201
- | 0.0024 | 32.6667 | 49 | 0.3548 |
202
- | 0.0024 | 33.3333 | 50 | 0.3479 |
203
- | 0.0043 | 34.0 | 51 | 0.3543 |
204
- | 0.001 | 34.6667 | 52 | 0.3563 |
205
- | 0.0088 | 35.3333 | 53 | 0.3501 |
206
- | 0.0008 | 36.0 | 54 | 0.3439 |
207
- | 0.0025 | 36.6667 | 55 | 0.3281 |
208
- | 0.0011 | 37.3333 | 56 | 0.3118 |
209
- | 0.0025 | 38.0 | 57 | 0.2821 |
210
- | 0.0009 | 38.6667 | 58 | 0.2753 |
211
- | 0.0007 | 39.3333 | 59 | 0.2728 |
212
- | 0.0037 | 40.0 | 60 | 0.2678 |
213
- | 0.0007 | 40.6667 | 61 | 0.2694 |
214
- | 0.0007 | 41.3333 | 62 | 0.2733 |
215
- | 0.0006 | 42.0 | 63 | 0.2786 |
216
- | 0.0008 | 42.6667 | 64 | 0.2866 |
217
- | 0.0004 | 43.3333 | 65 | 0.2944 |
218
- | 0.0009 | 44.0 | 66 | 0.2939 |
219
- | 0.0005 | 44.6667 | 67 | 0.2976 |
220
- | 0.0004 | 45.3333 | 68 | 0.2973 |
221
- | 0.0008 | 46.0 | 69 | 0.2919 |
222
- | 0.0002 | 46.6667 | 70 | 0.2854 |
223
- | 0.0002 | 47.3333 | 71 | 0.2830 |
224
- | 0.0001 | 48.0 | 72 | 0.2795 |
225
- | 0.0001 | 48.6667 | 73 | 0.2784 |
226
- | 0.0001 | 49.3333 | 74 | 0.2778 |
227
- | 0.0001 | 50.0 | 75 | 0.2797 |
228
- | 0.0001 | 50.6667 | 76 | 0.2794 |
229
- | 0.0001 | 51.3333 | 77 | 0.2804 |
230
- | 0.0001 | 52.0 | 78 | 0.2813 |
231
- | 0.0001 | 52.6667 | 79 | 0.2823 |
232
- | 0.0001 | 53.3333 | 80 | 0.2875 |
233
- | 0.0001 | 54.0 | 81 | 0.2908 |
234
- | 0.0001 | 54.6667 | 82 | 0.2953 |
235
- | 0.0001 | 55.3333 | 83 | 0.2973 |
236
- | 0.0001 | 56.0 | 84 | 0.2999 |
237
- | 0.0001 | 56.6667 | 85 | 0.3030 |
238
- | 0.0001 | 57.3333 | 86 | 0.3043 |
239
- | 0.0001 | 58.0 | 87 | 0.3061 |
240
- | 0.0001 | 58.6667 | 88 | 0.3073 |
241
- | 0.0001 | 59.3333 | 89 | 0.3089 |
242
- | 0.0001 | 60.0 | 90 | 0.3083 |
243
- | 0.0001 | 60.6667 | 91 | 0.3032 |
244
- | 0.0 | 61.3333 | 92 | 0.3028 |
245
- | 0.0 | 62.0 | 93 | 0.3001 |
246
- | 0.0 | 62.6667 | 94 | 0.2997 |
247
- | 0.0 | 63.3333 | 95 | 0.2975 |
248
- | 0.0 | 64.0 | 96 | 0.2991 |
249
- | 0.0 | 64.6667 | 97 | 0.2969 |
250
- | 0.0 | 65.3333 | 98 | 0.2976 |
251
- | 0.0 | 66.0 | 99 | 0.2963 |
252
- | 0.0 | 66.6667 | 100 | 0.2980 |
253
- | 0.0 | 67.3333 | 101 | 0.2965 |
254
- | 0.0 | 68.0 | 102 | 0.2968 |
255
- | 0.0 | 68.6667 | 103 | 0.2971 |
256
- | 0.0 | 69.3333 | 104 | 0.2958 |
257
- | 0.0 | 70.0 | 105 | 0.2966 |
258
- | 0.0 | 70.6667 | 106 | 0.2962 |
259
- | 0.0 | 71.3333 | 107 | 0.2964 |
260
- | 0.0 | 72.0 | 108 | 0.2967 |
261
- | 0.0 | 72.6667 | 109 | 0.2985 |
262
- | 0.0 | 73.3333 | 110 | 0.2980 |
263
- | 0.0 | 74.0 | 111 | 0.2961 |
264
- | 0.0 | 74.6667 | 112 | 0.2956 |
265
- | 0.0 | 75.3333 | 113 | 0.2976 |
266
- | 0.0 | 76.0 | 114 | 0.2946 |
267
- | 0.0 | 76.6667 | 115 | 0.2961 |
268
- | 0.0 | 77.3333 | 116 | 0.2969 |
269
- | 0.0 | 78.0 | 117 | 0.2977 |
270
- | 0.0 | 78.6667 | 118 | 0.2968 |
271
- | 0.0 | 79.3333 | 119 | 0.2989 |
272
- | 0.0 | 80.0 | 120 | 0.2996 |
273
- | 0.0 | 80.6667 | 121 | 0.2970 |
274
- | 0.0 | 81.3333 | 122 | 0.3008 |
275
- | 0.0 | 82.0 | 123 | 0.2981 |
276
- | 0.0 | 82.6667 | 124 | 0.2977 |
277
- | 0.0 | 83.3333 | 125 | 0.2986 |
278
- | 0.0 | 84.0 | 126 | 0.2997 |
279
- | 0.0 | 84.6667 | 127 | 0.2980 |
280
- | 0.0 | 85.3333 | 128 | 0.2997 |
281
- | 0.0 | 86.0 | 129 | 0.2992 |
282
- | 0.0 | 86.6667 | 130 | 0.2985 |
283
- | 0.0 | 87.3333 | 131 | 0.3001 |
284
- | 0.0 | 88.0 | 132 | 0.2994 |
285
- | 0.0 | 88.6667 | 133 | 0.3002 |
286
- | 0.0 | 89.3333 | 134 | 0.2980 |
287
- | 0.0 | 90.0 | 135 | 0.2997 |
288
- | 0.0 | 90.6667 | 136 | 0.2992 |
289
- | 0.0 | 91.3333 | 137 | 0.2989 |
290
- | 0.0 | 92.0 | 138 | 0.2996 |
291
- | 0.0 | 92.6667 | 139 | 0.3013 |
292
- | 0.0 | 93.3333 | 140 | 0.2990 |
293
- | 0.0 | 94.0 | 141 | 0.2998 |
294
- | 0.0 | 94.6667 | 142 | 0.2979 |
295
- | 0.0 | 95.3333 | 143 | 0.3010 |
296
- | 0.0 | 96.0 | 144 | 0.2998 |
297
- | 0.0 | 96.6667 | 145 | 0.3021 |
298
- | 0.0 | 97.3333 | 146 | 0.3003 |
299
- | 0.0 | 98.0 | 147 | 0.3026 |
300
- | 0.0 | 98.6667 | 148 | 0.3015 |
301
- | 0.0 | 99.3333 | 149 | 0.3018 |
302
- | 0.0 | 100.0 | 150 | 0.2995 |
303
- | 0.0 | 100.6667 | 151 | 0.3006 |
304
- | 0.0 | 101.3333 | 152 | 0.3013 |
305
- | 0.0 | 102.0 | 153 | 0.3029 |
306
- | 0.0 | 102.6667 | 154 | 0.3018 |
307
- | 0.0 | 103.3333 | 155 | 0.3008 |
308
- | 0.0 | 104.0 | 156 | 0.3003 |
309
- | 0.0 | 104.6667 | 157 | 0.3034 |
310
- | 0.0 | 105.3333 | 158 | 0.3029 |
311
- | 0.0 | 106.0 | 159 | 0.3026 |
312
- | 0.0 | 106.6667 | 160 | 0.3039 |
313
- | 0.0 | 107.3333 | 161 | 0.3024 |
314
- | 0.0 | 108.0 | 162 | 0.3029 |
315
- | 0.0 | 108.6667 | 163 | 0.3047 |
316
- | 0.0 | 109.3333 | 164 | 0.3017 |
317
- | 0.0 | 110.0 | 165 | 0.3024 |
318
- | 0.0 | 110.6667 | 166 | 0.3025 |
319
- | 0.0 | 111.3333 | 167 | 0.3022 |
320
- | 0.0 | 112.0 | 168 | 0.3039 |
321
- | 0.0 | 112.6667 | 169 | 0.3027 |
322
- | 0.0 | 113.3333 | 170 | 0.3031 |
323
- | 0.0 | 114.0 | 171 | 0.3031 |
324
- | 0.0 | 114.6667 | 172 | 0.3034 |
325
- | 0.0 | 115.3333 | 173 | 0.3031 |
326
- | 0.0 | 116.0 | 174 | 0.3025 |
327
- | 0.0 | 116.6667 | 175 | 0.3036 |
328
- | 0.0 | 117.3333 | 176 | 0.3033 |
329
- | 0.0 | 118.0 | 177 | 0.3031 |
330
- | 0.0 | 118.6667 | 178 | 0.3042 |
331
- | 0.0 | 119.3333 | 179 | 0.3036 |
332
- | 0.0 | 120.0 | 180 | 0.3047 |
333
- | 0.0 | 120.6667 | 181 | 0.3043 |
334
- | 0.0 | 121.3333 | 182 | 0.3036 |
335
- | 0.0 | 122.0 | 183 | 0.3052 |
336
- | 0.0 | 122.6667 | 184 | 0.3034 |
337
- | 0.0 | 123.3333 | 185 | 0.3038 |
338
- | 0.0 | 124.0 | 186 | 0.3048 |
339
- | 0.0 | 124.6667 | 187 | 0.3049 |
340
- | 0.0 | 125.3333 | 188 | 0.3032 |
341
- | 0.0 | 126.0 | 189 | 0.3039 |
342
- | 0.0 | 126.6667 | 190 | 0.3029 |
343
- | 0.0 | 127.3333 | 191 | 0.3042 |
344
- | 0.0 | 128.0 | 192 | 0.3031 |
345
- | 0.0 | 128.6667 | 193 | 0.3060 |
346
- | 0.0 | 129.3333 | 194 | 0.3050 |
347
- | 0.0 | 130.0 | 195 | 0.3028 |
348
- | 0.0 | 130.6667 | 196 | 0.3047 |
349
- | 0.0 | 131.3333 | 197 | 0.3033 |
350
- | 0.0 | 132.0 | 198 | 0.3044 |
351
- | 0.0 | 132.6667 | 199 | 0.3048 |
352
- | 0.0 | 133.3333 | 200 | 0.3050 |
353
- | 0.0 | 134.0 | 201 | 0.3042 |
354
- | 0.0 | 134.6667 | 202 | 0.3049 |
355
- | 0.0 | 135.3333 | 203 | 0.3038 |
356
- | 0.0 | 136.0 | 204 | 0.3048 |
357
- | 0.0 | 136.6667 | 205 | 0.3062 |
358
- | 0.0 | 137.3333 | 206 | 0.3053 |
359
- | 0.0 | 138.0 | 207 | 0.3046 |
360
- | 0.0 | 138.6667 | 208 | 0.3064 |
361
- | 0.0 | 139.3333 | 209 | 0.3039 |
362
- | 0.0 | 140.0 | 210 | 0.3051 |
363
- | 0.0 | 140.6667 | 211 | 0.3059 |
364
- | 0.0 | 141.3333 | 212 | 0.3062 |
365
- | 0.0 | 142.0 | 213 | 0.3054 |
366
- | 0.0 | 142.6667 | 214 | 0.3046 |
367
- | 0.0 | 143.3333 | 215 | 0.3044 |
368
- | 0.0 | 144.0 | 216 | 0.3055 |
369
- | 0.0 | 144.6667 | 217 | 0.3071 |
370
- | 0.0 | 145.3333 | 218 | 0.3065 |
371
- | 0.0 | 146.0 | 219 | 0.3048 |
372
- | 0.0 | 146.6667 | 220 | 0.3051 |
373
- | 0.0 | 147.3333 | 221 | 0.3066 |
374
- | 0.0 | 148.0 | 222 | 0.3069 |
375
- | 0.0 | 148.6667 | 223 | 0.3070 |
376
- | 0.0 | 149.3333 | 224 | 0.3069 |
377
- | 0.0 | 150.0 | 225 | 0.3061 |
378
- | 0.0 | 150.6667 | 226 | 0.3064 |
379
- | 0.0 | 151.3333 | 227 | 0.3071 |
380
- | 0.0 | 152.0 | 228 | 0.3076 |
381
- | 0.0 | 152.6667 | 229 | 0.3074 |
382
- | 0.0 | 153.3333 | 230 | 0.3082 |
383
- | 0.0 | 154.0 | 231 | 0.3077 |
384
- | 0.0 | 154.6667 | 232 | 0.3059 |
385
- | 0.0 | 155.3333 | 233 | 0.3084 |
386
- | 0.0 | 156.0 | 234 | 0.3066 |
387
- | 0.0 | 156.6667 | 235 | 0.3076 |
388
- | 0.0 | 157.3333 | 236 | 0.3093 |
389
- | 0.0 | 158.0 | 237 | 0.3077 |
390
- | 0.0 | 158.6667 | 238 | 0.3070 |
391
- | 0.0 | 159.3333 | 239 | 0.3086 |
392
- | 0.0 | 160.0 | 240 | 0.3084 |
393
- | 0.0 | 160.6667 | 241 | 0.3080 |
394
- | 0.0 | 161.3333 | 242 | 0.3079 |
395
- | 0.0 | 162.0 | 243 | 0.3084 |
396
- | 0.0 | 162.6667 | 244 | 0.3087 |
397
- | 0.0 | 163.3333 | 245 | 0.3075 |
398
- | 0.0 | 164.0 | 246 | 0.3082 |
399
- | 0.0 | 164.6667 | 247 | 0.3096 |
400
- | 0.0 | 165.3333 | 248 | 0.3086 |
401
- | 0.0 | 166.0 | 249 | 0.3072 |
402
- | 0.0 | 166.6667 | 250 | 0.3098 |
403
- | 0.0 | 167.3333 | 251 | 0.3076 |
404
- | 0.0 | 168.0 | 252 | 0.3093 |
405
- | 0.0 | 168.6667 | 253 | 0.3085 |
406
- | 0.0 | 169.3333 | 254 | 0.3091 |
407
- | 0.0 | 170.0 | 255 | 0.3078 |
408
- | 0.0 | 170.6667 | 256 | 0.3096 |
409
- | 0.0 | 171.3333 | 257 | 0.3085 |
410
- | 0.0 | 172.0 | 258 | 0.3087 |
411
- | 0.0 | 172.6667 | 259 | 0.3084 |
412
- | 0.0 | 173.3333 | 260 | 0.3088 |
413
- | 0.0 | 174.0 | 261 | 0.3091 |
414
- | 0.0 | 174.6667 | 262 | 0.3099 |
415
- | 0.0 | 175.3333 | 263 | 0.3094 |
416
- | 0.0 | 176.0 | 264 | 0.3094 |
417
- | 0.0 | 176.6667 | 265 | 0.3094 |
418
- | 0.0 | 177.3333 | 266 | 0.3085 |
419
- | 0.0 | 178.0 | 267 | 0.3080 |
420
- | 0.0 | 178.6667 | 268 | 0.3076 |
421
- | 0.0 | 179.3333 | 269 | 0.3097 |
422
- | 0.0 | 180.0 | 270 | 0.3104 |
423
- | 0.0 | 180.6667 | 271 | 0.3087 |
424
- | 0.0 | 181.3333 | 272 | 0.3086 |
425
- | 0.0 | 182.0 | 273 | 0.3103 |
426
- | 0.0 | 182.6667 | 274 | 0.3106 |
427
- | 0.0 | 183.3333 | 275 | 0.3084 |
428
- | 0.0 | 184.0 | 276 | 0.3114 |
429
- | 0.0 | 184.6667 | 277 | 0.3095 |
430
- | 0.0 | 185.3333 | 278 | 0.3103 |
431
- | 0.0 | 186.0 | 279 | 0.3098 |
432
- | 0.0 | 186.6667 | 280 | 0.3098 |
433
- | 0.0 | 187.3333 | 281 | 0.3111 |
434
- | 0.0 | 188.0 | 282 | 0.3115 |
435
- | 0.0 | 188.6667 | 283 | 0.3114 |
436
- | 0.0 | 189.3333 | 284 | 0.3098 |
437
- | 0.0 | 190.0 | 285 | 0.3116 |
438
- | 0.0 | 190.6667 | 286 | 0.3101 |
439
- | 0.0 | 191.3333 | 287 | 0.3117 |
440
- | 0.0 | 192.0 | 288 | 0.3093 |
441
- | 0.0 | 192.6667 | 289 | 0.3126 |
442
- | 0.0 | 193.3333 | 290 | 0.3124 |
443
- | 0.0 | 194.0 | 291 | 0.3110 |
444
- | 0.0 | 194.6667 | 292 | 0.3126 |
445
- | 0.0 | 195.3333 | 293 | 0.3102 |
446
- | 0.0 | 196.0 | 294 | 0.3112 |
447
- | 0.0 | 196.6667 | 295 | 0.3116 |
448
- | 0.0 | 197.3333 | 296 | 0.3119 |
449
- | 0.0 | 198.0 | 297 | 0.3101 |
450
- | 0.0 | 198.6667 | 298 | 0.3109 |
451
- | 0.0 | 199.3333 | 299 | 0.3126 |
452
- | 0.0 | 200.0 | 300 | 0.3111 |
453
- | 0.0 | 200.6667 | 301 | 0.3124 |
454
- | 0.0 | 201.3333 | 302 | 0.3126 |
455
- | 0.0 | 202.0 | 303 | 0.3120 |
456
- | 0.0 | 202.6667 | 304 | 0.3141 |
457
- | 0.0 | 203.3333 | 305 | 0.3126 |
458
- | 0.0 | 204.0 | 306 | 0.3139 |
459
- | 0.0 | 204.6667 | 307 | 0.3117 |
460
- | 0.0 | 205.3333 | 308 | 0.3134 |
461
- | 0.0 | 206.0 | 309 | 0.3109 |
462
- | 0.0 | 206.6667 | 310 | 0.3122 |
463
- | 0.0 | 207.3333 | 311 | 0.3116 |
464
- | 0.0 | 208.0 | 312 | 0.3126 |
465
- | 0.0 | 208.6667 | 313 | 0.3127 |
466
- | 0.0 | 209.3333 | 314 | 0.3130 |
467
- | 0.0 | 210.0 | 315 | 0.3130 |
468
- | 0.0 | 210.6667 | 316 | 0.3135 |
469
- | 0.0 | 211.3333 | 317 | 0.3137 |
470
- | 0.0 | 212.0 | 318 | 0.3119 |
471
- | 0.0 | 212.6667 | 319 | 0.3133 |
472
- | 0.0 | 213.3333 | 320 | 0.3131 |
473
- | 0.0 | 214.0 | 321 | 0.3129 |
474
- | 0.0 | 214.6667 | 322 | 0.3138 |
475
- | 0.0 | 215.3333 | 323 | 0.3115 |
476
- | 0.0 | 216.0 | 324 | 0.3109 |
477
- | 0.0 | 216.6667 | 325 | 0.3123 |
478
- | 0.0 | 217.3333 | 326 | 0.3123 |
479
- | 0.0 | 218.0 | 327 | 0.3136 |
480
- | 0.0 | 218.6667 | 328 | 0.3135 |
481
- | 0.0 | 219.3333 | 329 | 0.3150 |
482
- | 0.0 | 220.0 | 330 | 0.3123 |
483
- | 0.0 | 220.6667 | 331 | 0.3131 |
484
- | 0.0 | 221.3333 | 332 | 0.3137 |
485
- | 0.0 | 222.0 | 333 | 0.3150 |
486
- | 0.0 | 222.6667 | 334 | 0.3152 |
487
- | 0.0 | 223.3333 | 335 | 0.3121 |
488
- | 0.0 | 224.0 | 336 | 0.3167 |
489
- | 0.0 | 224.6667 | 337 | 0.3146 |
490
- | 0.0 | 225.3333 | 338 | 0.3144 |
491
- | 0.0 | 226.0 | 339 | 0.3148 |
492
- | 0.0 | 226.6667 | 340 | 0.3138 |
493
- | 0.0 | 227.3333 | 341 | 0.3138 |
494
- | 0.0 | 228.0 | 342 | 0.3155 |
495
- | 0.0 | 228.6667 | 343 | 0.3155 |
496
- | 0.0 | 229.3333 | 344 | 0.3157 |
497
- | 0.0 | 230.0 | 345 | 0.3137 |
498
- | 0.0 | 230.6667 | 346 | 0.3144 |
499
- | 0.0 | 231.3333 | 347 | 0.3150 |
500
- | 0.0 | 232.0 | 348 | 0.3142 |
501
- | 0.0 | 232.6667 | 349 | 0.3142 |
502
- | 0.0 | 233.3333 | 350 | 0.3155 |
503
- | 0.0 | 234.0 | 351 | 0.3134 |
504
- | 0.0 | 234.6667 | 352 | 0.3156 |
505
- | 0.0 | 235.3333 | 353 | 0.3141 |
506
- | 0.0 | 236.0 | 354 | 0.3152 |
507
- | 0.0 | 236.6667 | 355 | 0.3144 |
508
- | 0.0 | 237.3333 | 356 | 0.3132 |
509
- | 0.0 | 238.0 | 357 | 0.3140 |
510
- | 0.0 | 238.6667 | 358 | 0.3148 |
511
- | 0.0 | 239.3333 | 359 | 0.3151 |
512
- | 0.0 | 240.0 | 360 | 0.3154 |
513
- | 0.0 | 240.6667 | 361 | 0.3170 |
514
- | 0.0 | 241.3333 | 362 | 0.3150 |
515
- | 0.0 | 242.0 | 363 | 0.3159 |
516
- | 0.0 | 242.6667 | 364 | 0.3153 |
517
- | 0.0 | 243.3333 | 365 | 0.3166 |
518
- | 0.0 | 244.0 | 366 | 0.3156 |
519
- | 0.0 | 244.6667 | 367 | 0.3149 |
520
- | 0.0 | 245.3333 | 368 | 0.3173 |
521
- | 0.0 | 246.0 | 369 | 0.3147 |
522
- | 0.0 | 246.6667 | 370 | 0.3174 |
523
- | 0.0 | 247.3333 | 371 | 0.3174 |
524
- | 0.0 | 248.0 | 372 | 0.3178 |
525
- | 0.0 | 248.6667 | 373 | 0.3150 |
526
- | 0.0 | 249.3333 | 374 | 0.3162 |
527
- | 0.0 | 250.0 | 375 | 0.3142 |
528
- | 0.0 | 250.6667 | 376 | 0.3158 |
529
- | 0.0 | 251.3333 | 377 | 0.3149 |
530
- | 0.0 | 252.0 | 378 | 0.3170 |
531
- | 0.0 | 252.6667 | 379 | 0.3155 |
532
- | 0.0 | 253.3333 | 380 | 0.3154 |
533
- | 0.0 | 254.0 | 381 | 0.3134 |
534
- | 0.0 | 254.6667 | 382 | 0.3141 |
535
- | 0.0 | 255.3333 | 383 | 0.3160 |
536
- | 0.0 | 256.0 | 384 | 0.3176 |
537
- | 0.0 | 256.6667 | 385 | 0.3175 |
538
- | 0.0 | 257.3333 | 386 | 0.3163 |
539
- | 0.0 | 258.0 | 387 | 0.3193 |
540
- | 0.0 | 258.6667 | 388 | 0.3181 |
541
- | 0.0 | 259.3333 | 389 | 0.3156 |
542
- | 0.0 | 260.0 | 390 | 0.3172 |
543
- | 0.0 | 260.6667 | 391 | 0.3165 |
544
- | 0.0 | 261.3333 | 392 | 0.3165 |
545
- | 0.0 | 262.0 | 393 | 0.3161 |
546
- | 0.0 | 262.6667 | 394 | 0.3166 |
547
- | 0.0 | 263.3333 | 395 | 0.3148 |
548
- | 0.0 | 264.0 | 396 | 0.3170 |
549
- | 0.0 | 264.6667 | 397 | 0.3141 |
550
- | 0.0 | 265.3333 | 398 | 0.3172 |
551
- | 0.0 | 266.0 | 399 | 0.3169 |
552
- | 0.0 | 266.6667 | 400 | 0.3160 |
553
- | 0.0 | 267.3333 | 401 | 0.3164 |
554
- | 0.0 | 268.0 | 402 | 0.3170 |
555
- | 0.0 | 268.6667 | 403 | 0.3161 |
556
- | 0.0 | 269.3333 | 404 | 0.3151 |
557
- | 0.0 | 270.0 | 405 | 0.3163 |
558
- | 0.0 | 270.6667 | 406 | 0.3164 |
559
- | 0.0 | 271.3333 | 407 | 0.3168 |
560
- | 0.0 | 272.0 | 408 | 0.3167 |
561
- | 0.0 | 272.6667 | 409 | 0.3174 |
562
- | 0.0 | 273.3333 | 410 | 0.3144 |
563
- | 0.0 | 274.0 | 411 | 0.3146 |
564
- | 0.0 | 274.6667 | 412 | 0.3181 |
565
- | 0.0 | 275.3333 | 413 | 0.3166 |
566
- | 0.0 | 276.0 | 414 | 0.3172 |
567
- | 0.0 | 276.6667 | 415 | 0.3157 |
568
- | 0.0 | 277.3333 | 416 | 0.3180 |
569
- | 0.0 | 278.0 | 417 | 0.3170 |
570
- | 0.0 | 278.6667 | 418 | 0.3160 |
571
- | 0.0 | 279.3333 | 419 | 0.3163 |
572
- | 0.0 | 280.0 | 420 | 0.3171 |
573
- | 0.0 | 280.6667 | 421 | 0.3161 |
574
- | 0.0 | 281.3333 | 422 | 0.3157 |
575
- | 0.0 | 282.0 | 423 | 0.3161 |
576
- | 0.0 | 282.6667 | 424 | 0.3171 |
577
- | 0.0 | 283.3333 | 425 | 0.3164 |
578
- | 0.0 | 284.0 | 426 | 0.3169 |
579
- | 0.0 | 284.6667 | 427 | 0.3167 |
580
- | 0.0 | 285.3333 | 428 | 0.3183 |
581
- | 0.0 | 286.0 | 429 | 0.3180 |
582
- | 0.0 | 286.6667 | 430 | 0.3169 |
583
- | 0.0 | 287.3333 | 431 | 0.3182 |
584
- | 0.0 | 288.0 | 432 | 0.3163 |
585
- | 0.0 | 288.6667 | 433 | 0.3169 |
586
- | 0.0 | 289.3333 | 434 | 0.3178 |
587
- | 0.0 | 290.0 | 435 | 0.3191 |
588
- | 0.0 | 290.6667 | 436 | 0.3200 |
589
- | 0.0 | 291.3333 | 437 | 0.3174 |
590
- | 0.0 | 292.0 | 438 | 0.3143 |
591
- | 0.0 | 292.6667 | 439 | 0.3178 |
592
- | 0.0 | 293.3333 | 440 | 0.3162 |
593
- | 0.0 | 294.0 | 441 | 0.3178 |
594
- | 0.0 | 294.6667 | 442 | 0.3168 |
595
- | 0.0 | 295.3333 | 443 | 0.3184 |
596
- | 0.0 | 296.0 | 444 | 0.3160 |
597
- | 0.0 | 296.6667 | 445 | 0.3168 |
598
- | 0.0 | 297.3333 | 446 | 0.3171 |
599
- | 0.0 | 298.0 | 447 | 0.3159 |
600
- | 0.0 | 298.6667 | 448 | 0.3170 |
601
- | 0.0 | 299.3333 | 449 | 0.3172 |
602
- | 0.0 | 300.0 | 450 | 0.3182 |
603
- | 0.0 | 300.6667 | 451 | 0.3173 |
604
- | 0.0 | 301.3333 | 452 | 0.3158 |
605
- | 0.0 | 302.0 | 453 | 0.3178 |
606
- | 0.0 | 302.6667 | 454 | 0.3166 |
607
- | 0.0 | 303.3333 | 455 | 0.3167 |
608
- | 0.0 | 304.0 | 456 | 0.3151 |
609
- | 0.0 | 304.6667 | 457 | 0.3179 |
610
- | 0.0 | 305.3333 | 458 | 0.3174 |
611
- | 0.0 | 306.0 | 459 | 0.3162 |
612
- | 0.0 | 306.6667 | 460 | 0.3175 |
613
- | 0.0 | 307.3333 | 461 | 0.3179 |
614
- | 0.0 | 308.0 | 462 | 0.3151 |
615
- | 0.0 | 308.6667 | 463 | 0.3167 |
616
- | 0.0 | 309.3333 | 464 | 0.3176 |
617
- | 0.0 | 310.0 | 465 | 0.3169 |
618
- | 0.0 | 310.6667 | 466 | 0.3188 |
619
- | 0.0 | 311.3333 | 467 | 0.3176 |
620
- | 0.0 | 312.0 | 468 | 0.3171 |
621
- | 0.0 | 312.6667 | 469 | 0.3182 |
622
- | 0.0 | 313.3333 | 470 | 0.3176 |
623
- | 0.0 | 314.0 | 471 | 0.3171 |
624
- | 0.0 | 314.6667 | 472 | 0.3183 |
625
- | 0.0 | 315.3333 | 473 | 0.3165 |
626
- | 0.0 | 316.0 | 474 | 0.3170 |
627
- | 0.0 | 316.6667 | 475 | 0.3171 |
628
- | 0.0 | 317.3333 | 476 | 0.3166 |
629
- | 0.0 | 318.0 | 477 | 0.3175 |
630
- | 0.0 | 318.6667 | 478 | 0.3153 |
631
- | 0.0 | 319.3333 | 479 | 0.3180 |
632
- | 0.0 | 320.0 | 480 | 0.3160 |
633
- | 0.0 | 320.6667 | 481 | 0.3191 |
634
- | 0.0 | 321.3333 | 482 | 0.3165 |
635
- | 0.0 | 322.0 | 483 | 0.3182 |
636
- | 0.0 | 322.6667 | 484 | 0.3166 |
637
- | 0.0 | 323.3333 | 485 | 0.3171 |
638
- | 0.0 | 324.0 | 486 | 0.3207 |
639
- | 0.0 | 324.6667 | 487 | 0.3165 |
640
- | 0.0 | 325.3333 | 488 | 0.3172 |
641
- | 0.0 | 326.0 | 489 | 0.3182 |
642
- | 0.0 | 326.6667 | 490 | 0.3175 |
643
- | 0.0 | 327.3333 | 491 | 0.3192 |
644
- | 0.0 | 328.0 | 492 | 0.3174 |
645
- | 0.0 | 328.6667 | 493 | 0.3166 |
646
- | 0.0 | 329.3333 | 494 | 0.3156 |
647
- | 0.0 | 330.0 | 495 | 0.3172 |
648
- | 0.0 | 330.6667 | 496 | 0.3163 |
649
- | 0.0 | 331.3333 | 497 | 0.3169 |
650
- | 0.0 | 332.0 | 498 | 0.3166 |
651
- | 0.0 | 332.6667 | 499 | 0.3185 |
652
- | 0.0 | 333.3333 | 500 | 0.3169 |
653
- | 0.0 | 334.0 | 501 | 0.3188 |
654
- | 0.0 | 334.6667 | 502 | 0.3182 |
655
- | 0.0 | 335.3333 | 503 | 0.3171 |
656
- | 0.0 | 336.0 | 504 | 0.3195 |
657
- | 0.0 | 336.6667 | 505 | 0.3167 |
658
- | 0.0 | 337.3333 | 506 | 0.3169 |
659
- | 0.0 | 338.0 | 507 | 0.3189 |
660
- | 0.0 | 338.6667 | 508 | 0.3183 |
661
- | 0.0 | 339.3333 | 509 | 0.3170 |
662
- | 0.0 | 340.0 | 510 | 0.3185 |
663
- | 0.0 | 340.6667 | 511 | 0.3178 |
664
- | 0.0 | 341.3333 | 512 | 0.3177 |
665
- | 0.0 | 342.0 | 513 | 0.3174 |
666
- | 0.0 | 342.6667 | 514 | 0.3177 |
667
- | 0.0 | 343.3333 | 515 | 0.3165 |
668
- | 0.0 | 344.0 | 516 | 0.3175 |
669
- | 0.0 | 344.6667 | 517 | 0.3177 |
670
- | 0.0 | 345.3333 | 518 | 0.3186 |
671
- | 0.0 | 346.0 | 519 | 0.3170 |
672
- | 0.0 | 346.6667 | 520 | 0.3188 |
673
- | 0.0 | 347.3333 | 521 | 0.3183 |
674
- | 0.0 | 348.0 | 522 | 0.3168 |
675
- | 0.0 | 348.6667 | 523 | 0.3161 |
676
- | 0.0 | 349.3333 | 524 | 0.3166 |
677
- | 0.0 | 350.0 | 525 | 0.3178 |
678
- | 0.0 | 350.6667 | 526 | 0.3185 |
679
- | 0.0 | 351.3333 | 527 | 0.3189 |
680
- | 0.0 | 352.0 | 528 | 0.3176 |
681
- | 0.0 | 352.6667 | 529 | 0.3162 |
682
- | 0.0 | 353.3333 | 530 | 0.3166 |
683
- | 0.0 | 354.0 | 531 | 0.3158 |
684
- | 0.0 | 354.6667 | 532 | 0.3177 |
685
- | 0.0 | 355.3333 | 533 | 0.3192 |
686
- | 0.0 | 356.0 | 534 | 0.3179 |
687
- | 0.0 | 356.6667 | 535 | 0.3181 |
688
- | 0.0 | 357.3333 | 536 | 0.3178 |
689
- | 0.0 | 358.0 | 537 | 0.3174 |
690
- | 0.0 | 358.6667 | 538 | 0.3187 |
691
- | 0.0 | 359.3333 | 539 | 0.3185 |
692
- | 0.0 | 360.0 | 540 | 0.3176 |
693
- | 0.0 | 360.6667 | 541 | 0.3172 |
694
- | 0.0 | 361.3333 | 542 | 0.3177 |
695
- | 0.0 | 362.0 | 543 | 0.3184 |
696
- | 0.0 | 362.6667 | 544 | 0.3174 |
697
- | 0.0 | 363.3333 | 545 | 0.3180 |
698
- | 0.0 | 364.0 | 546 | 0.3166 |
699
- | 0.0 | 364.6667 | 547 | 0.3185 |
700
- | 0.0 | 365.3333 | 548 | 0.3184 |
701
- | 0.0 | 366.0 | 549 | 0.3170 |
702
- | 0.0 | 366.6667 | 550 | 0.3176 |
703
- | 0.0 | 367.3333 | 551 | 0.3188 |
704
- | 0.0 | 368.0 | 552 | 0.3159 |
705
- | 0.0 | 368.6667 | 553 | 0.3187 |
706
- | 0.0 | 369.3333 | 554 | 0.3168 |
707
- | 0.0 | 370.0 | 555 | 0.3172 |
708
- | 0.0 | 370.6667 | 556 | 0.3182 |
709
- | 0.0 | 371.3333 | 557 | 0.3196 |
710
- | 0.0 | 372.0 | 558 | 0.3187 |
711
- | 0.0 | 372.6667 | 559 | 0.3176 |
712
- | 0.0 | 373.3333 | 560 | 0.3163 |
713
- | 0.0 | 374.0 | 561 | 0.3194 |
714
- | 0.0 | 374.6667 | 562 | 0.3178 |
715
- | 0.0 | 375.3333 | 563 | 0.3198 |
716
- | 0.0 | 376.0 | 564 | 0.3162 |
717
- | 0.0 | 376.6667 | 565 | 0.3179 |
718
- | 0.0 | 377.3333 | 566 | 0.3190 |
719
- | 0.0 | 378.0 | 567 | 0.3197 |
720
- | 0.0 | 378.6667 | 568 | 0.3174 |
721
- | 0.0 | 379.3333 | 569 | 0.3162 |
722
- | 0.0 | 380.0 | 570 | 0.3198 |
723
- | 0.0 | 380.6667 | 571 | 0.3198 |
724
- | 0.0 | 381.3333 | 572 | 0.3173 |
725
- | 0.0 | 382.0 | 573 | 0.3167 |
726
- | 0.0 | 382.6667 | 574 | 0.3163 |
727
- | 0.0 | 383.3333 | 575 | 0.3168 |
728
- | 0.0 | 384.0 | 576 | 0.3204 |
729
- | 0.0 | 384.6667 | 577 | 0.3167 |
730
- | 0.0 | 385.3333 | 578 | 0.3152 |
731
- | 0.0 | 386.0 | 579 | 0.3184 |
732
- | 0.0 | 386.6667 | 580 | 0.3176 |
733
- | 0.0 | 387.3333 | 581 | 0.3171 |
734
- | 0.0 | 388.0 | 582 | 0.3166 |
735
- | 0.0 | 388.6667 | 583 | 0.3177 |
736
- | 0.0 | 389.3333 | 584 | 0.3171 |
737
- | 0.0 | 390.0 | 585 | 0.3165 |
738
- | 0.0 | 390.6667 | 586 | 0.3183 |
739
- | 0.0 | 391.3333 | 587 | 0.3169 |
740
- | 0.0 | 392.0 | 588 | 0.3154 |
741
- | 0.0 | 392.6667 | 589 | 0.3167 |
742
- | 0.0 | 393.3333 | 590 | 0.3169 |
743
- | 0.0 | 394.0 | 591 | 0.3189 |
744
- | 0.0 | 394.6667 | 592 | 0.3171 |
745
- | 0.0 | 395.3333 | 593 | 0.3178 |
746
- | 0.0 | 396.0 | 594 | 0.3175 |
747
- | 0.0 | 396.6667 | 595 | 0.3161 |
748
- | 0.0 | 397.3333 | 596 | 0.3168 |
749
- | 0.0 | 398.0 | 597 | 0.3169 |
750
- | 0.0 | 398.6667 | 598 | 0.3189 |
751
- | 0.0 | 399.3333 | 599 | 0.3178 |
752
- | 0.0 | 400.0 | 600 | 0.3173 |
753
- | 0.0 | 400.6667 | 601 | 0.3177 |
754
- | 0.0 | 401.3333 | 602 | 0.3170 |
755
- | 0.0 | 402.0 | 603 | 0.3180 |
756
- | 0.0 | 402.6667 | 604 | 0.3179 |
757
- | 0.0 | 403.3333 | 605 | 0.3157 |
758
- | 0.0 | 404.0 | 606 | 0.3177 |
759
- | 0.0 | 404.6667 | 607 | 0.3180 |
760
- | 0.0 | 405.3333 | 608 | 0.3177 |
761
- | 0.0 | 406.0 | 609 | 0.3185 |
762
- | 0.0 | 406.6667 | 610 | 0.3179 |
763
- | 0.0 | 407.3333 | 611 | 0.3172 |
764
- | 0.0 | 408.0 | 612 | 0.3173 |
765
- | 0.0 | 408.6667 | 613 | 0.3181 |
766
- | 0.0 | 409.3333 | 614 | 0.3154 |
767
- | 0.0 | 410.0 | 615 | 0.3196 |
768
- | 0.0 | 410.6667 | 616 | 0.3192 |
769
- | 0.0 | 411.3333 | 617 | 0.3182 |
770
- | 0.0 | 412.0 | 618 | 0.3191 |
771
- | 0.0 | 412.6667 | 619 | 0.3177 |
772
- | 0.0 | 413.3333 | 620 | 0.3186 |
773
- | 0.0 | 414.0 | 621 | 0.3167 |
774
- | 0.0 | 414.6667 | 622 | 0.3175 |
775
- | 0.0 | 415.3333 | 623 | 0.3175 |
776
- | 0.0 | 416.0 | 624 | 0.3172 |
777
- | 0.0 | 416.6667 | 625 | 0.3193 |
778
- | 0.0 | 417.3333 | 626 | 0.3173 |
779
- | 0.0 | 418.0 | 627 | 0.3186 |
780
- | 0.0 | 418.6667 | 628 | 0.3183 |
781
- | 0.0 | 419.3333 | 629 | 0.3175 |
782
- | 0.0 | 420.0 | 630 | 0.3184 |
783
- | 0.0 | 420.6667 | 631 | 0.3182 |
784
- | 0.0 | 421.3333 | 632 | 0.3181 |
785
- | 0.0 | 422.0 | 633 | 0.3171 |
786
- | 0.0 | 422.6667 | 634 | 0.3171 |
787
- | 0.0 | 423.3333 | 635 | 0.3172 |
788
- | 0.0 | 424.0 | 636 | 0.3190 |
789
- | 0.0 | 424.6667 | 637 | 0.3179 |
790
- | 0.0 | 425.3333 | 638 | 0.3168 |
791
- | 0.0 | 426.0 | 639 | 0.3190 |
792
- | 0.0 | 426.6667 | 640 | 0.3195 |
793
- | 0.0 | 427.3333 | 641 | 0.3174 |
794
- | 0.0 | 428.0 | 642 | 0.3193 |
795
- | 0.0 | 428.6667 | 643 | 0.3177 |
796
- | 0.0 | 429.3333 | 644 | 0.3184 |
797
- | 0.0 | 430.0 | 645 | 0.3175 |
798
- | 0.0 | 430.6667 | 646 | 0.3186 |
799
- | 0.0 | 431.3333 | 647 | 0.3171 |
800
- | 0.0 | 432.0 | 648 | 0.3177 |
801
- | 0.0 | 432.6667 | 649 | 0.3172 |
802
- | 0.0 | 433.3333 | 650 | 0.3181 |
803
- | 0.0 | 434.0 | 651 | 0.3193 |
804
- | 0.0 | 434.6667 | 652 | 0.3176 |
805
- | 0.0 | 435.3333 | 653 | 0.3185 |
806
- | 0.0 | 436.0 | 654 | 0.3180 |
807
- | 0.0 | 436.6667 | 655 | 0.3193 |
808
- | 0.0 | 437.3333 | 656 | 0.3186 |
809
- | 0.0 | 438.0 | 657 | 0.3158 |
810
- | 0.0 | 438.6667 | 658 | 0.3183 |
811
- | 0.0 | 439.3333 | 659 | 0.3195 |
812
- | 0.0 | 440.0 | 660 | 0.3179 |
813
- | 0.0 | 440.6667 | 661 | 0.3178 |
814
- | 0.0 | 441.3333 | 662 | 0.3184 |
815
- | 0.0 | 442.0 | 663 | 0.3180 |
816
- | 0.0 | 442.6667 | 664 | 0.3180 |
817
- | 0.0 | 443.3333 | 665 | 0.3162 |
818
- | 0.0 | 444.0 | 666 | 0.3172 |
819
- | 0.0 | 444.6667 | 667 | 0.3171 |
820
- | 0.0 | 445.3333 | 668 | 0.3198 |
821
- | 0.0 | 446.0 | 669 | 0.3179 |
822
- | 0.0 | 446.6667 | 670 | 0.3187 |
823
- | 0.0 | 447.3333 | 671 | 0.3172 |
824
- | 0.0 | 448.0 | 672 | 0.3175 |
825
- | 0.0 | 448.6667 | 673 | 0.3174 |
826
- | 0.0 | 449.3333 | 674 | 0.3171 |
827
- | 0.0 | 450.0 | 675 | 0.3180 |
828
- | 0.0 | 450.6667 | 676 | 0.3181 |
829
- | 0.0 | 451.3333 | 677 | 0.3176 |
830
- | 0.0 | 452.0 | 678 | 0.3161 |
831
- | 0.0 | 452.6667 | 679 | 0.3184 |
832
- | 0.0 | 453.3333 | 680 | 0.3159 |
833
- | 0.0 | 454.0 | 681 | 0.3186 |
834
- | 0.0 | 454.6667 | 682 | 0.3167 |
835
- | 0.0 | 455.3333 | 683 | 0.3180 |
836
- | 0.0 | 456.0 | 684 | 0.3185 |
837
- | 0.0 | 456.6667 | 685 | 0.3184 |
838
- | 0.0 | 457.3333 | 686 | 0.3175 |
839
- | 0.0 | 458.0 | 687 | 0.3178 |
840
- | 0.0 | 458.6667 | 688 | 0.3179 |
841
- | 0.0 | 459.3333 | 689 | 0.3156 |
842
- | 0.0 | 460.0 | 690 | 0.3174 |
843
- | 0.0 | 460.6667 | 691 | 0.3182 |
844
- | 0.0 | 461.3333 | 692 | 0.3197 |
845
- | 0.0 | 462.0 | 693 | 0.3186 |
846
- | 0.0 | 462.6667 | 694 | 0.3192 |
847
- | 0.0 | 463.3333 | 695 | 0.3186 |
848
- | 0.0 | 464.0 | 696 | 0.3168 |
849
- | 0.0 | 464.6667 | 697 | 0.3184 |
850
- | 0.0 | 465.3333 | 698 | 0.3209 |
851
- | 0.0 | 466.0 | 699 | 0.3195 |
852
- | 0.0 | 466.6667 | 700 | 0.3173 |
853
- | 0.0 | 467.3333 | 701 | 0.3174 |
854
- | 0.0 | 468.0 | 702 | 0.3157 |
855
- | 0.0 | 468.6667 | 703 | 0.3187 |
856
- | 0.0 | 469.3333 | 704 | 0.3183 |
857
- | 0.0 | 470.0 | 705 | 0.3181 |
858
- | 0.0 | 470.6667 | 706 | 0.3169 |
859
- | 0.0 | 471.3333 | 707 | 0.3194 |
860
- | 0.0 | 472.0 | 708 | 0.3177 |
861
- | 0.0 | 472.6667 | 709 | 0.3185 |
862
- | 0.0 | 473.3333 | 710 | 0.3196 |
863
- | 0.0 | 474.0 | 711 | 0.3174 |
864
- | 0.0 | 474.6667 | 712 | 0.3170 |
865
- | 0.0 | 475.3333 | 713 | 0.3192 |
866
- | 0.0 | 476.0 | 714 | 0.3181 |
867
- | 0.0 | 476.6667 | 715 | 0.3184 |
868
- | 0.0 | 477.3333 | 716 | 0.3158 |
869
- | 0.0 | 478.0 | 717 | 0.3176 |
870
- | 0.0 | 478.6667 | 718 | 0.3171 |
871
- | 0.0 | 479.3333 | 719 | 0.3173 |
872
- | 0.0 | 480.0 | 720 | 0.3177 |
873
- | 0.0 | 480.6667 | 721 | 0.3183 |
874
- | 0.0 | 481.3333 | 722 | 0.3169 |
875
- | 0.0 | 482.0 | 723 | 0.3165 |
876
- | 0.0 | 482.6667 | 724 | 0.3175 |
877
- | 0.0 | 483.3333 | 725 | 0.3169 |
878
- | 0.0 | 484.0 | 726 | 0.3166 |
879
- | 0.0 | 484.6667 | 727 | 0.3166 |
880
- | 0.0 | 485.3333 | 728 | 0.3190 |
881
- | 0.0 | 486.0 | 729 | 0.3188 |
882
- | 0.0 | 486.6667 | 730 | 0.3170 |
883
- | 0.0 | 487.3333 | 731 | 0.3180 |
884
- | 0.0 | 488.0 | 732 | 0.3182 |
885
- | 0.0 | 488.6667 | 733 | 0.3166 |
886
- | 0.0 | 489.3333 | 734 | 0.3183 |
887
- | 0.0 | 490.0 | 735 | 0.3164 |
888
- | 0.0 | 490.6667 | 736 | 0.3180 |
889
- | 0.0 | 491.3333 | 737 | 0.3166 |
890
- | 0.0 | 492.0 | 738 | 0.3190 |
891
- | 0.0 | 492.6667 | 739 | 0.3174 |
892
- | 0.0 | 493.3333 | 740 | 0.3168 |
893
- | 0.0 | 494.0 | 741 | 0.3172 |
894
- | 0.0 | 494.6667 | 742 | 0.3157 |
895
- | 0.0 | 495.3333 | 743 | 0.3177 |
896
- | 0.0 | 496.0 | 744 | 0.3172 |
897
- | 0.0 | 496.6667 | 745 | 0.3180 |
898
- | 0.0 | 497.3333 | 746 | 0.3175 |
899
- | 0.0 | 498.0 | 747 | 0.3178 |
900
- | 0.0 | 498.6667 | 748 | 0.3185 |
901
- | 0.0 | 499.3333 | 749 | 0.3174 |
902
- | 0.0 | 500.0 | 750 | 0.3185 |
903
- | 0.0 | 500.6667 | 751 | 0.3172 |
904
- | 0.0 | 501.3333 | 752 | 0.3159 |
905
- | 0.0 | 502.0 | 753 | 0.3194 |
906
- | 0.0 | 502.6667 | 754 | 0.3190 |
907
- | 0.0 | 503.3333 | 755 | 0.3169 |
908
- | 0.0 | 504.0 | 756 | 0.3166 |
909
- | 0.0 | 504.6667 | 757 | 0.3174 |
910
- | 0.0 | 505.3333 | 758 | 0.3148 |
911
- | 0.0 | 506.0 | 759 | 0.3168 |
912
- | 0.0 | 506.6667 | 760 | 0.3177 |
913
- | 0.0 | 507.3333 | 761 | 0.3176 |
914
- | 0.0 | 508.0 | 762 | 0.3176 |
915
- | 0.0 | 508.6667 | 763 | 0.3189 |
916
- | 0.0 | 509.3333 | 764 | 0.3184 |
917
- | 0.0 | 510.0 | 765 | 0.3202 |
918
- | 0.0 | 510.6667 | 766 | 0.3151 |
919
- | 0.0 | 511.3333 | 767 | 0.3177 |
920
- | 0.0 | 512.0 | 768 | 0.3188 |
921
- | 0.0 | 512.6667 | 769 | 0.3171 |
922
- | 0.0 | 513.3333 | 770 | 0.3178 |
923
- | 0.0 | 514.0 | 771 | 0.3189 |
924
- | 0.0 | 514.6667 | 772 | 0.3175 |
925
- | 0.0 | 515.3333 | 773 | 0.3174 |
926
- | 0.0 | 516.0 | 774 | 0.3169 |
927
- | 0.0 | 516.6667 | 775 | 0.3193 |
928
- | 0.0 | 517.3333 | 776 | 0.3184 |
929
- | 0.0 | 518.0 | 777 | 0.3177 |
930
- | 0.0 | 518.6667 | 778 | 0.3177 |
931
- | 0.0 | 519.3333 | 779 | 0.3195 |
932
- | 0.0 | 520.0 | 780 | 0.3188 |
933
- | 0.0 | 520.6667 | 781 | 0.3179 |
934
- | 0.0 | 521.3333 | 782 | 0.3163 |
935
- | 0.0 | 522.0 | 783 | 0.3161 |
936
- | 0.0 | 522.6667 | 784 | 0.3173 |
937
- | 0.0 | 523.3333 | 785 | 0.3174 |
938
- | 0.0 | 524.0 | 786 | 0.3186 |
939
- | 0.0 | 524.6667 | 787 | 0.3177 |
940
- | 0.0 | 525.3333 | 788 | 0.3182 |
941
- | 0.0 | 526.0 | 789 | 0.3167 |
942
- | 0.0 | 526.6667 | 790 | 0.3172 |
943
- | 0.0 | 527.3333 | 791 | 0.3180 |
944
- | 0.0 | 528.0 | 792 | 0.3166 |
945
- | 0.0 | 528.6667 | 793 | 0.3177 |
946
- | 0.0 | 529.3333 | 794 | 0.3163 |
947
- | 0.0 | 530.0 | 795 | 0.3175 |
948
- | 0.0 | 530.6667 | 796 | 0.3192 |
949
- | 0.0 | 531.3333 | 797 | 0.3199 |
950
- | 0.0 | 532.0 | 798 | 0.3194 |
951
- | 0.0 | 532.6667 | 799 | 0.3171 |
952
- | 0.0 | 533.3333 | 800 | 0.3178 |
953
- | 0.0 | 534.0 | 801 | 0.3178 |
954
- | 0.0 | 534.6667 | 802 | 0.3170 |
955
- | 0.0 | 535.3333 | 803 | 0.3172 |
956
- | 0.0 | 536.0 | 804 | 0.3199 |
957
- | 0.0 | 536.6667 | 805 | 0.3177 |
958
- | 0.0 | 537.3333 | 806 | 0.3170 |
959
- | 0.0 | 538.0 | 807 | 0.3166 |
960
- | 0.0 | 538.6667 | 808 | 0.3159 |
961
- | 0.0 | 539.3333 | 809 | 0.3177 |
962
- | 0.0 | 540.0 | 810 | 0.3181 |
963
- | 0.0 | 540.6667 | 811 | 0.3184 |
964
- | 0.0 | 541.3333 | 812 | 0.3183 |
965
- | 0.0 | 542.0 | 813 | 0.3175 |
966
- | 0.0 | 542.6667 | 814 | 0.3174 |
967
- | 0.0 | 543.3333 | 815 | 0.3183 |
968
- | 0.0 | 544.0 | 816 | 0.3171 |
969
- | 0.0 | 544.6667 | 817 | 0.3180 |
970
- | 0.0 | 545.3333 | 818 | 0.3200 |
971
- | 0.0 | 546.0 | 819 | 0.3165 |
972
- | 0.0 | 546.6667 | 820 | 0.3168 |
973
- | 0.0 | 547.3333 | 821 | 0.3175 |
974
- | 0.0 | 548.0 | 822 | 0.3173 |
975
- | 0.0 | 548.6667 | 823 | 0.3187 |
976
- | 0.0 | 549.3333 | 824 | 0.3181 |
977
- | 0.0 | 550.0 | 825 | 0.3178 |
978
- | 0.0 | 550.6667 | 826 | 0.3176 |
979
- | 0.0 | 551.3333 | 827 | 0.3191 |
980
- | 0.0 | 552.0 | 828 | 0.3174 |
981
- | 0.0 | 552.6667 | 829 | 0.3178 |
982
- | 0.0 | 553.3333 | 830 | 0.3186 |
983
- | 0.0 | 554.0 | 831 | 0.3167 |
984
- | 0.0 | 554.6667 | 832 | 0.3166 |
985
- | 0.0 | 555.3333 | 833 | 0.3161 |
986
- | 0.0 | 556.0 | 834 | 0.3190 |
987
- | 0.0 | 556.6667 | 835 | 0.3196 |
988
- | 0.0 | 557.3333 | 836 | 0.3190 |
989
- | 0.0 | 558.0 | 837 | 0.3183 |
990
- | 0.0 | 558.6667 | 838 | 0.3178 |
991
- | 0.0 | 559.3333 | 839 | 0.3184 |
992
- | 0.0 | 560.0 | 840 | 0.3164 |
993
- | 0.0 | 560.6667 | 841 | 0.3177 |
994
- | 0.0 | 561.3333 | 842 | 0.3203 |
995
- | 0.0 | 562.0 | 843 | 0.3187 |
996
- | 0.0 | 562.6667 | 844 | 0.3188 |
997
- | 0.0 | 563.3333 | 845 | 0.3179 |
998
- | 0.0 | 564.0 | 846 | 0.3180 |
999
- | 0.0 | 564.6667 | 847 | 0.3178 |
1000
- | 0.0 | 565.3333 | 848 | 0.3168 |
1001
- | 0.0 | 566.0 | 849 | 0.3182 |
1002
- | 0.0 | 566.6667 | 850 | 0.3191 |
1003
- | 0.0 | 567.3333 | 851 | 0.3186 |
1004
- | 0.0 | 568.0 | 852 | 0.3162 |
1005
- | 0.0 | 568.6667 | 853 | 0.3183 |
1006
- | 0.0 | 569.3333 | 854 | 0.3173 |
1007
- | 0.0 | 570.0 | 855 | 0.3193 |
1008
- | 0.0 | 570.6667 | 856 | 0.3193 |
1009
- | 0.0 | 571.3333 | 857 | 0.3180 |
1010
- | 0.0 | 572.0 | 858 | 0.3179 |
1011
- | 0.0 | 572.6667 | 859 | 0.3170 |
1012
- | 0.0 | 573.3333 | 860 | 0.3183 |
1013
- | 0.0 | 574.0 | 861 | 0.3200 |
1014
- | 0.0 | 574.6667 | 862 | 0.3170 |
1015
- | 0.0 | 575.3333 | 863 | 0.3190 |
1016
- | 0.0 | 576.0 | 864 | 0.3178 |
1017
- | 0.0 | 576.6667 | 865 | 0.3183 |
1018
- | 0.0 | 577.3333 | 866 | 0.3183 |
1019
- | 0.0 | 578.0 | 867 | 0.3172 |
1020
- | 0.0 | 578.6667 | 868 | 0.3192 |
1021
- | 0.0 | 579.3333 | 869 | 0.3197 |
1022
- | 0.0 | 580.0 | 870 | 0.3163 |
1023
- | 0.0 | 580.6667 | 871 | 0.3178 |
1024
- | 0.0 | 581.3333 | 872 | 0.3167 |
1025
- | 0.0 | 582.0 | 873 | 0.3196 |
1026
- | 0.0 | 582.6667 | 874 | 0.3188 |
1027
- | 0.0 | 583.3333 | 875 | 0.3181 |
1028
- | 0.0 | 584.0 | 876 | 0.3182 |
1029
- | 0.0 | 584.6667 | 877 | 0.3187 |
1030
- | 0.0 | 585.3333 | 878 | 0.3208 |
1031
- | 0.0 | 586.0 | 879 | 0.3174 |
1032
- | 0.0 | 586.6667 | 880 | 0.3189 |
1033
- | 0.0 | 587.3333 | 881 | 0.3172 |
1034
- | 0.0 | 588.0 | 882 | 0.3187 |
1035
- | 0.0 | 588.6667 | 883 | 0.3177 |
1036
- | 0.0 | 589.3333 | 884 | 0.3179 |
1037
- | 0.0 | 590.0 | 885 | 0.3177 |
1038
- | 0.0 | 590.6667 | 886 | 0.3178 |
1039
- | 0.0 | 591.3333 | 887 | 0.3176 |
1040
- | 0.0 | 592.0 | 888 | 0.3166 |
1041
- | 0.0 | 592.6667 | 889 | 0.3169 |
1042
- | 0.0 | 593.3333 | 890 | 0.3176 |
1043
- | 0.0 | 594.0 | 891 | 0.3183 |
1044
- | 0.0 | 594.6667 | 892 | 0.3176 |
1045
- | 0.0 | 595.3333 | 893 | 0.3194 |
1046
- | 0.0 | 596.0 | 894 | 0.3165 |
1047
- | 0.0 | 596.6667 | 895 | 0.3181 |
1048
- | 0.0 | 597.3333 | 896 | 0.3178 |
1049
- | 0.0 | 598.0 | 897 | 0.3184 |
1050
- | 0.0 | 598.6667 | 898 | 0.3186 |
1051
- | 0.0 | 599.3333 | 899 | 0.3182 |
1052
- | 0.0 | 600.0 | 900 | 0.3177 |
1053
- | 0.0 | 600.6667 | 901 | 0.3197 |
1054
- | 0.0 | 601.3333 | 902 | 0.3163 |
1055
- | 0.0 | 602.0 | 903 | 0.3174 |
1056
- | 0.0 | 602.6667 | 904 | 0.3161 |
1057
- | 0.0 | 603.3333 | 905 | 0.3196 |
1058
- | 0.0 | 604.0 | 906 | 0.3173 |
1059
- | 0.0 | 604.6667 | 907 | 0.3179 |
1060
- | 0.0 | 605.3333 | 908 | 0.3179 |
1061
- | 0.0 | 606.0 | 909 | 0.3194 |
1062
- | 0.0 | 606.6667 | 910 | 0.3177 |
1063
- | 0.0 | 607.3333 | 911 | 0.3176 |
1064
- | 0.0 | 608.0 | 912 | 0.3193 |
1065
- | 0.0 | 608.6667 | 913 | 0.3174 |
1066
- | 0.0 | 609.3333 | 914 | 0.3195 |
1067
- | 0.0 | 610.0 | 915 | 0.3185 |
1068
- | 0.0 | 610.6667 | 916 | 0.3185 |
1069
- | 0.0 | 611.3333 | 917 | 0.3175 |
1070
- | 0.0 | 612.0 | 918 | 0.3185 |
1071
- | 0.0 | 612.6667 | 919 | 0.3183 |
1072
- | 0.0 | 613.3333 | 920 | 0.3179 |
1073
- | 0.0 | 614.0 | 921 | 0.3182 |
1074
- | 0.0 | 614.6667 | 922 | 0.3166 |
1075
- | 0.0 | 615.3333 | 923 | 0.3187 |
1076
- | 0.0 | 616.0 | 924 | 0.3188 |
1077
- | 0.0 | 616.6667 | 925 | 0.3175 |
1078
- | 0.0 | 617.3333 | 926 | 0.3195 |
1079
- | 0.0 | 618.0 | 927 | 0.3183 |
1080
- | 0.0 | 618.6667 | 928 | 0.3176 |
1081
- | 0.0 | 619.3333 | 929 | 0.3168 |
1082
- | 0.0 | 620.0 | 930 | 0.3163 |
1083
- | 0.0 | 620.6667 | 931 | 0.3172 |
1084
- | 0.0 | 621.3333 | 932 | 0.3181 |
1085
- | 0.0 | 622.0 | 933 | 0.3191 |
1086
- | 0.0 | 622.6667 | 934 | 0.3183 |
1087
- | 0.0 | 623.3333 | 935 | 0.3194 |
1088
- | 0.0 | 624.0 | 936 | 0.3197 |
1089
- | 0.0 | 624.6667 | 937 | 0.3186 |
1090
- | 0.0 | 625.3333 | 938 | 0.3179 |
1091
- | 0.0 | 626.0 | 939 | 0.3190 |
1092
- | 0.0 | 626.6667 | 940 | 0.3199 |
1093
- | 0.0 | 627.3333 | 941 | 0.3170 |
1094
- | 0.0 | 628.0 | 942 | 0.3174 |
1095
- | 0.0 | 628.6667 | 943 | 0.3187 |
1096
- | 0.0 | 629.3333 | 944 | 0.3172 |
1097
- | 0.0 | 630.0 | 945 | 0.3167 |
1098
- | 0.0 | 630.6667 | 946 | 0.3168 |
1099
- | 0.0 | 631.3333 | 947 | 0.3176 |
1100
- | 0.0 | 632.0 | 948 | 0.3185 |
1101
- | 0.0 | 632.6667 | 949 | 0.3190 |
1102
- | 0.0 | 633.3333 | 950 | 0.3187 |
1103
- | 0.0 | 634.0 | 951 | 0.3188 |
1104
- | 0.0 | 634.6667 | 952 | 0.3192 |
1105
- | 0.0 | 635.3333 | 953 | 0.3173 |
1106
- | 0.0 | 636.0 | 954 | 0.3196 |
1107
- | 0.0 | 636.6667 | 955 | 0.3190 |
1108
- | 0.0 | 637.3333 | 956 | 0.3197 |
1109
- | 0.0 | 638.0 | 957 | 0.3182 |
1110
- | 0.0 | 638.6667 | 958 | 0.3179 |
1111
- | 0.0 | 639.3333 | 959 | 0.3171 |
1112
- | 0.0 | 640.0 | 960 | 0.3173 |
1113
- | 0.0 | 640.6667 | 961 | 0.3183 |
1114
- | 0.0 | 641.3333 | 962 | 0.3189 |
1115
- | 0.0 | 642.0 | 963 | 0.3187 |
1116
- | 0.0 | 642.6667 | 964 | 0.3182 |
1117
- | 0.0 | 643.3333 | 965 | 0.3188 |
1118
- | 0.0 | 644.0 | 966 | 0.3177 |
1119
- | 0.0 | 644.6667 | 967 | 0.3176 |
1120
- | 0.0 | 645.3333 | 968 | 0.3178 |
1121
- | 0.0 | 646.0 | 969 | 0.3166 |
1122
- | 0.0 | 646.6667 | 970 | 0.3168 |
1123
- | 0.0 | 647.3333 | 971 | 0.3165 |
1124
- | 0.0 | 648.0 | 972 | 0.3163 |
1125
- | 0.0 | 648.6667 | 973 | 0.3169 |
1126
- | 0.0 | 649.3333 | 974 | 0.3172 |
1127
- | 0.0 | 650.0 | 975 | 0.3175 |
1128
- | 0.0 | 650.6667 | 976 | 0.3175 |
1129
- | 0.0 | 651.3333 | 977 | 0.3175 |
1130
- | 0.0 | 652.0 | 978 | 0.3173 |
1131
- | 0.0 | 652.6667 | 979 | 0.3173 |
1132
- | 0.0 | 653.3333 | 980 | 0.3172 |
1133
- | 0.0 | 654.0 | 981 | 0.3172 |
1134
- | 0.0 | 654.6667 | 982 | 0.3172 |
1135
- | 0.0 | 655.3333 | 983 | 0.3172 |
1136
- | 0.0 | 656.0 | 984 | 0.3172 |
1137
- | 0.0 | 656.6667 | 985 | 0.3172 |
1138
- | 0.0 | 657.3333 | 986 | 0.3172 |
1139
- | 0.0 | 658.0 | 987 | 0.3172 |
1140
- | 0.0 | 658.6667 | 988 | 0.3172 |
1141
- | 0.0 | 659.3333 | 989 | 0.3170 |
1142
- | 0.0 | 660.0 | 990 | 0.3172 |
1143
- | 0.0 | 660.6667 | 991 | 0.3172 |
1144
- | 0.0 | 661.3333 | 992 | 0.3172 |
1145
- | 0.0 | 662.0 | 993 | 0.3172 |
1146
- | 0.0 | 662.6667 | 994 | 0.3172 |
1147
- | 0.0 | 663.3333 | 995 | 0.3172 |
1148
- | 0.0 | 664.0 | 996 | 0.3172 |
1149
- | 0.0 | 664.6667 | 997 | 0.3172 |
1150
- | 0.0 | 665.3333 | 998 | 0.3172 |
1151
- | 0.0 | 666.0 | 999 | 0.3172 |
1152
- | 0.0 | 666.6667 | 1000 | 0.3172 |
1153
 
1154
 
1155
  ### Framework versions
 
67
  gradient_accumulation_steps: 4
68
  micro_batch_size: 16
69
  eval_batch_size: 16
70
+ num_epochs: 10
71
  optimizer: adamw_bnb_8bit
72
  lr_scheduler: cosine
73
  learning_rate: 0.0002
 
116
 
117
  This model is a fine-tuned version of [mistralai/Mistral-7B-v0.1](https://huggingface.co/mistralai/Mistral-7B-v0.1) on the None dataset.
118
  It achieves the following results on the evaluation set:
119
+ - Loss: 0.3253
120
 
121
  ## Model description
122
 
 
144
  - optimizer: Adam with betas=(0.9,0.95) and epsilon=1e-05
145
  - lr_scheduler_type: cosine
146
  - lr_scheduler_warmup_steps: 20
147
+ - num_epochs: 10
148
 
149
  ### Training results
150
 
151
+ | Training Loss | Epoch | Step | Validation Loss |
152
+ |:-------------:|:------:|:----:|:---------------:|
153
+ | 1.334 | 0.6667 | 1 | 1.2849 |
154
+ | 1.3476 | 1.3333 | 2 | 1.2762 |
155
+ | 1.2977 | 2.0 | 3 | 1.2492 |
156
+ | 1.3157 | 2.6667 | 4 | 1.1859 |
157
+ | 1.1755 | 3.3333 | 5 | 1.0709 |
158
+ | 1.1377 | 4.0 | 6 | 0.9092 |
159
+ | 0.9404 | 4.6667 | 7 | 0.7201 |
160
+ | 0.7404 | 5.3333 | 8 | 0.5605 |
161
+ | 0.5547 | 6.0 | 9 | 0.4305 |
162
+ | 0.4057 | 6.6667 | 10 | 0.3253 |
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
163
 
164
 
165
  ### Framework versions