Hugging Face's logo

kreas
/
FA_benchmarks

Model card Files Community
kreas commited on
Commit
12f25ac
•
1 Parent(s): db08648

Upload /Llama-2-13b-hf/fp4_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json with huggingface_hub

Browse files
Files changed (1) hide show
  1. Llama-2-13b-hf/fp4_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json +376 -376
Llama-2-13b-hf/fp4_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json CHANGED
@@ -2,141 +2,141 @@
2
  "prefill": {
3
  "memory": {
4
  "unit": "MB",
5
- "max_ram": 1040.412672,
6
  "max_vram": 8359.247872,
7
  "max_reserved": 7874.80576,
8
  "max_allocated": 7776.413184
9
  },
10
  "latency": {
11
  "unit": "s",
12
- "mean": 0.08359146785736085,
13
- "stdev": 0.0003168160271875822,
14
  "values": [
15
- 0.08683526611328125,
16
- 0.08383897399902343,
17
- 0.08395785522460937,
18
- 0.08395468902587891,
19
- 0.08392806243896485,
20
- 0.08374681854248046,
21
- 0.08348365020751954,
22
- 0.08350617980957031,
23
- 0.08352767944335937,
24
- 0.0835389404296875,
25
- 0.08349388885498046,
26
- 0.08330547332763671,
27
- 0.08352476501464844,
28
- 0.08337407684326172,
 
 
 
 
 
 
29
  0.08358809661865234,
30
- 0.08357683563232422,
31
- 0.08349696350097656,
32
- 0.08338636779785157,
33
- 0.08351757049560547,
34
- 0.08328102111816406,
35
- 0.083557373046875,
36
- 0.0834150390625,
37
- 0.08355328369140624,
38
- 0.0834897918701172,
39
- 0.08355840301513671,
40
- 0.08347241973876954,
41
- 0.08351948547363282,
42
- 0.08340275573730468,
 
 
 
 
43
  0.08354918670654297,
44
- 0.08337612915039062,
45
- 0.08370687866210938,
46
- 0.08353177642822265,
47
- 0.08353075408935547,
48
- 0.08354415893554687,
49
- 0.08349286651611328,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
50
  0.08354303741455078,
51
- 0.08346112060546874,
52
- 0.08360140991210938,
53
- 0.083525634765625,
54
  0.0836157455444336,
55
- 0.08351948547363282,
56
- 0.08360652923583985,
57
- 0.08336486053466798,
58
- 0.08361369323730469,
59
- 0.0834150390625,
 
 
60
  0.08355430603027343,
61
- 0.08352767944335937,
62
- 0.08360243225097656,
63
- 0.08346214294433593,
64
- 0.08346623992919922,
65
- 0.08349900817871093,
 
 
 
 
 
66
  0.08363212585449219,
67
- 0.08352051544189452,
68
- 0.08367513275146485,
69
- 0.0834672622680664,
70
- 0.08364543914794922,
71
- 0.08342937469482421,
72
- 0.08361984252929687,
73
- 0.08352460479736327,
74
- 0.08361062622070313,
75
- 0.08352665710449218,
76
- 0.08359219360351562,
77
- 0.08350208282470703,
78
- 0.08358624267578126,
79
- 0.08351129913330078,
80
- 0.08362290954589843,
81
- 0.08356147003173828,
82
- 0.08361369323730469,
83
- 0.08354611206054688,
84
- 0.08366899108886719,
85
- 0.08349491119384765,
86
- 0.08363827514648438,
87
- 0.08353997039794922,
88
- 0.08369356536865234,
89
- 0.083346435546875,
90
- 0.0835962905883789,
91
- 0.08361369323730469,
92
- 0.08360652923583985,
93
- 0.08347955322265625,
94
- 0.08356249237060547,
95
- 0.0835758056640625,
96
- 0.08359219360351562,
97
  0.0835962905883789,
98
- 0.08353587341308594,
99
- 0.08360870361328125,
100
- 0.083525634765625,
101
- 0.08362188720703125,
102
- 0.08359219360351562,
103
  0.08364031982421875,
104
- 0.08353791809082031,
105
- 0.08360140991210938,
106
- 0.08339353942871094,
107
- 0.08354713439941407,
108
- 0.08360857391357422,
109
- 0.08356454467773437,
110
- 0.083557373046875,
111
- 0.08356864166259766,
112
- 0.08348377227783203,
113
- 0.08361676788330077,
114
- 0.08360038757324219,
115
  0.08362188720703125,
116
- 0.08355123138427735,
117
- 0.08360550689697266,
118
- 0.08351948547363282,
119
- 0.08361369323730469,
120
- 0.08356966400146484,
121
- 0.08360959625244141,
122
- 0.08357478332519531,
123
- 0.08351948547363282,
124
- 0.08359526062011718,
125
- 0.08355328369140624,
126
- 0.08358399963378907,
127
- 0.08374169921875,
128
- 0.08360959625244141,
129
- 0.08370585632324219,
130
- 0.08384614562988281,
131
- 0.08362700653076172,
132
- 0.08367820739746094,
133
- 0.08360550689697266,
134
- 0.08350514984130859
135
  ]
136
  },
137
  "throughput": {
138
  "unit": "tokens/s",
139
- "value": 3062.5135143796533
140
  },
141
  "energy": null,
142
  "efficiency": null
@@ -144,22 +144,22 @@
144
  "decode": {
145
  "memory": {
146
  "unit": "MB",
147
- "max_ram": 1040.412672,
148
  "max_vram": 9105.833984,
149
  "max_reserved": 8621.391872,
150
- "max_allocated": 8484.93824
151
  },
152
  "latency": {
153
  "unit": "s",
154
- "mean": 10.627742668151864,
155
  "stdev": 0,
156
  "values": [
157
- 10.627742668151864
158
  ]
159
  },
160
  "throughput": {
161
  "unit": "tokens/s",
162
- "value": 23.993806395421863
163
  },
164
  "energy": null,
165
  "efficiency": null
@@ -168,269 +168,269 @@
168
  "memory": null,
169
  "latency": {
170
  "unit": "s",
171
- "mean": 0.041677422228046525,
172
- "stdev": 0.0012397732588279448,
173
  "values": [
174
- 0.04167164611816406,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
175
  0.042102783203125,
176
- 0.0420055046081543,
177
- 0.04145151901245117,
178
- 0.041191425323486325,
179
- 0.04131737518310547,
180
- 0.04123136138916016,
181
- 0.04142710494995117,
182
- 0.04152918243408203,
183
- 0.041420799255371094,
184
- 0.041488384246826174,
185
- 0.041543678283691404,
186
- 0.04138905715942383,
187
- 0.041818111419677735,
188
- 0.04131020736694336,
189
- 0.04139116668701172,
190
- 0.04164499282836914,
191
- 0.04136140823364258,
192
- 0.04150476837158203,
193
- 0.04135935974121094,
194
- 0.04147814559936523,
195
- 0.04135935974121094,
196
- 0.04153964614868164,
197
- 0.0413337287902832,
198
- 0.04142179107666016,
199
- 0.04132761764526367,
200
- 0.04142489624023438,
201
- 0.04138905715942383,
202
- 0.041338878631591795,
203
- 0.04162563323974609,
204
- 0.0413337287902832,
205
- 0.04134092712402344,
206
- 0.04127948760986328,
207
- 0.04148019027709961,
208
- 0.041409534454345705,
209
- 0.04124684906005859,
210
- 0.04147494506835937,
211
- 0.04141260910034179,
212
- 0.04144025421142578,
213
- 0.04137881469726563,
214
- 0.04145151901245117,
215
- 0.04148019027709961,
216
- 0.04151398468017578,
217
- 0.04123545455932617,
218
- 0.04150374221801758,
219
- 0.04131024169921875,
220
- 0.04148937606811524,
221
- 0.04153958511352539,
222
- 0.041419776916503906,
223
- 0.04144844818115234,
224
- 0.04202905654907227,
225
- 0.04156620788574219,
226
- 0.041452545166015625,
227
- 0.04154880142211914,
228
- 0.0415098876953125,
229
- 0.04137881469726563,
230
- 0.041576446533203124,
231
- 0.0413941764831543,
232
- 0.041322494506835936,
233
- 0.04136140823364258,
234
- 0.041411582946777346,
235
- 0.041336830139160154,
236
- 0.04154265594482422,
237
- 0.04140236663818359,
238
- 0.04135628890991211,
239
- 0.0413757438659668,
240
- 0.04136038589477539,
241
- 0.04141363143920898,
242
- 0.04146278381347656,
243
- 0.041279518127441406,
244
- 0.04157027053833008,
245
- 0.041524223327636715,
246
- 0.041562110900878906,
247
- 0.04135935974121094,
248
- 0.041441280364990236,
249
- 0.04146995162963867,
250
- 0.04131430435180664,
251
- 0.04137472152709961,
252
- 0.04149964904785156,
253
- 0.04145459365844727,
254
- 0.04140236663818359,
255
- 0.041495582580566404,
256
- 0.04150780868530273,
257
- 0.04149673461914063,
258
- 0.04136636734008789,
259
- 0.04160720062255859,
260
- 0.041773025512695315,
261
- 0.041404415130615234,
262
- 0.041474048614501956,
263
- 0.041565185546875,
264
- 0.04143820953369141,
265
- 0.041468929290771485,
266
- 0.041299968719482424,
267
- 0.041422847747802735,
268
- 0.04123955154418945,
269
- 0.04147711944580078,
270
- 0.04130508804321289,
271
- 0.04152041625976562,
272
- 0.04150140762329101,
273
- 0.04227993774414063,
274
- 0.04153958511352539,
275
- 0.04153855895996094,
276
- 0.041431041717529295,
277
- 0.04143308639526367,
278
- 0.04128255844116211,
279
- 0.04138086318969727,
280
- 0.041166847229003906,
281
- 0.041262081146240234,
282
- 0.041567230224609376,
283
- 0.041502975463867185,
284
- 0.04141337585449219,
285
- 0.041924606323242186,
286
- 0.041352191925048826,
287
- 0.041439231872558595,
288
- 0.04144025421142578,
289
- 0.041335807800292966,
290
- 0.04135424041748047,
291
- 0.041588737487792966,
292
- 0.04134707260131836,
293
- 0.04145459365844727,
294
- 0.04140851211547852,
295
- 0.041332736968994144,
296
- 0.041470977783203126,
297
- 0.04137779235839844,
298
- 0.04135833740234375,
299
- 0.0412149772644043,
300
- 0.04135321426391601,
301
- 0.04133478546142578,
302
- 0.04139212799072266,
303
- 0.04152524948120117,
304
- 0.04153855895996094,
305
- 0.04152323150634766,
306
- 0.041465824127197265,
307
- 0.04138598251342773,
308
- 0.041596927642822266,
309
- 0.04160921478271484,
310
- 0.04134195327758789,
311
- 0.04149760055541992,
312
- 0.041506816864013675,
313
- 0.041171966552734376,
314
- 0.041376766204833985,
315
- 0.04130303955078125,
316
- 0.041485313415527345,
317
- 0.04133171081542969,
318
- 0.04147609710693359,
319
- 0.04129587173461914,
320
- 0.04152115249633789,
321
- 0.04149769592285156,
322
- 0.041712543487548825,
323
- 0.04134627151489258,
324
- 0.04153833770751953,
325
- 0.041565185546875,
326
- 0.041336830139160154,
327
- 0.04177305603027344,
328
  0.04197273635864258,
329
- 0.04155295944213867,
330
- 0.041364414215087894,
331
- 0.041474048614501956,
332
- 0.04139212799072266,
333
- 0.042019840240478515,
334
- 0.041366527557373044,
335
- 0.04149760055541992,
336
- 0.04135116958618164,
337
- 0.04129075241088867,
338
- 0.04142489624023438,
339
- 0.04135833740234375,
340
- 0.04156927871704102,
341
- 0.04133785629272461,
342
- 0.04155084609985352,
343
- 0.046461952209472655,
344
- 0.04880588912963867,
345
- 0.04842803192138672,
346
- 0.04739276885986328,
347
- 0.04712140655517578,
348
- 0.04693503952026367,
349
- 0.04720025634765625,
350
- 0.04616191864013672,
351
- 0.043786239624023435,
352
- 0.04301311874389648,
353
- 0.045399040222167966,
354
- 0.050776065826416014,
355
- 0.043940864562988284,
356
- 0.041614334106445314,
357
- 0.041376766204833985,
358
- 0.041444351196289066,
359
- 0.04132352066040039,
360
- 0.04131737518310547,
361
- 0.041277599334716794,
362
- 0.04122812652587891,
363
- 0.041248767852783204,
364
- 0.0413829116821289,
365
- 0.04146585464477539,
366
- 0.04129075241088867,
367
- 0.04157440185546875,
368
- 0.04157132720947266,
369
- 0.04169625473022461,
370
- 0.04134297561645508,
371
- 0.04142899322509765,
372
- 0.04124671936035156,
373
- 0.04134707260131836,
374
- 0.041422847747802735,
375
- 0.0411412467956543,
376
- 0.0415365104675293,
377
- 0.04128684616088867,
378
- 0.04138374328613281,
379
- 0.04112691116333008,
380
- 0.04149248123168945,
381
- 0.04140851211547852,
382
- 0.04108595275878906,
383
- 0.041388031005859374,
384
- 0.04128255844116211,
385
- 0.04140057754516602,
386
- 0.041223934173583984,
387
- 0.04111974334716797,
388
- 0.04141363143920898,
389
- 0.04128460693359375,
390
- 0.04168806457519531,
391
- 0.041196544647216796,
392
- 0.041545726776123046,
393
- 0.04132147216796875,
394
- 0.04140236663818359,
395
- 0.0413040657043457,
396
- 0.041218048095703126,
397
- 0.04111667251586914,
398
- 0.04108902359008789,
399
- 0.04108595275878906,
400
- 0.04117708969116211,
401
- 0.04120064163208008,
402
- 0.04139622497558594,
403
- 0.04127449417114258,
404
- 0.04130086517333984,
405
- 0.04131532669067383,
406
- 0.04116070556640625,
407
- 0.04123852920532227,
408
- 0.04122623825073242,
409
- 0.041095169067382815,
410
- 0.04112384033203125,
411
- 0.04123555374145508,
412
- 0.041143199920654294,
413
- 0.04131532669067383,
414
- 0.04128768157958984,
415
- 0.041073665618896485,
416
- 0.041371646881103515,
417
- 0.04150271987915039,
418
- 0.041594879150390625,
419
- 0.04117913436889648,
420
- 0.04128255844116211,
421
- 0.041371646881103515,
422
- 0.04132761764526367,
423
- 0.04136345672607422,
424
- 0.041285633087158206,
425
- 0.04130815887451172,
426
- 0.04104806518554688,
427
- 0.041336830139160154,
428
- 0.04110745620727539
429
  ]
430
  },
431
  "throughput": {
432
  "unit": "tokens/s",
433
- "value": 23.993806395421863
434
  },
435
  "energy": null,
436
  "efficiency": null
 
2
  "prefill": {
3
  "memory": {
4
  "unit": "MB",
5
+ "max_ram": 1019.363328,
6
  "max_vram": 8359.247872,
7
  "max_reserved": 7874.80576,
8
  "max_allocated": 7776.413184
9
  },
10
  "latency": {
11
  "unit": "s",
12
+ "mean": 0.0836540125528971,
13
+ "stdev": 0.0004950226120967272,
14
  "values": [
15
+ 0.08893036651611329,
16
+ 0.08383487701416016,
17
+ 0.08396697235107421,
18
+ 0.08398339080810546,
19
+ 0.08404889678955078,
20
+ 0.08359935760498047,
21
+ 0.08343449401855468,
22
+ 0.08351436614990235,
23
+ 0.08349900817871093,
24
+ 0.08351744079589844,
25
+ 0.08353997039794922,
26
+ 0.08338739013671875,
27
+ 0.08361779022216796,
28
+ 0.08342221069335938,
29
+ 0.08357478332519531,
30
+ 0.08358911895751953,
31
+ 0.08355020904541016,
32
+ 0.08342745971679688,
33
+ 0.08355532836914062,
34
+ 0.08364543914794922,
35
  0.08358809661865234,
36
+ 0.08351026916503906,
37
+ 0.08358399963378907,
38
+ 0.08349388885498046,
39
+ 0.08360038757324219,
40
+ 0.08353596496582032,
41
+ 0.0835962905883789,
42
+ 0.08343961334228515,
43
+ 0.08357695770263672,
44
+ 0.08344064331054687,
45
+ 0.08356352233886719,
46
+ 0.08356668853759766,
47
+ 0.08362290954589843,
48
+ 0.08362496185302734,
49
+ 0.08355532836914062,
50
+ 0.08358502197265626,
51
+ 0.08353587341308594,
52
+ 0.08366284942626953,
53
  0.08354918670654297,
54
+ 0.08366284942626953,
55
+ 0.08356658935546875,
56
+ 0.08366182708740234,
57
+ 0.08340377807617187,
58
+ 0.08363724517822266,
59
+ 0.08350003051757812,
60
+ 0.08364031982421875,
61
+ 0.08361676788330077,
62
+ 0.08365055847167968,
63
+ 0.08357785797119141,
64
+ 0.08353401947021484,
65
+ 0.08356364440917968,
66
+ 0.08372940826416016,
67
+ 0.08352460479736327,
68
+ 0.08373350524902344,
69
+ 0.08351846313476563,
70
+ 0.08370893096923829,
71
+ 0.08348467254638672,
72
+ 0.08371302032470704,
73
+ 0.0835563507080078,
74
+ 0.0836648941040039,
75
+ 0.08359321594238281,
76
+ 0.0836648941040039,
77
+ 0.08353485107421875,
78
+ 0.0836157455444336,
79
+ 0.08360550689697266,
80
+ 0.0836659164428711,
81
+ 0.08361164855957032,
82
+ 0.0836495361328125,
83
+ 0.083557373046875,
84
+ 0.08371916961669922,
85
+ 0.08353791809082031,
86
+ 0.08374374389648437,
87
+ 0.08362393951416015,
88
+ 0.08375296020507812,
89
+ 0.08338739013671875,
90
+ 0.08369459533691406,
91
+ 0.08367308807373047,
92
+ 0.08367001342773438,
93
  0.08354303741455078,
94
+ 0.08365475463867188,
95
+ 0.08365567779541015,
 
96
  0.0836157455444336,
97
+ 0.08364351654052735,
98
+ 0.08361488342285156,
99
+ 0.08365158081054687,
100
+ 0.08356470489501953,
101
+ 0.08364543914794922,
102
+ 0.08368128204345703,
103
+ 0.08365773010253906,
104
  0.08355430603027343,
105
+ 0.08367922973632813,
106
+ 0.08345906829833985,
107
+ 0.08357785797119141,
108
+ 0.08364441680908204,
109
+ 0.08360467529296875,
110
+ 0.08360140991210938,
111
+ 0.08359117126464843,
112
+ 0.08353177642822265,
113
+ 0.0836659164428711,
114
+ 0.08361164855957032,
115
  0.08363212585449219,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
116
  0.0835962905883789,
 
 
 
 
 
117
  0.08364031982421875,
118
+ 0.08354611206054688,
119
+ 0.08392092895507812,
120
+ 0.08359833526611328,
121
+ 0.08363827514648438,
122
+ 0.08354508972167969,
123
+ 0.08355020904541016,
124
+ 0.08361881256103515,
125
+ 0.0835788803100586,
126
+ 0.08365670776367187,
127
+ 0.08373043060302734,
 
128
  0.08362188720703125,
129
+ 0.08371302032470704,
130
+ 0.08370381164550782,
131
+ 0.08365875244140625,
132
+ 0.08364134216308594,
133
+ 0.08365773010253906,
134
+ 0.08356044769287109
 
 
 
 
 
 
 
 
 
 
 
 
 
135
  ]
136
  },
137
  "throughput": {
138
  "unit": "tokens/s",
139
+ "value": 3060.2237978497806
140
  },
141
  "energy": null,
142
  "efficiency": null
 
144
  "decode": {
145
  "memory": {
146
  "unit": "MB",
147
+ "max_ram": 1019.363328,
148
  "max_vram": 9105.833984,
149
  "max_reserved": 8621.391872,
150
+ "max_allocated": 8484.938752
151
  },
152
  "latency": {
153
  "unit": "s",
154
+ "mean": 10.723862522125254,
155
  "stdev": 0,
156
  "values": [
157
+ 10.723862522125254
158
  ]
159
  },
160
  "throughput": {
161
  "unit": "tokens/s",
162
+ "value": 23.77874571535109
163
  },
164
  "energy": null,
165
  "efficiency": null
 
168
  "memory": null,
169
  "latency": {
170
  "unit": "s",
171
+ "mean": 0.04205436283186374,
172
+ "stdev": 0.00016867759279344603,
173
  "values": [
174
+ 0.04243769454956055,
175
+ 0.04276249694824219,
176
+ 0.041958080291748044,
177
+ 0.04204054260253906,
178
+ 0.041990238189697264,
179
+ 0.042020542144775394,
180
+ 0.04208639907836914,
181
+ 0.0421163215637207,
182
+ 0.04202883148193359,
183
+ 0.04214281463623047,
184
+ 0.04195625686645508,
185
+ 0.042035263061523435,
186
+ 0.042060928344726564,
187
+ 0.04195644760131836,
188
+ 0.04194915390014648,
189
+ 0.04201446533203125,
190
+ 0.041931007385253904,
191
+ 0.04209231948852539,
192
+ 0.041755870819091795,
193
+ 0.04209126281738281,
194
+ 0.041973758697509765,
195
+ 0.04218572616577149,
196
+ 0.04186636734008789,
197
+ 0.04215411376953125,
198
+ 0.04221721649169922,
199
+ 0.04212940979003906,
200
+ 0.04205267333984375,
201
+ 0.042124225616455076,
202
+ 0.04215193557739258,
203
+ 0.04208947372436524,
204
+ 0.04196044921875,
205
+ 0.04206611251831055,
206
+ 0.04249375915527344,
207
+ 0.04209971237182617,
208
+ 0.04207430267333984,
209
+ 0.041922367095947266,
210
+ 0.04214886474609375,
211
+ 0.042041534423828124,
212
+ 0.04205065536499023,
213
+ 0.04199497604370117,
214
+ 0.04206003189086914,
215
+ 0.0419480972290039,
216
+ 0.04211692810058594,
217
+ 0.04226764678955078,
218
+ 0.04206796646118164,
219
+ 0.042092544555664066,
220
+ 0.042011646270751955,
221
+ 0.04193075180053711,
222
+ 0.04185190582275391,
223
+ 0.04216947174072266,
224
+ 0.0418917121887207,
225
+ 0.04214681625366211,
226
+ 0.04191971206665039,
227
+ 0.04193974304199219,
228
+ 0.04192051315307617,
229
+ 0.04207820892333984,
230
+ 0.04203747177124023,
231
+ 0.04211606216430664,
232
+ 0.04280710220336914,
233
+ 0.04209868621826172,
234
+ 0.04174540710449219,
235
+ 0.041919486999511715,
236
+ 0.04193484878540039,
237
+ 0.0419317741394043,
238
+ 0.04189184188842773,
239
+ 0.04213862228393555,
240
+ 0.04188678359985352,
241
+ 0.041958335876464845,
242
+ 0.042090496063232424,
243
+ 0.042049537658691405,
244
+ 0.042033153533935545,
245
+ 0.04197273635864258,
246
+ 0.04207206344604492,
247
+ 0.04225024032592774,
248
+ 0.04209664154052734,
249
+ 0.04206003189086914,
250
+ 0.04214246368408203,
251
+ 0.042234878540039066,
252
+ 0.04206700897216797,
253
+ 0.04203411102294922,
254
+ 0.04239974212646484,
255
+ 0.04236288070678711,
256
+ 0.042031105041503904,
257
+ 0.04196147155761719,
258
+ 0.04199321746826172,
259
+ 0.04216012954711914,
260
+ 0.042221569061279295,
261
+ 0.04207132720947265,
262
+ 0.04227350234985352,
263
+ 0.04233830261230469,
264
+ 0.04214374542236328,
265
+ 0.04254719924926758,
266
+ 0.041981952667236325,
267
+ 0.04189081573486328,
268
+ 0.041973758697509765,
269
+ 0.04208537673950195,
270
+ 0.04187443161010742,
271
+ 0.04192972946166992,
272
+ 0.04190617752075195,
273
+ 0.04196249771118164,
274
+ 0.04190003204345703,
275
+ 0.04210905456542969,
276
+ 0.04186304092407227,
277
+ 0.04199423980712891,
278
+ 0.04184371185302734,
279
+ 0.04199731063842774,
280
+ 0.04178841781616211,
281
+ 0.04206489562988281,
282
+ 0.04204339218139649,
283
+ 0.042052608489990234,
284
+ 0.041801727294921875,
285
+ 0.04189798355102539,
286
+ 0.041880577087402344,
287
+ 0.04199731063842774,
288
+ 0.04173030471801758,
289
+ 0.041860862731933596,
290
+ 0.0419288330078125,
291
+ 0.04200128173828125,
292
+ 0.041987071990966796,
293
+ 0.0420118408203125,
294
+ 0.04192748641967774,
295
+ 0.04208947372436524,
296
+ 0.041902080535888675,
297
+ 0.042021888732910156,
298
+ 0.042103809356689455,
299
+ 0.04203519821166992,
300
+ 0.04205567932128906,
301
+ 0.04191641616821289,
302
+ 0.04273664093017578,
303
  0.042102783203125,
304
+ 0.042071041107177735,
305
+ 0.04190851211547852,
306
+ 0.041956062316894534,
307
+ 0.041990142822265625,
308
+ 0.04193382263183594,
309
+ 0.04182425689697265,
310
+ 0.042016769409179686,
311
+ 0.042310657501220705,
312
+ 0.04207308959960938,
313
+ 0.04248166275024414,
314
+ 0.04210483169555664,
315
+ 0.042229793548583985,
316
+ 0.04196063995361328,
317
+ 0.04214163208007812,
318
+ 0.04209648132324219,
319
+ 0.042145790100097655,
320
+ 0.04211199951171875,
321
+ 0.04187977600097656,
322
+ 0.042318782806396484,
323
+ 0.0418240966796875,
324
+ 0.04203519821166992,
325
+ 0.042076160430908206,
326
+ 0.042164222717285156,
327
+ 0.042310657501220705,
328
+ 0.04257382583618164,
329
+ 0.04201372909545899,
330
+ 0.04203414535522461,
331
+ 0.04188159942626953,
332
+ 0.04205363082885742,
333
+ 0.04189811325073242,
334
+ 0.041983871459960936,
335
+ 0.04196249771118164,
336
+ 0.04201267242431641,
337
+ 0.041931041717529295,
338
+ 0.04218751907348633,
339
+ 0.04189081573486328,
340
+ 0.04189487838745117,
341
+ 0.041973758697509765,
342
+ 0.04204646301269531,
343
+ 0.04222777557373047,
344
+ 0.04200646209716797,
345
+ 0.04234550476074219,
346
+ 0.042064865112304686,
347
+ 0.04199423980712891,
348
+ 0.041970687866210936,
349
+ 0.04220415878295898,
350
+ 0.042650688171386716,
351
+ 0.04211523056030273,
352
+ 0.042135326385498044,
353
+ 0.042028030395507815,
354
+ 0.04226559829711914,
355
+ 0.04201881790161133,
356
+ 0.042008575439453126,
357
+ 0.042028030395507815,
358
+ 0.04200681686401367,
359
+ 0.041908958435058596,
360
+ 0.04208230209350586,
361
+ 0.04252979278564453,
362
+ 0.04196556854248047,
363
+ 0.04192998504638672,
364
+ 0.042114814758300784,
365
+ 0.042188800811767575,
366
+ 0.042016769409179686,
367
+ 0.042434558868408204,
368
+ 0.04198092651367188,
369
+ 0.041879745483398435,
370
+ 0.04222137451171875,
371
+ 0.04189491271972656,
372
+ 0.04216960144042969,
373
+ 0.04200115203857422,
374
+ 0.04220134353637695,
375
+ 0.04171772766113281,
376
+ 0.04197891235351563,
377
+ 0.04201548767089844,
378
+ 0.042052608489990234,
379
+ 0.04190617752075195,
380
+ 0.04195532989501953,
381
+ 0.04198092651367188,
382
+ 0.04211711883544922,
383
+ 0.041826305389404295,
384
+ 0.04204339218139649,
385
+ 0.041989345550537106,
386
+ 0.04184963226318359,
387
+ 0.04198092651367188,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
388
  0.04197273635864258,
389
+ 0.041902080535888675,
390
+ 0.04210300827026367,
391
+ 0.04187625503540039,
392
+ 0.041801727294921875,
393
+ 0.04195942306518555,
394
+ 0.04183369445800781,
395
+ 0.041998336791992184,
396
+ 0.04205033493041992,
397
+ 0.04211609649658203,
398
+ 0.04238438415527344,
399
+ 0.042060001373291016,
400
+ 0.04198070526123047,
401
+ 0.042102783203125,
402
+ 0.042092544555664066,
403
+ 0.042151966094970704,
404
+ 0.04178531265258789,
405
+ 0.04196147155761719,
406
+ 0.04178025436401367,
407
+ 0.04200649642944336,
408
+ 0.04227276611328125,
409
+ 0.042343425750732425,
410
+ 0.041955486297607425,
411
+ 0.0421069450378418,
412
+ 0.04194793701171875,
413
+ 0.042175487518310545,
414
+ 0.041864192962646485,
415
+ 0.04201881790161133,
416
+ 0.04206716918945313,
417
+ 0.04197788619995117,
418
+ 0.041975551605224606,
419
+ 0.04206911849975586,
420
+ 0.04215692901611328,
421
+ 0.042033153533935545,
422
+ 0.04213043212890625,
423
+ 0.042202110290527346,
424
+ 0.04206182479858398,
425
+ 0.04206502532958984,
426
+ 0.04209360122680664,
427
+ 0.042119007110595706,
428
+ 0.042033153533935545
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
429
  ]
430
  },
431
  "throughput": {
432
  "unit": "tokens/s",
433
+ "value": 23.77874571535109
434
  },
435
  "energy": null,
436
  "efficiency": null