Hugging Face's logo

kreas
/
FA_benchmarks

Model card Files Community
kreas commited on
Commit
770b762
•
1 Parent(s): 91d363b

Upload /Llama-2-13b-hf/int8_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json with huggingface_hub

Browse files
Files changed (1) hide show
  1. Llama-2-13b-hf/int8_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json +391 -391
Llama-2-13b-hf/int8_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json CHANGED
@@ -2,147 +2,147 @@
2
  "prefill": {
3
  "memory": {
4
  "unit": "MB",
5
- "max_ram": 1041.276928,
6
  "max_vram": 14522.7776,
7
  "max_reserved": 14029.94688,
8
  "max_allocated": 13954.652672
9
  },
10
  "latency": {
11
  "unit": "s",
12
- "mean": 0.07958155398898656,
13
- "stdev": 0.0009138226668875471,
14
  "values": [
15
- 0.08430230712890625,
16
- 0.08248524475097656,
17
- 0.08187494659423829,
18
- 0.08749874877929688,
19
- 0.07965388488769531,
20
- 0.07932313537597656,
21
- 0.07968665313720703,
22
- 0.07956275177001954,
23
- 0.07960169219970703,
24
- 0.07977471923828125,
25
- 0.07971942138671875,
26
- 0.07953305816650391,
27
- 0.07949005126953125,
28
- 0.07920845031738281,
29
- 0.07940608215332032,
30
- 0.07938047790527344,
31
- 0.07988735961914062,
32
- 0.07939788818359375,
33
- 0.0798054428100586,
34
- 0.0796600341796875,
35
- 0.07961609649658204,
36
- 0.07959059143066406,
37
- 0.07961190032958984,
38
- 0.0795832290649414,
39
- 0.07932825469970703,
40
- 0.07925965118408203,
41
- 0.07929138946533203,
42
- 0.07948902130126953,
43
- 0.07947264099121094,
44
- 0.07950233459472657,
45
- 0.07943679809570313,
46
- 0.07938662719726562,
47
- 0.07951974487304687,
48
- 0.07955865478515625,
49
- 0.0796049575805664,
50
- 0.07994572448730469,
51
- 0.07951769256591797,
52
- 0.0794419174194336,
53
- 0.07928627014160156,
54
- 0.07946240234375,
55
- 0.07945420837402344,
56
- 0.07990067291259766,
57
- 0.07939071655273437,
58
- 0.07948492431640625,
59
- 0.07947980499267578,
60
- 0.07966719818115234,
61
- 0.07946463775634766,
62
- 0.07955455780029297,
63
- 0.07940505981445313,
64
- 0.07941120147705077,
65
- 0.07944499206542968,
66
- 0.07950540924072266,
67
- 0.07932825469970703,
68
- 0.07941120147705077,
69
- 0.07943577575683594,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
70
  0.07934054565429688,
71
- 0.07943270111083985,
72
- 0.07930368041992188,
73
- 0.07940300750732422,
74
- 0.07925555419921874,
75
- 0.07984333038330078,
76
- 0.07948902130126953,
77
- 0.0793364486694336,
78
- 0.079329345703125,
79
- 0.0793855972290039,
80
- 0.079425537109375,
81
- 0.07955353546142578,
82
- 0.07921151733398438,
83
- 0.07921663665771485,
84
- 0.07935590362548828,
85
- 0.07949517059326172,
86
- 0.07944806671142578,
87
- 0.07896063995361328,
88
- 0.07923814392089844,
89
- 0.07918080139160157,
90
- 0.07926681518554687,
91
- 0.0792248306274414,
92
- 0.07914086151123047,
93
- 0.07947468566894532,
94
- 0.0792074203491211,
95
- 0.0794224624633789,
96
- 0.07924018859863281,
97
- 0.07938976287841797,
98
- 0.07939993286132813,
99
- 0.07939071655273437,
100
- 0.07945523071289062,
101
- 0.0798545913696289,
102
- 0.07955455780029297,
103
- 0.07916134643554687,
104
- 0.0793169937133789,
105
- 0.07929344177246093,
106
- 0.07943065643310547,
107
- 0.07970214080810546,
108
- 0.07957504272460937,
109
- 0.0793364486694336,
110
- 0.07951360321044922,
111
- 0.07940198516845703,
112
  0.07918694305419922,
113
- 0.07916031646728515,
114
- 0.07951667022705078,
115
- 0.07941529846191406,
116
- 0.07922380828857421,
117
- 0.07938355255126953,
118
- 0.07930879974365235,
119
- 0.07947673797607421,
120
- 0.07936316680908204,
121
- 0.07918489837646485,
122
- 0.07923916625976563,
123
- 0.07955661010742188,
124
- 0.07933849334716797,
125
- 0.07938764953613281,
126
- 0.0798760986328125,
127
- 0.07915827178955079,
128
- 0.07928934478759765,
129
- 0.07933235168457031,
130
- 0.07937229156494141,
131
- 0.07932313537597656,
132
- 0.07978291320800782,
133
- 0.07941840362548828,
134
- 0.0791910400390625,
135
- 0.07937638092041016,
136
- 0.07940402984619141,
137
- 0.07953715515136718,
138
- 0.07942655944824219,
139
- 0.07941426849365234,
140
- 0.0791756820678711
141
  ]
142
  },
143
  "throughput": {
144
  "unit": "tokens/s",
145
- "value": 3216.825849309607
146
  },
147
  "energy": null,
148
  "efficiency": null
@@ -150,22 +150,22 @@
150
  "decode": {
151
  "memory": {
152
  "unit": "MB",
153
- "max_ram": 1041.276928,
154
  "max_vram": 15311.306752,
155
  "max_reserved": 14818.476032,
156
- "max_allocated": 14774.906368
157
  },
158
  "latency": {
159
  "unit": "s",
160
- "mean": 20.578271308898923,
161
  "stdev": 0,
162
  "values": [
163
- 20.578271308898923
164
  ]
165
  },
166
  "throughput": {
167
  "unit": "tokens/s",
168
- "value": 12.39171144029611
169
  },
170
  "energy": null,
171
  "efficiency": null
@@ -174,269 +174,269 @@
174
  "memory": null,
175
  "latency": {
176
  "unit": "s",
177
- "mean": 0.08069910317215263,
178
- "stdev": 0.0031678996097352454,
179
  "values": [
180
- 0.08110387420654297,
181
- 0.08053145599365234,
182
- 0.07975628662109376,
183
- 0.07939788818359375,
184
- 0.07976652526855468,
185
- 0.0795832290649414,
186
- 0.07942758178710937,
187
- 0.07965491485595703,
188
- 0.0797122573852539,
189
- 0.0800512924194336,
190
- 0.07998249816894532,
191
- 0.07985049438476563,
192
- 0.0795863037109375,
193
- 0.08005734252929687,
194
- 0.07990169525146484,
195
- 0.08020172882080077,
196
- 0.07986994934082031,
197
- 0.07966617584228515,
198
- 0.07967231750488281,
199
- 0.07970611572265625,
200
- 0.07965081787109375,
201
- 0.07981056213378906,
202
- 0.07977677154541016,
203
- 0.07957810974121093,
204
- 0.0795699234008789,
205
- 0.07948595428466797,
206
- 0.07930060577392578,
207
- 0.07952178955078125,
208
- 0.07954431915283203,
209
- 0.07955174255371093,
210
- 0.079884033203125,
211
- 0.07957433319091797,
212
- 0.07975596618652343,
213
- 0.07943679809570313,
214
- 0.07976140594482421,
215
- 0.08015270233154297,
216
- 0.08003571319580079,
217
- 0.07970201873779297,
218
- 0.0798054428100586,
219
- 0.07931801605224609,
220
- 0.07967436981201172,
221
- 0.08002457427978515,
222
- 0.07965081787109375,
223
- 0.0796753921508789,
224
- 0.0796385269165039,
225
- 0.07966719818115234,
226
- 0.07971942138671875,
227
- 0.07963442993164062,
228
- 0.07957810974121093,
229
- 0.0796756820678711,
230
- 0.08157154846191406,
231
- 0.07943065643310547,
232
- 0.0796211166381836,
233
- 0.07949619293212891,
234
- 0.0795832290649414,
235
- 0.07955046081542969,
236
- 0.07961702728271484,
237
- 0.0793007049560547,
238
- 0.07954217529296875,
239
- 0.07962425231933594,
240
- 0.07992006683349609,
241
- 0.07945011138916015,
242
- 0.07961190032958984,
243
- 0.07950847625732421,
244
- 0.07968460845947266,
245
- 0.07946649932861329,
246
- 0.0799139862060547,
247
- 0.07935794830322265,
248
- 0.07949209594726563,
249
- 0.07939891052246094,
250
- 0.07950847625732421,
251
- 0.07952998352050782,
252
- 0.07955046081542969,
253
- 0.07965286254882813,
254
- 0.07960985565185547,
255
- 0.07947468566894532,
256
- 0.079840576171875,
257
- 0.07972431945800781,
258
- 0.07975926208496094,
259
- 0.07943577575683594,
260
- 0.07953305816650391,
261
- 0.07957094573974609,
262
- 0.0794972152709961,
263
- 0.07967040252685546,
264
- 0.0797080307006836,
265
- 0.08005017852783203,
266
- 0.0800348129272461,
267
- 0.07955967712402344,
268
- 0.07972761535644532,
269
- 0.07975654602050782,
270
- 0.0799208984375,
271
- 0.08012799835205078,
272
- 0.07978598022460938,
273
- 0.07999590301513672,
274
- 0.08003993225097657,
275
- 0.07987302398681641,
276
- 0.0799805450439453,
277
- 0.0796610565185547,
278
- 0.08536166381835937,
279
- 0.09626316833496094,
280
- 0.09969971466064453,
281
- 0.0990904312133789,
282
- 0.0937154541015625,
283
- 0.09457049560546875,
284
- 0.09063629150390624,
285
- 0.08748646545410156,
286
- 0.08769945526123046,
287
- 0.08765952301025391,
288
- 0.08879206085205078,
289
- 0.0882165756225586,
290
- 0.08778546905517579,
291
- 0.08755712127685547,
292
- 0.08753971099853515,
293
- 0.08756752014160156,
294
- 0.08813654327392578,
295
- 0.08765542602539063,
296
- 0.0876575698852539,
297
- 0.08772291564941406,
298
- 0.0878704605102539,
299
- 0.08762060546875,
300
- 0.07979007720947266,
301
- 0.08000102233886719,
302
- 0.07983103942871093,
303
- 0.07972147369384766,
304
- 0.07997030639648438,
305
- 0.08001023864746094,
306
- 0.07986176300048828,
307
- 0.07980057525634765,
308
- 0.07989119720458984,
309
- 0.07999180603027344,
310
- 0.07978598022460938,
311
- 0.07981491088867188,
312
- 0.0795758056640625,
313
- 0.08022118377685547,
314
- 0.07964876556396484,
315
- 0.07961497497558594,
316
- 0.07991500854492188,
317
- 0.07960591888427734,
318
- 0.07980630493164062,
319
- 0.08019353485107422,
320
- 0.07978189086914063,
321
- 0.07971635437011719,
322
- 0.07963238525390624,
323
- 0.080036865234375,
324
- 0.07983718109130859,
325
- 0.08006553649902344,
326
- 0.0795688934326172,
327
- 0.07983001708984375,
328
- 0.0798883819580078,
329
- 0.07988428497314454,
330
- 0.07978495788574219,
331
- 0.09140019226074218,
332
- 0.08715980529785156,
333
- 0.08014335632324218,
334
- 0.08041471862792969,
335
- 0.07968386840820313,
336
- 0.08000994873046875,
337
- 0.07981881713867188,
338
- 0.08014125061035156,
339
- 0.07968972778320313,
340
- 0.07954637145996094,
341
- 0.08014335632324218,
342
- 0.07965081787109375,
343
- 0.07965900421142579,
344
- 0.08039014434814454,
345
- 0.07993654632568359,
346
- 0.07986685180664063,
347
- 0.07960166168212891,
348
- 0.07964569854736328,
349
- 0.0799459228515625,
350
- 0.07970899200439453,
351
- 0.07979724884033203,
352
- 0.07979519653320312,
353
- 0.07956582641601563,
354
- 0.07981369781494141,
355
- 0.07977903747558594,
356
- 0.0797334747314453,
357
- 0.07958528137207031,
358
- 0.07964672088623047,
359
- 0.07968265533447266,
360
- 0.0796589126586914,
361
- 0.07970918273925781,
362
- 0.07967334747314453,
363
- 0.0798392333984375,
364
- 0.07983001708984375,
365
- 0.07970428466796875,
366
- 0.07966083526611328,
367
- 0.07978495788574219,
368
- 0.07953202819824219,
369
- 0.08008704376220703,
370
- 0.07938047790527344,
371
- 0.07955455780029297,
372
- 0.07946956634521485,
373
- 0.07955379486083984,
374
- 0.07968844604492188,
375
- 0.07999078369140625,
376
- 0.07965388488769531,
377
- 0.07974617767333984,
378
- 0.0796148452758789,
379
- 0.07982899475097656,
380
- 0.07955168151855468,
381
- 0.07946323394775391,
382
- 0.07949823760986328,
383
- 0.07954329681396484,
384
- 0.07946546936035156,
385
- 0.07962009429931641,
386
- 0.07972249603271485,
387
- 0.07970435333251953,
388
- 0.07989014434814454,
389
- 0.08013209533691407,
390
- 0.07964569854736328,
391
- 0.07957504272460937,
392
- 0.07996518707275391,
393
- 0.0799805450439453,
394
- 0.07977369689941406,
395
- 0.08023961639404296,
396
- 0.07981362915039063,
397
- 0.07973990631103516,
398
- 0.07953612518310547,
399
- 0.07960269165039062,
400
- 0.07953510284423829,
401
- 0.07946956634521485,
402
- 0.0797655029296875,
403
- 0.07961907196044922,
404
- 0.07984947204589844,
405
- 0.07963648223876953,
406
- 0.07960166168212891,
407
- 0.07986688232421875,
408
- 0.07964057922363281,
409
- 0.07991913604736328,
410
- 0.079795166015625,
411
- 0.07962841796875,
412
- 0.07947968292236328,
413
- 0.07964979553222656,
414
- 0.080321533203125,
415
- 0.07959574127197265,
416
- 0.07955945587158203,
417
- 0.07946982574462891,
418
- 0.07974169921875,
419
- 0.07978905487060547,
420
- 0.0801976318359375,
421
- 0.07961702728271484,
422
- 0.07957094573974609,
423
- 0.07993958282470703,
424
- 0.07983411407470703,
425
- 0.07973900604248046,
426
- 0.07973670196533203,
427
- 0.07975833892822265,
428
- 0.07979827117919921,
429
- 0.07975628662109376,
430
- 0.0798895034790039,
431
- 0.07979920196533204,
432
- 0.07995420837402344,
433
- 0.07978262329101563,
434
- 0.0798424301147461
435
  ]
436
  },
437
  "throughput": {
438
  "unit": "tokens/s",
439
- "value": 12.391711440296111
440
  },
441
  "energy": null,
442
  "efficiency": null
 
2
  "prefill": {
3
  "memory": {
4
  "unit": "MB",
5
+ "max_ram": 1047.83872,
6
  "max_vram": 14522.7776,
7
  "max_reserved": 14029.94688,
8
  "max_allocated": 13954.652672
9
  },
10
  "latency": {
11
  "unit": "s",
12
+ "mean": 0.07967507643926712,
13
+ "stdev": 0.0016679238302063908,
14
  "values": [
15
+ 0.08371075439453125,
16
+ 0.08208076477050781,
17
+ 0.08320819091796874,
18
+ 0.08732978820800781,
19
+ 0.07992012786865234,
20
+ 0.07975833892822265,
21
+ 0.08471040344238281,
22
+ 0.08393523406982421,
23
+ 0.08391801452636719,
24
+ 0.08392806243896485,
25
+ 0.0836864013671875,
26
+ 0.08389324951171875,
27
+ 0.08464588928222656,
28
+ 0.0839731216430664,
29
+ 0.08377855682373046,
30
+ 0.08423321533203125,
31
+ 0.08394445037841797,
32
+ 0.07888588714599609,
33
+ 0.07986483001708984,
34
+ 0.07894834899902343,
35
+ 0.07892479705810547,
36
+ 0.07884697723388671,
37
+ 0.07895142364501953,
38
+ 0.07902310180664063,
39
+ 0.07891865539550781,
40
+ 0.07890534210205079,
41
+ 0.07898521423339844,
42
+ 0.07907942199707031,
43
+ 0.07937945556640626,
44
+ 0.07902617645263672,
45
+ 0.07899443054199219,
46
+ 0.07899954986572266,
47
+ 0.07894834899902343,
48
+ 0.07901696014404297,
49
+ 0.07897805023193359,
50
+ 0.07905792236328125,
51
+ 0.07904153442382812,
52
+ 0.07905484771728516,
53
+ 0.07930982208251953,
54
+ 0.07907225799560547,
55
+ 0.07902105712890625,
56
+ 0.07910399627685546,
57
+ 0.07891455841064453,
58
+ 0.079098876953125,
59
+ 0.07932518768310547,
60
+ 0.07899852752685547,
61
+ 0.07890329742431641,
62
+ 0.07885926055908203,
63
+ 0.07889817810058594,
64
+ 0.07913369750976562,
65
+ 0.0787240982055664,
66
+ 0.07901081848144531,
67
+ 0.07874253082275391,
68
+ 0.07881523132324218,
69
+ 0.07890534210205079,
70
+ 0.07893299102783204,
71
+ 0.07877017974853516,
72
+ 0.07889305877685547,
73
+ 0.07875071716308593,
74
+ 0.07895859527587891,
75
+ 0.07875481414794921,
76
+ 0.0790456314086914,
77
+ 0.07871282958984376,
78
+ 0.07928012847900391,
79
+ 0.07880601501464844,
80
+ 0.0790087661743164,
81
+ 0.07874150085449219,
82
+ 0.07899136352539063,
83
+ 0.07880601501464844,
84
+ 0.07931903839111328,
85
+ 0.07896781158447265,
86
+ 0.07903948974609375,
87
+ 0.07877734375,
88
+ 0.07895859527587891,
89
+ 0.07910912322998047,
90
+ 0.0788449249267578,
91
+ 0.07893504333496094,
92
+ 0.0790149154663086,
93
+ 0.0788828125,
94
+ 0.07882342529296875,
95
+ 0.07909069061279297,
96
+ 0.07912550354003907,
97
+ 0.07914189147949219,
98
+ 0.07905484771728516,
99
+ 0.07900569915771484,
100
+ 0.07892991638183594,
101
+ 0.079067138671875,
102
+ 0.0792946548461914,
103
+ 0.07922380828857421,
104
+ 0.07959347534179688,
105
+ 0.0789719009399414,
106
+ 0.07927091217041016,
107
+ 0.07916031646728515,
108
  0.07934054565429688,
109
+ 0.07922585296630859,
110
+ 0.07949107360839844,
111
+ 0.07886131286621094,
112
+ 0.07908454132080078,
113
+ 0.07911936187744141,
114
+ 0.07919308471679687,
115
+ 0.07896166229248047,
116
+ 0.07914905548095703,
117
+ 0.07901696014404297,
118
+ 0.07910912322998047,
119
+ 0.0791203842163086,
120
+ 0.07923609924316406,
121
+ 0.07925350189208985,
122
+ 0.07927398681640625,
123
+ 0.07931597137451171,
124
+ 0.07934873962402343,
125
+ 0.0794777603149414,
126
+ 0.07942758178710937,
127
+ 0.07941939544677734,
128
+ 0.07893606567382813,
129
+ 0.07960575866699218,
130
+ 0.07893094635009766,
131
+ 0.0791234588623047,
132
+ 0.07923506927490234,
133
+ 0.0791203842163086,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
134
  0.07918694305419922,
135
+ 0.07933542633056641,
136
+ 0.07921049499511719,
137
+ 0.07909478759765624,
138
+ 0.07925452423095704,
139
+ 0.07907020568847656,
140
+ 0.07915110778808594
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
141
  ]
142
  },
143
  "throughput": {
144
  "unit": "tokens/s",
145
+ "value": 3213.04994536325
146
  },
147
  "energy": null,
148
  "efficiency": null
 
150
  "decode": {
151
  "memory": {
152
  "unit": "MB",
153
+ "max_ram": 1047.83872,
154
  "max_vram": 15311.306752,
155
  "max_reserved": 14818.476032,
156
+ "max_allocated": 14774.90688
157
  },
158
  "latency": {
159
  "unit": "s",
160
+ "mean": 20.564481903076178,
161
  "stdev": 0,
162
  "values": [
163
+ 20.564481903076178
164
  ]
165
  },
166
  "throughput": {
167
  "unit": "tokens/s",
168
+ "value": 12.400020637614766
169
  },
170
  "energy": null,
171
  "efficiency": null
 
174
  "memory": null,
175
  "latency": {
176
  "unit": "s",
177
+ "mean": 0.08064502707088697,
178
+ "stdev": 0.0005484313521759969,
179
  "values": [
180
+ 0.081957763671875,
181
+ 0.08047513580322266,
182
+ 0.07977881622314453,
183
+ 0.08003584289550782,
184
+ 0.07962931060791016,
185
+ 0.07989350128173828,
186
+ 0.07970508575439453,
187
+ 0.07967340850830078,
188
+ 0.08020579528808594,
189
+ 0.0799241943359375,
190
+ 0.07961004638671874,
191
+ 0.080040771484375,
192
+ 0.08001769256591797,
193
+ 0.08053440093994141,
194
+ 0.0801698226928711,
195
+ 0.07994073486328125,
196
+ 0.08091532897949219,
197
+ 0.08117558288574218,
198
+ 0.0805785903930664,
199
+ 0.07983712005615234,
200
+ 0.08014848327636719,
201
+ 0.0797992935180664,
202
+ 0.08022739410400391,
203
+ 0.08082733154296876,
204
+ 0.08000717163085938,
205
+ 0.07988019561767579,
206
+ 0.0808253402709961,
207
+ 0.08071270751953125,
208
+ 0.08081919860839844,
209
+ 0.08106108856201172,
210
+ 0.08102787017822266,
211
+ 0.08082125091552735,
212
+ 0.08081436920166016,
213
+ 0.08110665893554687,
214
+ 0.08091033935546875,
215
+ 0.08106803131103515,
216
+ 0.08099327850341796,
217
+ 0.08097894287109375,
218
+ 0.08074137878417968,
219
+ 0.08074854278564453,
220
+ 0.07987712097167969,
221
+ 0.08029183959960938,
222
+ 0.08108544158935548,
223
+ 0.08153395080566406,
224
+ 0.08086323547363282,
225
+ 0.08082051086425782,
226
+ 0.08100835418701172,
227
+ 0.08080281829833984,
228
+ 0.08113868713378906,
229
+ 0.08112127685546874,
230
+ 0.08061030578613282,
231
+ 0.0798361587524414,
232
+ 0.08075981140136719,
233
+ 0.08058675384521484,
234
+ 0.08086048126220703,
235
+ 0.08098989105224609,
236
+ 0.08119500732421875,
237
+ 0.08600064086914062,
238
+ 0.08138668823242187,
239
+ 0.08065312194824219,
240
+ 0.08009113311767578,
241
+ 0.07981680297851562,
242
+ 0.08104335784912109,
243
+ 0.07921993255615234,
244
+ 0.07958505249023437,
245
+ 0.08080691528320312,
246
+ 0.08073420715332032,
247
+ 0.08079776000976563,
248
+ 0.08108025360107422,
249
+ 0.08062361907958984,
250
+ 0.08060415649414063,
251
+ 0.0806451187133789,
252
+ 0.08069734191894531,
253
+ 0.0807712631225586,
254
+ 0.08019026947021485,
255
+ 0.08068608093261719,
256
+ 0.07903948974609375,
257
+ 0.08047513580322266,
258
+ 0.08045670318603515,
259
+ 0.08095231628417969,
260
+ 0.0808427505493164,
261
+ 0.0805959701538086,
262
+ 0.08050892639160157,
263
+ 0.08055398559570312,
264
+ 0.08056320190429687,
265
+ 0.08073728179931641,
266
+ 0.08109670257568359,
267
+ 0.08087757110595703,
268
+ 0.08053759765625,
269
+ 0.08080204772949219,
270
+ 0.08077184295654297,
271
+ 0.08083148956298829,
272
+ 0.08070246124267579,
273
+ 0.08131686401367187,
274
+ 0.08074956512451172,
275
+ 0.08069222259521484,
276
+ 0.08089190673828126,
277
+ 0.08083455657958985,
278
+ 0.08017203521728515,
279
+ 0.07924143981933594,
280
+ 0.07957174682617188,
281
+ 0.08028288269042969,
282
+ 0.08037657928466797,
283
+ 0.08084185791015625,
284
+ 0.08072793579101563,
285
+ 0.08014745330810547,
286
+ 0.08095769500732422,
287
+ 0.08073907470703125,
288
+ 0.07984547424316406,
289
+ 0.07951554870605469,
290
+ 0.07961087799072265,
291
+ 0.07940402984619141,
292
+ 0.07979417419433593,
293
+ 0.08060415649414063,
294
+ 0.08046611022949218,
295
+ 0.08066643524169922,
296
+ 0.08110694122314453,
297
+ 0.08048143768310546,
298
+ 0.08113238525390624,
299
+ 0.08041577911376953,
300
+ 0.08045667266845703,
301
+ 0.08083558654785156,
302
+ 0.08055910491943359,
303
+ 0.08054169464111328,
304
+ 0.08067289733886719,
305
+ 0.08074976348876953,
306
+ 0.08077101135253906,
307
+ 0.08066652679443359,
308
+ 0.08053129577636718,
309
+ 0.08061644744873046,
310
+ 0.08095037078857421,
311
+ 0.08004220581054687,
312
+ 0.08012073516845702,
313
+ 0.0809131851196289,
314
+ 0.07977574157714844,
315
+ 0.0809717788696289,
316
+ 0.08055526733398438,
317
+ 0.0812889633178711,
318
+ 0.08060313415527344,
319
+ 0.08086121368408203,
320
+ 0.08066966247558593,
321
+ 0.08035737609863282,
322
+ 0.08064717102050781,
323
+ 0.08130252838134766,
324
+ 0.08060108947753906,
325
+ 0.08110591888427734,
326
+ 0.08086937713623046,
327
+ 0.08085810852050782,
328
+ 0.08061746978759765,
329
+ 0.08081100463867187,
330
+ 0.0806155548095703,
331
+ 0.08098009490966797,
332
+ 0.0807720947265625,
333
+ 0.08150297546386719,
334
+ 0.08106598663330078,
335
+ 0.08092569732666016,
336
+ 0.08063394927978515,
337
+ 0.0805733413696289,
338
+ 0.08079052734375,
339
+ 0.08046797180175781,
340
+ 0.08050892639160157,
341
+ 0.08071401977539062,
342
+ 0.08104521942138672,
343
+ 0.08091548919677734,
344
+ 0.08056441497802734,
345
+ 0.08089884948730469,
346
+ 0.08047513580322266,
347
+ 0.08084786987304687,
348
+ 0.08101580810546875,
349
+ 0.08092057800292969,
350
+ 0.08067174530029297,
351
+ 0.08091244506835937,
352
+ 0.08045970916748046,
353
+ 0.08066047668457031,
354
+ 0.0805928955078125,
355
+ 0.080932861328125,
356
+ 0.0808796157836914,
357
+ 0.08099555206298828,
358
+ 0.08063670349121094,
359
+ 0.08096562957763671,
360
+ 0.08069455718994141,
361
+ 0.0811732177734375,
362
+ 0.08056626892089844,
363
+ 0.0809318389892578,
364
+ 0.08058675384521484,
365
+ 0.08090230560302734,
366
+ 0.08059785461425781,
367
+ 0.08102809906005859,
368
+ 0.08065459442138671,
369
+ 0.08092546844482422,
370
+ 0.08071778869628907,
371
+ 0.08108863830566407,
372
+ 0.0806419219970703,
373
+ 0.08121343994140626,
374
+ 0.08040991973876953,
375
+ 0.08080249786376953,
376
+ 0.080395263671875,
377
+ 0.08058777618408203,
378
+ 0.08080076599121094,
379
+ 0.08071580505371094,
380
+ 0.08062767791748048,
381
+ 0.0808081283569336,
382
+ 0.08065004730224609,
383
+ 0.08041705322265626,
384
+ 0.08072783660888672,
385
+ 0.08057234954833985,
386
+ 0.08045362854003907,
387
+ 0.08065740966796875,
388
+ 0.08066047668457031,
389
+ 0.08037283325195313,
390
+ 0.08073616027832031,
391
+ 0.08085298919677734,
392
+ 0.08093901062011719,
393
+ 0.08071987152099609,
394
+ 0.08088780975341797,
395
+ 0.08053279876708984,
396
+ 0.08080044555664062,
397
+ 0.08054681396484376,
398
+ 0.0808622055053711,
399
+ 0.08224460601806641,
400
+ 0.08071372985839843,
401
+ 0.08038502502441407,
402
+ 0.08046694183349609,
403
+ 0.0808461456298828,
404
+ 0.08047071838378907,
405
+ 0.0809717788696289,
406
+ 0.08088780975341797,
407
+ 0.08063078308105469,
408
+ 0.08048332977294922,
409
+ 0.08075296020507812,
410
+ 0.08057004547119141,
411
+ 0.08097100830078124,
412
+ 0.08052198028564453,
413
+ 0.08039539337158202,
414
+ 0.08087849426269532,
415
+ 0.08063075256347656,
416
+ 0.08036764526367188,
417
+ 0.08111100769042968,
418
+ 0.08047718048095703,
419
+ 0.08033074951171874,
420
+ 0.08057344055175782,
421
+ 0.08065229034423828,
422
+ 0.08043110656738281,
423
+ 0.08129126739501953,
424
+ 0.08068608093261719,
425
+ 0.08062566375732422,
426
+ 0.08065567779541015,
427
+ 0.0805414047241211,
428
+ 0.08055088043212891,
429
+ 0.08102809906005859,
430
+ 0.08080076599121094,
431
+ 0.08038297271728516,
432
+ 0.08047206115722656,
433
+ 0.08039628601074218,
434
+ 0.08039424133300781
435
  ]
436
  },
437
  "throughput": {
438
  "unit": "tokens/s",
439
+ "value": 12.400020637614768
440
  },
441
  "energy": null,
442
  "efficiency": null