kreas commited on
Commit
2cdaba5
1 Parent(s): 4cd3dc6

Upload /gemma-7b/fp4_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json with huggingface_hub

Browse files
gemma-7b/fp4_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json CHANGED
@@ -2,202 +2,202 @@
2
  "prefill": {
3
  "memory": {
4
  "unit": "MB",
5
- "max_ram": 1076.453376,
6
- "max_vram": 6796.869632,
7
  "max_reserved": 6312.42752,
8
  "max_allocated": 6191.16288
9
  },
10
  "latency": {
11
  "unit": "s",
12
- "mean": 0.055446553140714006,
13
- "stdev": 0.0003160784372994583,
14
  "values": [
15
- 0.059538463592529296,
16
- 0.05553049468994141,
17
- 0.05571603012084961,
18
- 0.05579673767089844,
19
- 0.05584076690673828,
20
- 0.055626846313476565,
21
- 0.05526732635498047,
22
- 0.055311359405517575,
23
- 0.05532780838012695,
24
- 0.05533388900756836,
25
- 0.05530643081665039,
26
- 0.05528473663330078,
27
- 0.055311359405517575,
28
- 0.05533388900756836,
29
- 0.05530624008178711,
30
- 0.05529724884033203,
31
- 0.05537279891967774,
32
- 0.05535129547119141,
33
- 0.05535539245605469,
34
- 0.05533184051513672,
35
- 0.0553994255065918,
36
- 0.05529190444946289,
37
- 0.05543526458740235,
38
  0.05533695983886719,
39
- 0.055413761138916016,
40
- 0.055314430236816405,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
41
  0.055375873565673826,
42
- 0.055349246978759765,
43
- 0.0553779182434082,
44
- 0.05532908630371094,
45
- 0.055365631103515625,
46
- 0.05534515380859375,
47
  0.05537279891967774,
48
- 0.055624000549316405,
49
- 0.055360511779785154,
50
  0.05535232162475586,
51
- 0.055349246978759765,
52
- 0.05537177658081055,
53
- 0.05555199813842773,
54
- 0.05565849685668945,
55
- 0.05556838226318359,
56
- 0.05551923370361328,
57
- 0.0555417594909668,
58
- 0.0556308479309082,
59
- 0.05552947235107422,
60
- 0.05540879821777344,
61
- 0.055554046630859374,
62
- 0.05562060928344727,
63
- 0.05536870574951172,
64
- 0.05544169616699219,
65
- 0.05543135833740234,
66
- 0.055446529388427736,
67
- 0.055422977447509764,
68
- 0.05543936157226562,
69
- 0.05540966415405273,
70
- 0.05557964706420898,
71
- 0.05539737701416016,
72
- 0.05547417449951172,
73
  0.05535027313232422,
74
- 0.055416831970214846,
75
- 0.055393280029296874,
76
- 0.05540969467163086,
77
- 0.055433216094970705,
78
- 0.05543526458740235,
79
- 0.05540761566162109,
80
- 0.05538816070556641,
81
- 0.055419902801513675,
82
- 0.055384063720703126,
83
- 0.05542399978637695,
84
- 0.05540966415405273,
85
  0.05538304138183594,
86
- 0.05542835235595703,
87
- 0.055398529052734374,
 
 
 
 
 
 
 
 
 
 
 
 
88
  0.055376895904541014,
89
- 0.05543219375610352,
90
- 0.05533695983886719,
91
- 0.055400447845458986,
92
- 0.05542195129394531,
93
- 0.05540556716918945,
94
- 0.05542092895507812,
95
- 0.05542195129394531,
96
- 0.055411712646484375,
97
- 0.05536870574951172,
98
- 0.05542604827880859,
99
- 0.05539737701416016,
100
- 0.055446529388427736,
101
- 0.05545779037475586,
102
- 0.05543526458740235,
103
- 0.05538816070556641,
104
- 0.05538918304443359,
105
- 0.055428096771240234,
106
- 0.05543833541870117,
107
- 0.05547113418579101,
108
- 0.055428096771240234,
109
- 0.05541785430908203,
110
  0.055376895904541014,
111
- 0.055449600219726565,
112
- 0.055430145263671876,
113
- 0.05537484741210937,
114
- 0.055406593322753904,
115
- 0.05545574569702148,
116
- 0.055462913513183595,
117
- 0.05545881652832031,
118
- 0.05542502212524414,
119
- 0.055462913513183595,
120
- 0.055422977447509764,
121
- 0.055373825073242185,
122
- 0.05540966415405273,
123
- 0.055444480895996094,
124
- 0.05540761566162109,
125
- 0.0553994255065918,
126
- 0.05537484741210937,
127
- 0.05544755172729492,
128
- 0.055695358276367186,
129
- 0.055588863372802735,
130
- 0.05535059356689453,
131
  0.055392257690429686,
132
- 0.055395328521728515,
133
- 0.05539142227172852,
134
- 0.055444480895996094,
135
- 0.05539126586914062,
136
- 0.05536380767822266,
137
  0.05539430236816406,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
138
  0.05540454483032226,
139
- 0.05536767959594727,
140
- 0.05547212982177734,
141
- 0.055436286926269535,
142
- 0.05545574569702148,
143
- 0.055346176147460936,
144
- 0.055395328521728515,
145
- 0.05537177658081055,
146
- 0.055362560272216796,
147
- 0.05536972808837891,
148
  0.05538304138183594,
149
- 0.05541785430908203,
 
 
 
 
150
  0.05537177658081055,
 
 
 
 
 
 
 
 
 
151
  0.055392257690429686,
152
- 0.05544038391113281,
153
- 0.055419902801513675,
154
- 0.05545676803588867,
155
- 0.0554150390625,
156
- 0.0554312629699707,
157
- 0.05542707061767578,
158
- 0.05540966415405273,
159
- 0.055395328521728515,
160
- 0.055393280029296874,
161
- 0.055422046661376956,
162
- 0.055422977447509764,
163
- 0.055465984344482425,
164
- 0.05542399978637695,
165
- 0.055433311462402345,
166
  0.05536153411865234,
167
- 0.055416831970214846,
168
- 0.05542195129394531,
169
- 0.05545574569702148,
170
- 0.05543423843383789,
171
- 0.05543526458740235,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
172
  0.055393280029296874,
173
- 0.055414783477783204,
174
- 0.05547020721435547,
175
- 0.05538816070556641,
176
- 0.05546188735961914,
177
- 0.05556121444702149,
178
- 0.055422977447509764,
179
- 0.05541785430908203,
180
- 0.05541888046264649,
181
- 0.05545471954345703,
182
- 0.05543526458740235,
183
- 0.055419902801513675,
184
- 0.05542195129394531,
185
- 0.05543219375610352,
186
- 0.055392513275146486,
187
- 0.05549363327026367,
188
- 0.05542911911010742,
189
- 0.05532467269897461,
190
- 0.055429374694824216,
191
- 0.05541888046264649,
192
- 0.05543423843383789,
193
- 0.05545574569702148,
194
- 0.05544243240356445,
195
- 0.05536671829223633
196
  ]
197
  },
198
  "throughput": {
199
  "unit": "tokens/s",
200
- "value": 4617.0588701937
201
  },
202
  "energy": null,
203
  "efficiency": null
@@ -205,23 +205,23 @@
205
  "decode": {
206
  "memory": {
207
  "unit": "MB",
208
- "max_ram": 1076.453376,
209
  "max_vram": 7212.105728,
210
  "max_reserved": 6727.663616,
211
  "max_allocated": 6570.75456
212
  },
213
  "latency": {
214
  "unit": "s",
215
- "mean": 8.033202688217166,
216
- "stdev": 0.007208446502684929,
217
  "values": [
218
- 8.02599424171448,
219
- 8.04041113471985
220
  ]
221
  },
222
  "throughput": {
223
  "unit": "tokens/s",
224
- "value": 31.743254825877294
225
  },
226
  "energy": null,
227
  "efficiency": null
@@ -230,524 +230,524 @@
230
  "memory": null,
231
  "latency": {
232
  "unit": "s",
233
- "mean": 0.03150275564006731,
234
- "stdev": 0.00016209291603310047,
235
  "values": [
236
- 0.031562751770019534,
237
- 0.031319040298461914,
238
- 0.03144396781921387,
239
- 0.031682559967041016,
240
- 0.03152383995056152,
241
- 0.0315996150970459,
242
- 0.03178291130065918,
243
- 0.03163340759277344,
244
- 0.03158118438720703,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
245
  0.031475711822509765,
246
- 0.03146240043640137,
247
- 0.03150028800964356,
248
- 0.031528959274291994,
249
- 0.03155148887634277,
250
  0.03143987274169922,
251
- 0.03138457679748535,
252
- 0.03148595237731933,
253
- 0.03145113563537598,
254
- 0.03146854400634766,
255
- 0.031476736068725586,
256
- 0.03157811164855957,
257
- 0.03155251121520996,
258
  0.03141222381591797,
259
- 0.03153715133666992,
260
- 0.03138662338256836,
261
- 0.03162931251525879,
262
- 0.0315361270904541,
263
- 0.0316364803314209,
264
- 0.031508480072021484,
265
- 0.031545343399047854,
266
- 0.03149619293212891,
267
- 0.03170508766174317,
268
- 0.032023551940917966,
269
- 0.031527936935424807,
270
- 0.031357952117919925,
271
- 0.031442943572998046,
272
- 0.03146854400634766,
273
- 0.031509504318237305,
274
- 0.03151379203796387,
275
- 0.031389503479003905,
276
- 0.031357952117919925,
277
  0.03146444892883301,
278
- 0.0314337272644043,
279
- 0.031410175323486327,
280
- 0.03131084823608398,
281
- 0.031437824249267575,
282
- 0.031748096466064454,
283
- 0.031937536239624024,
284
- 0.03153919982910156,
285
- 0.03128934478759766,
286
- 0.03133235168457031,
287
- 0.03137433624267578,
288
- 0.03139583969116211,
289
- 0.03155251121520996,
290
- 0.031459327697753905,
291
- 0.031497215270996096,
292
- 0.03158732795715332,
293
- 0.03143577575683594,
294
- 0.03140403175354004,
295
- 0.03129855918884277,
296
- 0.031307775497436525,
297
- 0.03138559913635254,
298
  0.03133440017700195,
299
- 0.03139072036743164,
300
- 0.03126169586181641,
301
- 0.03149926376342774,
302
- 0.03137638473510742,
303
- 0.031542272567749025,
304
- 0.031527936935424807,
305
- 0.03144499206542969,
306
- 0.03144508743286133,
307
- 0.031474592208862305,
308
- 0.03147776031494141,
309
- 0.03150643157958984,
 
 
 
310
  0.03136000061035156,
311
- 0.03140300750732422,
312
- 0.03158016014099121,
313
- 0.03146137619018555,
314
- 0.03141529655456543,
315
- 0.03130982398986817,
316
- 0.031275007247924806,
317
- 0.03125043106079101,
318
- 0.03142963218688965,
319
- 0.03153817558288574,
320
- 0.03127910423278808,
321
- 0.03137433624267578,
322
- 0.031541248321533204,
323
- 0.031494144439697266,
324
- 0.031437984466552736,
325
- 0.031232864379882812,
326
- 0.031268863677978515,
327
- 0.03138559913635254,
328
- 0.031349920272827146,
329
- 0.03145302391052246,
330
- 0.03134771156311035,
 
 
 
 
 
 
 
331
  0.03134873580932617,
332
- 0.031939584732055666,
333
- 0.03139481544494629,
334
- 0.0313734073638916,
335
- 0.03137731170654297,
336
- 0.03143680000305176,
337
- 0.03138662338256836,
338
- 0.03137638473510742,
339
- 0.031476736068725586,
340
- 0.0314019832611084,
341
- 0.03143270492553711,
342
- 0.03145856094360352,
343
- 0.031394559860229494,
344
  0.03144499206542969,
345
- 0.03141632080078125,
346
- 0.03139788818359375,
347
- 0.03163033676147461,
348
- 0.0314654712677002,
349
- 0.03143168067932129,
350
- 0.03123200035095215,
351
- 0.031270912170410156,
352
- 0.031381727218627926,
353
- 0.03144272041320801,
354
- 0.0314553279876709,
355
- 0.03141007995605469,
356
- 0.03135078430175781,
357
  0.03142451286315918,
358
- 0.031324159622192385,
359
- 0.03141734313964844,
360
- 0.031455232620239255,
361
- 0.03136000061035156,
362
- 0.03151667213439941,
363
- 0.031389696121215824,
364
- 0.031438848495483396,
365
- 0.03139072036743164,
366
- 0.0313118724822998,
367
- 0.031319040298461914,
368
- 0.031373311996459964,
369
- 0.03125555229187012,
370
- 0.031352832794189454,
371
- 0.031335424423217774,
372
- 0.031513599395751955,
373
- 0.03142860794067383,
374
- 0.03161395263671875,
375
- 0.03122790336608887,
376
- 0.0313753604888916,
377
- 0.03139174461364746,
378
  0.03144704055786133,
379
- 0.03131391906738281,
380
- 0.03155660820007324,
381
- 0.03143475151062012,
382
- 0.0314019832611084,
383
- 0.03137843132019043,
384
- 0.03141939163208008,
385
- 0.031290367126464845,
386
- 0.03128934478759766,
387
- 0.03134976005554199,
388
- 0.03144806480407715,
389
- 0.03136614418029785,
390
- 0.03134668731689453,
391
- 0.03143270492553711,
392
- 0.03141750335693359,
393
- 0.031449951171875,
394
- 0.03149619293212891,
395
- 0.0313753604888916,
396
- 0.03191193580627441,
397
- 0.03205734252929687,
398
- 0.031541248321533204,
399
- 0.031426559448242186,
400
- 0.03150540733337402,
401
- 0.03137433624267578,
402
- 0.0314738883972168,
403
- 0.03138435173034668,
404
- 0.031406080245971676,
405
- 0.03145113563537598,
406
- 0.03143680000305176,
407
- 0.031475711822509765,
408
- 0.03139379119873047,
409
- 0.03144396781921387,
410
- 0.031545343399047854,
411
- 0.03150028800964356,
412
- 0.03200102233886719,
413
- 0.03157094383239746,
414
- 0.031604736328125,
415
- 0.03160166358947754,
416
- 0.0315729923248291,
417
- 0.03158118438720703,
418
- 0.03149926376342774,
419
- 0.031302656173706055,
420
- 0.03139276885986328,
421
- 0.031373311996459964,
422
- 0.0313702392578125,
423
  0.031341567993164066,
424
- 0.03138457679748535,
425
- 0.03139379119873047,
426
- 0.031297536849975584,
427
- 0.03133235168457031,
428
- 0.031324159622192385,
429
- 0.0313702392578125,
430
- 0.03141632080078125,
431
- 0.031410175323486327,
432
- 0.03155046463012695,
 
 
 
 
 
 
 
 
 
 
 
433
  0.031437824249267575,
434
- 0.031362079620361326,
435
- 0.03139478492736816,
436
- 0.03150643157958984,
437
- 0.031474687576293944,
 
 
 
 
 
 
 
 
438
  0.031460351943969726,
439
- 0.03162009620666504,
440
- 0.03156070327758789,
441
- 0.03148287963867188,
442
- 0.031308799743652346,
443
- 0.031246335983276367,
444
- 0.03131084823608398,
445
- 0.0315361270904541,
446
- 0.03142860794067383,
447
- 0.031531007766723636,
448
- 0.031546367645263675,
449
- 0.03146137619018555,
450
- 0.03149926376342774,
451
  0.031508480072021484,
452
- 0.031543296813964845,
453
- 0.03150233650207519,
454
- 0.031503360748291014,
455
- 0.03156684875488281,
456
- 0.03148819160461426,
457
- 0.03152262306213379,
458
- 0.03336819076538086,
459
- 0.032889728546142576,
460
- 0.03186073684692383,
461
- 0.031715328216552735,
462
- 0.031459327697753905,
463
- 0.03138764762878418,
464
- 0.031480831146240236,
465
- 0.03141119956970215,
466
- 0.03152297592163086,
467
- 0.031357791900634764,
468
- 0.0314521598815918,
469
- 0.0313753604888916,
470
- 0.03153408050537109,
471
  0.031527936935424807,
472
- 0.03159552001953125,
473
- 0.03146342468261719,
474
- 0.03151155281066895,
475
  0.03140505599975586,
476
- 0.03172147178649903,
477
- 0.03139174461364746,
478
- 0.03139993667602539,
479
- 0.03142348861694336,
480
- 0.03156377601623535,
481
- 0.03147878456115723,
482
- 0.03146751976013184,
483
- 0.03139174461364746,
484
- 0.031421440124511715,
485
- 0.0315545597076416,
486
- 0.0315729923248291,
487
- 0.03163340759277344,
488
- 0.03156800079345703,
489
- 0.031532928466796874,
490
- 0.03162931251525879,
491
- 0.03143270492553711,
492
- 0.03142963218688965,
493
- 0.03137638473510742,
494
- 0.031455232620239255,
495
- 0.03148902320861816,
496
- 0.031545343399047854,
497
- 0.03138355255126953,
498
- 0.03133030319213867,
499
- 0.031238143920898437,
500
- 0.031514623641967776,
501
- 0.031425535202026365,
502
- 0.031480831146240236,
503
- 0.03136511993408203,
504
- 0.0316231689453125,
505
- 0.03144396781921387,
506
- 0.03144499206542969,
507
- 0.03142860794067383,
508
- 0.03159244728088379,
509
- 0.03155660820007324,
510
- 0.03176755142211914,
511
- 0.031524864196777344,
512
- 0.03155353546142578,
513
- 0.03145030403137207,
514
- 0.03153900718688965,
515
  0.03141734313964844,
516
- 0.03157708740234375,
517
- 0.031426559448242186,
518
- 0.03162623977661133,
519
- 0.03157827186584473,
520
- 0.03164143943786621,
521
- 0.03159654426574707,
522
- 0.0317573127746582,
523
- 0.03158527946472168,
524
- 0.031850496292114255,
525
- 0.0317071361541748,
526
- 0.031733760833740236,
527
- 0.03161497688293457,
528
- 0.031696895599365234,
529
- 0.0315361270904541,
530
- 0.0315729923248291,
531
- 0.03158835220336914,
532
- 0.031492095947265625,
533
- 0.031488000869750975,
534
- 0.031661056518554685,
535
- 0.03157401657104492,
536
- 0.031542272567749025,
537
- 0.03148518371582031,
538
- 0.03188096046447754,
539
- 0.03157094383239746,
540
- 0.03162623977661133,
541
- 0.03158016014099121,
542
- 0.03140403175354004,
543
- 0.03141529655456543,
544
- 0.03162623977661133,
545
- 0.03152383995056152,
546
- 0.03159244728088379,
547
- 0.03144806480407715,
548
- 0.031455232620239255,
549
- 0.03163852882385254,
550
- 0.03159756851196289,
551
- 0.03147878456115723,
552
  0.03149004745483398,
553
- 0.03143270492553711,
554
- 0.031627264022827145,
555
- 0.03160985565185547,
556
- 0.03161702346801758,
557
- 0.031498239517211916,
558
- 0.03139276885986328,
559
- 0.03156480026245117,
560
- 0.031493120193481446,
561
- 0.03156991958618164,
562
- 0.03146444892883301,
563
- 0.031508480072021484,
564
- 0.031507455825805664,
565
- 0.031720447540283206,
566
- 0.03151974487304687,
567
  0.03137638473510742,
568
- 0.03143680000305176,
 
 
 
 
 
 
569
  0.03146342468261719,
570
- 0.03141222381591797,
571
- 0.03136000061035156,
572
- 0.03153408050537109,
573
- 0.03138150405883789,
574
- 0.03138252830505371,
575
- 0.031321088790893556,
576
- 0.031438848495483396,
577
- 0.031488000869750975,
578
- 0.031526912689208986,
579
- 0.03151667213439941,
580
- 0.0315156478881836,
581
- 0.03196108818054199,
582
- 0.03144908714294434,
583
- 0.03153817558288574,
584
- 0.03150131225585937,
585
- 0.03153919982910156,
586
- 0.03196006393432617,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
587
  0.03161702346801758,
588
- 0.031457279205322264,
589
- 0.0316753921508789,
590
- 0.031492095947265625,
591
- 0.031506624221801754,
592
- 0.031460159301757815,
593
- 0.03161718368530273,
594
- 0.03165679931640625,
595
- 0.03157606315612793,
596
- 0.03151769638061523,
597
- 0.03153932762145996,
598
- 0.031587200164794924,
599
- 0.03156684875488281,
600
- 0.031470592498779294,
601
- 0.03139583969116211,
602
- 0.031867904663085936,
603
- 0.03131494331359863,
604
- 0.03156889533996582,
605
- 0.031508480072021484,
606
- 0.031454208374023435,
607
- 0.03155251121520996,
608
- 0.0315545597076416,
609
- 0.03156070327758789,
610
- 0.03149516868591309,
611
- 0.03158527946472168,
612
- 0.031591424942016604,
613
- 0.031528959274291994,
614
- 0.0316682243347168,
615
- 0.03153817558288574,
616
- 0.031664127349853514,
617
  0.031491071701049804,
618
- 0.03153510475158691,
619
- 0.031503360748291014,
620
- 0.031476736068725586,
621
- 0.031458303451538085,
622
- 0.0315996150970459,
623
- 0.03159347152709961,
624
- 0.03163443183898926,
625
- 0.03151769638061523,
626
- 0.03159654426574707,
627
- 0.03153203201293946,
628
- 0.03143475151062012,
629
- 0.03160172843933105,
630
- 0.03174496078491211,
631
- 0.03150131225585937,
632
- 0.0315545597076416,
633
- 0.03158835220336914,
634
- 0.03158323287963867,
635
- 0.031541248321533204,
636
- 0.03152179145812988,
637
- 0.03144499206542969,
638
- 0.0315228157043457,
639
- 0.03149619293212891,
640
- 0.03153203201293946,
641
- 0.031615167617797854,
642
- 0.03149190330505371,
643
  0.03146751976013184,
644
- 0.031527936935424807,
645
- 0.03151769638061523,
646
- 0.031493120193481446,
647
- 0.0316180477142334,
648
- 0.03141529655456543,
649
- 0.031663103103637694,
650
- 0.03196723175048828,
651
- 0.03158527946472168,
652
- 0.031547391891479495,
653
  0.03149926376342774,
654
- 0.03157401657104492,
655
- 0.03150028800964356,
656
- 0.03179110336303711,
657
- 0.03153305625915527,
658
- 0.03141427230834961,
659
- 0.031632383346557616,
660
- 0.031664127349853514,
661
- 0.03160576057434082,
662
- 0.0316682243347168,
663
- 0.03164057540893555,
664
- 0.03158220863342285,
665
- 0.031748096466064454,
666
- 0.031719423294067385,
667
- 0.031545343399047854,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
668
  0.03150540733337402,
669
- 0.03156172752380371,
670
- 0.031426559448242186,
671
- 0.03152297592163086,
672
- 0.03153801536560059,
673
- 0.0314204158782959,
674
- 0.031510528564453126,
675
- 0.03144908714294434,
676
- 0.03160268783569336,
677
- 0.03149231910705566,
678
- 0.03153078460693359,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
679
  0.03153305625915527,
680
- 0.031494144439697266,
681
- 0.03153203201293946,
682
- 0.031529983520507815,
683
- 0.03144499206542969,
684
- 0.03158937644958496,
685
- 0.03160371208190918,
686
- 0.031645696640014646,
687
- 0.03155660820007324,
688
- 0.031527936935424807,
689
- 0.03160371208190918,
690
- 0.03149516868591309,
691
- 0.031512575149536134,
692
- 0.03143475151062012,
693
- 0.03146649551391602,
694
- 0.031615999221801756,
695
- 0.03143475151062012,
696
- 0.03144704055786133,
697
- 0.03146854400634766,
 
 
 
 
 
 
 
698
  0.03150028800964356,
699
- 0.03146649551391602,
700
- 0.031508480072021484,
701
- 0.0314726390838623,
702
  0.031422464370727536,
703
- 0.03139686393737793,
704
- 0.031426559448242186,
705
- 0.03145017623901367,
706
- 0.03149407958984375,
707
- 0.031459327697753905,
708
- 0.03146956825256347,
709
- 0.03159859275817871,
710
- 0.0317071361541748,
711
- 0.031438848495483396,
712
- 0.031388671875,
713
- 0.03137446403503418,
714
- 0.03176435279846192,
715
- 0.03150643157958984,
716
- 0.03153408050537109,
717
- 0.03131391906738281,
718
- 0.0313384952545166,
719
- 0.03136716842651367,
720
- 0.03156070327758789,
721
- 0.03142758369445801,
722
  0.03144499206542969,
723
- 0.03146956825256347,
724
- 0.03154841613769531,
725
- 0.031493120193481446,
726
- 0.031491071701049804,
727
- 0.031508480072021484,
728
- 0.031509504318237305,
729
- 0.0316376953125,
730
- 0.0316055679321289,
731
- 0.03156991958618164,
732
- 0.031480831146240236,
733
- 0.031437824249267575,
734
- 0.03150643157958984,
735
- 0.03157401657104492,
736
- 0.031438848495483396,
737
- 0.03140096092224121,
738
- 0.03137638473510742,
739
- 0.031494144439697266,
740
- 0.03158732795715332,
741
- 0.031497215270996096,
742
- 0.031510528564453126,
743
- 0.03137740707397461,
 
 
 
 
 
 
 
 
 
 
744
  0.031421440124511715,
745
- 0.031422464370727536
 
 
 
 
 
 
746
  ]
747
  },
748
  "throughput": {
749
  "unit": "tokens/s",
750
- "value": 31.743254825877298
751
  },
752
  "energy": null,
753
  "efficiency": null
 
2
  "prefill": {
3
  "memory": {
4
  "unit": "MB",
5
+ "max_ram": 1089.10592,
6
+ "max_vram": 6534.725632,
7
  "max_reserved": 6312.42752,
8
  "max_allocated": 6191.16288
9
  },
10
  "latency": {
11
  "unit": "s",
12
+ "mean": 0.0554408369327777,
13
+ "stdev": 0.00046867886188081725,
14
  "values": [
15
+ 0.06065068817138672,
16
+ 0.05728492736816406,
17
+ 0.05781708908081055,
18
+ 0.05692211151123047,
19
+ 0.055831550598144535,
20
+ 0.05569740676879883,
21
+ 0.05571993637084961,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
22
  0.05533695983886719,
23
+ 0.05533900833129883,
24
+ 0.055228416442871096,
25
+ 0.05532057571411133,
26
+ 0.05521612930297851,
27
+ 0.055268383026123045,
28
+ 0.05524172973632813,
29
+ 0.05533494567871094,
30
+ 0.05518745422363281,
31
+ 0.0553639030456543,
32
+ 0.05525708770751953,
33
+ 0.055431167602539064,
34
+ 0.05526323318481445,
35
+ 0.0553853759765625,
36
+ 0.05528268814086914,
37
+ 0.055403518676757815,
38
+ 0.055305217742919924,
39
+ 0.055390209197998044,
40
+ 0.05535232162475586,
41
+ 0.05541580963134766,
42
+ 0.05530316925048828,
43
+ 0.05540454483032226,
44
+ 0.05530112075805664,
45
+ 0.055393280029296874,
46
+ 0.0553454704284668,
47
+ 0.05542521667480469,
48
+ 0.055332862854003906,
49
+ 0.055375873565673826,
50
  0.055375873565673826,
 
 
 
 
 
51
  0.05537279891967774,
52
+ 0.05539123153686523,
53
+ 0.05534515380859375,
54
  0.05535232162475586,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
55
  0.05535027313232422,
56
+ 0.05538611221313477,
57
+ 0.0553809928894043,
58
+ 0.055401470184326174,
59
+ 0.055365631103515625,
60
+ 0.055357662200927735,
61
+ 0.055365631103515625,
62
+ 0.055377983093261716,
63
+ 0.055362560272216796,
64
+ 0.05537811279296875,
65
+ 0.055378944396972656,
 
66
  0.05538304138183594,
67
+ 0.05538508987426758,
68
+ 0.05540249633789063,
69
+ 0.055362560272216796,
70
+ 0.05538611221313477,
71
+ 0.05536767959594727,
72
+ 0.05538304138183594,
73
+ 0.055362560272216796,
74
+ 0.05539123153686523,
75
+ 0.055381183624267576,
76
+ 0.05536483383178711,
77
+ 0.055375873565673826,
78
+ 0.05538105773925781,
79
+ 0.05536675262451172,
80
+ 0.05537996673583984,
81
  0.055376895904541014,
82
+ 0.055378944396972656,
83
+ 0.055347198486328124,
84
+ 0.055398399353027344,
85
+ 0.05538304138183594,
86
+ 0.05535539245605469,
87
+ 0.055398399353027344,
88
+ 0.0556124153137207,
89
+ 0.05536972808837891,
 
 
 
 
 
 
 
 
 
 
 
 
 
90
  0.055376895904541014,
91
+ 0.05539865493774414,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
92
  0.055392257690429686,
 
 
 
 
 
93
  0.05539430236816406,
94
+ 0.05538918304443359,
95
+ 0.05537279891967774,
96
+ 0.05538412857055664,
97
+ 0.0553779182434082,
98
+ 0.05537996673583984,
99
+ 0.05535334396362305,
100
+ 0.055349246978759765,
101
+ 0.055375873565673826,
102
+ 0.055375873565673826,
103
+ 0.0553779182434082,
104
+ 0.0553963508605957,
105
+ 0.05537513732910156,
106
+ 0.0553779182434082,
107
+ 0.05537295913696289,
108
+ 0.05536153411865234,
109
+ 0.05535232162475586,
110
+ 0.055398399353027344,
111
+ 0.05538816070556641,
112
+ 0.055363582611083983,
113
+ 0.055376895904541014,
114
+ 0.0553994255065918,
115
  0.05540454483032226,
116
+ 0.05537388610839844,
117
+ 0.05540761566162109,
118
+ 0.055392257690429686,
119
+ 0.05535129547119141,
120
+ 0.055403518676757815,
 
 
 
 
121
  0.05538304138183594,
122
+ 0.05538611221313477,
123
+ 0.05537279891967774,
124
+ 0.05540761566162109,
125
+ 0.05536870574951172,
126
+ 0.055375873565673826,
127
  0.05537177658081055,
128
+ 0.055398399353027344,
129
+ 0.055375873565673826,
130
+ 0.055401470184326174,
131
+ 0.05539430236816406,
132
+ 0.055387134552001956,
133
+ 0.055363582611083983,
134
+ 0.05536460876464844,
135
+ 0.05536665725708008,
136
+ 0.055390209197998044,
137
  0.055392257690429686,
138
+ 0.05537411117553711,
139
+ 0.055370750427246096,
140
+ 0.055381088256835936,
141
+ 0.05536972808837891,
142
+ 0.05537897491455078,
143
+ 0.05540454483032226,
144
+ 0.05538918304443359,
145
+ 0.05537177658081055,
146
+ 0.0553809928894043,
147
+ 0.05535641479492188,
148
+ 0.0553809928894043,
149
+ 0.05538508987426758,
150
+ 0.05542911911010742,
 
151
  0.05536153411865234,
152
+ 0.055387134552001956,
153
+ 0.05537279891967774,
154
+ 0.055375873565673826,
155
+ 0.0553779182434082,
156
+ 0.05536767959594727,
157
+ 0.055387134552001956,
158
+ 0.055382015228271485,
159
+ 0.05536870574951172,
160
+ 0.05536460876464844,
161
+ 0.0553779182434082,
162
+ 0.055401470184326174,
163
+ 0.0553809928894043,
164
+ 0.055363582611083983,
165
+ 0.055357440948486325,
166
+ 0.05538508987426758,
167
+ 0.05536460876464844,
168
+ 0.055400447845458986,
169
+ 0.055375873565673826,
170
+ 0.05537279891967774,
171
+ 0.055387134552001956,
172
+ 0.055375873565673826,
173
+ 0.05535948944091797,
174
+ 0.0553809928894043,
175
+ 0.055387134552001956,
176
+ 0.055401470184326174,
177
+ 0.055370750427246096,
178
+ 0.055393310546875,
179
+ 0.0553963508605957,
180
+ 0.055385215759277344,
181
+ 0.0553809928894043,
182
+ 0.05537279891967774,
183
+ 0.05538611221313477,
184
+ 0.05538508987426758,
185
  0.055393280029296874,
186
+ 0.05536972808837891,
187
+ 0.055378944396972656,
188
+ 0.055393280029296874,
189
+ 0.0553963508605957,
190
+ 0.05536460876464844,
191
+ 0.055370750427246096,
192
+ 0.05540966415405273,
193
+ 0.055401470184326174,
194
+ 0.05537996673583984,
195
+ 0.055411712646484375
 
 
 
 
 
 
 
 
 
 
 
 
 
196
  ]
197
  },
198
  "throughput": {
199
  "unit": "tokens/s",
200
+ "value": 4617.534910419937
201
  },
202
  "energy": null,
203
  "efficiency": null
 
205
  "decode": {
206
  "memory": {
207
  "unit": "MB",
208
+ "max_ram": 1089.10592,
209
  "max_vram": 7212.105728,
210
  "max_reserved": 6727.663616,
211
  "max_allocated": 6570.75456
212
  },
213
  "latency": {
214
  "unit": "s",
215
+ "mean": 8.009259902954101,
216
+ "stdev": 0.0027145023345926944,
217
  "values": [
218
+ 8.011974405288694,
219
+ 8.006545400619508
220
  ]
221
  },
222
  "throughput": {
223
  "unit": "tokens/s",
224
+ "value": 31.838147730222477
225
  },
226
  "energy": null,
227
  "efficiency": null
 
230
  "memory": null,
231
  "latency": {
232
  "unit": "s",
233
+ "mean": 0.031408862364525884,
234
+ "stdev": 0.00011838795661826258,
235
  "values": [
236
+ 0.0313515510559082,
237
+ 0.03122585678100586,
238
+ 0.03126169586181641,
239
+ 0.031351808547973634,
240
+ 0.03133030319213867,
241
+ 0.03134883117675781,
242
+ 0.03142351913452148,
243
+ 0.031348608016967774,
244
+ 0.031246335983276367,
245
+ 0.0312729606628418,
246
+ 0.0313702392578125,
247
+ 0.031268863677978515,
248
+ 0.03145638465881348,
249
+ 0.03136092758178711,
250
+ 0.0312391357421875,
251
+ 0.03131494331359863,
252
+ 0.03134694480895996,
253
+ 0.03131673622131348,
254
+ 0.03124550437927246,
255
+ 0.03128505516052246,
256
+ 0.031239168167114258,
257
+ 0.03129446411132813,
258
+ 0.03127807998657227,
259
+ 0.031262943267822266,
260
+ 0.031309600830078124,
261
+ 0.03122790336608887,
262
+ 0.03130060768127441,
263
+ 0.031321088790893556,
264
+ 0.03131596755981445,
265
+ 0.03141324806213379,
266
+ 0.031255680084228514,
267
+ 0.031226751327514648,
268
+ 0.03124838447570801,
269
+ 0.03136102485656738,
270
+ 0.031351039886474606,
271
+ 0.031331167221069336,
272
+ 0.03125545692443848,
273
+ 0.031352832794189454,
274
+ 0.03134976005554199,
275
+ 0.03154944038391113,
276
+ 0.03124742317199707,
277
+ 0.03141932868957519,
278
+ 0.03138764762878418,
279
+ 0.03138457679748535,
280
+ 0.031431936264038084,
281
+ 0.031840000152587894,
282
+ 0.03137126350402832,
283
+ 0.03138457679748535,
284
+ 0.0314019832611084,
285
+ 0.031330368041992185,
286
+ 0.0314707202911377,
287
+ 0.03133225631713867,
288
+ 0.03136822319030762,
289
+ 0.031348608016967774,
290
+ 0.031437824249267575,
291
+ 0.031394943237304684,
292
+ 0.031468416213989256,
293
+ 0.03138662338256836,
294
  0.031475711822509765,
295
+ 0.0313753604888916,
296
+ 0.031768575668334964,
 
 
297
  0.03143987274169922,
298
+ 0.03141836738586426,
299
+ 0.0314071044921875,
300
+ 0.03148006439208984,
301
+ 0.031409151077270506,
302
+ 0.031357696533203125,
303
+ 0.03142860794067383,
 
304
  0.03141222381591797,
305
+ 0.031494144439697266,
306
+ 0.03140096092224121,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
307
  0.03146444892883301,
308
+ 0.031306751251220705,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
309
  0.03133440017700195,
310
+ 0.03158220863342285,
311
+ 0.03141119956970215,
312
+ 0.03134464073181152,
313
+ 0.03154022407531738,
314
+ 0.03144704055786133,
315
+ 0.03135193634033203,
316
+ 0.031316864013671876,
317
+ 0.03135807991027832,
318
+ 0.031485824584960936,
319
+ 0.03136204719543457,
320
+ 0.03138047981262207,
321
+ 0.03136511993408203,
322
+ 0.03146563148498535,
323
+ 0.031412063598632814,
324
  0.03136000061035156,
325
+ 0.031380544662475585,
326
+ 0.03141856002807617,
327
+ 0.0315534725189209,
328
+ 0.031408031463623046,
329
+ 0.03143587112426758,
330
+ 0.03136083221435547,
331
+ 0.03132825660705566,
332
+ 0.03139174461364746,
333
+ 0.03150233650207519,
334
+ 0.031335424423217774,
335
+ 0.03136204719543457,
336
+ 0.03136102485656738,
337
+ 0.031628288269042966,
338
+ 0.03137945556640625,
339
+ 0.03160883140563965,
340
+ 0.03131494331359863,
341
+ 0.03146240043640137,
342
+ 0.03144704055786133,
343
+ 0.031425535202026365,
344
+ 0.03140403175354004,
345
+ 0.031903743743896484,
346
+ 0.03148512077331543,
347
+ 0.031428415298461916,
348
+ 0.031425535202026365,
349
+ 0.031507455825805664,
350
+ 0.031455232620239255,
351
+ 0.031421440124511715,
352
  0.03134873580932617,
353
+ 0.031458303451538085,
354
+ 0.031321088790893556,
355
+ 0.0314726390838623,
356
+ 0.03136819267272949,
357
+ 0.03143987274169922,
 
 
 
 
 
 
 
358
  0.03144499206542969,
359
+ 0.03143065643310547,
360
+ 0.0314839038848877,
361
+ 0.03158118438720703,
362
+ 0.03141529655456543,
363
+ 0.03143270492553711,
364
+ 0.031268863677978515,
365
+ 0.03153510475158691,
 
 
 
 
 
366
  0.03142451286315918,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
367
  0.03144704055786133,
368
+ 0.031459327697753905,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
369
  0.031341567993164066,
370
+ 0.031512575149536134,
371
+ 0.031524864196777344,
372
+ 0.03142963218688965,
373
+ 0.031526912689208986,
374
+ 0.03164672088623047,
375
+ 0.03140300750732422,
376
+ 0.03156582450866699,
377
+ 0.03143577575683594,
378
+ 0.031527936935424807,
379
+ 0.03147776031494141,
380
+ 0.031527936935424807,
381
+ 0.03138355255126953,
382
+ 0.031542272567749025,
383
+ 0.031525983810424804,
384
+ 0.031510431289672854,
385
+ 0.03146463966369629,
386
+ 0.031534912109375,
387
+ 0.03142451286315918,
388
+ 0.03149926376342774,
389
+ 0.03144704055786133,
390
  0.031437824249267575,
391
+ 0.031440895080566404,
392
+ 0.03150233650207519,
393
+ 0.031456256866455076,
394
+ 0.031442943572998046,
395
+ 0.031441919326782225,
396
+ 0.031488000869750975,
397
+ 0.0314726390838623,
398
+ 0.03146751976013184,
399
+ 0.03146751976013184,
400
+ 0.0314839038848877,
401
+ 0.03147164726257324,
402
+ 0.03157705688476563,
403
  0.031460351943969726,
404
+ 0.03143065643310547,
405
+ 0.0314654712677002,
406
+ 0.031491071701049804,
407
+ 0.03152179145812988,
408
+ 0.03146956825256347,
409
+ 0.0318525447845459,
410
+ 0.031525888442993165,
411
+ 0.031456256866455076,
412
+ 0.031512575149536134,
413
+ 0.031488000869750975,
414
+ 0.03146854400634766,
 
415
  0.031508480072021484,
416
+ 0.03150028800964356,
417
+ 0.031496320724487305,
418
+ 0.031504255294799804,
419
+ 0.031512575149536134,
420
+ 0.03148902320861816,
421
+ 0.03155891227722168,
422
+ 0.03148467254638672,
 
 
 
 
 
 
 
 
 
 
 
 
423
  0.031527936935424807,
424
+ 0.031513599395751955,
425
+ 0.031666175842285156,
426
+ 0.03143475151062012,
427
  0.03140505599975586,
428
+ 0.03135385513305664,
429
+ 0.03137126350402832,
430
+ 0.03134771156311035,
431
+ 0.031438848495483396,
432
+ 0.031486976623535154,
433
+ 0.03129446411132813,
434
+ 0.03139481544494629,
435
+ 0.03137740707397461,
436
+ 0.031348896026611325,
437
+ 0.03142127990722656,
438
+ 0.03130060768127441,
439
+ 0.03139891242980957,
440
+ 0.03129343986511231,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
441
  0.03141734313964844,
442
+ 0.0314204158782959,
443
+ 0.031401119232177734,
444
+ 0.031381343841552736,
445
+ 0.03150540733337402,
446
+ 0.031422464370727536,
447
+ 0.03136716842651367,
448
+ 0.031356927871704104,
449
+ 0.0314839038848877,
450
+ 0.03143680000305176,
451
+ 0.03139788818359375,
452
+ 0.031453184127807614,
453
+ 0.03139891242980957,
454
+ 0.03149516868591309,
455
+ 0.0314019832611084,
456
+ 0.031409151077270506,
457
+ 0.03141647911071777,
458
+ 0.03126358413696289,
459
+ 0.03133551979064941,
460
+ 0.03134249687194824,
461
+ 0.03156582450866699,
462
+ 0.031291391372680666,
463
+ 0.031441919326782225,
464
+ 0.0313753604888916,
465
+ 0.031352832794189454,
466
+ 0.03127910423278808,
467
+ 0.031457279205322264,
468
+ 0.031460351943969726,
 
 
 
 
 
 
 
 
 
469
  0.03149004745483398,
470
+ 0.031339519500732424,
471
+ 0.03143065643310547,
472
+ 0.0315035514831543,
473
+ 0.03153286361694336,
474
+ 0.031440895080566404,
475
+ 0.03132620811462403,
476
+ 0.031308799743652346,
 
 
 
 
 
 
 
477
  0.03137638473510742,
478
+ 0.031351808547973634,
479
+ 0.03137955284118652,
480
+ 0.031256479263305666,
481
+ 0.03151283264160156,
482
+ 0.031357696533203125,
483
+ 0.03136511993408203,
484
+ 0.031357952117919925,
485
  0.03146342468261719,
486
+ 0.03138764762878418,
487
+ 0.031421632766723634,
488
+ 0.03139155197143555,
489
+ 0.03177574348449707,
490
+ 0.031253503799438476,
491
+ 0.03136716842651367,
492
+ 0.03134771156311035,
493
+ 0.03122380828857422,
494
+ 0.031291391372680666,
495
+ 0.03122585678100586,
496
+ 0.03141024017333984,
497
+ 0.03135379219055176,
498
+ 0.03135398483276367,
499
+ 0.03129747200012207,
500
+ 0.03135276794433594,
501
+ 0.03103036880493164,
502
+ 0.030929023742675782,
503
+ 0.03122265625,
504
+ 0.03134249687194824,
505
+ 0.03126169586181641,
506
+ 0.03139072036743164,
507
+ 0.031263744354248044,
508
+ 0.031357952117919925,
509
+ 0.031301631927490234,
510
+ 0.03136214447021484,
511
+ 0.03135785675048828,
512
+ 0.0313702392578125,
513
+ 0.03124224090576172,
514
+ 0.031335424423217774,
515
+ 0.031410175323486327,
516
+ 0.031318016052246093,
517
+ 0.031237119674682616,
518
+ 0.03133132743835449,
519
+ 0.03131603240966797,
520
+ 0.03149920082092285,
521
+ 0.03143475151062012,
522
+ 0.03121561622619629,
523
+ 0.031191135406494142,
524
+ 0.031353759765625,
525
+ 0.03117568016052246,
526
+ 0.03140096092224121,
527
+ 0.031197183609008788,
528
+ 0.03138675117492676,
529
+ 0.03128934478759766,
530
+ 0.03129228782653808,
531
+ 0.03122697639465332,
532
+ 0.03134249687194824,
533
+ 0.031243263244628908,
534
+ 0.031325183868408206,
535
+ 0.031266975402832034,
536
+ 0.031735744476318356,
537
+ 0.031108095169067384,
538
+ 0.031227807998657226,
539
+ 0.031226879119873048,
540
+ 0.03131699180603027,
541
+ 0.031193216323852538,
542
+ 0.03119500732421875,
543
+ 0.03114905548095703,
544
+ 0.031247360229492187,
545
+ 0.031246335983276367,
546
+ 0.03127398490905762,
547
+ 0.031188991546630858,
548
+ 0.031346912384033206,
549
+ 0.03125635147094727,
550
+ 0.031246335983276367,
551
  0.03161702346801758,
552
+ 0.031275007247924806,
553
+ 0.031247360229492187,
554
+ 0.031252479553222655,
555
+ 0.03118182373046875,
556
+ 0.031357952117919925,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
557
  0.031491071701049804,
558
+ 0.031278207778930665,
559
+ 0.03130662345886231,
560
+ 0.03129343986511231,
561
+ 0.031297536849975584,
562
+ 0.031488000869750975,
563
+ 0.03136409568786621,
564
+ 0.03142451286315918,
565
+ 0.031235071182250978,
566
+ 0.03139200019836426,
567
+ 0.03126348876953125,
568
+ 0.031302656173706055,
569
+ 0.03136307144165039,
570
+ 0.031306751251220705,
571
+ 0.03138355255126953,
572
+ 0.03128230476379395,
573
+ 0.031282047271728515,
574
+ 0.03132928085327148,
 
 
 
 
 
 
 
 
575
  0.03146751976013184,
576
+ 0.03129958343505859,
577
+ 0.03135897636413574,
 
 
 
 
 
 
 
578
  0.03149926376342774,
579
+ 0.031355903625488284,
580
+ 0.031303871154785154,
581
+ 0.03134854316711426,
582
+ 0.0315228157043457,
583
+ 0.031514623641967776,
584
+ 0.031440895080566404,
585
+ 0.03134873580932617,
586
+ 0.031437824249267575,
587
+ 0.03158016014099121,
588
+ 0.03133337593078613,
589
+ 0.031355903625488284,
590
+ 0.03144806480407715,
591
+ 0.03137433624267578,
592
+ 0.03132928085327148,
593
+ 0.03141119956970215,
594
+ 0.031409151077270506,
595
+ 0.03141632080078125,
596
+ 0.0313118724822998,
597
+ 0.03138252830505371,
598
+ 0.03140630340576172,
599
+ 0.0314355525970459,
600
+ 0.031634464263916015,
601
+ 0.031334367752075196,
602
+ 0.03129548835754394,
603
+ 0.03127910423278808,
604
+ 0.03140403175354004,
605
+ 0.031453184127807614,
606
+ 0.031369216918945314,
607
+ 0.031410175323486327,
608
+ 0.031438848495483396,
609
+ 0.031357952117919925,
610
+ 0.03142758369445801,
611
+ 0.031409151077270506,
612
+ 0.03131391906738281,
613
+ 0.03129958343505859,
614
+ 0.03136204719543457,
615
+ 0.03145113563537598,
616
+ 0.03151974487304687,
617
+ 0.031474687576293944,
618
+ 0.03139686393737793,
619
+ 0.0314019832611084,
620
+ 0.03139891242980957,
621
+ 0.03144396781921387,
622
+ 0.03158332824707031,
623
+ 0.03150147247314453,
624
+ 0.031518463134765626,
625
+ 0.031384639739990235,
626
+ 0.03139577674865723,
627
+ 0.031474687576293944,
628
+ 0.03165302467346191,
629
+ 0.031514463424682615,
630
  0.03150540733337402,
631
+ 0.031480831146240236,
632
+ 0.0316376953125,
633
+ 0.03143046379089356,
634
+ 0.031491071701049804,
635
+ 0.0315361270904541,
636
+ 0.03150643157958984,
637
+ 0.0318403205871582,
638
+ 0.031548351287841794,
639
+ 0.03155046463012695,
640
+ 0.031410175323486327,
641
+ 0.03141427230834961,
642
+ 0.03153919982910156,
643
+ 0.031388671875,
644
+ 0.03147267150878906,
645
+ 0.031532064437866214,
646
+ 0.03155449676513672,
647
+ 0.03147980880737305,
648
+ 0.031486976623535154,
649
+ 0.03148185539245606,
650
+ 0.03157423973083496,
651
+ 0.031641504287719724,
652
+ 0.03142848014831543,
653
+ 0.03163443183898926,
654
+ 0.03136819267272949,
655
+ 0.03143270492553711,
656
+ 0.03159974479675293,
657
+ 0.03149606323242188,
658
+ 0.031513599395751955,
659
  0.03153305625915527,
660
+ 0.03151897621154785,
661
+ 0.03151337623596191,
662
+ 0.03151459121704102,
663
+ 0.03144112014770508,
664
+ 0.03196291160583496,
665
+ 0.031513599395751955,
666
+ 0.03143680000305176,
667
+ 0.031474687576293944,
668
+ 0.03159449577331543,
669
+ 0.031558656692504884,
670
+ 0.03152076721191406,
671
+ 0.031573152542114256,
672
+ 0.03151753616333008,
673
+ 0.03156070327758789,
674
+ 0.03160902404785156,
675
+ 0.03148268890380859,
676
+ 0.03157119941711426,
677
+ 0.031612672805786134,
678
+ 0.031526912689208986,
679
+ 0.031751167297363284,
680
+ 0.031753215789794925,
681
+ 0.03163462448120117,
682
+ 0.0314714241027832,
683
+ 0.0315043830871582,
684
+ 0.03154431915283203,
685
  0.03150028800964356,
 
 
 
686
  0.031422464370727536,
687
+ 0.03144704055786133,
688
+ 0.031355903625488284,
689
+ 0.031558656692504884,
690
+ 0.03138355255126953,
691
+ 0.03142348861694336,
692
+ 0.03126067161560059,
693
+ 0.03134873580932617,
694
+ 0.03143680000305176,
695
+ 0.03138559913635254,
696
+ 0.03150460815429688,
697
+ 0.031519519805908204,
698
+ 0.03144601631164551,
699
+ 0.031421440124511715,
700
+ 0.03132825660705566,
701
+ 0.03140505599975586,
702
+ 0.031470592498779294,
703
+ 0.03148595237731933,
704
+ 0.03135385513305664,
705
+ 0.03141632080078125,
706
  0.03144499206542969,
707
+ 0.031357952117919925,
708
+ 0.03137868881225586,
709
+ 0.03152767944335937,
710
+ 0.03132928085327148,
711
+ 0.03140505599975586,
712
+ 0.03136000061035156,
713
+ 0.031421440124511715,
714
+ 0.031306751251220705,
715
+ 0.0314071044921875,
716
+ 0.03136511993408203,
717
+ 0.03153817558288574,
718
+ 0.0313384952545166,
719
+ 0.03129651260375976,
720
+ 0.031263744354248044,
721
+ 0.031346912384033206,
722
+ 0.031263519287109375,
723
+ 0.03125555229187012,
724
+ 0.031204351425170897,
725
+ 0.03134259223937988,
726
+ 0.03131814384460449,
727
+ 0.03133017539978027,
728
+ 0.0316866569519043,
729
+ 0.03134873580932617,
730
+ 0.031341567993164066,
731
+ 0.03138559913635254,
732
+ 0.03136511993408203,
733
+ 0.03139379119873047,
734
+ 0.03134771156311035,
735
+ 0.03134464073181152,
736
+ 0.03131091117858887,
737
+ 0.031375295639038084,
738
  0.031421440124511715,
739
+ 0.031355903625488284,
740
+ 0.03126681518554687,
741
+ 0.03128755187988281,
742
+ 0.03126860809326172,
743
+ 0.03128217506408691,
744
+ 0.03164159965515137,
745
+ 0.031355903625488284
746
  ]
747
  },
748
  "throughput": {
749
  "unit": "tokens/s",
750
+ "value": 31.838147730222477
751
  },
752
  "energy": null,
753
  "efficiency": null