Hugging Face's logo

kreas
/
FA_benchmarks

Model card Files Community
kreas commited on
Commit
bae9c22
•
1 Parent(s): 8c80d84

Upload /Llama-2-7b-hf/int8_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json with huggingface_hub

Browse files
Files changed (1) hide show
  1. Llama-2-7b-hf/int8_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json +418 -420
Llama-2-7b-hf/int8_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json CHANGED
@@ -2,179 +2,177 @@
2
  "prefill": {
3
  "memory": {
4
  "unit": "MB",
5
- "max_ram": 5067.800576,
6
  "max_vram": 7918.845952,
7
  "max_reserved": 7426.015232,
8
  "max_allocated": 7386.006016
9
  },
10
  "latency": {
11
  "unit": "s",
12
- "mean": 0.06367147460164899,
13
- "stdev": 0.0008941133422340036,
14
  "values": [
15
- 0.06799167633056641,
16
- 0.06710681915283204,
17
- 0.06496562957763671,
18
- 0.06858854675292969,
19
- 0.07014195251464844,
20
- 0.06403584289550782,
21
- 0.06594457244873046,
22
- 0.0633529281616211,
23
- 0.06289408111572266,
24
- 0.0633733139038086,
25
- 0.06322278213500977,
26
- 0.0633620491027832,
27
- 0.06317670440673828,
28
- 0.06382905578613281,
29
- 0.06342041778564453,
30
- 0.06343782424926758,
31
- 0.0633364486694336,
32
- 0.06327603149414063,
33
- 0.06309888076782226,
34
- 0.0630835189819336,
35
- 0.06296678543090821,
36
- 0.06327705764770508,
37
- 0.06343475341796875,
38
- 0.06350233459472657,
39
- 0.06339174270629883,
40
- 0.06339686584472656,
41
- 0.06340812683105469,
42
- 0.06345420837402344,
43
- 0.06302022552490234,
44
- 0.06314803314208985,
45
- 0.06347980880737304,
46
- 0.0636129264831543,
47
- 0.06353526306152343,
48
- 0.06352179336547852,
49
- 0.0634593276977539,
50
- 0.06349311828613281,
51
- 0.06330060958862305,
52
- 0.06370406341552734,
53
- 0.06342348861694336,
54
- 0.06349516677856445,
55
- 0.0633733139038086,
56
- 0.06337638473510743,
57
- 0.06329651260375976,
58
- 0.06315008163452149,
59
- 0.06307635116577148,
60
- 0.06366924667358398,
61
- 0.06309990310668945,
62
- 0.06300780868530273,
63
- 0.06294937515258789,
64
- 0.06296268844604493,
65
- 0.06309683227539062,
66
- 0.06333849716186524,
67
- 0.06327705764770508,
68
- 0.0633620491027832,
69
- 0.06335283279418945,
70
- 0.06320230484008789,
71
- 0.06302719879150391,
72
- 0.06307635116577148,
73
- 0.06300262451171874,
74
- 0.06339891052246094,
75
- 0.06330470275878906,
76
- 0.06335385513305664,
77
- 0.06374502563476563,
78
- 0.06345318222045898,
79
- 0.0634705924987793,
80
- 0.06337753677368164,
81
- 0.06339788818359375,
82
- 0.06337740707397461,
83
- 0.06370611190795898,
84
- 0.06515526580810548,
85
- 0.06442495727539063,
86
- 0.06346649551391602,
87
- 0.06339379119873047,
88
- 0.06331391906738282,
89
- 0.06319206237792968,
90
- 0.0634521598815918,
91
- 0.06337843322753907,
92
- 0.06387814331054688,
93
- 0.06362623977661133,
94
- 0.0636497917175293,
95
- 0.06345318222045898,
96
- 0.06363545608520507,
97
- 0.06359449768066407,
98
- 0.06357606506347656,
99
- 0.06359059143066406,
100
- 0.06373376083374023,
101
- 0.06359552001953125,
102
- 0.06365388870239258,
103
- 0.06361395263671875,
104
- 0.06369996643066406,
105
- 0.06368371200561523,
106
- 0.06355660629272461,
107
- 0.0636129264831543,
108
- 0.063604736328125,
109
- 0.06369792175292968,
110
- 0.06355046463012695,
111
- 0.06351260757446289,
112
- 0.06349414443969727,
113
- 0.06356787109375,
114
- 0.06361088180541992,
115
- 0.06345830535888672,
116
- 0.06385663986206054,
117
- 0.06371737670898438,
118
- 0.06357196807861328,
119
- 0.06343167877197266,
120
- 0.06328627014160157,
121
- 0.06339993667602539,
122
- 0.06343782424926758,
123
- 0.06408806610107422,
124
- 0.06343679809570313,
125
- 0.06356480026245118,
126
- 0.06343782424926758,
127
- 0.06349414443969727,
128
- 0.06358752059936523,
129
- 0.06390784072875977,
130
- 0.06371839904785156,
131
- 0.0637655029296875,
132
  0.06371839904785156,
133
- 0.06372147369384766,
134
- 0.06422630310058594,
135
- 0.0638474235534668,
136
- 0.06366310501098633,
137
- 0.06359961700439454,
138
- 0.06343987274169922,
139
- 0.0636385269165039,
140
- 0.06356889724731446,
141
- 0.06366003036499024,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
142
  0.06368767929077149,
143
- 0.06366412734985352,
144
- 0.0636835823059082,
145
- 0.06366310501098633,
146
- 0.0635412483215332,
147
- 0.06386380767822265,
148
- 0.06399795150756836,
149
- 0.06374195098876953,
150
- 0.06353817749023437,
151
- 0.06610636901855468,
152
- 0.06449561309814453,
153
- 0.06325043106079102,
154
- 0.06337433624267579,
155
- 0.0637388801574707,
156
- 0.06350848007202148,
157
- 0.06327193450927734,
158
- 0.0633446388244629,
159
- 0.06327500915527344,
160
- 0.06336102294921875,
161
- 0.06343884658813477,
162
- 0.06349311828613281,
163
- 0.06349926376342774,
164
- 0.06359654235839844,
165
  0.06351564788818359,
166
- 0.06361497497558594,
 
 
 
 
 
 
 
 
167
  0.06376038360595702,
168
- 0.06352179336547852,
169
- 0.0636733741760254,
170
- 0.06349824142456055,
171
- 0.06367846298217773,
172
- 0.06353203201293946
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
173
  ]
174
  },
175
  "throughput": {
176
  "unit": "tokens/s",
177
- "value": 4020.63878057836
178
  },
179
  "energy": null,
180
  "efficiency": null
@@ -182,22 +180,22 @@
182
  "decode": {
183
  "memory": {
184
  "unit": "MB",
185
- "max_ram": 5067.800576,
186
  "max_vram": 8434.745344,
187
  "max_reserved": 7941.914624,
188
- "max_allocated": 7904.986112
189
  },
190
  "latency": {
191
  "unit": "s",
192
- "mean": 16.20600730133057,
193
  "stdev": 0,
194
  "values": [
195
- 16.20600730133057
196
  ]
197
  },
198
  "throughput": {
199
  "unit": "tokens/s",
200
- "value": 15.734905906099623
201
  },
202
  "energy": null,
203
  "efficiency": null
@@ -206,269 +204,269 @@
206
  "memory": null,
207
  "latency": {
208
  "unit": "s",
209
- "mean": 0.06355296980913949,
210
- "stdev": 0.00021514546109576284,
211
  "values": [
212
- 0.06431436920166016,
213
- 0.06406758117675782,
214
- 0.06351052856445312,
215
- 0.0636497917175293,
216
- 0.06320435333251953,
217
- 0.06388531112670899,
218
- 0.06328524780273438,
219
- 0.06367744064331055,
220
- 0.06342144012451172,
221
- 0.06332211303710937,
222
- 0.06345625686645508,
223
- 0.06352384185791016,
224
- 0.06343475341796875,
225
- 0.06387612915039062,
226
- 0.06323708724975587,
227
- 0.06349311828613281,
228
- 0.06325657653808593,
229
- 0.06357401657104492,
230
- 0.06338355255126953,
231
- 0.0636231689453125,
232
- 0.06346956634521485,
233
- 0.06367334365844726,
234
- 0.06372351837158204,
235
- 0.06356582260131836,
236
- 0.06352486419677734,
237
- 0.06349311828613281,
238
- 0.0633733139038086,
239
- 0.06346649551391602,
240
- 0.06358937454223633,
241
- 0.06372556686401368,
242
- 0.06360883331298828,
243
- 0.0635494384765625,
244
- 0.06346547317504883,
245
- 0.06339379119873047,
246
- 0.06313881683349609,
247
- 0.0634142723083496,
248
- 0.06344704055786132,
249
- 0.06392019271850585,
250
- 0.06321247863769532,
251
- 0.06349824142456055,
252
- 0.06324326324462891,
253
- 0.06331494522094727,
254
- 0.06330060958862305,
255
- 0.06350054550170899,
256
- 0.0633884162902832,
257
- 0.06383840179443359,
258
- 0.06331475067138671,
259
- 0.06320230484008789,
260
- 0.06316953659057617,
261
- 0.06337433624267579,
262
- 0.06330777740478516,
263
- 0.06348083114624023,
264
- 0.06339686584472656,
265
- 0.06337535858154297,
266
- 0.06354739379882812,
267
- 0.06347264099121094,
268
- 0.06334771347045899,
269
- 0.06327807998657227,
270
- 0.06326374435424804,
271
- 0.06343167877197266,
272
- 0.06320640182495117,
273
- 0.06343167877197266,
274
- 0.06345727920532226,
275
- 0.06350540924072266,
276
- 0.06365388870239258,
277
- 0.06375244903564453,
278
- 0.06330342483520508,
279
- 0.06362524795532226,
280
- 0.06336201477050782,
281
- 0.06416588592529297,
282
- 0.06341529464721679,
283
- 0.06344192123413087,
284
- 0.06329241561889648,
285
- 0.06365184020996094,
286
- 0.0635146255493164,
287
- 0.0637204475402832,
288
- 0.06385868835449218,
289
- 0.06362214279174805,
290
- 0.06343884658813477,
291
- 0.0633507843017578,
292
- 0.06347366333007813,
293
- 0.06346051025390625,
294
- 0.06353084945678711,
295
- 0.06331596755981446,
296
- 0.06344499206542968,
297
- 0.06340300750732422,
298
- 0.06378803253173829,
299
- 0.06342147064208985,
300
- 0.06341116714477539,
301
- 0.06344704055786132,
302
- 0.06361804962158203,
303
- 0.06345727920532226,
304
- 0.0633446388244629,
305
- 0.06310297775268554,
306
- 0.06333132934570312,
307
- 0.06345142364501953,
308
- 0.06340784072875977,
309
- 0.06329139328002929,
310
- 0.06366924667358398,
311
- 0.0633804817199707,
312
- 0.06398771286010742,
313
- 0.06366003036499024,
314
- 0.06380646514892578,
315
- 0.06341632080078125,
316
- 0.06371123123168945,
317
- 0.06352588653564453,
318
- 0.06380031967163086,
319
- 0.06341632080078125,
320
- 0.06393241500854492,
321
- 0.06339686584472656,
322
- 0.06409728240966797,
323
- 0.06350950241088867,
324
- 0.06365900802612305,
325
- 0.06341734313964843,
326
- 0.0636753921508789,
327
- 0.06348287963867187,
328
- 0.06364467239379883,
329
- 0.06361008071899414,
330
- 0.06359427261352539,
331
- 0.06358118438720703,
332
- 0.06356889724731446,
333
- 0.06328729629516601,
334
- 0.06341734313964843,
335
- 0.06331606292724609,
336
- 0.0636333122253418,
337
- 0.06333337783813477,
338
- 0.0636835823059082,
339
- 0.06346752166748047,
340
- 0.06352691268920899,
341
- 0.0637850227355957,
342
- 0.06359750366210938,
343
- 0.06342873764038086,
344
- 0.06411456298828125,
345
- 0.06350438308715821,
346
- 0.06357606506347656,
347
- 0.06330163192749023,
348
- 0.06363955307006836,
349
- 0.0633251838684082,
350
- 0.06356172943115235,
351
- 0.06331289672851563,
352
- 0.0638658561706543,
353
- 0.0634521598815918,
354
- 0.06375321578979493,
355
- 0.06339379119873047,
356
- 0.06332620620727539,
357
- 0.06357606506347656,
358
- 0.0636129264831543,
359
- 0.06343577575683594,
360
- 0.06357606506347656,
361
- 0.06355660629272461,
362
- 0.06334361648559571,
363
- 0.06333951950073242,
364
- 0.06363443374633788,
365
- 0.06343484878540039,
366
- 0.06344796752929688,
367
- 0.06333849716186524,
368
- 0.06348492813110351,
369
- 0.06365184020996094,
370
- 0.06371942520141602,
371
- 0.06340422439575195,
372
- 0.06363423919677734,
373
- 0.06351769638061523,
374
- 0.06377881622314453,
375
- 0.06365184020996094,
376
- 0.06413619232177735,
377
- 0.06341734313964843,
378
- 0.06357094573974609,
379
- 0.06369792175292968,
380
- 0.0636835823059082,
381
- 0.06366822433471679,
382
- 0.06418329620361328,
383
- 0.06444441223144531,
384
- 0.0637583351135254,
385
- 0.06348492813110351,
386
- 0.06353100967407227,
387
- 0.06369075012207032,
388
- 0.06374604797363281,
389
- 0.06354127883911133,
390
- 0.06340604782104492,
391
- 0.06341939163208007,
392
- 0.0637501449584961,
393
- 0.06380543899536133,
394
- 0.06371020889282226,
395
- 0.06355456161499023,
396
- 0.06360268783569335,
397
- 0.06344806289672851,
398
- 0.06344704055786132,
399
- 0.06347571182250976,
400
- 0.06362623977661133,
401
- 0.06349311828613281,
402
- 0.06373068618774413,
403
- 0.0635863037109375,
404
- 0.06355353546142578,
405
- 0.06360166549682617,
406
- 0.06384947204589844,
407
- 0.06400614166259766,
408
  0.0643031005859375,
409
- 0.06360678482055664,
410
- 0.06345830535888672,
411
- 0.06357513427734375,
412
- 0.0635810890197754,
413
- 0.06388633728027343,
414
- 0.06341939163208007,
415
- 0.0640348129272461,
416
- 0.06366207885742188,
417
- 0.06352588653564453,
418
- 0.06374092864990234,
419
- 0.0637122573852539,
420
- 0.06358425521850586,
421
- 0.06378905487060547,
422
- 0.06371737670898438,
423
- 0.06382899093627929,
424
- 0.0635975685119629,
425
- 0.06356787109375,
426
- 0.06331903839111327,
427
- 0.06367641448974609,
428
- 0.06350028610229493,
429
- 0.06375526428222657,
430
- 0.06362009429931641,
431
- 0.0638218231201172,
432
- 0.06379417419433593,
433
- 0.06367334365844726,
434
- 0.06359654235839844,
435
- 0.06345011138916015,
436
- 0.06362828826904297,
437
- 0.06373580932617187,
438
- 0.0637020149230957,
439
- 0.06395830535888672,
440
- 0.06370377731323242,
441
- 0.0633446388244629,
442
- 0.06363545608520507,
443
- 0.06352896118164063,
444
- 0.06327603149414063,
445
- 0.06337433624267579,
446
- 0.06345420837402344,
447
- 0.06391705703735352,
448
- 0.06334054565429688,
449
- 0.06332015991210938,
450
- 0.06340803146362305,
451
- 0.06326284790039062,
452
- 0.06338956832885742,
453
- 0.06347673416137695,
454
- 0.06356684875488282,
455
- 0.0635146255493164,
456
- 0.06334156799316407,
457
- 0.06332416152954101,
458
- 0.0634705924987793,
459
- 0.06356991958618165,
460
- 0.0635525131225586,
461
- 0.06362521743774414,
462
- 0.06354022216796874,
463
- 0.06343065643310547,
464
- 0.06346547317504883,
465
- 0.06332313537597656,
466
- 0.06364774322509766
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
467
  ]
468
  },
469
  "throughput": {
470
  "unit": "tokens/s",
471
- "value": 15.734905906099623
472
  },
473
  "energy": null,
474
  "efficiency": null
 
2
  "prefill": {
3
  "memory": {
4
  "unit": "MB",
5
+ "max_ram": 5053.5424,
6
  "max_vram": 7918.845952,
7
  "max_reserved": 7426.015232,
8
  "max_allocated": 7386.006016
9
  },
10
  "latency": {
11
  "unit": "s",
12
+ "mean": 0.06443505306732959,
13
+ "stdev": 0.001931064747457017,
14
  "values": [
15
+ 0.06801280212402344,
16
+ 0.06614323425292969,
17
+ 0.06541107177734375,
18
+ 0.06843494415283204,
19
+ 0.07050444793701172,
20
+ 0.06497382354736328,
21
+ 0.06376448059082031,
22
+ 0.06384230422973633,
23
+ 0.06374092864990234,
24
+ 0.06369177627563477,
25
+ 0.06431436920166016,
26
+ 0.06367232131958007,
27
+ 0.06380752182006835,
28
+ 0.06376652908325195,
29
+ 0.06372556686401368,
30
+ 0.06428262329101563,
31
+ 0.06431334686279297,
32
+ 0.06374809646606446,
33
+ 0.06377676773071289,
34
+ 0.06374399948120117,
35
+ 0.06364876937866211,
36
+ 0.06364876937866211,
37
+ 0.06362521743774414,
38
+ 0.06360371017456054,
39
+ 0.06365798568725586,
40
+ 0.06376153564453126,
41
+ 0.06377164840698242,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
42
  0.06371839904785156,
43
+ 0.06362112045288086,
44
+ 0.06365900802612305,
45
+ 0.0636948471069336,
46
+ 0.06380134582519531,
47
+ 0.06382592010498046,
48
+ 0.06376755142211914,
49
+ 0.06410137939453125,
50
+ 0.0637470703125,
51
+ 0.06393449783325195,
52
+ 0.06381670379638672,
53
+ 0.06392217636108398,
54
+ 0.0638218231201172,
55
+ 0.0637050895690918,
56
+ 0.06403890991210938,
57
+ 0.0637050895690918,
58
+ 0.06396825790405274,
59
+ 0.06388121414184571,
60
+ 0.06369382476806641,
61
+ 0.06380339050292969,
62
+ 0.06385152053833008,
63
+ 0.06369689559936523,
64
+ 0.06373273468017578,
65
+ 0.06377471923828125,
66
+ 0.0639283218383789,
67
+ 0.06387814331054688,
68
+ 0.06380134582519531,
69
+ 0.06379622268676757,
70
+ 0.06365398406982421,
71
+ 0.06389759826660156,
72
+ 0.0638361587524414,
73
+ 0.06364569473266601,
74
+ 0.0637204475402832,
75
+ 0.06361600112915039,
76
+ 0.06381568145751954,
77
  0.06368767929077149,
78
+ 0.06375628662109376,
79
+ 0.06406246185302734,
80
+ 0.06396006393432617,
81
+ 0.06411980438232422,
82
+ 0.06385152053833008,
83
+ 0.06383718490600586,
84
+ 0.06373273468017578,
85
+ 0.0639887351989746,
86
+ 0.06401741027832031,
87
+ 0.06380851364135742,
88
+ 0.06436454772949218,
89
+ 0.0637666244506836,
 
 
 
 
 
 
 
 
 
 
90
  0.06351564788818359,
91
+ 0.0637132797241211,
92
+ 0.06356991958618165,
93
+ 0.0636948471069336,
94
+ 0.06367436981201172,
95
+ 0.06373376083374023,
96
+ 0.06385971069335937,
97
+ 0.06379724884033203,
98
+ 0.06392524719238281,
99
+ 0.06398463821411132,
100
  0.06376038360595702,
101
+ 0.06379724884033203,
102
+ 0.06370816040039062,
103
+ 0.06385152053833008,
104
+ 0.06382611083984376,
105
+ 0.06380755233764648,
106
+ 0.06372659301757813,
107
+ 0.06384844970703125,
108
+ 0.0637583351135254,
109
+ 0.0637204475402832,
110
+ 0.06392422485351562,
111
+ 0.06376448059082031,
112
+ 0.06446080017089843,
113
+ 0.06379929733276367,
114
+ 0.06379827117919921,
115
+ 0.06376755142211914,
116
+ 0.06401126098632813,
117
+ 0.06383103942871093,
118
+ 0.06437068939208984,
119
+ 0.06419251251220703,
120
+ 0.06442495727539063,
121
+ 0.06387097549438477,
122
+ 0.06400819396972657,
123
+ 0.06396928024291992,
124
+ 0.06381478500366211,
125
+ 0.06381875228881836,
126
+ 0.06384537506103516,
127
+ 0.06405120086669921,
128
+ 0.0641638412475586,
129
+ 0.06416690826416016,
130
+ 0.06419865417480469,
131
+ 0.06415462493896484,
132
+ 0.064036865234375,
133
+ 0.06421401977539062,
134
+ 0.0642129898071289,
135
+ 0.0643410873413086,
136
+ 0.06405017852783203,
137
+ 0.0642682876586914,
138
+ 0.064,
139
+ 0.06407065582275391,
140
+ 0.06424063873291015,
141
+ 0.06401331329345702,
142
+ 0.0638740463256836,
143
+ 0.06407884979248046,
144
+ 0.06460108947753906,
145
+ 0.06384640121459961,
146
+ 0.06411161804199218,
147
+ 0.06411468505859375,
148
+ 0.06428057861328125,
149
+ 0.0639447021484375,
150
+ 0.06404505920410156,
151
+ 0.06599987030029297,
152
+ 0.07713279724121094,
153
+ 0.07324877166748046,
154
+ 0.07281254577636719,
155
+ 0.07181311798095703,
156
+ 0.07099187469482422,
157
+ 0.0690544662475586,
158
+ 0.06996991729736328,
159
+ 0.06661631774902343,
160
+ 0.06378291320800782,
161
+ 0.06400511932373047,
162
+ 0.06409728240966797,
163
+ 0.06403890991210938,
164
+ 0.06414950561523437,
165
+ 0.0640552978515625,
166
+ 0.0641239013671875,
167
+ 0.06466560363769532,
168
+ 0.06393241500854492,
169
+ 0.06391398239135743,
170
+ 0.06422220611572266
171
  ]
172
  },
173
  "throughput": {
174
  "unit": "tokens/s",
175
+ "value": 3972.992770449029
176
  },
177
  "energy": null,
178
  "efficiency": null
 
180
  "decode": {
181
  "memory": {
182
  "unit": "MB",
183
+ "max_ram": 5053.5424,
184
  "max_vram": 8434.745344,
185
  "max_reserved": 7941.914624,
186
+ "max_allocated": 7904.986624
187
  },
188
  "latency": {
189
  "unit": "s",
190
+ "mean": 16.442060771942142,
191
  "stdev": 0,
192
  "values": [
193
+ 16.442060771942142
194
  ]
195
  },
196
  "throughput": {
197
  "unit": "tokens/s",
198
+ "value": 15.509004834427413
199
  },
200
  "energy": null,
201
  "efficiency": null
 
204
  "memory": null,
205
  "latency": {
206
  "unit": "s",
207
+ "mean": 0.06447866969389075,
208
+ "stdev": 0.000950939358919176,
209
  "values": [
210
+ 0.06487769317626953,
211
+ 0.06502899169921875,
212
+ 0.06458777618408203,
213
+ 0.06451712036132813,
214
+ 0.0643430404663086,
215
+ 0.06419583892822266,
216
+ 0.06420966339111328,
217
+ 0.06448051452636719,
218
+ 0.06418208312988281,
219
+ 0.06463481903076172,
220
+ 0.06481625366210937,
221
+ 0.06431014251708984,
222
+ 0.064,
223
+ 0.06417203521728515,
224
+ 0.06411980438232422,
225
+ 0.0644659194946289,
226
+ 0.0640687026977539,
227
+ 0.06439823913574219,
228
+ 0.06402047729492187,
229
+ 0.06421094512939453,
230
+ 0.06403801727294922,
231
+ 0.06425484466552735,
232
+ 0.06418943786621094,
233
+ 0.06433382415771484,
234
+ 0.06413311767578125,
235
+ 0.06418022155761718,
236
+ 0.06429695892333985,
237
+ 0.06453145599365234,
238
+ 0.06421504211425781,
239
+ 0.06427865600585937,
240
+ 0.06419753265380859,
241
+ 0.06412496185302734,
242
+ 0.06394464111328126,
243
+ 0.06491545867919922,
244
+ 0.06434918212890625,
245
+ 0.06431231689453125,
246
+ 0.06422322845458985,
247
+ 0.06461849975585937,
248
+ 0.06510591888427734,
249
+ 0.07746969604492188,
250
+ 0.07012659454345703,
251
+ 0.06484377288818359,
252
+ 0.0642129898071289,
253
+ 0.06432588958740235,
254
+ 0.06413286590576171,
255
+ 0.06451200103759766,
256
+ 0.06431027221679687,
257
+ 0.06426214599609376,
258
+ 0.06406451416015625,
259
+ 0.06410546875,
260
+ 0.06438706970214844,
261
+ 0.06435350036621093,
262
+ 0.06421891021728515,
263
+ 0.06441471862792969,
264
+ 0.06427648162841797,
265
+ 0.06427241516113281,
266
+ 0.0639477767944336,
267
+ 0.0683980484008789,
268
+ 0.06426115417480469,
269
+ 0.06431740570068359,
270
+ 0.06387615966796875,
271
+ 0.0646890869140625,
272
+ 0.06444547271728515,
273
+ 0.06448636627197266,
274
+ 0.06484786987304687,
275
+ 0.06521446228027344,
276
+ 0.06413014221191406,
277
+ 0.06467984008789063,
278
+ 0.06435020446777344,
279
+ 0.06417100524902344,
280
+ 0.06418227386474609,
281
+ 0.06436351776123046,
282
+ 0.06448435211181641,
283
+ 0.06430617523193359,
284
+ 0.06413721466064454,
285
+ 0.06442086029052735,
286
+ 0.06433074951171874,
287
+ 0.06425804901123047,
288
+ 0.06440345764160156,
289
+ 0.06449664306640625,
290
+ 0.06441382598876953,
291
+ 0.06426611328125,
292
+ 0.06429695892333985,
293
+ 0.06445362854003907,
294
+ 0.06428160095214844,
295
+ 0.06451507568359376,
296
+ 0.06398169708251954,
297
+ 0.0644053726196289,
298
+ 0.06403993225097657,
299
+ 0.06411264038085937,
300
+ 0.06408294677734375,
301
+ 0.06431231689453125,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
302
  0.0643031005859375,
303
+ 0.06460825347900391,
304
+ 0.06438400268554688,
305
+ 0.06441881561279297,
306
+ 0.06466252899169922,
307
+ 0.06424393463134766,
308
+ 0.064231201171875,
309
+ 0.06418227386474609,
310
+ 0.06425599670410156,
311
+ 0.06440755462646484,
312
+ 0.0638322868347168,
313
+ 0.06488553619384765,
314
+ 0.0641761245727539,
315
+ 0.06424371337890625,
316
+ 0.06411468505859375,
317
+ 0.06433586883544921,
318
+ 0.06417305755615234,
319
+ 0.06458675384521484,
320
+ 0.0643954849243164,
321
+ 0.06434896087646484,
322
+ 0.06392524719238281,
323
+ 0.064395263671875,
324
+ 0.06448230743408204,
325
+ 0.06431027221679687,
326
+ 0.06423654174804687,
327
+ 0.06437993621826171,
328
+ 0.0644497299194336,
329
+ 0.06449539184570313,
330
+ 0.06440447998046875,
331
+ 0.06494207763671875,
332
+ 0.06414745330810546,
333
+ 0.06431027221679687,
334
+ 0.0644485092163086,
335
+ 0.06442393493652344,
336
+ 0.06444236755371094,
337
+ 0.06462156677246093,
338
+ 0.06407987213134765,
339
+ 0.06461337280273438,
340
+ 0.06444646453857422,
341
+ 0.06448332977294922,
342
+ 0.06447821044921875,
343
+ 0.06449254608154296,
344
+ 0.06480486297607421,
345
+ 0.06442393493652344,
346
+ 0.06434716796875,
347
+ 0.0643532485961914,
348
+ 0.06448345947265625,
349
+ 0.06439718627929687,
350
+ 0.06442598724365234,
351
+ 0.06449884796142578,
352
+ 0.06423331451416016,
353
+ 0.06451609802246094,
354
+ 0.06448639678955079,
355
+ 0.06465331268310547,
356
+ 0.06449868774414062,
357
+ 0.06459085083007812,
358
+ 0.06447513580322266,
359
+ 0.0643594207763672,
360
+ 0.06447718048095703,
361
+ 0.06460006713867188,
362
+ 0.06485222625732422,
363
+ 0.06463359832763672,
364
+ 0.06439014434814454,
365
+ 0.06448332977294922,
366
+ 0.06443318176269532,
367
+ 0.06453676605224609,
368
+ 0.06503401947021484,
369
+ 0.06447615814208985,
370
+ 0.06438195037841797,
371
+ 0.06448025512695313,
372
+ 0.06438400268554688,
373
+ 0.06436978912353515,
374
+ 0.06431423950195313,
375
+ 0.06438502502441407,
376
+ 0.06483968353271484,
377
+ 0.06435148620605469,
378
+ 0.06409088134765625,
379
+ 0.06447001647949219,
380
+ 0.06472704315185547,
381
+ 0.06460415649414063,
382
+ 0.06424678039550781,
383
+ 0.06440959930419922,
384
+ 0.06453453063964844,
385
+ 0.06448844909667968,
386
+ 0.06447206115722656,
387
+ 0.06456217956542969,
388
+ 0.0643583984375,
389
+ 0.06434822082519531,
390
+ 0.06411564636230468,
391
+ 0.06424883270263672,
392
+ 0.0643942413330078,
393
+ 0.06438195037841797,
394
+ 0.06443929290771484,
395
+ 0.06467292785644531,
396
+ 0.06431932830810547,
397
+ 0.06442803192138671,
398
+ 0.06451404571533204,
399
+ 0.06437174224853516,
400
+ 0.06493590545654297,
401
+ 0.06443520355224609,
402
+ 0.06429901123046874,
403
+ 0.06465443420410157,
404
+ 0.0642343978881836,
405
+ 0.06415074920654297,
406
+ 0.06426294708251953,
407
+ 0.06495539093017579,
408
+ 0.06430617523193359,
409
+ 0.06454476928710938,
410
+ 0.06426112365722657,
411
+ 0.06429491424560548,
412
+ 0.06442291259765626,
413
+ 0.06451200103759766,
414
+ 0.06423757171630859,
415
+ 0.06438925170898438,
416
+ 0.06412496185302734,
417
+ 0.06429167938232422,
418
+ 0.0640890884399414,
419
+ 0.0643799057006836,
420
+ 0.06420889282226562,
421
+ 0.06429507446289062,
422
+ 0.06429174041748047,
423
+ 0.06456630706787109,
424
+ 0.06411869049072266,
425
+ 0.06434611511230469,
426
+ 0.06420377349853515,
427
+ 0.06437068939208984,
428
+ 0.06431651306152343,
429
+ 0.06445763397216797,
430
+ 0.06440652465820312,
431
+ 0.06479974365234376,
432
+ 0.06449459075927734,
433
+ 0.06466355133056641,
434
+ 0.06424502563476563,
435
+ 0.0645250244140625,
436
+ 0.06444338989257813,
437
+ 0.06463795471191407,
438
+ 0.06498508453369141,
439
+ 0.06463180541992188,
440
+ 0.06438604736328125,
441
+ 0.06436454772949218,
442
+ 0.06430719757080078,
443
+ 0.06445772552490234,
444
+ 0.06435635375976563,
445
+ 0.06444134521484375,
446
+ 0.06425599670410156,
447
+ 0.06443622589111328,
448
+ 0.06421094512939453,
449
+ 0.06422220611572266,
450
+ 0.06449868774414062,
451
+ 0.06454790496826172,
452
+ 0.06441465759277344,
453
+ 0.0646266860961914,
454
+ 0.06427350616455078,
455
+ 0.06440541076660156,
456
+ 0.06427545928955078,
457
+ 0.06427852630615234,
458
+ 0.06413516998291016,
459
+ 0.06443526458740234,
460
+ 0.06408902740478516,
461
+ 0.06418739318847656,
462
+ 0.06466969299316407,
463
+ 0.06435151672363282,
464
+ 0.06414102172851563
465
  ]
466
  },
467
  "throughput": {
468
  "unit": "tokens/s",
469
+ "value": 15.509004834427413
470
  },
471
  "energy": null,
472
  "efficiency": null