Hugging Face's logo

kreas
/
FA_benchmarks

Model card Files Community
kreas commited on
Commit
f2297a6
·
verified ·
1 Parent(s): dcecd2e

Upload /gemma-7b/int8_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json with huggingface_hub

Browse files
Files changed (1) hide show
  1. gemma-7b/int8_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json +491 -0
gemma-7b/int8_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json ADDED
@@ -0,0 +1,491 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "prefill": {
3
+ "memory": {
4
+ "unit": "MB",
5
+ "max_ram": 4516.745216,
6
+ "max_vram": 10504.634368,
7
+ "max_reserved": 10011.803648,
8
+ "max_allocated": 9921.83552
9
+ },
10
+ "latency": {
11
+ "unit": "s",
12
+ "mean": 0.05815051000517913,
13
+ "stdev": 0.0009156655037561419,
14
+ "values": [
15
+ 0.06554188537597656,
16
+ 0.05961523056030273,
17
+ 0.05897420883178711,
18
+ 0.05911040115356445,
19
+ 0.06581657409667968,
20
+ 0.06116659164428711,
21
+ 0.05813759994506836,
22
+ 0.05792153549194336,
23
+ 0.05808025741577148,
24
+ 0.05825126266479492,
25
+ 0.05813865661621094,
26
+ 0.05799731063842774,
27
+ 0.058142719268798826,
28
+ 0.05811916732788086,
29
+ 0.057935871124267575,
30
+ 0.0579420166015625,
31
+ 0.05803007888793945,
32
+ 0.058019840240478515,
33
+ 0.05787855911254883,
34
+ 0.05789593505859375,
35
+ 0.057791488647460934,
36
+ 0.05791027069091797,
37
+ 0.0579317741394043,
38
+ 0.05810790252685547,
39
+ 0.05796352005004883,
40
+ 0.057793537139892576,
41
+ 0.05801881790161133,
42
+ 0.057845760345458984,
43
+ 0.05799116897583008,
44
+ 0.057839614868164066,
45
+ 0.05793791961669922,
46
+ 0.05809766387939453,
47
+ 0.0579502067565918,
48
+ 0.057899009704589846,
49
+ 0.05784883117675781,
50
+ 0.05790719985961914,
51
+ 0.05793382263183594,
52
+ 0.05791231918334961,
53
+ 0.05802201461791992,
54
+ 0.057862144470214844,
55
+ 0.05790822219848633,
56
+ 0.058000385284423826,
57
+ 0.057976993560791015,
58
+ 0.05796352005004883,
59
+ 0.05788671875,
60
+ 0.05782527923583984,
61
+ 0.05799321746826172,
62
+ 0.05796147155761719,
63
+ 0.0578785285949707,
64
+ 0.05821440124511719,
65
+ 0.057955360412597655,
66
+ 0.058014720916748044,
67
+ 0.05798400115966797,
68
+ 0.05786326217651367,
69
+ 0.058047489166259764,
70
+ 0.057981952667236325,
71
+ 0.057902080535888675,
72
+ 0.05842432022094726,
73
+ 0.05801062393188477,
74
+ 0.05777417755126953,
75
+ 0.057995262145996096,
76
+ 0.05796454238891602,
77
+ 0.05793075180053711,
78
+ 0.05812940979003906,
79
+ 0.058052608489990234,
80
+ 0.05793996810913086,
81
+ 0.05842739105224609,
82
+ 0.05782527923583984,
83
+ 0.05799423980712891,
84
+ 0.05795430374145508,
85
+ 0.058039295196533204,
86
+ 0.057915393829345706,
87
+ 0.05803007888793945,
88
+ 0.05794918441772461,
89
+ 0.05795840072631836,
90
+ 0.05792665481567383,
91
+ 0.05789593505859375,
92
+ 0.05786111831665039,
93
+ 0.0579051513671875,
94
+ 0.05801369476318359,
95
+ 0.057988094329833983,
96
+ 0.05773516845703125,
97
+ 0.05791641616821289,
98
+ 0.05794508743286133,
99
+ 0.058033153533935546,
100
+ 0.05788467025756836,
101
+ 0.05802700805664063,
102
+ 0.05804851150512695,
103
+ 0.05807308959960938,
104
+ 0.05795328140258789,
105
+ 0.05804851150512695,
106
+ 0.05790719985961914,
107
+ 0.05848883056640625,
108
+ 0.05825331115722656,
109
+ 0.05809766387939453,
110
+ 0.058039295196533204,
111
+ 0.058180606842041016,
112
+ 0.05796147155761719,
113
+ 0.058068992614746094,
114
+ 0.05791641616821289,
115
+ 0.058449920654296876,
116
+ 0.05794508743286133,
117
+ 0.05796966552734375,
118
+ 0.05796147155761719,
119
+ 0.05791129684448242,
120
+ 0.057845760345458984,
121
+ 0.058014720916748044,
122
+ 0.058038272857666016,
123
+ 0.058028064727783206,
124
+ 0.058031105041503904,
125
+ 0.058057727813720705,
126
+ 0.057929729461669924,
127
+ 0.05796352005004883,
128
+ 0.05790316772460938,
129
+ 0.058003456115722656,
130
+ 0.057826305389404295,
131
+ 0.05790105438232422,
132
+ 0.05791129684448242,
133
+ 0.058126335144042966,
134
+ 0.05795840072631836,
135
+ 0.05795430374145508,
136
+ 0.05791129684448242,
137
+ 0.05808127975463867,
138
+ 0.05797478485107422,
139
+ 0.058065921783447265,
140
+ 0.05798204803466797,
141
+ 0.058071041107177736,
142
+ 0.058194942474365234,
143
+ 0.05803212738037109,
144
+ 0.057957374572753906,
145
+ 0.05815193557739258,
146
+ 0.05793382263183594,
147
+ 0.057883647918701174,
148
+ 0.05798912048339844,
149
+ 0.06166425704956055,
150
+ 0.05828812789916992,
151
+ 0.05791455841064453,
152
+ 0.057929729461669924,
153
+ 0.05821747207641602,
154
+ 0.05783244705200195,
155
+ 0.05806489562988281,
156
+ 0.058017791748046874,
157
+ 0.0581396484375,
158
+ 0.058031105041503904,
159
+ 0.05799731063842774,
160
+ 0.05790617752075195,
161
+ 0.0581058578491211,
162
+ 0.058074111938476565,
163
+ 0.05796761703491211,
164
+ 0.05783859252929688,
165
+ 0.05787443161010742,
166
+ 0.05796352005004883,
167
+ 0.058074111938476565,
168
+ 0.05798400115966797,
169
+ 0.05815398406982422,
170
+ 0.057793792724609376,
171
+ 0.05800147247314453,
172
+ 0.057919486999511716,
173
+ 0.058019840240478515,
174
+ 0.058022911071777344,
175
+ 0.05803724670410156,
176
+ 0.058120193481445315,
177
+ 0.05827174377441406,
178
+ 0.05803417587280273,
179
+ 0.05795635223388672,
180
+ 0.05810073471069336,
181
+ 0.058019840240478515,
182
+ 0.05797580718994141,
183
+ 0.05812736129760742,
184
+ 0.05790822219848633,
185
+ 0.058484832763671876,
186
+ 0.058049537658691405,
187
+ 0.05807206344604492
188
+ ]
189
+ },
190
+ "throughput": {
191
+ "unit": "tokens/s",
192
+ "value": 4402.368955615343
193
+ },
194
+ "energy": null,
195
+ "efficiency": null
196
+ },
197
+ "decode": {
198
+ "memory": {
199
+ "unit": "MB",
200
+ "max_ram": 4516.745216,
201
+ "max_vram": 10892.607488,
202
+ "max_reserved": 10399.776768,
203
+ "max_allocated": 10301.4272
204
+ },
205
+ "latency": {
206
+ "unit": "s",
207
+ "mean": 14.593744888305668,
208
+ "stdev": 0,
209
+ "values": [
210
+ 14.593744888305668
211
+ ]
212
+ },
213
+ "throughput": {
214
+ "unit": "tokens/s",
215
+ "value": 17.47323952499251
216
+ },
217
+ "energy": null,
218
+ "efficiency": null
219
+ },
220
+ "per_token": {
221
+ "memory": null,
222
+ "latency": {
223
+ "unit": "s",
224
+ "mean": 0.05723037211100262,
225
+ "stdev": 0.00016024681144480654,
226
+ "values": [
227
+ 0.05737472152709961,
228
+ 0.05726822280883789,
229
+ 0.057237503051757815,
230
+ 0.05715456008911133,
231
+ 0.057063423156738284,
232
+ 0.05724777603149414,
233
+ 0.057419742584228516,
234
+ 0.05731737518310547,
235
+ 0.05731942367553711,
236
+ 0.05711769485473633,
237
+ 0.05702963256835938,
238
+ 0.05723955154418945,
239
+ 0.05710745620727539,
240
+ 0.057261215209960935,
241
+ 0.05724348831176758,
242
+ 0.05728972625732422,
243
+ 0.057221118927001956,
244
+ 0.05722748947143555,
245
+ 0.05717891311645508,
246
+ 0.05722521591186523,
247
+ 0.057224193572998044,
248
+ 0.05724467086791992,
249
+ 0.057296897888183596,
250
+ 0.05753241729736328,
251
+ 0.05732556915283203,
252
+ 0.05735833740234375,
253
+ 0.05718220901489258,
254
+ 0.05716377639770508,
255
+ 0.05720064163208008,
256
+ 0.0572938232421875,
257
+ 0.057267200469970705,
258
+ 0.05755596923828125,
259
+ 0.057181182861328124,
260
+ 0.057237503051757815,
261
+ 0.05711974334716797,
262
+ 0.057198783874511716,
263
+ 0.057149246215820314,
264
+ 0.057191551208496096,
265
+ 0.05734899139404297,
266
+ 0.057437183380126954,
267
+ 0.05720883178710937,
268
+ 0.05704294586181641,
269
+ 0.05715763092041016,
270
+ 0.057090049743652345,
271
+ 0.05722009658813477,
272
+ 0.057176223754882814,
273
+ 0.05722505569458008,
274
+ 0.05720678329467774,
275
+ 0.05728460693359375,
276
+ 0.05716070556640625,
277
+ 0.05718937683105469,
278
+ 0.057312255859375,
279
+ 0.05722521591186523,
280
+ 0.05715363311767578,
281
+ 0.057300895690917966,
282
+ 0.05716793441772461,
283
+ 0.057154495239257815,
284
+ 0.05732966232299805,
285
+ 0.05768396759033203,
286
+ 0.05711769485473633,
287
+ 0.057355262756347655,
288
+ 0.0572149772644043,
289
+ 0.057412609100341794,
290
+ 0.057070785522460935,
291
+ 0.057149246215820314,
292
+ 0.0571629753112793,
293
+ 0.057433887481689455,
294
+ 0.05709849548339844,
295
+ 0.05711539077758789,
296
+ 0.057062400817871096,
297
+ 0.0570511360168457,
298
+ 0.05710438537597656,
299
+ 0.05699993515014649,
300
+ 0.057012256622314454,
301
+ 0.056898529052734376,
302
+ 0.05700812911987305,
303
+ 0.05698252868652344,
304
+ 0.057057281494140626,
305
+ 0.056856575012207033,
306
+ 0.05696921539306641,
307
+ 0.057047039031982424,
308
+ 0.057027584075927736,
309
+ 0.05686374282836914,
310
+ 0.0569989128112793,
311
+ 0.05702656173706055,
312
+ 0.05708902359008789,
313
+ 0.057099262237548826,
314
+ 0.057197566986083984,
315
+ 0.0570695686340332,
316
+ 0.05701023864746094,
317
+ 0.056979393005371096,
318
+ 0.05701631927490235,
319
+ 0.05689139175415039,
320
+ 0.05724262237548828,
321
+ 0.05699686431884766,
322
+ 0.057063423156738284,
323
+ 0.05707059097290039,
324
+ 0.056992767333984375,
325
+ 0.05706137466430664,
326
+ 0.057241630554199216,
327
+ 0.057141216278076175,
328
+ 0.057306110382080076,
329
+ 0.05710233688354492,
330
+ 0.05705215835571289,
331
+ 0.0570777587890625,
332
+ 0.057003009796142576,
333
+ 0.05712793731689453,
334
+ 0.05698355102539063,
335
+ 0.05704294586181641,
336
+ 0.057106433868408205,
337
+ 0.0571146240234375,
338
+ 0.05730112075805664,
339
+ 0.05706124877929687,
340
+ 0.05709107208251953,
341
+ 0.057262081146240235,
342
+ 0.057188350677490236,
343
+ 0.05717196655273438,
344
+ 0.057164798736572264,
345
+ 0.05718425750732422,
346
+ 0.05717196655273438,
347
+ 0.05717094421386719,
348
+ 0.05815628814697266,
349
+ 0.05723827362060547,
350
+ 0.0572119026184082,
351
+ 0.057106433868408205,
352
+ 0.05715865707397461,
353
+ 0.05717708969116211,
354
+ 0.05728768157958984,
355
+ 0.05785804748535156,
356
+ 0.0572334098815918,
357
+ 0.057215999603271485,
358
+ 0.057100318908691404,
359
+ 0.05727433776855469,
360
+ 0.057265151977539064,
361
+ 0.05711155319213867,
362
+ 0.05745459365844727,
363
+ 0.056994815826416016,
364
+ 0.05756620788574219,
365
+ 0.0572149772644043,
366
+ 0.057250816345214846,
367
+ 0.057210880279541014,
368
+ 0.05726009750366211,
369
+ 0.057202625274658206,
370
+ 0.05732352066040039,
371
+ 0.057312255859375,
372
+ 0.057204734802246096,
373
+ 0.05712793731689453,
374
+ 0.057148414611816405,
375
+ 0.0571146240234375,
376
+ 0.05727231979370117,
377
+ 0.057219070434570314,
378
+ 0.05714233779907227,
379
+ 0.05731731033325195,
380
+ 0.05724364852905273,
381
+ 0.05724671936035156,
382
+ 0.05741670227050781,
383
+ 0.057278465270996094,
384
+ 0.05720678329467774,
385
+ 0.0571514892578125,
386
+ 0.05731020736694336,
387
+ 0.05716377639770508,
388
+ 0.05720064163208008,
389
+ 0.0571115837097168,
390
+ 0.05725692749023437,
391
+ 0.057475070953369144,
392
+ 0.05729587173461914,
393
+ 0.057294849395751954,
394
+ 0.057175041198730465,
395
+ 0.05732966232299805,
396
+ 0.05735833740234375,
397
+ 0.057280513763427736,
398
+ 0.05729494476318359,
399
+ 0.05765008163452148,
400
+ 0.05732352066040039,
401
+ 0.05724979019165039,
402
+ 0.05728160095214844,
403
+ 0.05730604934692383,
404
+ 0.05741567993164062,
405
+ 0.057294849395751954,
406
+ 0.05729587173461914,
407
+ 0.05714022445678711,
408
+ 0.05719468688964844,
409
+ 0.05711750411987305,
410
+ 0.0572334098815918,
411
+ 0.05728972625732422,
412
+ 0.05724169540405273,
413
+ 0.05715548706054688,
414
+ 0.05732761764526367,
415
+ 0.05725593566894531,
416
+ 0.05735935974121094,
417
+ 0.0572303352355957,
418
+ 0.05725094223022461,
419
+ 0.05714419174194336,
420
+ 0.05708390426635742,
421
+ 0.05719039916992188,
422
+ 0.05709625625610352,
423
+ 0.057156543731689456,
424
+ 0.05734502410888672,
425
+ 0.05717708969116211,
426
+ 0.05778124618530273,
427
+ 0.05730918502807617,
428
+ 0.05727641677856445,
429
+ 0.05717708969116211,
430
+ 0.05722009658813477,
431
+ 0.05736345672607422,
432
+ 0.05752934265136719,
433
+ 0.05729792022705078,
434
+ 0.05779372787475586,
435
+ 0.057334590911865234,
436
+ 0.05739519882202149,
437
+ 0.05728255844116211,
438
+ 0.05730099105834961,
439
+ 0.05746585464477539,
440
+ 0.05735647964477539,
441
+ 0.05734380722045898,
442
+ 0.057475070953369144,
443
+ 0.05741158294677735,
444
+ 0.05747097778320313,
445
+ 0.05726003265380859,
446
+ 0.05729894256591797,
447
+ 0.05731430435180664,
448
+ 0.057299968719482425,
449
+ 0.05720985412597656,
450
+ 0.0573287353515625,
451
+ 0.05733980941772461,
452
+ 0.057414657592773435,
453
+ 0.05729177474975586,
454
+ 0.057436351776123044,
455
+ 0.057404224395751956,
456
+ 0.05741670227050781,
457
+ 0.05724364852905273,
458
+ 0.057204734802246096,
459
+ 0.05714432144165039,
460
+ 0.057271327972412106,
461
+ 0.057588703155517576,
462
+ 0.057188350677490236,
463
+ 0.05717299270629883,
464
+ 0.05738086318969727,
465
+ 0.0573573112487793,
466
+ 0.057336830139160154,
467
+ 0.05709823989868164,
468
+ 0.05724467086791992,
469
+ 0.05758771133422851,
470
+ 0.05719039916992188,
471
+ 0.05720166397094727,
472
+ 0.05723852920532226,
473
+ 0.057197566986083984,
474
+ 0.0570695686340332,
475
+ 0.05711974334716797,
476
+ 0.057232383728027345,
477
+ 0.05723955154418945,
478
+ 0.05732863998413086,
479
+ 0.0572119026184082,
480
+ 0.05715660858154297,
481
+ 0.057215999603271485
482
+ ]
483
+ },
484
+ "throughput": {
485
+ "unit": "tokens/s",
486
+ "value": 17.47323952499251
487
+ },
488
+ "energy": null,
489
+ "efficiency": null
490
+ }
491
+ }