Hugging Face's logo

kreas
/
FA_benchmarks

Model card Files Community
kreas commited on
Commit
5c4c224
·
verified ·
1 Parent(s): 3772b88

Upload /phi-2/int8_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json with huggingface_hub

Browse files
Files changed (1) hide show
  1. phi-2/int8_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json +503 -0
phi-2/int8_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json ADDED
@@ -0,0 +1,503 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "prefill": {
3
+ "memory": {
4
+ "unit": "MB",
5
+ "max_ram": 3940.134912,
6
+ "max_vram": 3766.484992,
7
+ "max_reserved": 3353.346048,
8
+ "max_allocated": 3294.665216
9
+ },
10
+ "latency": {
11
+ "unit": "s",
12
+ "mean": 0.05422576269201329,
13
+ "stdev": 0.0007865958319359106,
14
+ "values": [
15
+ 0.058200767517089844,
16
+ 0.05838441467285156,
17
+ 0.05629542541503906,
18
+ 0.05532467269897461,
19
+ 0.05923244857788086,
20
+ 0.0603955192565918,
21
+ 0.05494784164428711,
22
+ 0.054077438354492184,
23
+ 0.054075393676757816,
24
+ 0.05415321731567383,
25
+ 0.05403340911865234,
26
+ 0.05402009582519531,
27
+ 0.0540682258605957,
28
+ 0.05422694396972656,
29
+ 0.05408563232421875,
30
+ 0.054042625427246097,
31
+ 0.0541030387878418,
32
+ 0.05403238296508789,
33
+ 0.05416960144042969,
34
+ 0.054075393676757816,
35
+ 0.05405491256713867,
36
+ 0.05398323059082031,
37
+ 0.053959678649902344,
38
+ 0.05390848159790039,
39
+ 0.05395251083374023,
40
+ 0.05392895889282227,
41
+ 0.053935104370117185,
42
+ 0.053897216796875,
43
+ 0.05404774475097656,
44
+ 0.0539156494140625,
45
+ 0.05390233612060547,
46
+ 0.0544532470703125,
47
+ 0.05433958435058594,
48
+ 0.0539504623413086,
49
+ 0.05457017517089844,
50
+ 0.053992446899414064,
51
+ 0.05405491256713867,
52
+ 0.0541030387878418,
53
+ 0.054042625427246097,
54
+ 0.05393305587768555,
55
+ 0.053951488494873044,
56
+ 0.05397196960449219,
57
+ 0.0540948486328125,
58
+ 0.054357086181640625,
59
+ 0.05378867340087891,
60
+ 0.05407436752319336,
61
+ 0.05403145599365235,
62
+ 0.05412966537475586,
63
+ 0.05390972900390625,
64
+ 0.054089729309082034,
65
+ 0.05389619064331055,
66
+ 0.05393920135498047,
67
+ 0.053873855590820315,
68
+ 0.0542740478515625,
69
+ 0.053994495391845705,
70
+ 0.053901313781738285,
71
+ 0.05386444854736328,
72
+ 0.05382252883911133,
73
+ 0.05385523223876953,
74
+ 0.053910526275634765,
75
+ 0.05397094345092773,
76
+ 0.05388800048828125,
77
+ 0.053901313781738285,
78
+ 0.05389619064331055,
79
+ 0.053910526275634765,
80
+ 0.05396582412719726,
81
+ 0.05394432067871094,
82
+ 0.05398323059082031,
83
+ 0.0542658576965332,
84
+ 0.05453209686279297,
85
+ 0.053981182098388675,
86
+ 0.054093822479248044,
87
+ 0.05455974578857422,
88
+ 0.05409894561767578,
89
+ 0.0540313606262207,
90
+ 0.05403340911865234,
91
+ 0.05397622299194336,
92
+ 0.05404569625854492,
93
+ 0.053989376068115234,
94
+ 0.05410940933227539,
95
+ 0.054225921630859375,
96
+ 0.05434777450561523,
97
+ 0.05417062377929688,
98
+ 0.05408768081665039,
99
+ 0.053923839569091796,
100
+ 0.05406719970703125,
101
+ 0.053927040100097655,
102
+ 0.054013950347900394,
103
+ 0.05406617736816406,
104
+ 0.05396582412719726,
105
+ 0.05407436752319336,
106
+ 0.05400371170043945,
107
+ 0.05390233612060547,
108
+ 0.05408870315551758,
109
+ 0.05398425674438476,
110
+ 0.054007904052734375,
111
+ 0.053905406951904294,
112
+ 0.053967872619628904,
113
+ 0.053956737518310545,
114
+ 0.054004737854003906,
115
+ 0.05388390350341797,
116
+ 0.054161407470703124,
117
+ 0.054158336639404295,
118
+ 0.05400678253173828,
119
+ 0.053850112915039064,
120
+ 0.05415116882324219,
121
+ 0.05431808090209961,
122
+ 0.053935230255126955,
123
+ 0.05390643310546875,
124
+ 0.05474816131591797,
125
+ 0.05389209747314453,
126
+ 0.054217727661132815,
127
+ 0.05413785552978516,
128
+ 0.05396889495849609,
129
+ 0.05418700790405274,
130
+ 0.05420441436767578,
131
+ 0.05411942291259766,
132
+ 0.05401804733276367,
133
+ 0.05461315155029297,
134
+ 0.05411635208129883,
135
+ 0.054128639221191405,
136
+ 0.05399552154541016,
137
+ 0.054046718597412106,
138
+ 0.05408051300048828,
139
+ 0.05420646286010742,
140
+ 0.054073345184326174,
141
+ 0.05403750228881836,
142
+ 0.054106113433837894,
143
+ 0.05412454223632813,
144
+ 0.054108222961425784,
145
+ 0.05395872116088867,
146
+ 0.05398646545410156,
147
+ 0.05411635208129883,
148
+ 0.0540497932434082,
149
+ 0.0540313606262207,
150
+ 0.05408256149291992,
151
+ 0.05401804733276367,
152
+ 0.05399347305297852,
153
+ 0.05395558547973633,
154
+ 0.05423820877075195,
155
+ 0.0540948486328125,
156
+ 0.05407436752319336,
157
+ 0.05492428970336914,
158
+ 0.05394944000244141,
159
+ 0.05404876708984375,
160
+ 0.054193153381347656,
161
+ 0.05465804672241211,
162
+ 0.05411123275756836,
163
+ 0.05400166320800781,
164
+ 0.054106113433837894,
165
+ 0.05410815811157227,
166
+ 0.05410508728027344,
167
+ 0.05409177780151367,
168
+ 0.05402521514892578,
169
+ 0.054125568389892575,
170
+ 0.055275520324707034,
171
+ 0.05554483032226563,
172
+ 0.054147071838378906,
173
+ 0.05406412887573242,
174
+ 0.05412044906616211,
175
+ 0.05399859237670898,
176
+ 0.05409999847412109,
177
+ 0.054056961059570315,
178
+ 0.05419417572021484,
179
+ 0.05408768081665039,
180
+ 0.05420339202880859,
181
+ 0.054177921295166014,
182
+ 0.05423820877075195,
183
+ 0.05403033447265625,
184
+ 0.05409503936767578,
185
+ 0.05399859237670898,
186
+ 0.05413683319091797,
187
+ 0.05410713577270508,
188
+ 0.05406515121459961,
189
+ 0.053997566223144534,
190
+ 0.054043647766113284,
191
+ 0.054182910919189455,
192
+ 0.05418700790405274,
193
+ 0.05424025726318359,
194
+ 0.05498470306396484,
195
+ 0.0541605110168457,
196
+ 0.05396582412719726,
197
+ 0.05402016067504883,
198
+ 0.05438259124755859,
199
+ 0.053938175201416014
200
+ ]
201
+ },
202
+ "throughput": {
203
+ "unit": "tokens/s",
204
+ "value": 4721.003214911079
205
+ },
206
+ "energy": null,
207
+ "efficiency": null
208
+ },
209
+ "decode": {
210
+ "memory": {
211
+ "unit": "MB",
212
+ "max_ram": 3940.134912,
213
+ "max_vram": 4129.292288,
214
+ "max_reserved": 3636.461568,
215
+ "max_allocated": 3603.202048
216
+ },
217
+ "latency": {
218
+ "unit": "s",
219
+ "mean": 13.807161384582521,
220
+ "stdev": 0,
221
+ "values": [
222
+ 13.807161384582521
223
+ ]
224
+ },
225
+ "throughput": {
226
+ "unit": "tokens/s",
227
+ "value": 18.468676717630057
228
+ },
229
+ "energy": null,
230
+ "efficiency": null
231
+ },
232
+ "per_token": {
233
+ "memory": null,
234
+ "latency": {
235
+ "unit": "s",
236
+ "mean": 0.054145730919931453,
237
+ "stdev": 0.00019632060470432824,
238
+ "values": [
239
+ 0.054666305541992186,
240
+ 0.05413267135620117,
241
+ 0.054183135986328124,
242
+ 0.05402601623535156,
243
+ 0.0542105598449707,
244
+ 0.05423820877075195,
245
+ 0.0544716796875,
246
+ 0.05412966537475586,
247
+ 0.054163455963134766,
248
+ 0.05408665466308594,
249
+ 0.05407356643676758,
250
+ 0.05398300933837891,
251
+ 0.05425254440307617,
252
+ 0.05402624130249024,
253
+ 0.05416159820556641,
254
+ 0.05398611068725586,
255
+ 0.05416252899169922,
256
+ 0.054164382934570314,
257
+ 0.054110366821289065,
258
+ 0.05409059143066406,
259
+ 0.05414912033081055,
260
+ 0.05399961471557617,
261
+ 0.05409075164794922,
262
+ 0.05402931213378906,
263
+ 0.05406828689575195,
264
+ 0.053943233489990236,
265
+ 0.054381568908691405,
266
+ 0.05424844741821289,
267
+ 0.05424332809448242,
268
+ 0.05406924819946289,
269
+ 0.0551383056640625,
270
+ 0.05409689712524414,
271
+ 0.05411942291259766,
272
+ 0.054002689361572265,
273
+ 0.05406105422973633,
274
+ 0.05439385604858398,
275
+ 0.054225086212158206,
276
+ 0.054090560913085936,
277
+ 0.054112255096435545,
278
+ 0.05414912033081055,
279
+ 0.054280193328857425,
280
+ 0.054092800140380856,
281
+ 0.05407231903076172,
282
+ 0.05446758270263672,
283
+ 0.054184959411621096,
284
+ 0.054199295043945314,
285
+ 0.054155265808105466,
286
+ 0.053956607818603515,
287
+ 0.054128639221191405,
288
+ 0.0540682258605957,
289
+ 0.0540846061706543,
290
+ 0.05394944000244141,
291
+ 0.05425574493408203,
292
+ 0.05398515319824219,
293
+ 0.05401497650146484,
294
+ 0.053889022827148435,
295
+ 0.054035457611083984,
296
+ 0.053923839569091796,
297
+ 0.05436415863037109,
298
+ 0.05406719970703125,
299
+ 0.0541973762512207,
300
+ 0.05408038330078125,
301
+ 0.054155265808105466,
302
+ 0.05395251083374023,
303
+ 0.054245376586914064,
304
+ 0.054012928009033206,
305
+ 0.0541102066040039,
306
+ 0.05509734344482422,
307
+ 0.05413289642333984,
308
+ 0.054012767791748045,
309
+ 0.05404774475097656,
310
+ 0.05424435043334961,
311
+ 0.05470412826538086,
312
+ 0.05417267227172851,
313
+ 0.05409791946411133,
314
+ 0.0542023696899414,
315
+ 0.054280193328857425,
316
+ 0.0540211181640625,
317
+ 0.05424127960205078,
318
+ 0.054079486846923826,
319
+ 0.05420032119750977,
320
+ 0.05451468658447266,
321
+ 0.05417695999145508,
322
+ 0.05408953475952148,
323
+ 0.05428041458129883,
324
+ 0.05423183822631836,
325
+ 0.054653953552246094,
326
+ 0.05407231903076172,
327
+ 0.05418905639648437,
328
+ 0.05415116882324219,
329
+ 0.054109184265136716,
330
+ 0.05405491256713867,
331
+ 0.053897216796875,
332
+ 0.05406515121459961,
333
+ 0.05402828979492187,
334
+ 0.05421158218383789,
335
+ 0.05428736114501953,
336
+ 0.05418188858032227,
337
+ 0.054225921630859375,
338
+ 0.0541317138671875,
339
+ 0.05427814483642578,
340
+ 0.054141952514648435,
341
+ 0.05397401428222656,
342
+ 0.054076416015625,
343
+ 0.055032833099365235,
344
+ 0.05399654388427735,
345
+ 0.054179840087890625,
346
+ 0.054109184265136716,
347
+ 0.054387710571289063,
348
+ 0.05458432006835937,
349
+ 0.054174720764160154,
350
+ 0.05415116882324219,
351
+ 0.05423308944702149,
352
+ 0.05392281723022461,
353
+ 0.05400883102416992,
354
+ 0.05419417572021484,
355
+ 0.05417475128173828,
356
+ 0.0540794563293457,
357
+ 0.05450137710571289,
358
+ 0.05439705657958984,
359
+ 0.05416742324829102,
360
+ 0.05422796630859375,
361
+ 0.05420851135253906,
362
+ 0.05406617736816406,
363
+ 0.05404470443725586,
364
+ 0.05397296142578125,
365
+ 0.054147201538085936,
366
+ 0.054109054565429686,
367
+ 0.05424435043334961,
368
+ 0.05383782577514649,
369
+ 0.05408153533935547,
370
+ 0.05389619064331055,
371
+ 0.054076416015625,
372
+ 0.053989376068115234,
373
+ 0.05419724655151367,
374
+ 0.05390438461303711,
375
+ 0.05419417572021484,
376
+ 0.05399961471557617,
377
+ 0.054247425079345706,
378
+ 0.05402521514892578,
379
+ 0.05493987274169922,
380
+ 0.05391439819335937,
381
+ 0.05417267227172851,
382
+ 0.0540313606262207,
383
+ 0.05417574310302734,
384
+ 0.05416447830200195,
385
+ 0.054504447937011716,
386
+ 0.05400883102416992,
387
+ 0.05407846450805664,
388
+ 0.05394636917114258,
389
+ 0.054251518249511715,
390
+ 0.053833728790283204,
391
+ 0.0541952018737793,
392
+ 0.054079486846923826,
393
+ 0.054324222564697267,
394
+ 0.05457612609863281,
395
+ 0.054040576934814455,
396
+ 0.05396582412719726,
397
+ 0.05417574310302734,
398
+ 0.05394432067871094,
399
+ 0.054228992462158204,
400
+ 0.05394944000244141,
401
+ 0.05425664138793945,
402
+ 0.05393203353881836,
403
+ 0.054059009552001956,
404
+ 0.05412761688232422,
405
+ 0.05408358383178711,
406
+ 0.0538419189453125,
407
+ 0.054130878448486325,
408
+ 0.05378847885131836,
409
+ 0.054163455963134766,
410
+ 0.05384703826904297,
411
+ 0.05401599884033203,
412
+ 0.05409689712524414,
413
+ 0.05410310363769531,
414
+ 0.05383980941772461,
415
+ 0.054131839752197264,
416
+ 0.05387865447998047,
417
+ 0.0543375358581543,
418
+ 0.053795841217041014,
419
+ 0.05416447830200195,
420
+ 0.05395455932617187,
421
+ 0.054097087860107425,
422
+ 0.05414995193481445,
423
+ 0.05440422439575195,
424
+ 0.05385203170776367,
425
+ 0.054155265808105466,
426
+ 0.05401497650146484,
427
+ 0.05424025726318359,
428
+ 0.054133758544921876,
429
+ 0.05418188858032227,
430
+ 0.054035457611083984,
431
+ 0.05449420928955078,
432
+ 0.05394841766357422,
433
+ 0.054040576934814455,
434
+ 0.0540948486328125,
435
+ 0.05414400100708008,
436
+ 0.054284286499023435,
437
+ 0.0541214714050293,
438
+ 0.05416960144042969,
439
+ 0.05424639892578125,
440
+ 0.05422796630859375,
441
+ 0.05412454223632813,
442
+ 0.05413580703735352,
443
+ 0.05409894561767578,
444
+ 0.054150142669677735,
445
+ 0.054220928192138675,
446
+ 0.054193023681640626,
447
+ 0.05420544052124023,
448
+ 0.05425971221923828,
449
+ 0.054196224212646485,
450
+ 0.0542023696899414,
451
+ 0.05427609634399414,
452
+ 0.054207489013671874,
453
+ 0.054251518249511715,
454
+ 0.054231040954589846,
455
+ 0.05414400100708008,
456
+ 0.05419827270507813,
457
+ 0.05419744110107422,
458
+ 0.05414176177978516,
459
+ 0.05415219116210938,
460
+ 0.05465599822998047,
461
+ 0.05420851135253906,
462
+ 0.054381568908691405,
463
+ 0.05429759979248047,
464
+ 0.05414912033081055,
465
+ 0.05426892852783203,
466
+ 0.054168575286865236,
467
+ 0.05405491256713867,
468
+ 0.05444812774658203,
469
+ 0.054573055267333984,
470
+ 0.05401497650146484,
471
+ 0.053852161407470706,
472
+ 0.054051841735839844,
473
+ 0.054005760192871094,
474
+ 0.05408563232421875,
475
+ 0.05396377563476563,
476
+ 0.05402009582519531,
477
+ 0.05403350448608398,
478
+ 0.05407222366333008,
479
+ 0.053829696655273436,
480
+ 0.05396473693847656,
481
+ 0.05392998504638672,
482
+ 0.053992446899414064,
483
+ 0.05389836883544922,
484
+ 0.05400870513916016,
485
+ 0.05397094345092773,
486
+ 0.05394841766357422,
487
+ 0.0540428466796875,
488
+ 0.05408848190307617,
489
+ 0.05407231903076172,
490
+ 0.05411430358886719,
491
+ 0.05384499359130859,
492
+ 0.05424127960205078,
493
+ 0.054047775268554685
494
+ ]
495
+ },
496
+ "throughput": {
497
+ "unit": "tokens/s",
498
+ "value": 18.468676717630057
499
+ },
500
+ "energy": null,
501
+ "efficiency": null
502
+ }
503
+ }