Hugging Face's logo

kreas
/
FA_benchmarks

Model card Files Community
kreas commited on
Commit
901b838
•
1 Parent(s): 1a6f206

Upload /Llama-2-13b-hf/int8_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json with huggingface_hub

Browse files
Files changed (1) hide show
  1. Llama-2-13b-hf/int8_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json +444 -0
Llama-2-13b-hf/int8_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json ADDED
@@ -0,0 +1,444 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "prefill": {
3
+ "memory": {
4
+ "unit": "MB",
5
+ "max_ram": 1041.276928,
6
+ "max_vram": 14522.7776,
7
+ "max_reserved": 14029.94688,
8
+ "max_allocated": 13954.652672
9
+ },
10
+ "latency": {
11
+ "unit": "s",
12
+ "mean": 0.07958155398898656,
13
+ "stdev": 0.0009138226668875471,
14
+ "values": [
15
+ 0.08430230712890625,
16
+ 0.08248524475097656,
17
+ 0.08187494659423829,
18
+ 0.08749874877929688,
19
+ 0.07965388488769531,
20
+ 0.07932313537597656,
21
+ 0.07968665313720703,
22
+ 0.07956275177001954,
23
+ 0.07960169219970703,
24
+ 0.07977471923828125,
25
+ 0.07971942138671875,
26
+ 0.07953305816650391,
27
+ 0.07949005126953125,
28
+ 0.07920845031738281,
29
+ 0.07940608215332032,
30
+ 0.07938047790527344,
31
+ 0.07988735961914062,
32
+ 0.07939788818359375,
33
+ 0.0798054428100586,
34
+ 0.0796600341796875,
35
+ 0.07961609649658204,
36
+ 0.07959059143066406,
37
+ 0.07961190032958984,
38
+ 0.0795832290649414,
39
+ 0.07932825469970703,
40
+ 0.07925965118408203,
41
+ 0.07929138946533203,
42
+ 0.07948902130126953,
43
+ 0.07947264099121094,
44
+ 0.07950233459472657,
45
+ 0.07943679809570313,
46
+ 0.07938662719726562,
47
+ 0.07951974487304687,
48
+ 0.07955865478515625,
49
+ 0.0796049575805664,
50
+ 0.07994572448730469,
51
+ 0.07951769256591797,
52
+ 0.0794419174194336,
53
+ 0.07928627014160156,
54
+ 0.07946240234375,
55
+ 0.07945420837402344,
56
+ 0.07990067291259766,
57
+ 0.07939071655273437,
58
+ 0.07948492431640625,
59
+ 0.07947980499267578,
60
+ 0.07966719818115234,
61
+ 0.07946463775634766,
62
+ 0.07955455780029297,
63
+ 0.07940505981445313,
64
+ 0.07941120147705077,
65
+ 0.07944499206542968,
66
+ 0.07950540924072266,
67
+ 0.07932825469970703,
68
+ 0.07941120147705077,
69
+ 0.07943577575683594,
70
+ 0.07934054565429688,
71
+ 0.07943270111083985,
72
+ 0.07930368041992188,
73
+ 0.07940300750732422,
74
+ 0.07925555419921874,
75
+ 0.07984333038330078,
76
+ 0.07948902130126953,
77
+ 0.0793364486694336,
78
+ 0.079329345703125,
79
+ 0.0793855972290039,
80
+ 0.079425537109375,
81
+ 0.07955353546142578,
82
+ 0.07921151733398438,
83
+ 0.07921663665771485,
84
+ 0.07935590362548828,
85
+ 0.07949517059326172,
86
+ 0.07944806671142578,
87
+ 0.07896063995361328,
88
+ 0.07923814392089844,
89
+ 0.07918080139160157,
90
+ 0.07926681518554687,
91
+ 0.0792248306274414,
92
+ 0.07914086151123047,
93
+ 0.07947468566894532,
94
+ 0.0792074203491211,
95
+ 0.0794224624633789,
96
+ 0.07924018859863281,
97
+ 0.07938976287841797,
98
+ 0.07939993286132813,
99
+ 0.07939071655273437,
100
+ 0.07945523071289062,
101
+ 0.0798545913696289,
102
+ 0.07955455780029297,
103
+ 0.07916134643554687,
104
+ 0.0793169937133789,
105
+ 0.07929344177246093,
106
+ 0.07943065643310547,
107
+ 0.07970214080810546,
108
+ 0.07957504272460937,
109
+ 0.0793364486694336,
110
+ 0.07951360321044922,
111
+ 0.07940198516845703,
112
+ 0.07918694305419922,
113
+ 0.07916031646728515,
114
+ 0.07951667022705078,
115
+ 0.07941529846191406,
116
+ 0.07922380828857421,
117
+ 0.07938355255126953,
118
+ 0.07930879974365235,
119
+ 0.07947673797607421,
120
+ 0.07936316680908204,
121
+ 0.07918489837646485,
122
+ 0.07923916625976563,
123
+ 0.07955661010742188,
124
+ 0.07933849334716797,
125
+ 0.07938764953613281,
126
+ 0.0798760986328125,
127
+ 0.07915827178955079,
128
+ 0.07928934478759765,
129
+ 0.07933235168457031,
130
+ 0.07937229156494141,
131
+ 0.07932313537597656,
132
+ 0.07978291320800782,
133
+ 0.07941840362548828,
134
+ 0.0791910400390625,
135
+ 0.07937638092041016,
136
+ 0.07940402984619141,
137
+ 0.07953715515136718,
138
+ 0.07942655944824219,
139
+ 0.07941426849365234,
140
+ 0.0791756820678711
141
+ ]
142
+ },
143
+ "throughput": {
144
+ "unit": "tokens/s",
145
+ "value": 3216.825849309607
146
+ },
147
+ "energy": null,
148
+ "efficiency": null
149
+ },
150
+ "decode": {
151
+ "memory": {
152
+ "unit": "MB",
153
+ "max_ram": 1041.276928,
154
+ "max_vram": 15311.306752,
155
+ "max_reserved": 14818.476032,
156
+ "max_allocated": 14774.906368
157
+ },
158
+ "latency": {
159
+ "unit": "s",
160
+ "mean": 20.578271308898923,
161
+ "stdev": 0,
162
+ "values": [
163
+ 20.578271308898923
164
+ ]
165
+ },
166
+ "throughput": {
167
+ "unit": "tokens/s",
168
+ "value": 12.39171144029611
169
+ },
170
+ "energy": null,
171
+ "efficiency": null
172
+ },
173
+ "per_token": {
174
+ "memory": null,
175
+ "latency": {
176
+ "unit": "s",
177
+ "mean": 0.08069910317215263,
178
+ "stdev": 0.0031678996097352454,
179
+ "values": [
180
+ 0.08110387420654297,
181
+ 0.08053145599365234,
182
+ 0.07975628662109376,
183
+ 0.07939788818359375,
184
+ 0.07976652526855468,
185
+ 0.0795832290649414,
186
+ 0.07942758178710937,
187
+ 0.07965491485595703,
188
+ 0.0797122573852539,
189
+ 0.0800512924194336,
190
+ 0.07998249816894532,
191
+ 0.07985049438476563,
192
+ 0.0795863037109375,
193
+ 0.08005734252929687,
194
+ 0.07990169525146484,
195
+ 0.08020172882080077,
196
+ 0.07986994934082031,
197
+ 0.07966617584228515,
198
+ 0.07967231750488281,
199
+ 0.07970611572265625,
200
+ 0.07965081787109375,
201
+ 0.07981056213378906,
202
+ 0.07977677154541016,
203
+ 0.07957810974121093,
204
+ 0.0795699234008789,
205
+ 0.07948595428466797,
206
+ 0.07930060577392578,
207
+ 0.07952178955078125,
208
+ 0.07954431915283203,
209
+ 0.07955174255371093,
210
+ 0.079884033203125,
211
+ 0.07957433319091797,
212
+ 0.07975596618652343,
213
+ 0.07943679809570313,
214
+ 0.07976140594482421,
215
+ 0.08015270233154297,
216
+ 0.08003571319580079,
217
+ 0.07970201873779297,
218
+ 0.0798054428100586,
219
+ 0.07931801605224609,
220
+ 0.07967436981201172,
221
+ 0.08002457427978515,
222
+ 0.07965081787109375,
223
+ 0.0796753921508789,
224
+ 0.0796385269165039,
225
+ 0.07966719818115234,
226
+ 0.07971942138671875,
227
+ 0.07963442993164062,
228
+ 0.07957810974121093,
229
+ 0.0796756820678711,
230
+ 0.08157154846191406,
231
+ 0.07943065643310547,
232
+ 0.0796211166381836,
233
+ 0.07949619293212891,
234
+ 0.0795832290649414,
235
+ 0.07955046081542969,
236
+ 0.07961702728271484,
237
+ 0.0793007049560547,
238
+ 0.07954217529296875,
239
+ 0.07962425231933594,
240
+ 0.07992006683349609,
241
+ 0.07945011138916015,
242
+ 0.07961190032958984,
243
+ 0.07950847625732421,
244
+ 0.07968460845947266,
245
+ 0.07946649932861329,
246
+ 0.0799139862060547,
247
+ 0.07935794830322265,
248
+ 0.07949209594726563,
249
+ 0.07939891052246094,
250
+ 0.07950847625732421,
251
+ 0.07952998352050782,
252
+ 0.07955046081542969,
253
+ 0.07965286254882813,
254
+ 0.07960985565185547,
255
+ 0.07947468566894532,
256
+ 0.079840576171875,
257
+ 0.07972431945800781,
258
+ 0.07975926208496094,
259
+ 0.07943577575683594,
260
+ 0.07953305816650391,
261
+ 0.07957094573974609,
262
+ 0.0794972152709961,
263
+ 0.07967040252685546,
264
+ 0.0797080307006836,
265
+ 0.08005017852783203,
266
+ 0.0800348129272461,
267
+ 0.07955967712402344,
268
+ 0.07972761535644532,
269
+ 0.07975654602050782,
270
+ 0.0799208984375,
271
+ 0.08012799835205078,
272
+ 0.07978598022460938,
273
+ 0.07999590301513672,
274
+ 0.08003993225097657,
275
+ 0.07987302398681641,
276
+ 0.0799805450439453,
277
+ 0.0796610565185547,
278
+ 0.08536166381835937,
279
+ 0.09626316833496094,
280
+ 0.09969971466064453,
281
+ 0.0990904312133789,
282
+ 0.0937154541015625,
283
+ 0.09457049560546875,
284
+ 0.09063629150390624,
285
+ 0.08748646545410156,
286
+ 0.08769945526123046,
287
+ 0.08765952301025391,
288
+ 0.08879206085205078,
289
+ 0.0882165756225586,
290
+ 0.08778546905517579,
291
+ 0.08755712127685547,
292
+ 0.08753971099853515,
293
+ 0.08756752014160156,
294
+ 0.08813654327392578,
295
+ 0.08765542602539063,
296
+ 0.0876575698852539,
297
+ 0.08772291564941406,
298
+ 0.0878704605102539,
299
+ 0.08762060546875,
300
+ 0.07979007720947266,
301
+ 0.08000102233886719,
302
+ 0.07983103942871093,
303
+ 0.07972147369384766,
304
+ 0.07997030639648438,
305
+ 0.08001023864746094,
306
+ 0.07986176300048828,
307
+ 0.07980057525634765,
308
+ 0.07989119720458984,
309
+ 0.07999180603027344,
310
+ 0.07978598022460938,
311
+ 0.07981491088867188,
312
+ 0.0795758056640625,
313
+ 0.08022118377685547,
314
+ 0.07964876556396484,
315
+ 0.07961497497558594,
316
+ 0.07991500854492188,
317
+ 0.07960591888427734,
318
+ 0.07980630493164062,
319
+ 0.08019353485107422,
320
+ 0.07978189086914063,
321
+ 0.07971635437011719,
322
+ 0.07963238525390624,
323
+ 0.080036865234375,
324
+ 0.07983718109130859,
325
+ 0.08006553649902344,
326
+ 0.0795688934326172,
327
+ 0.07983001708984375,
328
+ 0.0798883819580078,
329
+ 0.07988428497314454,
330
+ 0.07978495788574219,
331
+ 0.09140019226074218,
332
+ 0.08715980529785156,
333
+ 0.08014335632324218,
334
+ 0.08041471862792969,
335
+ 0.07968386840820313,
336
+ 0.08000994873046875,
337
+ 0.07981881713867188,
338
+ 0.08014125061035156,
339
+ 0.07968972778320313,
340
+ 0.07954637145996094,
341
+ 0.08014335632324218,
342
+ 0.07965081787109375,
343
+ 0.07965900421142579,
344
+ 0.08039014434814454,
345
+ 0.07993654632568359,
346
+ 0.07986685180664063,
347
+ 0.07960166168212891,
348
+ 0.07964569854736328,
349
+ 0.0799459228515625,
350
+ 0.07970899200439453,
351
+ 0.07979724884033203,
352
+ 0.07979519653320312,
353
+ 0.07956582641601563,
354
+ 0.07981369781494141,
355
+ 0.07977903747558594,
356
+ 0.0797334747314453,
357
+ 0.07958528137207031,
358
+ 0.07964672088623047,
359
+ 0.07968265533447266,
360
+ 0.0796589126586914,
361
+ 0.07970918273925781,
362
+ 0.07967334747314453,
363
+ 0.0798392333984375,
364
+ 0.07983001708984375,
365
+ 0.07970428466796875,
366
+ 0.07966083526611328,
367
+ 0.07978495788574219,
368
+ 0.07953202819824219,
369
+ 0.08008704376220703,
370
+ 0.07938047790527344,
371
+ 0.07955455780029297,
372
+ 0.07946956634521485,
373
+ 0.07955379486083984,
374
+ 0.07968844604492188,
375
+ 0.07999078369140625,
376
+ 0.07965388488769531,
377
+ 0.07974617767333984,
378
+ 0.0796148452758789,
379
+ 0.07982899475097656,
380
+ 0.07955168151855468,
381
+ 0.07946323394775391,
382
+ 0.07949823760986328,
383
+ 0.07954329681396484,
384
+ 0.07946546936035156,
385
+ 0.07962009429931641,
386
+ 0.07972249603271485,
387
+ 0.07970435333251953,
388
+ 0.07989014434814454,
389
+ 0.08013209533691407,
390
+ 0.07964569854736328,
391
+ 0.07957504272460937,
392
+ 0.07996518707275391,
393
+ 0.0799805450439453,
394
+ 0.07977369689941406,
395
+ 0.08023961639404296,
396
+ 0.07981362915039063,
397
+ 0.07973990631103516,
398
+ 0.07953612518310547,
399
+ 0.07960269165039062,
400
+ 0.07953510284423829,
401
+ 0.07946956634521485,
402
+ 0.0797655029296875,
403
+ 0.07961907196044922,
404
+ 0.07984947204589844,
405
+ 0.07963648223876953,
406
+ 0.07960166168212891,
407
+ 0.07986688232421875,
408
+ 0.07964057922363281,
409
+ 0.07991913604736328,
410
+ 0.079795166015625,
411
+ 0.07962841796875,
412
+ 0.07947968292236328,
413
+ 0.07964979553222656,
414
+ 0.080321533203125,
415
+ 0.07959574127197265,
416
+ 0.07955945587158203,
417
+ 0.07946982574462891,
418
+ 0.07974169921875,
419
+ 0.07978905487060547,
420
+ 0.0801976318359375,
421
+ 0.07961702728271484,
422
+ 0.07957094573974609,
423
+ 0.07993958282470703,
424
+ 0.07983411407470703,
425
+ 0.07973900604248046,
426
+ 0.07973670196533203,
427
+ 0.07975833892822265,
428
+ 0.07979827117919921,
429
+ 0.07975628662109376,
430
+ 0.0798895034790039,
431
+ 0.07979920196533204,
432
+ 0.07995420837402344,
433
+ 0.07978262329101563,
434
+ 0.0798424301147461
435
+ ]
436
+ },
437
+ "throughput": {
438
+ "unit": "tokens/s",
439
+ "value": 12.391711440296111
440
+ },
441
+ "energy": null,
442
+ "efficiency": null
443
+ }
444
+ }