Upload /Mistral-7B-v0.1/bf16_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json with huggingface_hub

Mistral-7B-v0.1/bf16_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json

@@ -0,0 +1,854 @@
+{
+    "prefill": {
+        "memory": {
+            "unit": "MB",
+            "max_ram": 982.05696,
+            "max_vram": 15755.902976,
+            "max_reserved": 15271.460864,
+            "max_allocated": 15114.469888
+        },
+        "latency": {
+            "unit": "s",
+            "mean": 0.03579916167940416,
+            "stdev": 0.0003319593452223131,
+            "values": [
+                0.03864310455322266,
+                0.037443584442138675,
+                0.03616153717041016,
+                0.03612895965576172,
+                0.035934207916259765,
+                0.035855358123779296,
+                0.03599564743041992,
+                0.037318656921386716,
+                0.03678105545043946,
+                0.03640934371948242,
+                0.035730430603027344,
+                0.03565465545654297,
+                0.03566393661499023,
+                0.035707904815673826,
+                0.03589836883544922,
+                0.03567849731445313,
+                0.03565875244140625,
+                0.035692543029785154,
+                0.03567718505859375,
+                0.035710975646972655,
+                0.03566387176513672,
+                0.03562905502319336,
+                0.035659774780273434,
+                0.035642368316650394,
+                0.03560038375854492,
+                0.03565260696411133,
+                0.035656993865966796,
+                0.03566284942626953,
+                0.036274177551269535,
+                0.03572326278686523,
+                0.03574272155761719,
+                0.035655681610107424,
+                0.035659774780273434,
+                0.035678207397460936,
+                0.03566611099243164,
+                0.03570483016967774,
+                0.035732574462890625,
+                0.03564441680908203,
+                0.03567718505859375,
+                0.03569065475463867,
+                0.03566592025756836,
+                0.03568230438232422,
+                0.03567103958129883,
+                0.03568947219848633,
+                0.035655681610107424,
+                0.03569664001464844,
+                0.03564441680908203,
+                0.035714046478271484,
+                0.03567923355102539,
+                0.0356671028137207,
+                0.03569868850708008,
+                0.03566592025756836,
+                0.035661823272705076,
+                0.03570175933837891,
+                0.035681278228759765,
+                0.035664894104003905,
+                0.035694591522216795,
+                0.035705856323242184,
+                0.03570278549194336,
+                0.0357283821105957,
+                0.03568867111206055,
+                0.03571814346313477,
+                0.035707904815673826,
+                0.035675136566162106,
+                0.03569049453735352,
+                0.03568252944946289,
+                0.03575193786621094,
+                0.035697662353515625,
+                0.03570175933837891,
+                0.03569049453735352,
+                0.03575398254394531,
+                0.0358031997680664,
+                0.03568975830078125,
+                0.03566694259643555,
+                0.03572019195556641,
+                0.03568537521362305,
+                0.035691520690917966,
+                0.03570995330810547,
+                0.035760128021240234,
+                0.03567923355102539,
+                0.03567411041259766,
+                0.03568659210205078,
+                0.035699710845947266,
+                0.035732479095458985,
+                0.03582281494140625,
+                0.03568025588989258,
+                0.03569868850708008,
+                0.0357130241394043,
+                0.03567411041259766,
+                0.035730430603027344,
+                0.035643390655517575,
+                0.03570175933837891,
+                0.035694591522216795,
+                0.03567718505859375,
+                0.035659774780273434,
+                0.035625984191894534,
+                0.03571814346313477,
+                0.03570995330810547,
+                0.038266880035400394,
+                0.03717529678344727,
+                0.03711296081542969,
+                0.036615169525146485,
+                0.03585740661621094,
+                0.03567001724243164,
+                0.03568742370605469,
+                0.03570278549194336,
+                0.03575193786621094,
+                0.03569049453735352,
+                0.03573350524902344,
+                0.03570995330810547,
+                0.035730430603027344,
+                0.03574169540405273,
+                0.035729408264160156,
+                0.03563417434692383,
+                0.0356864013671875,
+                0.03573657608032227,
+                0.03572531127929687,
+                0.03571507263183594,
+                0.03572019195556641,
+                0.03572633743286133,
+                0.03573657608032227,
+                0.03643801498413086,
+                0.03618099212646484,
+                0.036313087463378906,
+                0.03635507202148437,
+                0.0363612174987793,
+                0.03639529418945313,
+                0.03651686477661133,
+                0.036332542419433594,
+                0.03635507202148437,
+                0.03630080032348633,
+                0.03592704010009766,
+                0.03562496185302735,
+                0.03576319885253906,
+                0.03574272155761719,
+                0.0358389778137207,
+                0.0357061767578125,
+                0.03570483016967774,
+                0.03570073699951172,
+                0.0357386245727539,
+                0.03584921646118164,
+                0.035707904815673826,
+                0.035705856323242184,
+                0.035697662353515625,
+                0.03567433547973633,
+                0.035716094970703126,
+                0.03569356918334961,
+                0.03569664001464844,
+                0.03570483016967774,
+                0.03572633743286133,
+                0.035688449859619144,
+                0.035660064697265625,
+                0.035692543029785154,
+                0.03567718505859375,
+                0.03571814346313477,
+                0.035675136566162106,
+                0.03567718505859375,
+                0.03571507263183594,
+                0.03570278549194336,
+                0.035676158905029294,
+                0.035727359771728515,
+                0.03575203323364258,
+                0.035755134582519534,
+                0.03575193786621094,
+                0.03571200180053711,
+                0.03570687866210937,
+                0.03569868850708008,
+                0.035729408264160156,
+                0.03571814346313477,
+                0.035697662353515625,
+                0.03571814346313477,
+                0.035675136566162106,
+                0.03567718505859375,
+                0.035732479095458985,
+                0.03567103958129883,
+                0.03571507263183594,
+                0.0357314567565918,
+                0.03572326278686523,
+                0.03579596710205078,
+                0.03573452758789063,
+                0.03565670394897461,
+                0.03570278549194336,
+                0.03571007919311524,
+                0.03585638427734375,
+                0.03567625427246094,
+                0.03570995330810547,
+                0.03565574264526367,
+                0.0357130241394043,
+                0.03565465545654297,
+                0.03571916961669922,
+                0.03567923355102539,
+                0.03570483016967774,
+                0.035676448822021485,
+                0.03568230438232422,
+                0.03570380783081055,
+                0.035745792388916016,
+                0.03568537521362305,
+                0.03589836883544922,
+                0.03570380783081055,
+                0.03567411041259766,
+                0.03570892715454101,
+                0.03570892715454101,
+                0.035697662353515625,
+                0.03570278549194336,
+                0.03570687866210937,
+                0.03574272155761719,
+                0.03573555374145508,
+                0.03570380783081055,
+                0.03570380783081055,
+                0.035681278228759765,
+                0.03566694259643555,
+                0.035664894104003905,
+                0.035676158905029294,
+                0.035675136566162106,
+                0.035688449859619144,
+                0.0357212142944336,
+                0.035730430603027344,
+                0.035729408264160156,
+                0.03575603103637695,
+                0.035692543029785154,
+                0.03571712112426758,
+                0.03570687866210937,
+                0.03571916961669922,
+                0.035714046478271484,
+                0.03570687866210937,
+                0.03569881439208984,
+                0.03567103958129883,
+                0.0357212142944336,
+                0.03576422500610352,
+                0.03579289627075195,
+                0.03579904174804688,
+                0.03577446365356445,
+                0.03574784088134766,
+                0.035810302734375,
+                0.035776512145996094,
+                0.0357498893737793,
+                0.03577139282226562,
+                0.035779838562011716,
+                0.035762176513671876,
+                0.03570278549194336,
+                0.0358737907409668,
+                0.03575398254394531,
+                0.03575500869750976,
+                0.03572531127929687,
+                0.035730430603027344,
+                0.035796993255615236,
+                0.03579084777832031,
+                0.035762176513671876,
+                0.03570195388793945,
+                0.035760383605957034,
+                0.03579596710205078,
+                0.0357314567565918,
+                0.03573350524902344,
+                0.03592806243896484,
+                0.03572665786743164,
+                0.035789825439453124,
+                0.035714046478271484,
+                0.035740673065185545,
+                0.035732479095458985,
+                0.035829761505126956,
+                0.0357212142944336,
+                0.035776512145996094,
+                0.035811328887939455,
+                0.035765247344970705,
+                0.03574272155761719,
+                0.03578691101074219,
+                0.03578265762329102,
+                0.03582566452026367,
+                0.03571712112426758,
+                0.03575296020507813,
+                0.03579289627075195,
+                0.03577446365356445,
+                0.03578265762329102,
+                0.035757057189941405,
+                0.03576319885253906,
+                0.03577958297729492,
+                0.03574476623535156,
+                0.03579596710205078,
+                0.035783679962158206,
+                0.035773441314697264
+            ]
+        },
+        "throughput": {
+            "unit": "tokens/s",
+            "value": 7151.005442322437
+        },
+        "energy": null,
+        "efficiency": null
+    },
+    "decode": {
+        "memory": {
+            "unit": "MB",
+            "max_ram": 982.05696,
+            "max_vram": 15923.675136,
+            "max_reserved": 15439.233024,
+            "max_allocated": 15238.453248
+        },
+        "latency": {
+            "unit": "s",
+            "mean": 7.060369524955747,
+            "stdev": 0.0012442979812625765,
+            "values": [
+                7.06161382293701,
+                7.059125226974484
+            ]
+        },
+        "throughput": {
+            "unit": "tokens/s",
+            "value": 36.11708977818669
+        },
+        "energy": null,
+        "efficiency": null
+    },
+    "per_token": {
+        "memory": null,
+        "latency": {
+            "unit": "s",
+            "mean": 0.027687723627277443,
+            "stdev": 0.00014619835344585513,
+            "values": [
+                0.029616128921508788,
+                0.02901094436645508,
+                0.027604127883911134,
+                0.027571039199829103,
+                0.027580511093139647,
+                0.027565984725952147,
+                0.02759065628051758,
+                0.02756710433959961,
+                0.027577503204345703,
+                0.027602783203125,
+                0.02756915283203125,
+                0.027648000717163085,
+                0.027636735916137696,
+                0.02758246421813965,
+                0.027549888610839842,
+                0.027629375457763672,
+                0.027638784408569338,
+                0.027603967666625977,
+                0.02757967948913574,
+                0.027773664474487304,
+                0.02764825630187988,
+                0.027607807159423826,
+                0.027570175170898437,
+                0.027589887619018556,
+                0.027634431838989258,
+                0.027576320648193358,
+                0.027662336349487306,
+                0.027593727111816405,
+                0.027613183975219727,
+                0.027630592346191408,
+                0.027685888290405275,
+                0.027614208221435548,
+                0.027625471115112304,
+                0.027650047302246093,
+                0.02771455955505371,
+                0.027583488464355467,
+                0.02761222457885742,
+                0.027848640441894532,
+                0.027653375625610353,
+                0.027633407592773437,
+                0.027620351791381836,
+                0.02759884834289551,
+                0.02763376045227051,
+                0.027631519317626953,
+                0.027673599243164062,
+                0.027608064651489257,
+                0.027658239364624023,
+                0.027633663177490234,
+                0.027639808654785155,
+                0.027670528411865233,
+                0.027651071548461914,
+                0.027640832901000976,
+                0.027603967666625977,
+                0.027619327545166016,
+                0.027585792541503906,
+                0.02757811164855957,
+                0.027586559295654296,
+                0.027621376037597657,
+                0.02768294334411621,
+                0.027679616928100587,
+                0.02767990493774414,
+                0.02767856025695801,
+                0.02760425567626953,
+                0.02764054489135742,
+                0.027654144287109376,
+                0.027602943420410156,
+                0.02759782409667969,
+                0.027653120040893556,
+                0.027599071502685545,
+                0.027621152877807618,
+                0.027594751358032226,
+                0.027636735916137696,
+                0.02761427116394043,
+                0.027595712661743165,
+                0.02768998336791992,
+                0.027627519607543945,
+                0.027588800430297853,
+                0.027567935943603517,
+                0.02769817543029785,
+                0.027650047302246093,
+                0.027580415725708008,
+                0.027620351791381836,
+                0.027684864044189454,
+                0.027616256713867186,
+                0.027534528732299803,
+                0.02832364845275879,
+                0.028655872344970704,
+                0.02786688041687012,
+                0.027686912536621092,
+                0.027699199676513672,
+                0.02769014358520508,
+                0.027677536010742188,
+                0.02790809631347656,
+                0.027682815551757813,
+                0.02770227241516113,
+                0.027651071548461914,
+                0.02772915267944336,
+                0.027657983779907226,
+                0.0276889591217041,
+                0.027657215118408202,
+                0.027667455673217774,
+                0.027654144287109376,
+                0.027627519607543945,
+                0.027646240234375,
+                0.027678432464599608,
+                0.027645952224731447,
+                0.027672576904296874,
+                0.027670528411865233,
+                0.027640832901000976,
+                0.027768831253051757,
+                0.027786272048950195,
+                0.02764591979980469,
+                0.027619327545166016,
+                0.027629568099975587,
+                0.027624448776245116,
+                0.027652095794677735,
+                0.027723039627075195,
+                0.02766102409362793,
+                0.027657215118408202,
+                0.027638784408569338,
+                0.027626495361328125,
+                0.027624448776245116,
+                0.027736160278320314,
+                0.027610015869140626,
+                0.027684064865112306,
+                0.0277040958404541,
+                0.027691007614135742,
+                0.027632640838623046,
+                0.02771865653991699,
+                0.02773196792602539,
+                0.027662656784057618,
+                0.027656896591186524,
+                0.027677696228027345,
+                0.027644927978515626,
+                0.02775859260559082,
+                0.027678720474243163,
+                0.027663360595703124,
+                0.027638784408569338,
+                0.027669504165649415,
+                0.027593727111816405,
+                0.02767888069152832,
+                0.02767856025695801,
+                0.027694080352783205,
+                0.027658239364624023,
+                0.027717632293701173,
+                0.027682880401611328,
+                0.027729856491088868,
+                0.027646976470947264,
+                0.02765827178955078,
+                0.027681760787963867,
+                0.027687936782836913,
+                0.02773094367980957,
+                0.027654144287109376,
+                0.027644927978515626,
+                0.027637760162353517,
+                0.027658239364624023,
+                0.027660383224487304,
+                0.02772777557373047,
+                0.027704320907592773,
+                0.027652095794677735,
+                0.027687936782836913,
+                0.027683839797973633,
+                0.027705631256103515,
+                0.02770403289794922,
+                0.02768511962890625,
+                0.02779417610168457,
+                0.027645952224731447,
+                0.02771865653991699,
+                0.027641855239868163,
+                0.027709440231323244,
+                0.027666431427001953,
+                0.027701248168945314,
+                0.027616416931152344,
+                0.027690847396850585,
+                0.027665407180786132,
+                0.027700223922729493,
+                0.027630592346191408,
+                0.027608064651489257,
+                0.027687967300415037,
+                0.02762953567504883,
+                0.027725984573364258,
+                0.02765500831604004,
+                0.027819007873535157,
+                0.027679744720458983,
+                0.027705472946166994,
+                0.027648895263671876,
+                0.027671552658081053,
+                0.027658239364624023,
+                0.027703392028808595,
+                0.02765507125854492,
+                0.027671552658081053,
+                0.027642879486083984,
+                0.027683839797973633,
+                0.027683839797973633,
+                0.027659263610839844,
+                0.027650047302246093,
+                0.027645952224731447,
+                0.02775961685180664,
+                0.027678720474243163,
+                0.02770636749267578,
+                0.02766854476928711,
+                0.027748287200927733,
+                0.02770240020751953,
+                0.0277390079498291,
+                0.02775654411315918,
+                0.027695104598999022,
+                0.027709440231323244,
+                0.02770636749267578,
+                0.027696447372436525,
+                0.02769887924194336,
+                0.02773504066467285,
+                0.027707391738891602,
+                0.02770534324645996,
+                0.02776268768310547,
+                0.02770534324645996,
+                0.02768076705932617,
+                0.02775347137451172,
+                0.02766454315185547,
+                0.027747455596923827,
+                0.02769993591308594,
+                0.02774732780456543,
+                0.02772172737121582,
+                0.027692256927490236,
+                0.0277542724609375,
+                0.02774838447570801,
+                0.027663328170776366,
+                0.027699199676513672,
+                0.027708415985107423,
+                0.027692031860351563,
+                0.027715583801269532,
+                0.02774835205078125,
+                0.0277708797454834,
+                0.027724800109863282,
+                0.02778726387023926,
+                0.027784191131591796,
+                0.027720703125,
+                0.027674623489379883,
+                0.027802623748779298,
+                0.02787740707397461,
+                0.027721696853637696,
+                0.02775142478942871,
+                0.027741184234619142,
+                0.027793407440185547,
+                0.02774015998840332,
+                0.027743263244628905,
+                0.02780259132385254,
+                0.02774224090576172,
+                0.027719648361206054,
+                0.02774239921569824,
+                0.027813695907592775,
+                0.02779964828491211,
+                0.02772470474243164,
+                0.027685888290405275,
+                0.02770636749267578,
+                0.02771686363220215,
+                0.02755583953857422,
+                0.027593727111816405,
+                0.027617279052734374,
+                0.027625471115112304,
+                0.027576608657836912,
+                0.027568864822387695,
+                0.02767263984680176,
+                0.029018047332763672,
+                0.027704544067382812,
+                0.027599647521972658,
+                0.02758470344543457,
+                0.027590463638305664,
+                0.027561023712158204,
+                0.027568063735961913,
+                0.027578367233276366,
+                0.027610111236572265,
+                0.027585535049438475,
+                0.027656192779541015,
+                0.027631872177124022,
+                0.02754636764526367,
+                0.02757024002075195,
+                0.02761619186401367,
+                0.027612159729003907,
+                0.027578367233276366,
+                0.027592704772949218,
+                0.027640832901000976,
+                0.02758143997192383,
+                0.027613183975219727,
+                0.027619327545166016,
+                0.027586559295654296,
+                0.02758963203430176,
+                0.027634687423706054,
+                0.027591680526733397,
+                0.02759065628051758,
+                0.027651168823242187,
+                0.027621280670166014,
+                0.027622688293457032,
+                0.02761084747314453,
+                0.027630592346191408,
+                0.02760601615905762,
+                0.02761555290222168,
+                0.02767942428588867,
+                0.027629663467407226,
+                0.027626399993896485,
+                0.02764521598815918,
+                0.027726560592651366,
+                0.02771046447753906,
+                0.02758143997192383,
+                0.02760601615905762,
+                0.027621376037597657,
+                0.027636735916137696,
+                0.02758963203430176,
+                0.027578367233276366,
+                0.027593727111816405,
+                0.027808767318725586,
+                0.02757734489440918,
+                0.027629695892333984,
+                0.027604864120483397,
+                0.027644927978515626,
+                0.02756915283203125,
+                0.027594751358032226,
+                0.027658239364624023,
+                0.02754457664489746,
+                0.027617279052734374,
+                0.02754150390625,
+                0.027630592346191408,
+                0.027661407470703125,
+                0.027640735626220703,
+                0.027603967666625977,
+                0.027609088897705077,
+                0.027568128585815428,
+                0.027633663177490234,
+                0.027815935134887695,
+                0.027620351791381836,
+                0.027625471115112304,
+                0.027656192779541015,
+                0.027664384841918944,
+                0.027669504165649415,
+                0.027656192779541015,
+                0.027674623489379883,
+                0.027628543853759766,
+                0.027602943420410156,
+                0.02773811149597168,
+                0.027617279052734374,
+                0.027591680526733397,
+                0.027604991912841798,
+                0.027665407180786132,
+                0.027587583541870117,
+                0.027643903732299805,
+                0.027757568359375,
+                0.027671552658081053,
+                0.027612159729003907,
+                0.027666431427001953,
+                0.02769817543029785,
+                0.02765446472167969,
+                0.027643583297729493,
+                0.027681791305541992,
+                0.027658239364624023,
+                0.027661312103271486,
+                0.027686912536621092,
+                0.02764723205566406,
+                0.02762931251525879,
+                0.027681791305541992,
+                0.027679744720458983,
+                0.027695104598999022,
+                0.027655168533325194,
+                0.027675647735595704,
+                0.02770636749267578,
+                0.02765020751953125,
+                0.02762940788269043,
+                0.027696128845214843,
+                0.02768076705932617,
+                0.027659360885620116,
+                0.027674528121948243,
+                0.027633663177490234,
+                0.027609088897705077,
+                0.027628543853759766,
+                0.0276889591217041,
+                0.027649023056030272,
+                0.027640832901000976,
+                0.027633663177490234,
+                0.027683839797973633,
+                0.02769715118408203,
+                0.027699199676513672,
+                0.02768076705932617,
+                0.0276889591217041,
+                0.027661504745483397,
+                0.02784748840332031,
+                0.02763702392578125,
+                0.02767638397216797,
+                0.027715583801269532,
+                0.02772787284851074,
+                0.027660287857055665,
+                0.027637760162353517,
+                0.027657215118408202,
+                0.027681791305541992,
+                0.027624448776245116,
+                0.027711488723754882,
+                0.027688255310058595,
+                0.02770809555053711,
+                0.02770025634765625,
+                0.027731935501098634,
+                0.02770748710632324,
+                0.027706272125244142,
+                0.02768716812133789,
+                0.027891456604003908,
+                0.028013568878173828,
+                0.027864063262939453,
+                0.027613471984863282,
+                0.02765488052368164,
+                0.02772787284851074,
+                0.02772889518737793,
+                0.027671552658081053,
+                0.0277258243560791,
+                0.02766249656677246,
+                0.027669343948364258,
+                0.027691007614135742,
+                0.027724800109863282,
+                0.02768515205383301,
+                0.027703008651733398,
+                0.027624448776245116,
+                0.027675647735595704,
+                0.02766454315185547,
+                0.027702112197875977,
+                0.027684864044189454,
+                0.02770636749267578,
+                0.027674623489379883,
+                0.027635711669921875,
+                0.027670528411865233,
+                0.027673599243164062,
+                0.02771353530883789,
+                0.027640832901000976,
+                0.027680864334106447,
+                0.02771139144897461,
+                0.027719776153564454,
+                0.02768476867675781,
+                0.027704416275024416,
+                0.027665311813354493,
+                0.027645952224731447,
+                0.027608064651489257,
+                0.02771251106262207,
+                0.027687936782836913,
+                0.02765135955810547,
+                0.027718368530273436,
+                0.0276889591217041,
+                0.027610111236572265,
+                0.027685888290405275,
+                0.02771251106262207,
+                0.027664384841918944,
+                0.027685888290405275,
+                0.027721759796142578,
+                0.027700191497802736,
+                0.027677696228027345,
+                0.027642879486083984,
+                0.027743295669555666,
+                0.027659200668334962,
+                0.027717632293701173,
+                0.02771251106262207,
+                0.02770867156982422,
+                0.02776652717590332,
+                0.02793084716796875,
+                0.027801376342773437,
+                0.027827199935913087,
+                0.027786239624023438,
+                0.027760639190673828,
+                0.02772787284851074,
+                0.02771455955505371,
+                0.02770636749267578,
+                0.027738271713256837,
+                0.027784032821655272,
+                0.027807743072509765,
+                0.027785215377807617,
+                0.027832319259643554,
+                0.027700223922729493,
+                0.027741184234619142,
+                0.02772172737121582,
+                0.02771868705749512,
+                0.027967456817626954,
+                0.027768831253051757,
+                0.02769817543029785,
+                0.027707551956176756,
+                0.027707231521606444,
+                0.02771455955505371,
+                0.02772991943359375,
+                0.027810815811157227,
+                0.027676671981811524,
+                0.02771865653991699,
+                0.02771968078613281,
+                0.027667552947998046,
+                0.027765663146972656,
+                0.027757568359375,
+                0.027709440231323244,
+                0.02775040054321289,
+                0.027823104858398437,
+                0.02779043197631836,
+                0.027784095764160157,
+                0.027798528671264647,
+                0.027786239624023438,
+                0.027814912796020507,
+                0.02772172737121582,
+                0.027704479217529297,
+                0.02775331115722656,
+                0.02773811149597168,
+                0.027709440231323244,
+                0.02777190399169922,
+                0.02775859260559082,
+                0.027724800109863282,
+                0.027709440231323244,
+                0.027732255935668946,
+                0.027720415115356445,
+                0.027744255065917968,
+                0.027661312103271486,
+                0.027661312103271486,
+                0.027668479919433595,
+                0.027707391738891602
+            ]
+        },
+        "throughput": {
+            "unit": "tokens/s",
+            "value": 36.11708977818668
+        },
+        "energy": null,
+        "efficiency": null
+    }
+}