Upload /Mistral-7B-v0.1/nf4_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json with huggingface_hub

Mistral-7B-v0.1/nf4_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json

@@ -0,0 +1,746 @@
+{
+    "prefill": {
+        "memory": {
+            "unit": "MB",
+            "max_ram": 2559.225856,
+            "max_vram": 5490.343936,
+            "max_reserved": 5005.901824,
+            "max_allocated": 4844.946944
+        },
+        "latency": {
+            "unit": "s",
+            "mean": 0.05824675790653673,
+            "stdev": 0.0008722885227873175,
+            "values": [
+                0.06430147552490234,
+                0.06216191864013672,
+                0.06033407974243164,
+                0.05873971176147461,
+                0.05878476715087891,
+                0.058594398498535157,
+                0.05981491088867188,
+                0.05782425689697265,
+                0.05833420944213867,
+                0.057605121612548826,
+                0.05817753601074219,
+                0.05772083282470703,
+                0.05823180770874024,
+                0.057729022979736325,
+                0.058194942474365234,
+                0.05782732772827148,
+                0.058213375091552735,
+                0.0577158088684082,
+                0.058218494415283206,
+                0.05765529632568359,
+                0.05828403091430664,
+                0.05770764923095703,
+                0.05834035110473633,
+                0.05784883117675781,
+                0.05826662445068359,
+                0.05777305603027344,
+                0.058280094146728516,
+                0.05774950408935547,
+                0.05824716949462891,
+                0.05769830322265625,
+                0.05824512100219727,
+                0.05770751953125,
+                0.058181697845458985,
+                0.05768191909790039,
+                0.05822684860229492,
+                0.057695232391357425,
+                0.058229759216308595,
+                0.057747455596923826,
+                0.05821449661254883,
+                0.057717758178710936,
+                0.058243072509765625,
+                0.05773209762573242,
+                0.05821440124511719,
+                0.05774131011962891,
+                0.058210304260253906,
+                0.05773823928833008,
+                0.05823897552490234,
+                0.05782233428955078,
+                0.05821760177612305,
+                0.05768703842163086,
+                0.05839769744873047,
+                0.05770240020751953,
+                0.05823897552490234,
+                0.05776412963867188,
+                0.058257408142089843,
+                0.05770035171508789,
+                0.058210494995117185,
+                0.05772288131713867,
+                0.05831270217895508,
+                0.05767782211303711,
+                0.058234878540039066,
+                0.05769420623779297,
+                0.05822771072387695,
+                0.057885696411132816,
+                0.0583741455078125,
+                0.05773945617675781,
+                0.05822576141357422,
+                0.05775564956665039,
+                0.05831494522094727,
+                0.05773516845703125,
+                0.05828505706787109,
+                0.05770547103881836,
+                0.058256385803222656,
+                0.05771673583984375,
+                0.05824716949462891,
+                0.05773004913330078,
+                0.058176513671875,
+                0.05768601608276367,
+                0.05828505706787109,
+                0.057643009185791017,
+                0.05814988708496094,
+                0.05771571350097656,
+                0.05824716949462891,
+                0.05771878433227539,
+                0.05825331115722656,
+                0.057919486999511716,
+                0.059169792175292966,
+                0.06013670349121094,
+                0.060819454193115234,
+                0.06149558258056641,
+                0.0602081298828125,
+                0.05997260665893555,
+                0.060232704162597656,
+                0.058703872680664064,
+                0.059845630645751956,
+                0.06047948837280273,
+                0.05856358337402344,
+                0.057660415649414064,
+                0.05814886474609375,
+                0.05760921478271484,
+                0.058156032562255856,
+                0.05766175842285156,
+                0.05818982315063476,
+                0.05842739105224609,
+                0.05828915023803711,
+                0.057659393310546876,
+                0.058205184936523435,
+                0.05763507080078125,
+                0.0581580810546875,
+                0.057727294921875,
+                0.05815193557739258,
+                0.05767475128173828,
+                0.05821440124511719,
+                0.057621505737304686,
+                0.058208255767822265,
+                0.057633056640625,
+                0.05817462539672852,
+                0.05766144180297852,
+                0.058126335144042966,
+                0.0577628173828125,
+                0.05819596862792969,
+                0.05794412612915039,
+                0.058234878540039066,
+                0.05771673583984375,
+                0.05825024032592773,
+                0.05783039855957031,
+                0.058226688385009766,
+                0.0578682861328125,
+                0.058259456634521485,
+                0.057816062927246094,
+                0.05820927810668945,
+                0.057744384765625,
+                0.05824204635620117,
+                0.057729022979736325,
+                0.058310657501220706,
+                0.057815040588378906,
+                0.05823283386230469,
+                0.05773004913330078,
+                0.05822054290771484,
+                0.0577710075378418,
+                0.05824319839477539,
+                0.057781536102294924,
+                0.058221569061279295,
+                0.05777222442626953,
+                0.05825126266479492,
+                0.05770547103881836,
+                0.05815500640869141,
+                0.05763379287719726,
+                0.058191871643066405,
+                0.05781708908081055,
+                0.058295295715332034,
+                0.05771366500854492,
+                0.05825331115722656,
+                0.0577628173828125,
+                0.05838438415527344,
+                0.05768313598632813,
+                0.058265598297119144,
+                0.05773619079589844,
+                0.058298366546630856,
+                0.05775769424438477,
+                0.058275840759277345,
+                0.05775872039794922,
+                0.05837004852294922,
+                0.060353534698486325,
+                0.06062080001831055,
+                0.05895372772216797,
+                0.05814476776123047,
+                0.05770035171508789,
+                0.0582677116394043,
+                0.057695232391357425,
+                0.058221569061279295,
+                0.05764812850952149
+            ]
+        },
+        "throughput": {
+            "unit": "tokens/s",
+            "value": 4395.094408701338
+        },
+        "energy": null,
+        "efficiency": null
+    },
+    "decode": {
+        "memory": {
+            "unit": "MB",
+            "max_ram": 2560.274432,
+            "max_vram": 5710.544896,
+            "max_reserved": 5226.102784,
+            "max_allocated": 4911.274496
+        },
+        "latency": {
+            "unit": "s",
+            "mean": 8.479476745605467,
+            "stdev": 0.003307514190674432,
+            "values": [
+                8.48278425979614,
+                8.476169231414792
+            ]
+        },
+        "throughput": {
+            "unit": "tokens/s",
+            "value": 30.07261033319716
+        },
+        "energy": null,
+        "efficiency": null
+    },
+    "per_token": {
+        "memory": null,
+        "latency": {
+            "unit": "s",
+            "mean": 0.03325284998276653,
+            "stdev": 0.0002229036512224235,
+            "values": [
+                0.035507198333740234,
+                0.034864192962646486,
+                0.03317958450317383,
+                0.03322265625,
+                0.03319910430908203,
+                0.03319705581665039,
+                0.033200191497802733,
+                0.03346649551391601,
+                0.03321324920654297,
+                0.03329347229003906,
+                0.033159008026123045,
+                0.03331174468994141,
+                0.033137664794921876,
+                0.033274974822998044,
+                0.03329731369018555,
+                0.03314585494995117,
+                0.033116321563720706,
+                0.033212352752685546,
+                0.033100704193115234,
+                0.033235969543457033,
+                0.03316940689086914,
+                0.03330985641479492,
+                0.03325423812866211,
+                0.033312767028808594,
+                0.03313868713378906,
+                0.03316867065429688,
+                0.0331629753112793,
+                0.034525184631347655,
+                0.03368960189819336,
+                0.03334860610961914,
+                0.03328307342529297,
+                0.03322880172729492,
+                0.033261566162109374,
+                0.03342335891723633,
+                0.033192958831787106,
+                0.03325337600708008,
+                0.03319705581665039,
+                0.03321855926513672,
+                0.03325747299194336,
+                0.033288192749023435,
+                0.03314688110351562,
+                0.033667072296142575,
+                0.0350904312133789,
+                0.03331379318237305,
+                0.03325439834594727,
+                0.0331253776550293,
+                0.03324937438964844,
+                0.0333147201538086,
+                0.03326566314697266,
+                0.03326268768310547,
+                0.03321129608154297,
+                0.03329945755004883,
+                0.033307647705078124,
+                0.03334143829345703,
+                0.03339468765258789,
+                0.03335987091064453,
+                0.03334348678588867,
+                0.03329040145874024,
+                0.03322351837158203,
+                0.033209342956542966,
+                0.0331069450378418,
+                0.033706016540527343,
+                0.03337315368652344,
+                0.03320627212524414,
+                0.03321343994140625,
+                0.03326668930053711,
+                0.033188865661621096,
+                0.033230846405029296,
+                0.03317452621459961,
+                0.03328118515014648,
+                0.03320918273925781,
+                0.03323904037475586,
+                0.033375232696533204,
+                0.03328102493286133,
+                0.033122303009033204,
+                0.03314899063110351,
+                0.03313862228393555,
+                0.033212577819824216,
+                0.03325014495849609,
+                0.033209342956542966,
+                0.03312947082519531,
+                0.033164512634277346,
+                0.03322550582885742,
+                0.03318272018432617,
+                0.0331253776550293,
+                0.033842174530029294,
+                0.0343296012878418,
+                0.03340902328491211,
+                0.03332403182983398,
+                0.033182750701904296,
+                0.03315811157226563,
+                0.033051647186279294,
+                0.03321241760253906,
+                0.03307417678833008,
+                0.033105918884277344,
+                0.03322060775756836,
+                0.03311001586914063,
+                0.03306291198730469,
+                0.03315814590454102,
+                0.03329334259033203,
+                0.03313865661621094,
+                0.033260543823242186,
+                0.03378185653686523,
+                0.03312835311889648,
+                0.03313459014892578,
+                0.033135616302490234,
+                0.033135616302490234,
+                0.0331141128540039,
+                0.03319193649291992,
+                0.033053825378417966,
+                0.03305356979370117,
+                0.03322060775756836,
+                0.033132545471191405,
+                0.033189888000488284,
+                0.03330559921264648,
+                0.03323187255859375,
+                0.03328409576416016,
+                0.033355777740478515,
+                0.03336908721923828,
+                0.03309884643554688,
+                0.033255329132080076,
+                0.0331776008605957,
+                0.033188865661621096,
+                0.03316329574584961,
+                0.03315811157226563,
+                0.03305984115600586,
+                0.03321855926513672,
+                0.033137664794921876,
+                0.03305574417114258,
+                0.033105918884277344,
+                0.03312025451660156,
+                0.03320115280151367,
+                0.03306393432617188,
+                0.03313151931762695,
+                0.0330250244140625,
+                0.03309568023681641,
+                0.033017856597900394,
+                0.0331828498840332,
+                0.03316108703613281,
+                0.03303628921508789,
+                0.033081344604492184,
+                0.03341107177734375,
+                0.03321036911010742,
+                0.03325337600708008,
+                0.033186817169189455,
+                0.03316844940185547,
+                0.03326355361938477,
+                0.03308441543579101,
+                0.03357491302490234,
+                0.033344512939453126,
+                0.03328921508789062,
+                0.03330047988891602,
+                0.03321343994140625,
+                0.033247230529785156,
+                0.033170433044433595,
+                0.03328204727172852,
+                0.03326464080810547,
+                0.03324415969848633,
+                0.0332564468383789,
+                0.03342335891723633,
+                0.03317862319946289,
+                0.033142784118652346,
+                0.0332410888671875,
+                0.03370086288452148,
+                0.03330047988891602,
+                0.033263614654541016,
+                0.033261566162109374,
+                0.03329228973388672,
+                0.03350527954101563,
+                0.03321036911010742,
+                0.03323289489746094,
+                0.03314995193481445,
+                0.03308031845092774,
+                0.033430526733398434,
+                0.03318067169189453,
+                0.03323801422119141,
+                0.03312332916259766,
+                0.033255424499511715,
+                0.03309465789794922,
+                0.033245471954345705,
+                0.033229534149169924,
+                0.033140735626220705,
+                0.03326566314697266,
+                0.033263614654541016,
+                0.03315302276611328,
+                0.033154048919677735,
+                0.033122303009033204,
+                0.033165313720703124,
+                0.03326873779296875,
+                0.033124351501464845,
+                0.03328716659545899,
+                0.033535999298095705,
+                0.0333383674621582,
+                0.033358848571777344,
+                0.0332677116394043,
+                0.0333120002746582,
+                0.033202945709228514,
+                0.033415233612060544,
+                0.03325433731079101,
+                0.03325769424438477,
+                0.03331868743896484,
+                0.03335804748535156,
+                0.03315382385253906,
+                0.03318374252319336,
+                0.033165313720703124,
+                0.03324006271362305,
+                0.03323904037475586,
+                0.03345612716674805,
+                0.033143806457519534,
+                0.03347280120849609,
+                0.03312201690673828,
+                0.03319500732421875,
+                0.03312844848632813,
+                0.03315100860595703,
+                0.033113056182861325,
+                0.033189888000488284,
+                0.033152000427246094,
+                0.03321548843383789,
+                0.03322777557373047,
+                0.03318096160888672,
+                0.03325001525878906,
+                0.03328204727172852,
+                0.033209342956542966,
+                0.033587295532226565,
+                0.03316214370727539,
+                0.03330867385864258,
+                0.033185791015625,
+                0.03316223907470703,
+                0.03314483261108398,
+                0.033235969543457033,
+                0.03309363174438477,
+                0.03323289489746094,
+                0.03323289489746094,
+                0.033235969543457033,
+                0.03319625473022461,
+                0.03327260971069336,
+                0.033192958831787106,
+                0.033113311767578125,
+                0.03319171142578125,
+                0.03340697479248047,
+                0.03336191940307617,
+                0.03325235366821289,
+                0.033154048919677735,
+                0.03327897644042969,
+                0.03324518585205078,
+                0.03321548843383789,
+                0.0332564468383789,
+                0.03319398498535156,
+                0.03320627212524414,
+                0.03317145538330078,
+                0.03323699188232422,
+                0.0332309455871582,
+                0.03309660720825195,
+                0.03316428756713867,
+                0.03323699188232422,
+                0.03333529663085937,
+                0.0332492790222168,
+                0.03341926574707031,
+                0.033271808624267575,
+                0.033247230529785156,
+                0.03321753692626953,
+                0.03322367858886719,
+                0.033255424499511715,
+                0.033285118103027346,
+                0.03321446228027344,
+                0.03316633605957031,
+                0.03325238418579102,
+                0.033221599578857425,
+                0.0335810546875,
+                0.03314585494995117,
+                0.03321855926513672,
+                0.03311718368530273,
+                0.03327897644042969,
+                0.033225727081298825,
+                0.033312767028808594,
+                0.03324620819091797,
+                0.03328921508789062,
+                0.033298431396484376,
+                0.03342233657836914,
+                0.033242111206054685,
+                0.03316128158569336,
+                0.03313657760620117,
+                0.03357183837890625,
+                0.03312025451660156,
+                0.033172767639160154,
+                0.03313020706176758,
+                0.03305984115600586,
+                0.03300864028930664,
+                0.03312761688232422,
+                0.033116992950439454,
+                0.03319193649291992,
+                0.03305574417114258,
+                0.03314614486694336,
+                0.03306159973144531,
+                0.03309465789794922,
+                0.033189888000488284,
+                0.033260543823242186,
+                0.03316633605957031,
+                0.03324444961547852,
+                0.03331760025024414,
+                0.03343974304199219,
+                0.033306625366210936,
+                0.03331071853637695,
+                0.03330355072021484,
+                0.033306625366210936,
+                0.03320729446411133,
+                0.033331199645996096,
+                0.033259521484375,
+                0.03333955383300781,
+                0.0331569595336914,
+                0.033219585418701174,
+                0.033113086700439456,
+                0.03317270278930664,
+                0.03310467147827149,
+                0.033160190582275394,
+                0.03319910430908203,
+                0.03320435333251953,
+                0.033219455718994144,
+                0.03319193649291992,
+                0.033140735626220705,
+                0.03310182571411133,
+                0.033181697845458984,
+                0.033140735626220705,
+                0.03318476867675781,
+                0.033347583770751955,
+                0.03329536056518555,
+                0.03325439834594727,
+                0.03329740905761719,
+                0.033620063781738284,
+                0.03328195190429688,
+                0.033119232177734374,
+                0.0332042236328125,
+                0.033170433044433595,
+                0.03317964935302734,
+                0.033276927947998046,
+                0.03316121673583984,
+                0.033170433044433595,
+                0.03316633605957031,
+                0.03309782409667969,
+                0.033069984436035156,
+                0.03296768188476563,
+                0.03306291198730469,
+                0.0331141128540039,
+                0.033547264099121094,
+                0.033230846405029296,
+                0.0333383674621582,
+                0.03323625564575195,
+                0.03328278350830078,
+                0.03308265686035156,
+                0.033245918273925784,
+                0.03309260940551758,
+                0.03317452621459961,
+                0.03313151931762695,
+                0.03314688110351562,
+                0.0331069450378418,
+                0.03322163009643555,
+                0.03319398498535156,
+                0.0332564468383789,
+                0.03326566314697266,
+                0.033314815521240236,
+                0.033177631378173825,
+                0.03324515151977539,
+                0.03324313735961914,
+                0.033260543823242186,
+                0.033341503143310545,
+                0.03333523178100586,
+                0.03325030517578125,
+                0.03538534545898438,
+                0.033255424499511715,
+                0.033323009490966796,
+                0.033290241241455076,
+                0.03329740905761719,
+                0.03321241760253906,
+                0.03324825668334961,
+                0.03321446228027344,
+                0.03328409576416016,
+                0.03321753692626953,
+                0.03336703872680664,
+                0.033321216583251954,
+                0.03328998565673828,
+                0.03327094268798828,
+                0.033336158752441405,
+                0.033296382904052735,
+                0.03319398498535156,
+                0.03329644775390625,
+                0.0333004150390625,
+                0.03319411087036133,
+                0.03327987289428711,
+                0.03313151931762695,
+                0.03359231948852539,
+                0.03342438507080078,
+                0.03333631896972656,
+                0.03331711959838867,
+                0.03327052688598633,
+                0.033234176635742185,
+                0.0333647346496582,
+                0.03337830352783203,
+                0.03333631896972656,
+                0.03331071853637695,
+                0.03326259231567383,
+                0.033143806457519534,
+                0.03325747299194336,
+                0.03330355072021484,
+                0.033688575744628906,
+                0.033306625366210936,
+                0.03332403182983398,
+                0.03323699188232422,
+                0.03324415969848633,
+                0.033157119750976564,
+                0.03322982406616211,
+                0.03321343994140625,
+                0.0332042236328125,
+                0.033224929809570314,
+                0.03329513549804688,
+                0.033135616302490234,
+                0.03325030517578125,
+                0.03319091033935547,
+                0.03316633605957031,
+                0.03303014373779297,
+                0.03312844848632813,
+                0.033097728729248044,
+                0.03320217514038086,
+                0.033317886352539065,
+                0.03333017730712891,
+                0.0333496322631836,
+                0.03336601638793945,
+                0.03334656143188477,
+                0.03322675323486328,
+                0.03324518585205078,
+                0.03326464080810547,
+                0.033309696197509765,
+                0.033154048919677735,
+                0.033285377502441406,
+                0.03323571014404297,
+                0.03323494338989258,
+                0.03326668930053711,
+                0.033377281188964845,
+                0.03325132751464844,
+                0.03325337600708008,
+                0.033291263580322264,
+                0.03309392166137695,
+                0.033216224670410154,
+                0.033135616302490234,
+                0.03304550552368164,
+                0.033094879150390624,
+                0.0331743049621582,
+                0.0331038703918457,
+                0.033113086700439456,
+                0.033235969543457033,
+                0.033014785766601565,
+                0.03359334564208984,
+                0.033290241241455076,
+                0.03316633605957031,
+                0.033304576873779294,
+                0.03322880172729492,
+                0.033160190582275394,
+                0.03324006271362305,
+                0.03327897644042969,
+                0.03326259231567383,
+                0.03328204727172852,
+                0.033230976104736326,
+                0.03325836944580078,
+                0.03319193649291992,
+                0.03323494338989258,
+                0.03361894226074219,
+                0.03333017730712891,
+                0.03333763122558594,
+                0.033223392486572266,
+                0.03315097427368164,
+                0.0332492790222168,
+                0.033235969543457033,
+                0.03332505416870117,
+                0.03311206436157227,
+                0.03319910430908203,
+                0.033104896545410156,
+                0.033263614654541016,
+                0.0331253776550293,
+                0.03313868713378906,
+                0.03319398498535156,
+                0.033186817169189455,
+                0.0332410888671875,
+                0.03324518585205078,
+                0.03315929412841797,
+                0.03320716857910156,
+                0.033172481536865236,
+                0.03316326522827148,
+                0.033068031311035154,
+                0.03329433441162109,
+                0.03316633605957031,
+                0.03319807815551758,
+                0.03311942291259766,
+                0.0332081298828125,
+                0.03314483261108398,
+                0.033159168243408206,
+                0.03309983825683594,
+                0.03324614334106445,
+                0.033172481536865236,
+                0.03313868713378906,
+                0.03317657470703125,
+                0.033288192749023435,
+                0.03331891250610351,
+                0.03322367858886719,
+                0.03325030517578125,
+                0.033137664794921876,
+                0.03317657470703125,
+                0.03324415969848633,
+                0.03307929611206055,
+                0.0330885124206543,
+                0.033203201293945314,
+                0.03310899353027344
+            ]
+        },
+        "throughput": {
+            "unit": "tokens/s",
+            "value": 30.07261033319717
+        },
+        "energy": null,
+        "efficiency": null
+    }
+}