Upload /gemma-7b/int8_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json with huggingface_hub

gemma-7b/int8_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json

@@ -2,194 +2,190 @@
     "prefill": {
         "memory": {
             "unit": "MB",
-            "max_ram": 4516.745216,
+            "max_ram": 4575.711232,
             "max_vram": 10504.634368,
             "max_reserved": 10011.803648,
             "max_allocated": 9921.83552
         },
         "latency": {
             "unit": "s",
-            "mean": 0.05815051000517913,
-            "stdev": 0.0009156655037561419,
+            "mean": 0.05921143521641836,
+            "stdev": 0.000792575270597166,
             "values": [
-                0.06554188537597656,
-                0.05961523056030273,
-                0.05897420883178711,
+                0.06676448059082031,
+                0.06044364929199219,
+                0.06004326248168945,
+                0.06046310424804688,
+                0.061454334259033204,
+                0.06348697662353515,
+                0.06285107040405273,
+                0.05910425567626953,
+                0.059529216766357425,
+                0.058993663787841794,
+                0.05899161529541016,
+                0.058992641448974606,
+                0.05882572937011719,
+                0.05901311874389648,
+                0.05894041442871094,
+                0.05910323333740235,
+                0.059481086730957033,
+                0.059025409698486325,
+                0.05894041442871094,
+                0.05875302505493164,
+                0.058946559906005856,
+                0.058992641448974606,
+                0.05883084869384766,
+                0.058790912628173826,
+                0.05885235214233398,
+                0.0587325439453125,
+                0.05886259078979492,
+                0.05886054229736328,
+                0.05898342514038086,
+                0.059101184844970706,
+                0.059009025573730466,
+                0.05897727966308594,
+                0.05902131271362305,
+                0.05902336120605469,
+                0.05903769683837891,
+                0.05900697708129883,
+                0.05892403030395508,
+                0.05884723281860352,
+                0.0589219856262207,
+                0.058893310546875,
+                0.05906227111816406,
+                0.058967041015625,
+                0.059650047302246094,
+                0.05895065689086914,
+                0.05893017578125,
+                0.05893529510498047,
+                0.05890867233276367,
+                0.05906022262573242,
+                0.05902950286865234,
+                0.05907660675048828,
+                0.0593438720703125,
+                0.058823680877685545,
+                0.05882265472412109,
+                0.058834945678710934,
+                0.05902950286865234,
+                0.05893017578125,
+                0.05893427276611328,
+                0.05901004791259765,
+                0.05907046508789063,
+                0.059068416595458986,
+                0.05898956680297852,
+                0.05886057662963867,
+                0.058897407531738284,
+                0.058889217376708984,
+                0.05896499252319336,
+                0.05895577621459961,
+                0.0591278076171875,
+                0.05889023971557617,
+                0.05895884704589844,
+                0.058931198120117184,
+                0.05883699035644531,
+                0.05898758316040039,
+                0.05896806335449219,
+                0.0588144645690918,
+                0.058859519958496094,
+                0.05893529510498047,
+                0.059394046783447264,
+                0.05888409423828125,
+                0.05885955047607422,
+                0.05888000106811524,
+                0.05881753540039063,
+                0.058875904083251954,
+                0.05895577621459961,
+                0.05883084869384766,
+                0.05939302444458008,
+                0.05904793548583984,
+                0.058946559906005856,
+                0.05897225570678711,
+                0.058875904083251954,
+                0.05888307189941406,
+                0.05883903884887695,
+                0.05902643203735351,
+                0.05912063980102539,
+                0.059084800720214846,
                 0.05911040115356445,
-                0.06581657409667968,
-                0.06116659164428711,
-                0.05813759994506836,
-                0.05792153549194336,
-                0.05808025741577148,
-                0.05825126266479492,
-                0.05813865661621094,
-                0.05799731063842774,
-                0.058142719268798826,
-                0.05811916732788086,
-                0.057935871124267575,
-                0.0579420166015625,
-                0.05803007888793945,
-                0.058019840240478515,
-                0.05787855911254883,
-                0.05789593505859375,
-                0.057791488647460934,
-                0.05791027069091797,
-                0.0579317741394043,
-                0.05810790252685547,
-                0.05796352005004883,
-                0.057793537139892576,
-                0.05801881790161133,
-                0.057845760345458984,
-                0.05799116897583008,
-                0.057839614868164066,
-                0.05793791961669922,
-                0.05809766387939453,
-                0.0579502067565918,
-                0.057899009704589846,
-                0.05784883117675781,
-                0.05790719985961914,
-                0.05793382263183594,
-                0.05791231918334961,
-                0.05802201461791992,
-                0.057862144470214844,
-                0.05790822219848633,
-                0.058000385284423826,
-                0.057976993560791015,
-                0.05796352005004883,
-                0.05788671875,
-                0.05782527923583984,
-                0.05799321746826172,
-                0.05796147155761719,
-                0.0578785285949707,
-                0.05821440124511719,
-                0.057955360412597655,
-                0.058014720916748044,
-                0.05798400115966797,
-                0.05786326217651367,
-                0.058047489166259764,
-                0.057981952667236325,
-                0.057902080535888675,
-                0.05842432022094726,
-                0.05801062393188477,
-                0.05777417755126953,
-                0.057995262145996096,
-                0.05796454238891602,
-                0.05793075180053711,
-                0.05812940979003906,
-                0.058052608489990234,
-                0.05793996810913086,
-                0.05842739105224609,
-                0.05782527923583984,
-                0.05799423980712891,
-                0.05795430374145508,
-                0.058039295196533204,
-                0.057915393829345706,
-                0.05803007888793945,
-                0.05794918441772461,
-                0.05795840072631836,
-                0.05792665481567383,
-                0.05789593505859375,
-                0.05786111831665039,
-                0.0579051513671875,
-                0.05801369476318359,
-                0.057988094329833983,
-                0.05773516845703125,
-                0.05791641616821289,
-                0.05794508743286133,
-                0.058033153533935546,
-                0.05788467025756836,
-                0.05802700805664063,
-                0.05804851150512695,
-                0.05807308959960938,
-                0.05795328140258789,
-                0.05804851150512695,
-                0.05790719985961914,
-                0.05848883056640625,
-                0.05825331115722656,
-                0.05809766387939453,
-                0.058039295196533204,
-                0.058180606842041016,
-                0.05796147155761719,
-                0.058068992614746094,
-                0.05791641616821289,
-                0.058449920654296876,
-                0.05794508743286133,
-                0.05796966552734375,
-                0.05796147155761719,
-                0.05791129684448242,
-                0.057845760345458984,
-                0.058014720916748044,
-                0.058038272857666016,
-                0.058028064727783206,
-                0.058031105041503904,
-                0.058057727813720705,
-                0.057929729461669924,
-                0.05796352005004883,
-                0.05790316772460938,
-                0.058003456115722656,
-                0.057826305389404295,
-                0.05790105438232422,
-                0.05791129684448242,
-                0.058126335144042966,
-                0.05795840072631836,
-                0.05795430374145508,
-                0.05791129684448242,
-                0.05808127975463867,
-                0.05797478485107422,
-                0.058065921783447265,
-                0.05798204803466797,
-                0.058071041107177736,
-                0.058194942474365234,
-                0.05803212738037109,
-                0.057957374572753906,
-                0.05815193557739258,
-                0.05793382263183594,
-                0.057883647918701174,
-                0.05798912048339844,
-                0.06166425704956055,
-                0.05828812789916992,
-                0.05791455841064453,
-                0.057929729461669924,
-                0.05821747207641602,
-                0.05783244705200195,
-                0.05806489562988281,
-                0.058017791748046874,
-                0.0581396484375,
-                0.058031105041503904,
-                0.05799731063842774,
-                0.05790617752075195,
-                0.0581058578491211,
-                0.058074111938476565,
-                0.05796761703491211,
-                0.05783859252929688,
-                0.05787443161010742,
-                0.05796352005004883,
-                0.058074111938476565,
-                0.05798400115966797,
-                0.05815398406982422,
-                0.057793792724609376,
-                0.05800147247314453,
-                0.057919486999511716,
-                0.058019840240478515,
-                0.058022911071777344,
-                0.05803724670410156,
-                0.058120193481445315,
-                0.05827174377441406,
-                0.05803417587280273,
-                0.05795635223388672,
-                0.05810073471069336,
-                0.058019840240478515,
-                0.05797580718994141,
-                0.05812736129760742,
-                0.05790822219848633,
-                0.058484832763671876,
-                0.058049537658691405,
-                0.05807206344604492
+                0.059202560424804686,
+                0.059167743682861325,
+                0.059079681396484375,
+                0.0592097282409668,
+                0.059000831604003906,
+                0.05905203247070313,
+                0.05910528182983398,
+                0.05903769683837891,
+                0.058995712280273435,
+                0.059224063873291016,
+                0.05920665740966797,
+                0.05917695999145508,
+                0.05895167922973633,
+                0.05926604843139648,
+                0.05922918319702149,
+                0.059701248168945314,
+                0.059235328674316405,
+                0.05928979110717773,
+                0.05924863815307617,
+                0.059238399505615234,
+                0.05924256134033203,
+                0.059227134704589846,
+                0.05909503936767578,
+                0.05974528121948242,
+                0.059104351043701174,
+                0.05924761581420898,
+                0.05929676818847656,
+                0.059256832122802736,
+                0.0592803840637207,
+                0.05923231887817383,
+                0.0592803840637207,
+                0.0592803840637207,
+                0.059324417114257816,
+                0.05926092910766602,
+                0.05919539260864258,
+                0.05927833557128906,
+                0.05923737716674805,
+                0.05921484756469726,
+                0.05929369735717773,
+                0.05917900848388672,
+                0.05922304153442383,
+                0.05935308837890625,
+                0.05933977508544922,
+                0.05925888061523438,
+                0.05911040115356445,
+                0.059015167236328124,
+                0.05928857421875,
+                0.05907763290405273,
+                0.059302913665771485,
+                0.0597628173828125,
+                0.059238399505615234,
+                0.05927231979370117,
+                0.059262977600097654,
+                0.05916262435913086,
+                0.05918003082275391,
+                0.059232257843017576,
+                0.05911859130859375,
+                0.059646976470947265,
+                0.05907660675048828,
+                0.059014144897460936,
+                0.05913087844848633,
+                0.059150337219238285,
+                0.05915852737426758,
+                0.059028480529785154,
+                0.058916862487792966,
+                0.0590552978515625,
+                0.05906739044189453,
+                0.059084800720214846,
+                0.059041793823242185,
+                0.059066368103027345,
+                0.05911040115356445,
+                0.05908889770507812,
+                0.05897318267822266,
+                0.059109375
             ]
         },
         "throughput": {
             "unit": "tokens/s",
-            "value": 4402.368955615343
+            "value": 4323.489188605504
         },
         "energy": null,
         "efficiency": null
@@ -197,22 +193,22 @@
     "decode": {
         "memory": {
             "unit": "MB",
-            "max_ram": 4516.745216,
+            "max_ram": 4575.711232,
             "max_vram": 10892.607488,
             "max_reserved": 10399.776768,
             "max_allocated": 10301.4272
         },
         "latency": {
             "unit": "s",
-            "mean": 14.593744888305668,
+            "mean": 14.784453826904297,
             "stdev": 0,
             "values": [
-                14.593744888305668
+                14.784453826904297
             ]
         },
         "throughput": {
             "unit": "tokens/s",
-            "value": 17.47323952499251
+            "value": 17.247847163346595
         },
         "energy": null,
         "efficiency": null
@@ -221,269 +217,269 @@
         "memory": null,
         "latency": {
             "unit": "s",
-            "mean": 0.05723037211100262,
-            "stdev": 0.00016024681144480654,
+            "mean": 0.05797825030158548,
+            "stdev": 0.00013128443797395044,
             "values": [
-                0.05737472152709961,
-                0.05726822280883789,
-                0.057237503051757815,
-                0.05715456008911133,
-                0.057063423156738284,
-                0.05724777603149414,
-                0.057419742584228516,
-                0.05731737518310547,
-                0.05731942367553711,
-                0.05711769485473633,
-                0.05702963256835938,
-                0.05723955154418945,
-                0.05710745620727539,
-                0.057261215209960935,
-                0.05724348831176758,
-                0.05728972625732422,
-                0.057221118927001956,
-                0.05722748947143555,
-                0.05717891311645508,
-                0.05722521591186523,
-                0.057224193572998044,
-                0.05724467086791992,
-                0.057296897888183596,
-                0.05753241729736328,
-                0.05732556915283203,
-                0.05735833740234375,
-                0.05718220901489258,
-                0.05716377639770508,
-                0.05720064163208008,
-                0.0572938232421875,
-                0.057267200469970705,
-                0.05755596923828125,
-                0.057181182861328124,
-                0.057237503051757815,
-                0.05711974334716797,
-                0.057198783874511716,
-                0.057149246215820314,
-                0.057191551208496096,
-                0.05734899139404297,
-                0.057437183380126954,
-                0.05720883178710937,
-                0.05704294586181641,
-                0.05715763092041016,
-                0.057090049743652345,
-                0.05722009658813477,
-                0.057176223754882814,
-                0.05722505569458008,
-                0.05720678329467774,
-                0.05728460693359375,
-                0.05716070556640625,
-                0.05718937683105469,
-                0.057312255859375,
-                0.05722521591186523,
-                0.05715363311767578,
-                0.057300895690917966,
-                0.05716793441772461,
-                0.057154495239257815,
-                0.05732966232299805,
-                0.05768396759033203,
-                0.05711769485473633,
-                0.057355262756347655,
-                0.0572149772644043,
-                0.057412609100341794,
-                0.057070785522460935,
-                0.057149246215820314,
-                0.0571629753112793,
-                0.057433887481689455,
-                0.05709849548339844,
-                0.05711539077758789,
-                0.057062400817871096,
-                0.0570511360168457,
-                0.05710438537597656,
-                0.05699993515014649,
-                0.057012256622314454,
-                0.056898529052734376,
-                0.05700812911987305,
-                0.05698252868652344,
-                0.057057281494140626,
-                0.056856575012207033,
-                0.05696921539306641,
-                0.057047039031982424,
-                0.057027584075927736,
-                0.05686374282836914,
-                0.0569989128112793,
-                0.05702656173706055,
-                0.05708902359008789,
-                0.057099262237548826,
-                0.057197566986083984,
-                0.0570695686340332,
-                0.05701023864746094,
-                0.056979393005371096,
-                0.05701631927490235,
-                0.05689139175415039,
-                0.05724262237548828,
-                0.05699686431884766,
-                0.057063423156738284,
-                0.05707059097290039,
-                0.056992767333984375,
-                0.05706137466430664,
-                0.057241630554199216,
-                0.057141216278076175,
-                0.057306110382080076,
-                0.05710233688354492,
-                0.05705215835571289,
-                0.0570777587890625,
-                0.057003009796142576,
-                0.05712793731689453,
-                0.05698355102539063,
-                0.05704294586181641,
-                0.057106433868408205,
-                0.0571146240234375,
-                0.05730112075805664,
-                0.05706124877929687,
-                0.05709107208251953,
-                0.057262081146240235,
-                0.057188350677490236,
-                0.05717196655273438,
-                0.057164798736572264,
-                0.05718425750732422,
-                0.05717196655273438,
-                0.05717094421386719,
-                0.05815628814697266,
-                0.05723827362060547,
-                0.0572119026184082,
-                0.057106433868408205,
-                0.05715865707397461,
-                0.05717708969116211,
-                0.05728768157958984,
+                0.057981952667236325,
+                0.05801062393188477,
+                0.05778227233886719,
+                0.05785295867919922,
+                0.05795939254760742,
+                0.057958560943603514,
+                0.057956192016601564,
+                0.05793894577026367,
+                0.05814076614379883,
+                0.05787535858154297,
+                0.057778175354003904,
+                0.05801369476318359,
+                0.05787347030639649,
+                0.057945022583007814,
+                0.058106880187988284,
+                0.05803113555908203,
+                0.057815006256103516,
+                0.05835673522949219,
+                0.057842689514160155,
+                0.05794815826416016,
+                0.05773635101318359,
+                0.057915489196777345,
+                0.057910110473632814,
+                0.05792655944824219,
+                0.058001407623291014,
+                0.058033153533935546,
+                0.057907424926757815,
+                0.05798691177368164,
+                0.05789996719360352,
+                0.05795840072631836,
+                0.057821182250976565,
+                0.05800755310058594,
+                0.05804544067382812,
+                0.0579788818359375,
+                0.05778636932373047,
+                0.05796659088134765,
+                0.057887935638427736,
+                0.058040126800537106,
+                0.05792563247680664,
+                0.05799939346313476,
+                0.05793788909912109,
+                0.05806284713745117,
+                0.05796659088134765,
+                0.058482688903808595,
+                0.05788684844970703,
+                0.05790201568603515,
+                0.057988094329833983,
+                0.05796550369262695,
+                0.057862144470214844,
+                0.05790924835205078,
+                0.0578600959777832,
+                0.058102783203125,
+                0.057935871124267575,
+                0.057900032043457034,
+                0.05788787078857422,
+                0.057965438842773435,
+                0.05789388656616211,
+                0.05803212738037109,
+                0.057809921264648435,
+                0.057970687866210936,
+                0.05785200119018555,
+                0.05802998352050781,
+                0.05799731063842774,
+                0.058039295196533204,
+                0.05797785568237305,
+                0.058006526947021485,
+                0.05780070495605469,
+                0.057970687866210936,
+                0.05792051315307617,
+                0.057902080535888675,
+                0.057963680267333985,
+                0.057864192962646485,
+                0.0578138542175293,
+                0.05790822219848633,
+                0.05795532989501953,
+                0.057902080535888675,
+                0.057880577087402345,
+                0.05793715286254883,
+                0.05832495880126953,
+                0.05790595245361328,
+                0.058001407623291014,
+                0.05785804748535156,
+                0.05791644668579102,
+                0.058038238525390626,
+                0.057899009704589846,
+                0.05790924835205078,
+                0.058234878540039066,
+                0.05787136077880859,
+                0.05797580718994141,
+                0.057957504272460936,
+                0.058049407958984375,
+                0.05816012954711914,
+                0.05804870223999024,
+                0.058053440093994144,
+                0.0579400634765625,
+                0.058133438110351564,
+                0.058049503326416015,
+                0.05799219131469727,
+                0.057975902557373046,
+                0.05806070327758789,
+                0.05809971237182617,
+                0.057882625579833986,
+                0.05795849609375,
+                0.05792451095581055,
+                0.057896961212158204,
+                0.05785497665405273,
+                0.057821182250976565,
+                0.05796579360961914,
+                0.057914142608642576,
+                0.05799935913085937,
+                0.057952255249023435,
                 0.05785804748535156,
-                0.0572334098815918,
-                0.057215999603271485,
-                0.057100318908691404,
-                0.05727433776855469,
-                0.057265151977539064,
-                0.05711155319213867,
-                0.05745459365844727,
-                0.056994815826416016,
-                0.05756620788574219,
-                0.0572149772644043,
-                0.057250816345214846,
-                0.057210880279541014,
-                0.05726009750366211,
-                0.057202625274658206,
-                0.05732352066040039,
-                0.057312255859375,
-                0.057204734802246096,
-                0.05712793731689453,
-                0.057148414611816405,
-                0.0571146240234375,
-                0.05727231979370117,
-                0.057219070434570314,
-                0.05714233779907227,
-                0.05731731033325195,
-                0.05724364852905273,
-                0.05724671936035156,
-                0.05741670227050781,
-                0.057278465270996094,
-                0.05720678329467774,
-                0.0571514892578125,
-                0.05731020736694336,
-                0.05716377639770508,
-                0.05720064163208008,
-                0.0571115837097168,
-                0.05725692749023437,
-                0.057475070953369144,
-                0.05729587173461914,
-                0.057294849395751954,
-                0.057175041198730465,
-                0.05732966232299805,
-                0.05735833740234375,
-                0.057280513763427736,
-                0.05729494476318359,
-                0.05765008163452148,
-                0.05732352066040039,
-                0.05724979019165039,
-                0.05728160095214844,
-                0.05730604934692383,
-                0.05741567993164062,
-                0.057294849395751954,
-                0.05729587173461914,
-                0.05714022445678711,
-                0.05719468688964844,
-                0.05711750411987305,
-                0.0572334098815918,
-                0.05728972625732422,
-                0.05724169540405273,
-                0.05715548706054688,
-                0.05732761764526367,
-                0.05725593566894531,
-                0.05735935974121094,
-                0.0572303352355957,
-                0.05725094223022461,
-                0.05714419174194336,
-                0.05708390426635742,
-                0.05719039916992188,
-                0.05709625625610352,
-                0.057156543731689456,
-                0.05734502410888672,
-                0.05717708969116211,
-                0.05778124618530273,
-                0.05730918502807617,
-                0.05727641677856445,
-                0.05717708969116211,
-                0.05722009658813477,
-                0.05736345672607422,
-                0.05752934265136719,
-                0.05729792022705078,
-                0.05779372787475586,
-                0.057334590911865234,
-                0.05739519882202149,
-                0.05728255844116211,
-                0.05730099105834961,
-                0.05746585464477539,
-                0.05735647964477539,
-                0.05734380722045898,
-                0.057475070953369144,
-                0.05741158294677735,
-                0.05747097778320313,
-                0.05726003265380859,
-                0.05729894256591797,
-                0.05731430435180664,
-                0.057299968719482425,
-                0.05720985412597656,
-                0.0573287353515625,
-                0.05733980941772461,
-                0.057414657592773435,
-                0.05729177474975586,
-                0.057436351776123044,
-                0.057404224395751956,
-                0.05741670227050781,
-                0.05724364852905273,
-                0.057204734802246096,
-                0.05714432144165039,
-                0.057271327972412106,
-                0.057588703155517576,
-                0.057188350677490236,
-                0.05717299270629883,
-                0.05738086318969727,
-                0.0573573112487793,
-                0.057336830139160154,
-                0.05709823989868164,
-                0.05724467086791992,
-                0.05758771133422851,
-                0.05719039916992188,
-                0.05720166397094727,
-                0.05723852920532226,
-                0.057197566986083984,
-                0.0570695686340332,
-                0.05711974334716797,
-                0.057232383728027345,
-                0.05723955154418945,
-                0.05732863998413086,
-                0.0572119026184082,
-                0.05715660858154297,
-                0.057215999603271485
+                0.05787340927124023,
+                0.058022911071777344,
+                0.05783244705200195,
+                0.05785497665405273,
+                0.05785804748535156,
+                0.05777305603027344,
+                0.0578416633605957,
+                0.0579535026550293,
+                0.0578383674621582,
+                0.05821747207641602,
+                0.05771878433227539,
+                0.05779455947875976,
+                0.05780073547363281,
+                0.05784880065917969,
+                0.05769113540649414,
+                0.0577935676574707,
+                0.057997280120849606,
+                0.05788159942626953,
+                0.05786111831665039,
+                0.05796044921875,
+                0.05796659088134765,
+                0.05797683334350586,
+                0.05802700805664063,
+                0.05804873657226563,
+                0.05790915298461914,
+                0.058027904510498045,
+                0.05800960159301758,
+                0.0578600959777832,
+                0.057853950500488284,
+                0.05801881790161133,
+                0.05797273635864258,
+                0.05789286422729492,
+                0.057896961212158204,
+                0.058031105041503904,
+                0.05790617752075195,
+                0.05802700805664063,
+                0.058475681304931644,
+                0.05806166458129883,
+                0.05790924835205078,
+                0.057893951416015624,
+                0.0579543342590332,
+                0.05795830535888672,
+                0.05807820892333984,
+                0.0576993293762207,
+                0.058327041625976565,
+                0.057957374572753906,
+                0.058060798645019535,
+                0.05800348663330078,
+                0.05794198226928711,
+                0.05783859252929688,
+                0.05785497665405273,
+                0.05787750244140625,
+                0.05795430374145508,
+                0.057979969024658205,
+                0.05779142379760742,
+                0.0580055046081543,
+                0.0578682861328125,
+                0.05795942306518555,
+                0.05786624145507813,
+                0.057965568542480465,
+                0.05790822219848633,
+                0.05798835372924805,
+                0.05797881698608399,
+                0.05789168167114258,
+                0.05796860885620117,
+                0.058003456115722656,
+                0.05795635223388672,
+                0.057965568542480465,
+                0.05784678268432617,
+                0.0580055046081543,
+                0.058215614318847655,
+                0.057968448638916016,
+                0.05778227233886719,
+                0.057998336791992185,
+                0.057783294677734375,
+                0.058041343688964846,
+                0.05801062393188477,
+                0.05808230209350586,
+                0.05796873474121094,
+                0.05840681457519531,
+                0.05803417587280273,
+                0.05817753601074219,
+                0.05808025741577148,
+                0.058019840240478515,
+                0.05805372619628906,
+                0.05796239852905274,
+                0.0580208625793457,
+                0.057912353515625,
+                0.05808022308349609,
+                0.05798912048339844,
+                0.05793791961669922,
+                0.05787859344482422,
+                0.05798393630981445,
+                0.0580208625793457,
+                0.05779763031005859,
+                0.05786111831665039,
+                0.05799321746826172,
+                0.05794713592529297,
+                0.05788774490356445,
+                0.057747455596923826,
+                0.057990238189697264,
+                0.05803203201293945,
+                0.058036224365234375,
+                0.05795942306518555,
+                0.05806284713745117,
+                0.05828403091430664,
+                0.058155200958251954,
+                0.058161983489990236,
+                0.05816524887084961,
+                0.058065921783447265,
+                0.05815500640869141,
+                0.05827276611328125,
+                0.05809664154052734,
+                0.05852691268920898,
+                0.05812211227416992,
+                0.057974720001220705,
+                0.058176513671875,
+                0.05809686279296875,
+                0.05809756851196289,
+                0.058137470245361325,
+                0.058068992614746094,
+                0.058017951965332035,
+                0.05806883239746094,
+                0.058014720916748044,
+                0.058103809356689455,
+                0.0579420166015625,
+                0.05811404800415039,
+                0.058038272857666016,
+                0.05810892868041992,
+                0.05799945449829102,
+                0.05804636764526367,
+                0.057892097473144534,
+                0.05815679931640625,
+                0.05814374542236328,
+                0.05808332824707031,
+                0.05796454238891602,
+                0.058089630126953125,
+                0.05783433532714844,
+                0.05796265411376953,
+                0.05796028900146484,
+                0.05845711898803711,
+                0.05792252731323242,
+                0.05818185424804687
             ]
         },
         "throughput": {
             "unit": "tokens/s",
-            "value": 17.47323952499251
+            "value": 17.247847163346595
         },
         "energy": null,
         "efficiency": null