| { | |
| "best_metric": null, | |
| "best_model_checkpoint": null, | |
| "epoch": 1.0, | |
| "eval_steps": 500, | |
| "global_step": 7500, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.0026666666666666666, | |
| "grad_norm": 64.0, | |
| "learning_rate": 9.973333333333333e-06, | |
| "loss": 1.6153, | |
| "step": 20 | |
| }, | |
| { | |
| "epoch": 0.005333333333333333, | |
| "grad_norm": 33.75, | |
| "learning_rate": 9.946666666666667e-06, | |
| "loss": 1.5655, | |
| "step": 40 | |
| }, | |
| { | |
| "epoch": 0.008, | |
| "grad_norm": 21.875, | |
| "learning_rate": 9.920000000000002e-06, | |
| "loss": 1.4439, | |
| "step": 60 | |
| }, | |
| { | |
| "epoch": 0.010666666666666666, | |
| "grad_norm": 16.125, | |
| "learning_rate": 9.893333333333334e-06, | |
| "loss": 1.3342, | |
| "step": 80 | |
| }, | |
| { | |
| "epoch": 0.013333333333333334, | |
| "grad_norm": 12.125, | |
| "learning_rate": 9.866666666666668e-06, | |
| "loss": 1.2851, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 0.016, | |
| "grad_norm": 13.625, | |
| "learning_rate": 9.84e-06, | |
| "loss": 1.1834, | |
| "step": 120 | |
| }, | |
| { | |
| "epoch": 0.018666666666666668, | |
| "grad_norm": 11.4375, | |
| "learning_rate": 9.813333333333333e-06, | |
| "loss": 1.3427, | |
| "step": 140 | |
| }, | |
| { | |
| "epoch": 0.021333333333333333, | |
| "grad_norm": 0.0, | |
| "learning_rate": 9.786666666666667e-06, | |
| "loss": 1.2549, | |
| "step": 160 | |
| }, | |
| { | |
| "epoch": 0.024, | |
| "grad_norm": 11.5625, | |
| "learning_rate": 9.760000000000001e-06, | |
| "loss": 1.1061, | |
| "step": 180 | |
| }, | |
| { | |
| "epoch": 0.02666666666666667, | |
| "grad_norm": 8.6875, | |
| "learning_rate": 9.733333333333334e-06, | |
| "loss": 1.2031, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 0.029333333333333333, | |
| "grad_norm": 8.1875, | |
| "learning_rate": 9.706666666666668e-06, | |
| "loss": 1.1999, | |
| "step": 220 | |
| }, | |
| { | |
| "epoch": 0.032, | |
| "grad_norm": 17.5, | |
| "learning_rate": 9.68e-06, | |
| "loss": 1.0383, | |
| "step": 240 | |
| }, | |
| { | |
| "epoch": 0.034666666666666665, | |
| "grad_norm": 12.75, | |
| "learning_rate": 9.653333333333335e-06, | |
| "loss": 1.4146, | |
| "step": 260 | |
| }, | |
| { | |
| "epoch": 0.037333333333333336, | |
| "grad_norm": 22.0, | |
| "learning_rate": 9.626666666666667e-06, | |
| "loss": 1.2346, | |
| "step": 280 | |
| }, | |
| { | |
| "epoch": 0.04, | |
| "grad_norm": 6.4375, | |
| "learning_rate": 9.600000000000001e-06, | |
| "loss": 1.2707, | |
| "step": 300 | |
| }, | |
| { | |
| "epoch": 0.042666666666666665, | |
| "grad_norm": 9.0625, | |
| "learning_rate": 9.573333333333334e-06, | |
| "loss": 1.1952, | |
| "step": 320 | |
| }, | |
| { | |
| "epoch": 0.04533333333333334, | |
| "grad_norm": 7.21875, | |
| "learning_rate": 9.546666666666668e-06, | |
| "loss": 1.2771, | |
| "step": 340 | |
| }, | |
| { | |
| "epoch": 0.048, | |
| "grad_norm": 7.53125, | |
| "learning_rate": 9.52e-06, | |
| "loss": 1.2156, | |
| "step": 360 | |
| }, | |
| { | |
| "epoch": 0.050666666666666665, | |
| "grad_norm": 12.0, | |
| "learning_rate": 9.493333333333334e-06, | |
| "loss": 1.255, | |
| "step": 380 | |
| }, | |
| { | |
| "epoch": 0.05333333333333334, | |
| "grad_norm": 16.75, | |
| "learning_rate": 9.466666666666667e-06, | |
| "loss": 1.1851, | |
| "step": 400 | |
| }, | |
| { | |
| "epoch": 0.056, | |
| "grad_norm": 10.6875, | |
| "learning_rate": 9.440000000000001e-06, | |
| "loss": 1.1918, | |
| "step": 420 | |
| }, | |
| { | |
| "epoch": 0.058666666666666666, | |
| "grad_norm": 14.4375, | |
| "learning_rate": 9.413333333333334e-06, | |
| "loss": 1.3719, | |
| "step": 440 | |
| }, | |
| { | |
| "epoch": 0.06133333333333333, | |
| "grad_norm": 8.0625, | |
| "learning_rate": 9.386666666666668e-06, | |
| "loss": 1.1401, | |
| "step": 460 | |
| }, | |
| { | |
| "epoch": 0.064, | |
| "grad_norm": 15.25, | |
| "learning_rate": 9.360000000000002e-06, | |
| "loss": 1.2575, | |
| "step": 480 | |
| }, | |
| { | |
| "epoch": 0.06666666666666667, | |
| "grad_norm": 6.4375, | |
| "learning_rate": 9.333333333333334e-06, | |
| "loss": 1.0975, | |
| "step": 500 | |
| }, | |
| { | |
| "epoch": 0.06933333333333333, | |
| "grad_norm": 22.875, | |
| "learning_rate": 9.306666666666667e-06, | |
| "loss": 1.193, | |
| "step": 520 | |
| }, | |
| { | |
| "epoch": 0.072, | |
| "grad_norm": 12.625, | |
| "learning_rate": 9.280000000000001e-06, | |
| "loss": 1.2541, | |
| "step": 540 | |
| }, | |
| { | |
| "epoch": 0.07466666666666667, | |
| "grad_norm": 9.25, | |
| "learning_rate": 9.253333333333333e-06, | |
| "loss": 1.0629, | |
| "step": 560 | |
| }, | |
| { | |
| "epoch": 0.07733333333333334, | |
| "grad_norm": 13.3125, | |
| "learning_rate": 9.226666666666668e-06, | |
| "loss": 1.0069, | |
| "step": 580 | |
| }, | |
| { | |
| "epoch": 0.08, | |
| "grad_norm": 11.4375, | |
| "learning_rate": 9.200000000000002e-06, | |
| "loss": 1.1168, | |
| "step": 600 | |
| }, | |
| { | |
| "epoch": 0.08266666666666667, | |
| "grad_norm": 10.5, | |
| "learning_rate": 9.173333333333334e-06, | |
| "loss": 1.2, | |
| "step": 620 | |
| }, | |
| { | |
| "epoch": 0.08533333333333333, | |
| "grad_norm": 15.125, | |
| "learning_rate": 9.146666666666667e-06, | |
| "loss": 0.9983, | |
| "step": 640 | |
| }, | |
| { | |
| "epoch": 0.088, | |
| "grad_norm": 10.5625, | |
| "learning_rate": 9.12e-06, | |
| "loss": 1.104, | |
| "step": 660 | |
| }, | |
| { | |
| "epoch": 0.09066666666666667, | |
| "grad_norm": 9.625, | |
| "learning_rate": 9.093333333333333e-06, | |
| "loss": 1.1251, | |
| "step": 680 | |
| }, | |
| { | |
| "epoch": 0.09333333333333334, | |
| "grad_norm": 8.1875, | |
| "learning_rate": 9.066666666666667e-06, | |
| "loss": 1.0868, | |
| "step": 700 | |
| }, | |
| { | |
| "epoch": 0.096, | |
| "grad_norm": 12.375, | |
| "learning_rate": 9.040000000000002e-06, | |
| "loss": 1.1045, | |
| "step": 720 | |
| }, | |
| { | |
| "epoch": 0.09866666666666667, | |
| "grad_norm": 5.9375, | |
| "learning_rate": 9.013333333333334e-06, | |
| "loss": 1.0619, | |
| "step": 740 | |
| }, | |
| { | |
| "epoch": 0.10133333333333333, | |
| "grad_norm": 12.375, | |
| "learning_rate": 8.986666666666666e-06, | |
| "loss": 1.1147, | |
| "step": 760 | |
| }, | |
| { | |
| "epoch": 0.104, | |
| "grad_norm": 7.21875, | |
| "learning_rate": 8.96e-06, | |
| "loss": 1.015, | |
| "step": 780 | |
| }, | |
| { | |
| "epoch": 0.10666666666666667, | |
| "grad_norm": 8.3125, | |
| "learning_rate": 8.933333333333333e-06, | |
| "loss": 1.2623, | |
| "step": 800 | |
| }, | |
| { | |
| "epoch": 0.10933333333333334, | |
| "grad_norm": 6.15625, | |
| "learning_rate": 8.906666666666667e-06, | |
| "loss": 1.056, | |
| "step": 820 | |
| }, | |
| { | |
| "epoch": 0.112, | |
| "grad_norm": 27.25, | |
| "learning_rate": 8.880000000000001e-06, | |
| "loss": 1.2531, | |
| "step": 840 | |
| }, | |
| { | |
| "epoch": 0.11466666666666667, | |
| "grad_norm": 29.375, | |
| "learning_rate": 8.853333333333334e-06, | |
| "loss": 1.1118, | |
| "step": 860 | |
| }, | |
| { | |
| "epoch": 0.11733333333333333, | |
| "grad_norm": 10.0625, | |
| "learning_rate": 8.826666666666668e-06, | |
| "loss": 0.9321, | |
| "step": 880 | |
| }, | |
| { | |
| "epoch": 0.12, | |
| "grad_norm": 9.625, | |
| "learning_rate": 8.8e-06, | |
| "loss": 0.9416, | |
| "step": 900 | |
| }, | |
| { | |
| "epoch": 0.12266666666666666, | |
| "grad_norm": 7.1875, | |
| "learning_rate": 8.773333333333333e-06, | |
| "loss": 1.0385, | |
| "step": 920 | |
| }, | |
| { | |
| "epoch": 0.12533333333333332, | |
| "grad_norm": 11.25, | |
| "learning_rate": 8.746666666666667e-06, | |
| "loss": 1.1606, | |
| "step": 940 | |
| }, | |
| { | |
| "epoch": 0.128, | |
| "grad_norm": 15.5, | |
| "learning_rate": 8.720000000000001e-06, | |
| "loss": 0.9399, | |
| "step": 960 | |
| }, | |
| { | |
| "epoch": 0.13066666666666665, | |
| "grad_norm": 10.125, | |
| "learning_rate": 8.693333333333334e-06, | |
| "loss": 1.0857, | |
| "step": 980 | |
| }, | |
| { | |
| "epoch": 0.13333333333333333, | |
| "grad_norm": 9.375, | |
| "learning_rate": 8.666666666666668e-06, | |
| "loss": 1.1608, | |
| "step": 1000 | |
| }, | |
| { | |
| "epoch": 0.136, | |
| "grad_norm": 9.0, | |
| "learning_rate": 8.64e-06, | |
| "loss": 0.9698, | |
| "step": 1020 | |
| }, | |
| { | |
| "epoch": 0.13866666666666666, | |
| "grad_norm": 11.375, | |
| "learning_rate": 8.613333333333333e-06, | |
| "loss": 1.0092, | |
| "step": 1040 | |
| }, | |
| { | |
| "epoch": 0.14133333333333334, | |
| "grad_norm": 9.3125, | |
| "learning_rate": 8.586666666666667e-06, | |
| "loss": 1.0968, | |
| "step": 1060 | |
| }, | |
| { | |
| "epoch": 0.144, | |
| "grad_norm": 7.375, | |
| "learning_rate": 8.560000000000001e-06, | |
| "loss": 0.9969, | |
| "step": 1080 | |
| }, | |
| { | |
| "epoch": 0.14666666666666667, | |
| "grad_norm": 7.75, | |
| "learning_rate": 8.533333333333335e-06, | |
| "loss": 1.0604, | |
| "step": 1100 | |
| }, | |
| { | |
| "epoch": 0.14933333333333335, | |
| "grad_norm": 22.0, | |
| "learning_rate": 8.506666666666668e-06, | |
| "loss": 0.9455, | |
| "step": 1120 | |
| }, | |
| { | |
| "epoch": 0.152, | |
| "grad_norm": 15.4375, | |
| "learning_rate": 8.48e-06, | |
| "loss": 0.9973, | |
| "step": 1140 | |
| }, | |
| { | |
| "epoch": 0.15466666666666667, | |
| "grad_norm": 6.21875, | |
| "learning_rate": 8.453333333333334e-06, | |
| "loss": 1.0732, | |
| "step": 1160 | |
| }, | |
| { | |
| "epoch": 0.15733333333333333, | |
| "grad_norm": 7.34375, | |
| "learning_rate": 8.426666666666667e-06, | |
| "loss": 1.0819, | |
| "step": 1180 | |
| }, | |
| { | |
| "epoch": 0.16, | |
| "grad_norm": 7.4375, | |
| "learning_rate": 8.400000000000001e-06, | |
| "loss": 1.0837, | |
| "step": 1200 | |
| }, | |
| { | |
| "epoch": 0.16266666666666665, | |
| "grad_norm": 8.125, | |
| "learning_rate": 8.373333333333335e-06, | |
| "loss": 1.0811, | |
| "step": 1220 | |
| }, | |
| { | |
| "epoch": 0.16533333333333333, | |
| "grad_norm": 12.0, | |
| "learning_rate": 8.346666666666668e-06, | |
| "loss": 0.8972, | |
| "step": 1240 | |
| }, | |
| { | |
| "epoch": 0.168, | |
| "grad_norm": 7.3125, | |
| "learning_rate": 8.32e-06, | |
| "loss": 1.0134, | |
| "step": 1260 | |
| }, | |
| { | |
| "epoch": 0.17066666666666666, | |
| "grad_norm": 12.5, | |
| "learning_rate": 8.293333333333334e-06, | |
| "loss": 1.0708, | |
| "step": 1280 | |
| }, | |
| { | |
| "epoch": 0.17333333333333334, | |
| "grad_norm": 23.25, | |
| "learning_rate": 8.266666666666667e-06, | |
| "loss": 1.0673, | |
| "step": 1300 | |
| }, | |
| { | |
| "epoch": 0.176, | |
| "grad_norm": 7.78125, | |
| "learning_rate": 8.24e-06, | |
| "loss": 1.0354, | |
| "step": 1320 | |
| }, | |
| { | |
| "epoch": 0.17866666666666667, | |
| "grad_norm": 8.25, | |
| "learning_rate": 8.213333333333335e-06, | |
| "loss": 1.1559, | |
| "step": 1340 | |
| }, | |
| { | |
| "epoch": 0.18133333333333335, | |
| "grad_norm": 6.0625, | |
| "learning_rate": 8.186666666666667e-06, | |
| "loss": 1.0185, | |
| "step": 1360 | |
| }, | |
| { | |
| "epoch": 0.184, | |
| "grad_norm": 9.9375, | |
| "learning_rate": 8.16e-06, | |
| "loss": 0.9679, | |
| "step": 1380 | |
| }, | |
| { | |
| "epoch": 0.18666666666666668, | |
| "grad_norm": 12.1875, | |
| "learning_rate": 8.133333333333334e-06, | |
| "loss": 1.0154, | |
| "step": 1400 | |
| }, | |
| { | |
| "epoch": 0.18933333333333333, | |
| "grad_norm": 13.0625, | |
| "learning_rate": 8.106666666666666e-06, | |
| "loss": 1.1398, | |
| "step": 1420 | |
| }, | |
| { | |
| "epoch": 0.192, | |
| "grad_norm": 12.5625, | |
| "learning_rate": 8.08e-06, | |
| "loss": 1.0553, | |
| "step": 1440 | |
| }, | |
| { | |
| "epoch": 0.19466666666666665, | |
| "grad_norm": 9.4375, | |
| "learning_rate": 8.053333333333335e-06, | |
| "loss": 1.0005, | |
| "step": 1460 | |
| }, | |
| { | |
| "epoch": 0.19733333333333333, | |
| "grad_norm": 7.15625, | |
| "learning_rate": 8.026666666666667e-06, | |
| "loss": 1.1014, | |
| "step": 1480 | |
| }, | |
| { | |
| "epoch": 0.2, | |
| "grad_norm": 8.3125, | |
| "learning_rate": 8.000000000000001e-06, | |
| "loss": 1.0186, | |
| "step": 1500 | |
| }, | |
| { | |
| "epoch": 0.20266666666666666, | |
| "grad_norm": 10.6875, | |
| "learning_rate": 7.973333333333334e-06, | |
| "loss": 1.0473, | |
| "step": 1520 | |
| }, | |
| { | |
| "epoch": 0.20533333333333334, | |
| "grad_norm": 8.4375, | |
| "learning_rate": 7.946666666666666e-06, | |
| "loss": 1.0135, | |
| "step": 1540 | |
| }, | |
| { | |
| "epoch": 0.208, | |
| "grad_norm": 8.0, | |
| "learning_rate": 7.92e-06, | |
| "loss": 1.2114, | |
| "step": 1560 | |
| }, | |
| { | |
| "epoch": 0.21066666666666667, | |
| "grad_norm": 8.3125, | |
| "learning_rate": 7.893333333333335e-06, | |
| "loss": 1.0249, | |
| "step": 1580 | |
| }, | |
| { | |
| "epoch": 0.21333333333333335, | |
| "grad_norm": 16.5, | |
| "learning_rate": 7.866666666666667e-06, | |
| "loss": 0.9037, | |
| "step": 1600 | |
| }, | |
| { | |
| "epoch": 0.216, | |
| "grad_norm": 9.4375, | |
| "learning_rate": 7.840000000000001e-06, | |
| "loss": 1.0986, | |
| "step": 1620 | |
| }, | |
| { | |
| "epoch": 0.21866666666666668, | |
| "grad_norm": 6.75, | |
| "learning_rate": 7.813333333333334e-06, | |
| "loss": 1.0394, | |
| "step": 1640 | |
| }, | |
| { | |
| "epoch": 0.22133333333333333, | |
| "grad_norm": 7.03125, | |
| "learning_rate": 7.786666666666666e-06, | |
| "loss": 0.9535, | |
| "step": 1660 | |
| }, | |
| { | |
| "epoch": 0.224, | |
| "grad_norm": 10.125, | |
| "learning_rate": 7.76e-06, | |
| "loss": 1.0435, | |
| "step": 1680 | |
| }, | |
| { | |
| "epoch": 0.22666666666666666, | |
| "grad_norm": 6.625, | |
| "learning_rate": 7.733333333333334e-06, | |
| "loss": 0.938, | |
| "step": 1700 | |
| }, | |
| { | |
| "epoch": 0.22933333333333333, | |
| "grad_norm": 13.4375, | |
| "learning_rate": 7.706666666666669e-06, | |
| "loss": 1.0589, | |
| "step": 1720 | |
| }, | |
| { | |
| "epoch": 0.232, | |
| "grad_norm": 10.6875, | |
| "learning_rate": 7.680000000000001e-06, | |
| "loss": 1.2048, | |
| "step": 1740 | |
| }, | |
| { | |
| "epoch": 0.23466666666666666, | |
| "grad_norm": 17.25, | |
| "learning_rate": 7.653333333333333e-06, | |
| "loss": 1.0874, | |
| "step": 1760 | |
| }, | |
| { | |
| "epoch": 0.23733333333333334, | |
| "grad_norm": 4.09375, | |
| "learning_rate": 7.626666666666668e-06, | |
| "loss": 1.0441, | |
| "step": 1780 | |
| }, | |
| { | |
| "epoch": 0.24, | |
| "grad_norm": 13.625, | |
| "learning_rate": 7.600000000000001e-06, | |
| "loss": 1.0429, | |
| "step": 1800 | |
| }, | |
| { | |
| "epoch": 0.24266666666666667, | |
| "grad_norm": 9.5, | |
| "learning_rate": 7.573333333333333e-06, | |
| "loss": 1.0384, | |
| "step": 1820 | |
| }, | |
| { | |
| "epoch": 0.24533333333333332, | |
| "grad_norm": 9.5625, | |
| "learning_rate": 7.5466666666666675e-06, | |
| "loss": 1.1277, | |
| "step": 1840 | |
| }, | |
| { | |
| "epoch": 0.248, | |
| "grad_norm": 12.6875, | |
| "learning_rate": 7.520000000000001e-06, | |
| "loss": 0.9877, | |
| "step": 1860 | |
| }, | |
| { | |
| "epoch": 0.25066666666666665, | |
| "grad_norm": 6.96875, | |
| "learning_rate": 7.493333333333333e-06, | |
| "loss": 1.102, | |
| "step": 1880 | |
| }, | |
| { | |
| "epoch": 0.25333333333333335, | |
| "grad_norm": 7.84375, | |
| "learning_rate": 7.4666666666666675e-06, | |
| "loss": 0.9002, | |
| "step": 1900 | |
| }, | |
| { | |
| "epoch": 0.256, | |
| "grad_norm": 8.9375, | |
| "learning_rate": 7.440000000000001e-06, | |
| "loss": 1.1115, | |
| "step": 1920 | |
| }, | |
| { | |
| "epoch": 0.25866666666666666, | |
| "grad_norm": 9.5625, | |
| "learning_rate": 7.413333333333333e-06, | |
| "loss": 0.8769, | |
| "step": 1940 | |
| }, | |
| { | |
| "epoch": 0.2613333333333333, | |
| "grad_norm": 23.25, | |
| "learning_rate": 7.386666666666667e-06, | |
| "loss": 0.9829, | |
| "step": 1960 | |
| }, | |
| { | |
| "epoch": 0.264, | |
| "grad_norm": 5.15625, | |
| "learning_rate": 7.360000000000001e-06, | |
| "loss": 0.9706, | |
| "step": 1980 | |
| }, | |
| { | |
| "epoch": 0.26666666666666666, | |
| "grad_norm": 17.375, | |
| "learning_rate": 7.333333333333333e-06, | |
| "loss": 1.1704, | |
| "step": 2000 | |
| }, | |
| { | |
| "epoch": 0.2693333333333333, | |
| "grad_norm": 5.78125, | |
| "learning_rate": 7.306666666666667e-06, | |
| "loss": 0.9495, | |
| "step": 2020 | |
| }, | |
| { | |
| "epoch": 0.272, | |
| "grad_norm": 11.5625, | |
| "learning_rate": 7.280000000000001e-06, | |
| "loss": 0.9971, | |
| "step": 2040 | |
| }, | |
| { | |
| "epoch": 0.27466666666666667, | |
| "grad_norm": 13.25, | |
| "learning_rate": 7.253333333333335e-06, | |
| "loss": 1.1544, | |
| "step": 2060 | |
| }, | |
| { | |
| "epoch": 0.2773333333333333, | |
| "grad_norm": 9.25, | |
| "learning_rate": 7.226666666666667e-06, | |
| "loss": 1.047, | |
| "step": 2080 | |
| }, | |
| { | |
| "epoch": 0.28, | |
| "grad_norm": 14.0, | |
| "learning_rate": 7.2000000000000005e-06, | |
| "loss": 0.9787, | |
| "step": 2100 | |
| }, | |
| { | |
| "epoch": 0.2826666666666667, | |
| "grad_norm": 22.375, | |
| "learning_rate": 7.173333333333335e-06, | |
| "loss": 1.0964, | |
| "step": 2120 | |
| }, | |
| { | |
| "epoch": 0.2853333333333333, | |
| "grad_norm": 8.8125, | |
| "learning_rate": 7.146666666666667e-06, | |
| "loss": 1.2206, | |
| "step": 2140 | |
| }, | |
| { | |
| "epoch": 0.288, | |
| "grad_norm": 14.5625, | |
| "learning_rate": 7.1200000000000004e-06, | |
| "loss": 1.1561, | |
| "step": 2160 | |
| }, | |
| { | |
| "epoch": 0.2906666666666667, | |
| "grad_norm": 8.625, | |
| "learning_rate": 7.093333333333335e-06, | |
| "loss": 1.1179, | |
| "step": 2180 | |
| }, | |
| { | |
| "epoch": 0.29333333333333333, | |
| "grad_norm": 11.875, | |
| "learning_rate": 7.066666666666667e-06, | |
| "loss": 1.0922, | |
| "step": 2200 | |
| }, | |
| { | |
| "epoch": 0.296, | |
| "grad_norm": 9.8125, | |
| "learning_rate": 7.04e-06, | |
| "loss": 1.0378, | |
| "step": 2220 | |
| }, | |
| { | |
| "epoch": 0.2986666666666667, | |
| "grad_norm": 5.1875, | |
| "learning_rate": 7.0133333333333345e-06, | |
| "loss": 1.0071, | |
| "step": 2240 | |
| }, | |
| { | |
| "epoch": 0.30133333333333334, | |
| "grad_norm": 20.125, | |
| "learning_rate": 6.986666666666667e-06, | |
| "loss": 0.8649, | |
| "step": 2260 | |
| }, | |
| { | |
| "epoch": 0.304, | |
| "grad_norm": 3.859375, | |
| "learning_rate": 6.96e-06, | |
| "loss": 1.0784, | |
| "step": 2280 | |
| }, | |
| { | |
| "epoch": 0.30666666666666664, | |
| "grad_norm": 8.4375, | |
| "learning_rate": 6.9333333333333344e-06, | |
| "loss": 1.0131, | |
| "step": 2300 | |
| }, | |
| { | |
| "epoch": 0.30933333333333335, | |
| "grad_norm": 25.625, | |
| "learning_rate": 6.906666666666667e-06, | |
| "loss": 1.1027, | |
| "step": 2320 | |
| }, | |
| { | |
| "epoch": 0.312, | |
| "grad_norm": 20.25, | |
| "learning_rate": 6.88e-06, | |
| "loss": 0.9688, | |
| "step": 2340 | |
| }, | |
| { | |
| "epoch": 0.31466666666666665, | |
| "grad_norm": 7.03125, | |
| "learning_rate": 6.853333333333334e-06, | |
| "loss": 1.0076, | |
| "step": 2360 | |
| }, | |
| { | |
| "epoch": 0.31733333333333336, | |
| "grad_norm": 14.25, | |
| "learning_rate": 6.826666666666667e-06, | |
| "loss": 1.007, | |
| "step": 2380 | |
| }, | |
| { | |
| "epoch": 0.32, | |
| "grad_norm": 0.0, | |
| "learning_rate": 6.800000000000001e-06, | |
| "loss": 0.8394, | |
| "step": 2400 | |
| }, | |
| { | |
| "epoch": 0.32266666666666666, | |
| "grad_norm": 8.3125, | |
| "learning_rate": 6.773333333333334e-06, | |
| "loss": 0.9617, | |
| "step": 2420 | |
| }, | |
| { | |
| "epoch": 0.3253333333333333, | |
| "grad_norm": 23.75, | |
| "learning_rate": 6.746666666666667e-06, | |
| "loss": 0.8962, | |
| "step": 2440 | |
| }, | |
| { | |
| "epoch": 0.328, | |
| "grad_norm": 8.75, | |
| "learning_rate": 6.720000000000001e-06, | |
| "loss": 1.0939, | |
| "step": 2460 | |
| }, | |
| { | |
| "epoch": 0.33066666666666666, | |
| "grad_norm": 8.375, | |
| "learning_rate": 6.693333333333334e-06, | |
| "loss": 0.9464, | |
| "step": 2480 | |
| }, | |
| { | |
| "epoch": 0.3333333333333333, | |
| "grad_norm": 11.75, | |
| "learning_rate": 6.666666666666667e-06, | |
| "loss": 0.8781, | |
| "step": 2500 | |
| }, | |
| { | |
| "epoch": 0.336, | |
| "grad_norm": 10.1875, | |
| "learning_rate": 6.640000000000001e-06, | |
| "loss": 0.9527, | |
| "step": 2520 | |
| }, | |
| { | |
| "epoch": 0.33866666666666667, | |
| "grad_norm": 17.25, | |
| "learning_rate": 6.613333333333334e-06, | |
| "loss": 0.9634, | |
| "step": 2540 | |
| }, | |
| { | |
| "epoch": 0.3413333333333333, | |
| "grad_norm": 8.125, | |
| "learning_rate": 6.5866666666666666e-06, | |
| "loss": 1.0563, | |
| "step": 2560 | |
| }, | |
| { | |
| "epoch": 0.344, | |
| "grad_norm": 9.375, | |
| "learning_rate": 6.560000000000001e-06, | |
| "loss": 0.9061, | |
| "step": 2580 | |
| }, | |
| { | |
| "epoch": 0.3466666666666667, | |
| "grad_norm": 8.375, | |
| "learning_rate": 6.533333333333334e-06, | |
| "loss": 0.8075, | |
| "step": 2600 | |
| }, | |
| { | |
| "epoch": 0.34933333333333333, | |
| "grad_norm": 17.25, | |
| "learning_rate": 6.5066666666666665e-06, | |
| "loss": 1.1263, | |
| "step": 2620 | |
| }, | |
| { | |
| "epoch": 0.352, | |
| "grad_norm": 13.8125, | |
| "learning_rate": 6.480000000000001e-06, | |
| "loss": 1.0189, | |
| "step": 2640 | |
| }, | |
| { | |
| "epoch": 0.3546666666666667, | |
| "grad_norm": 16.5, | |
| "learning_rate": 6.453333333333334e-06, | |
| "loss": 0.9454, | |
| "step": 2660 | |
| }, | |
| { | |
| "epoch": 0.35733333333333334, | |
| "grad_norm": 7.3125, | |
| "learning_rate": 6.426666666666668e-06, | |
| "loss": 0.9839, | |
| "step": 2680 | |
| }, | |
| { | |
| "epoch": 0.36, | |
| "grad_norm": 7.3125, | |
| "learning_rate": 6.4000000000000006e-06, | |
| "loss": 0.9746, | |
| "step": 2700 | |
| }, | |
| { | |
| "epoch": 0.3626666666666667, | |
| "grad_norm": 8.125, | |
| "learning_rate": 6.373333333333334e-06, | |
| "loss": 1.0439, | |
| "step": 2720 | |
| }, | |
| { | |
| "epoch": 0.36533333333333334, | |
| "grad_norm": 12.0, | |
| "learning_rate": 6.346666666666668e-06, | |
| "loss": 0.834, | |
| "step": 2740 | |
| }, | |
| { | |
| "epoch": 0.368, | |
| "grad_norm": 6.5625, | |
| "learning_rate": 6.3200000000000005e-06, | |
| "loss": 0.8561, | |
| "step": 2760 | |
| }, | |
| { | |
| "epoch": 0.37066666666666664, | |
| "grad_norm": 28.375, | |
| "learning_rate": 6.293333333333334e-06, | |
| "loss": 0.9944, | |
| "step": 2780 | |
| }, | |
| { | |
| "epoch": 0.37333333333333335, | |
| "grad_norm": 9.625, | |
| "learning_rate": 6.266666666666668e-06, | |
| "loss": 0.9856, | |
| "step": 2800 | |
| }, | |
| { | |
| "epoch": 0.376, | |
| "grad_norm": 8.6875, | |
| "learning_rate": 6.24e-06, | |
| "loss": 0.9919, | |
| "step": 2820 | |
| }, | |
| { | |
| "epoch": 0.37866666666666665, | |
| "grad_norm": 24.125, | |
| "learning_rate": 6.213333333333334e-06, | |
| "loss": 1.1592, | |
| "step": 2840 | |
| }, | |
| { | |
| "epoch": 0.38133333333333336, | |
| "grad_norm": 5.96875, | |
| "learning_rate": 6.186666666666668e-06, | |
| "loss": 0.9355, | |
| "step": 2860 | |
| }, | |
| { | |
| "epoch": 0.384, | |
| "grad_norm": 6.96875, | |
| "learning_rate": 6.16e-06, | |
| "loss": 0.9451, | |
| "step": 2880 | |
| }, | |
| { | |
| "epoch": 0.38666666666666666, | |
| "grad_norm": 7.125, | |
| "learning_rate": 6.133333333333334e-06, | |
| "loss": 1.1861, | |
| "step": 2900 | |
| }, | |
| { | |
| "epoch": 0.3893333333333333, | |
| "grad_norm": 9.5625, | |
| "learning_rate": 6.106666666666668e-06, | |
| "loss": 1.0514, | |
| "step": 2920 | |
| }, | |
| { | |
| "epoch": 0.392, | |
| "grad_norm": 10.9375, | |
| "learning_rate": 6.08e-06, | |
| "loss": 1.0066, | |
| "step": 2940 | |
| }, | |
| { | |
| "epoch": 0.39466666666666667, | |
| "grad_norm": 8.25, | |
| "learning_rate": 6.0533333333333335e-06, | |
| "loss": 1.1427, | |
| "step": 2960 | |
| }, | |
| { | |
| "epoch": 0.3973333333333333, | |
| "grad_norm": 7.6875, | |
| "learning_rate": 6.026666666666668e-06, | |
| "loss": 0.9197, | |
| "step": 2980 | |
| }, | |
| { | |
| "epoch": 0.4, | |
| "grad_norm": 8.875, | |
| "learning_rate": 6e-06, | |
| "loss": 1.0738, | |
| "step": 3000 | |
| }, | |
| { | |
| "epoch": 0.4026666666666667, | |
| "grad_norm": 15.75, | |
| "learning_rate": 5.973333333333334e-06, | |
| "loss": 0.9711, | |
| "step": 3020 | |
| }, | |
| { | |
| "epoch": 0.4053333333333333, | |
| "grad_norm": 7.375, | |
| "learning_rate": 5.946666666666668e-06, | |
| "loss": 1.0651, | |
| "step": 3040 | |
| }, | |
| { | |
| "epoch": 0.408, | |
| "grad_norm": 15.5625, | |
| "learning_rate": 5.92e-06, | |
| "loss": 0.9427, | |
| "step": 3060 | |
| }, | |
| { | |
| "epoch": 0.4106666666666667, | |
| "grad_norm": 13.5625, | |
| "learning_rate": 5.893333333333334e-06, | |
| "loss": 1.1704, | |
| "step": 3080 | |
| }, | |
| { | |
| "epoch": 0.41333333333333333, | |
| "grad_norm": 18.0, | |
| "learning_rate": 5.8666666666666675e-06, | |
| "loss": 0.9703, | |
| "step": 3100 | |
| }, | |
| { | |
| "epoch": 0.416, | |
| "grad_norm": 11.4375, | |
| "learning_rate": 5.84e-06, | |
| "loss": 0.9769, | |
| "step": 3120 | |
| }, | |
| { | |
| "epoch": 0.4186666666666667, | |
| "grad_norm": 8.8125, | |
| "learning_rate": 5.813333333333334e-06, | |
| "loss": 1.0108, | |
| "step": 3140 | |
| }, | |
| { | |
| "epoch": 0.42133333333333334, | |
| "grad_norm": 19.5, | |
| "learning_rate": 5.7866666666666674e-06, | |
| "loss": 1.0721, | |
| "step": 3160 | |
| }, | |
| { | |
| "epoch": 0.424, | |
| "grad_norm": 9.5625, | |
| "learning_rate": 5.76e-06, | |
| "loss": 0.8979, | |
| "step": 3180 | |
| }, | |
| { | |
| "epoch": 0.4266666666666667, | |
| "grad_norm": 11.9375, | |
| "learning_rate": 5.733333333333334e-06, | |
| "loss": 0.8879, | |
| "step": 3200 | |
| }, | |
| { | |
| "epoch": 0.42933333333333334, | |
| "grad_norm": 8.3125, | |
| "learning_rate": 5.706666666666667e-06, | |
| "loss": 0.9773, | |
| "step": 3220 | |
| }, | |
| { | |
| "epoch": 0.432, | |
| "grad_norm": 6.03125, | |
| "learning_rate": 5.68e-06, | |
| "loss": 0.9399, | |
| "step": 3240 | |
| }, | |
| { | |
| "epoch": 0.43466666666666665, | |
| "grad_norm": 8.5625, | |
| "learning_rate": 5.653333333333334e-06, | |
| "loss": 1.0091, | |
| "step": 3260 | |
| }, | |
| { | |
| "epoch": 0.43733333333333335, | |
| "grad_norm": 16.625, | |
| "learning_rate": 5.626666666666667e-06, | |
| "loss": 0.9012, | |
| "step": 3280 | |
| }, | |
| { | |
| "epoch": 0.44, | |
| "grad_norm": 9.875, | |
| "learning_rate": 5.600000000000001e-06, | |
| "loss": 1.0277, | |
| "step": 3300 | |
| }, | |
| { | |
| "epoch": 0.44266666666666665, | |
| "grad_norm": 7.1875, | |
| "learning_rate": 5.573333333333334e-06, | |
| "loss": 0.9673, | |
| "step": 3320 | |
| }, | |
| { | |
| "epoch": 0.44533333333333336, | |
| "grad_norm": 7.84375, | |
| "learning_rate": 5.546666666666667e-06, | |
| "loss": 1.0781, | |
| "step": 3340 | |
| }, | |
| { | |
| "epoch": 0.448, | |
| "grad_norm": 7.15625, | |
| "learning_rate": 5.5200000000000005e-06, | |
| "loss": 1.0035, | |
| "step": 3360 | |
| }, | |
| { | |
| "epoch": 0.45066666666666666, | |
| "grad_norm": 12.9375, | |
| "learning_rate": 5.493333333333334e-06, | |
| "loss": 1.0021, | |
| "step": 3380 | |
| }, | |
| { | |
| "epoch": 0.4533333333333333, | |
| "grad_norm": 12.875, | |
| "learning_rate": 5.466666666666667e-06, | |
| "loss": 0.9873, | |
| "step": 3400 | |
| }, | |
| { | |
| "epoch": 0.456, | |
| "grad_norm": 6.78125, | |
| "learning_rate": 5.4400000000000004e-06, | |
| "loss": 0.9186, | |
| "step": 3420 | |
| }, | |
| { | |
| "epoch": 0.45866666666666667, | |
| "grad_norm": 7.9375, | |
| "learning_rate": 5.413333333333334e-06, | |
| "loss": 1.0427, | |
| "step": 3440 | |
| }, | |
| { | |
| "epoch": 0.4613333333333333, | |
| "grad_norm": 15.5625, | |
| "learning_rate": 5.386666666666667e-06, | |
| "loss": 0.9896, | |
| "step": 3460 | |
| }, | |
| { | |
| "epoch": 0.464, | |
| "grad_norm": 14.125, | |
| "learning_rate": 5.36e-06, | |
| "loss": 1.1502, | |
| "step": 3480 | |
| }, | |
| { | |
| "epoch": 0.4666666666666667, | |
| "grad_norm": 10.6875, | |
| "learning_rate": 5.333333333333334e-06, | |
| "loss": 0.9582, | |
| "step": 3500 | |
| }, | |
| { | |
| "epoch": 0.4693333333333333, | |
| "grad_norm": 9.0, | |
| "learning_rate": 5.306666666666667e-06, | |
| "loss": 1.0975, | |
| "step": 3520 | |
| }, | |
| { | |
| "epoch": 0.472, | |
| "grad_norm": 7.875, | |
| "learning_rate": 5.28e-06, | |
| "loss": 1.1076, | |
| "step": 3540 | |
| }, | |
| { | |
| "epoch": 0.4746666666666667, | |
| "grad_norm": 12.0625, | |
| "learning_rate": 5.2533333333333336e-06, | |
| "loss": 0.9447, | |
| "step": 3560 | |
| }, | |
| { | |
| "epoch": 0.47733333333333333, | |
| "grad_norm": 10.5, | |
| "learning_rate": 5.226666666666667e-06, | |
| "loss": 1.1253, | |
| "step": 3580 | |
| }, | |
| { | |
| "epoch": 0.48, | |
| "grad_norm": 5.9375, | |
| "learning_rate": 5.2e-06, | |
| "loss": 1.0282, | |
| "step": 3600 | |
| }, | |
| { | |
| "epoch": 0.4826666666666667, | |
| "grad_norm": 14.25, | |
| "learning_rate": 5.1733333333333335e-06, | |
| "loss": 0.8801, | |
| "step": 3620 | |
| }, | |
| { | |
| "epoch": 0.48533333333333334, | |
| "grad_norm": 10.25, | |
| "learning_rate": 5.146666666666668e-06, | |
| "loss": 0.9862, | |
| "step": 3640 | |
| }, | |
| { | |
| "epoch": 0.488, | |
| "grad_norm": 12.1875, | |
| "learning_rate": 5.12e-06, | |
| "loss": 0.9391, | |
| "step": 3660 | |
| }, | |
| { | |
| "epoch": 0.49066666666666664, | |
| "grad_norm": 6.875, | |
| "learning_rate": 5.093333333333333e-06, | |
| "loss": 0.948, | |
| "step": 3680 | |
| }, | |
| { | |
| "epoch": 0.49333333333333335, | |
| "grad_norm": 3.6875, | |
| "learning_rate": 5.0666666666666676e-06, | |
| "loss": 0.9752, | |
| "step": 3700 | |
| }, | |
| { | |
| "epoch": 0.496, | |
| "grad_norm": 11.8125, | |
| "learning_rate": 5.04e-06, | |
| "loss": 1.0696, | |
| "step": 3720 | |
| }, | |
| { | |
| "epoch": 0.49866666666666665, | |
| "grad_norm": 10.125, | |
| "learning_rate": 5.013333333333333e-06, | |
| "loss": 0.9679, | |
| "step": 3740 | |
| }, | |
| { | |
| "epoch": 0.5013333333333333, | |
| "grad_norm": 13.375, | |
| "learning_rate": 4.986666666666667e-06, | |
| "loss": 0.9669, | |
| "step": 3760 | |
| }, | |
| { | |
| "epoch": 0.504, | |
| "grad_norm": 8.125, | |
| "learning_rate": 4.960000000000001e-06, | |
| "loss": 0.9969, | |
| "step": 3780 | |
| }, | |
| { | |
| "epoch": 0.5066666666666667, | |
| "grad_norm": 20.125, | |
| "learning_rate": 4.933333333333334e-06, | |
| "loss": 1.0126, | |
| "step": 3800 | |
| }, | |
| { | |
| "epoch": 0.5093333333333333, | |
| "grad_norm": 11.1875, | |
| "learning_rate": 4.9066666666666666e-06, | |
| "loss": 1.1655, | |
| "step": 3820 | |
| }, | |
| { | |
| "epoch": 0.512, | |
| "grad_norm": 10.0, | |
| "learning_rate": 4.880000000000001e-06, | |
| "loss": 0.9472, | |
| "step": 3840 | |
| }, | |
| { | |
| "epoch": 0.5146666666666667, | |
| "grad_norm": 22.75, | |
| "learning_rate": 4.853333333333334e-06, | |
| "loss": 0.9459, | |
| "step": 3860 | |
| }, | |
| { | |
| "epoch": 0.5173333333333333, | |
| "grad_norm": 7.03125, | |
| "learning_rate": 4.826666666666667e-06, | |
| "loss": 1.0863, | |
| "step": 3880 | |
| }, | |
| { | |
| "epoch": 0.52, | |
| "grad_norm": 12.5625, | |
| "learning_rate": 4.800000000000001e-06, | |
| "loss": 1.0071, | |
| "step": 3900 | |
| }, | |
| { | |
| "epoch": 0.5226666666666666, | |
| "grad_norm": 0.0, | |
| "learning_rate": 4.773333333333334e-06, | |
| "loss": 1.0752, | |
| "step": 3920 | |
| }, | |
| { | |
| "epoch": 0.5253333333333333, | |
| "grad_norm": 11.1875, | |
| "learning_rate": 4.746666666666667e-06, | |
| "loss": 1.1181, | |
| "step": 3940 | |
| }, | |
| { | |
| "epoch": 0.528, | |
| "grad_norm": 16.75, | |
| "learning_rate": 4.7200000000000005e-06, | |
| "loss": 1.1462, | |
| "step": 3960 | |
| }, | |
| { | |
| "epoch": 0.5306666666666666, | |
| "grad_norm": 11.25, | |
| "learning_rate": 4.693333333333334e-06, | |
| "loss": 1.0304, | |
| "step": 3980 | |
| }, | |
| { | |
| "epoch": 0.5333333333333333, | |
| "grad_norm": 8.1875, | |
| "learning_rate": 4.666666666666667e-06, | |
| "loss": 0.9816, | |
| "step": 4000 | |
| }, | |
| { | |
| "epoch": 0.536, | |
| "grad_norm": 6.09375, | |
| "learning_rate": 4.6400000000000005e-06, | |
| "loss": 0.9802, | |
| "step": 4020 | |
| }, | |
| { | |
| "epoch": 0.5386666666666666, | |
| "grad_norm": 7.28125, | |
| "learning_rate": 4.613333333333334e-06, | |
| "loss": 1.084, | |
| "step": 4040 | |
| }, | |
| { | |
| "epoch": 0.5413333333333333, | |
| "grad_norm": 9.8125, | |
| "learning_rate": 4.586666666666667e-06, | |
| "loss": 0.9978, | |
| "step": 4060 | |
| }, | |
| { | |
| "epoch": 0.544, | |
| "grad_norm": 7.78125, | |
| "learning_rate": 4.56e-06, | |
| "loss": 1.0171, | |
| "step": 4080 | |
| }, | |
| { | |
| "epoch": 0.5466666666666666, | |
| "grad_norm": 11.6875, | |
| "learning_rate": 4.533333333333334e-06, | |
| "loss": 1.0724, | |
| "step": 4100 | |
| }, | |
| { | |
| "epoch": 0.5493333333333333, | |
| "grad_norm": 7.34375, | |
| "learning_rate": 4.506666666666667e-06, | |
| "loss": 1.024, | |
| "step": 4120 | |
| }, | |
| { | |
| "epoch": 0.552, | |
| "grad_norm": 15.8125, | |
| "learning_rate": 4.48e-06, | |
| "loss": 0.9343, | |
| "step": 4140 | |
| }, | |
| { | |
| "epoch": 0.5546666666666666, | |
| "grad_norm": 7.0625, | |
| "learning_rate": 4.453333333333334e-06, | |
| "loss": 1.0561, | |
| "step": 4160 | |
| }, | |
| { | |
| "epoch": 0.5573333333333333, | |
| "grad_norm": 8.375, | |
| "learning_rate": 4.426666666666667e-06, | |
| "loss": 1.02, | |
| "step": 4180 | |
| }, | |
| { | |
| "epoch": 0.56, | |
| "grad_norm": 10.0, | |
| "learning_rate": 4.4e-06, | |
| "loss": 1.1737, | |
| "step": 4200 | |
| }, | |
| { | |
| "epoch": 0.5626666666666666, | |
| "grad_norm": 10.1875, | |
| "learning_rate": 4.3733333333333335e-06, | |
| "loss": 1.1168, | |
| "step": 4220 | |
| }, | |
| { | |
| "epoch": 0.5653333333333334, | |
| "grad_norm": 11.375, | |
| "learning_rate": 4.346666666666667e-06, | |
| "loss": 0.9831, | |
| "step": 4240 | |
| }, | |
| { | |
| "epoch": 0.568, | |
| "grad_norm": 9.75, | |
| "learning_rate": 4.32e-06, | |
| "loss": 0.8284, | |
| "step": 4260 | |
| }, | |
| { | |
| "epoch": 0.5706666666666667, | |
| "grad_norm": 7.34375, | |
| "learning_rate": 4.2933333333333334e-06, | |
| "loss": 1.1179, | |
| "step": 4280 | |
| }, | |
| { | |
| "epoch": 0.5733333333333334, | |
| "grad_norm": 10.0, | |
| "learning_rate": 4.266666666666668e-06, | |
| "loss": 0.8853, | |
| "step": 4300 | |
| }, | |
| { | |
| "epoch": 0.576, | |
| "grad_norm": 0.0, | |
| "learning_rate": 4.24e-06, | |
| "loss": 1.031, | |
| "step": 4320 | |
| }, | |
| { | |
| "epoch": 0.5786666666666667, | |
| "grad_norm": 6.875, | |
| "learning_rate": 4.213333333333333e-06, | |
| "loss": 1.1552, | |
| "step": 4340 | |
| }, | |
| { | |
| "epoch": 0.5813333333333334, | |
| "grad_norm": 11.3125, | |
| "learning_rate": 4.1866666666666675e-06, | |
| "loss": 0.9808, | |
| "step": 4360 | |
| }, | |
| { | |
| "epoch": 0.584, | |
| "grad_norm": 5.5, | |
| "learning_rate": 4.16e-06, | |
| "loss": 0.7962, | |
| "step": 4380 | |
| }, | |
| { | |
| "epoch": 0.5866666666666667, | |
| "grad_norm": 18.375, | |
| "learning_rate": 4.133333333333333e-06, | |
| "loss": 1.0229, | |
| "step": 4400 | |
| }, | |
| { | |
| "epoch": 0.5893333333333334, | |
| "grad_norm": 10.3125, | |
| "learning_rate": 4.1066666666666674e-06, | |
| "loss": 1.1535, | |
| "step": 4420 | |
| }, | |
| { | |
| "epoch": 0.592, | |
| "grad_norm": 8.1875, | |
| "learning_rate": 4.08e-06, | |
| "loss": 0.9983, | |
| "step": 4440 | |
| }, | |
| { | |
| "epoch": 0.5946666666666667, | |
| "grad_norm": 12.6875, | |
| "learning_rate": 4.053333333333333e-06, | |
| "loss": 1.0265, | |
| "step": 4460 | |
| }, | |
| { | |
| "epoch": 0.5973333333333334, | |
| "grad_norm": 7.59375, | |
| "learning_rate": 4.026666666666667e-06, | |
| "loss": 1.0622, | |
| "step": 4480 | |
| }, | |
| { | |
| "epoch": 0.6, | |
| "grad_norm": 9.9375, | |
| "learning_rate": 4.000000000000001e-06, | |
| "loss": 1.0649, | |
| "step": 4500 | |
| }, | |
| { | |
| "epoch": 0.6026666666666667, | |
| "grad_norm": 7.5, | |
| "learning_rate": 3.973333333333333e-06, | |
| "loss": 1.0577, | |
| "step": 4520 | |
| }, | |
| { | |
| "epoch": 0.6053333333333333, | |
| "grad_norm": 19.125, | |
| "learning_rate": 3.946666666666667e-06, | |
| "loss": 0.9566, | |
| "step": 4540 | |
| }, | |
| { | |
| "epoch": 0.608, | |
| "grad_norm": 13.625, | |
| "learning_rate": 3.920000000000001e-06, | |
| "loss": 1.1048, | |
| "step": 4560 | |
| }, | |
| { | |
| "epoch": 0.6106666666666667, | |
| "grad_norm": 22.625, | |
| "learning_rate": 3.893333333333333e-06, | |
| "loss": 1.1824, | |
| "step": 4580 | |
| }, | |
| { | |
| "epoch": 0.6133333333333333, | |
| "grad_norm": 8.625, | |
| "learning_rate": 3.866666666666667e-06, | |
| "loss": 0.9859, | |
| "step": 4600 | |
| }, | |
| { | |
| "epoch": 0.616, | |
| "grad_norm": 11.625, | |
| "learning_rate": 3.8400000000000005e-06, | |
| "loss": 0.8548, | |
| "step": 4620 | |
| }, | |
| { | |
| "epoch": 0.6186666666666667, | |
| "grad_norm": 17.5, | |
| "learning_rate": 3.813333333333334e-06, | |
| "loss": 1.0759, | |
| "step": 4640 | |
| }, | |
| { | |
| "epoch": 0.6213333333333333, | |
| "grad_norm": 12.5625, | |
| "learning_rate": 3.7866666666666667e-06, | |
| "loss": 1.0538, | |
| "step": 4660 | |
| }, | |
| { | |
| "epoch": 0.624, | |
| "grad_norm": 9.125, | |
| "learning_rate": 3.7600000000000004e-06, | |
| "loss": 1.1518, | |
| "step": 4680 | |
| }, | |
| { | |
| "epoch": 0.6266666666666667, | |
| "grad_norm": 15.0625, | |
| "learning_rate": 3.7333333333333337e-06, | |
| "loss": 1.0258, | |
| "step": 4700 | |
| }, | |
| { | |
| "epoch": 0.6293333333333333, | |
| "grad_norm": 9.5, | |
| "learning_rate": 3.7066666666666666e-06, | |
| "loss": 0.8449, | |
| "step": 4720 | |
| }, | |
| { | |
| "epoch": 0.632, | |
| "grad_norm": 9.25, | |
| "learning_rate": 3.6800000000000003e-06, | |
| "loss": 1.0742, | |
| "step": 4740 | |
| }, | |
| { | |
| "epoch": 0.6346666666666667, | |
| "grad_norm": 7.28125, | |
| "learning_rate": 3.6533333333333336e-06, | |
| "loss": 0.9118, | |
| "step": 4760 | |
| }, | |
| { | |
| "epoch": 0.6373333333333333, | |
| "grad_norm": 7.75, | |
| "learning_rate": 3.6266666666666674e-06, | |
| "loss": 1.1124, | |
| "step": 4780 | |
| }, | |
| { | |
| "epoch": 0.64, | |
| "grad_norm": 8.75, | |
| "learning_rate": 3.6000000000000003e-06, | |
| "loss": 0.9616, | |
| "step": 4800 | |
| }, | |
| { | |
| "epoch": 0.6426666666666667, | |
| "grad_norm": 0.0, | |
| "learning_rate": 3.5733333333333336e-06, | |
| "loss": 0.7611, | |
| "step": 4820 | |
| }, | |
| { | |
| "epoch": 0.6453333333333333, | |
| "grad_norm": 11.625, | |
| "learning_rate": 3.5466666666666673e-06, | |
| "loss": 0.9872, | |
| "step": 4840 | |
| }, | |
| { | |
| "epoch": 0.648, | |
| "grad_norm": 8.0625, | |
| "learning_rate": 3.52e-06, | |
| "loss": 0.9654, | |
| "step": 4860 | |
| }, | |
| { | |
| "epoch": 0.6506666666666666, | |
| "grad_norm": 10.375, | |
| "learning_rate": 3.4933333333333335e-06, | |
| "loss": 1.0456, | |
| "step": 4880 | |
| }, | |
| { | |
| "epoch": 0.6533333333333333, | |
| "grad_norm": 6.875, | |
| "learning_rate": 3.4666666666666672e-06, | |
| "loss": 1.0741, | |
| "step": 4900 | |
| }, | |
| { | |
| "epoch": 0.656, | |
| "grad_norm": 9.0625, | |
| "learning_rate": 3.44e-06, | |
| "loss": 0.9454, | |
| "step": 4920 | |
| }, | |
| { | |
| "epoch": 0.6586666666666666, | |
| "grad_norm": 11.125, | |
| "learning_rate": 3.4133333333333334e-06, | |
| "loss": 1.0199, | |
| "step": 4940 | |
| }, | |
| { | |
| "epoch": 0.6613333333333333, | |
| "grad_norm": 5.625, | |
| "learning_rate": 3.386666666666667e-06, | |
| "loss": 0.9487, | |
| "step": 4960 | |
| }, | |
| { | |
| "epoch": 0.664, | |
| "grad_norm": 14.0625, | |
| "learning_rate": 3.3600000000000004e-06, | |
| "loss": 1.0924, | |
| "step": 4980 | |
| }, | |
| { | |
| "epoch": 0.6666666666666666, | |
| "grad_norm": 11.375, | |
| "learning_rate": 3.3333333333333333e-06, | |
| "loss": 0.9382, | |
| "step": 5000 | |
| }, | |
| { | |
| "epoch": 0.6693333333333333, | |
| "grad_norm": 6.90625, | |
| "learning_rate": 3.306666666666667e-06, | |
| "loss": 1.0079, | |
| "step": 5020 | |
| }, | |
| { | |
| "epoch": 0.672, | |
| "grad_norm": 8.0625, | |
| "learning_rate": 3.2800000000000004e-06, | |
| "loss": 1.0062, | |
| "step": 5040 | |
| }, | |
| { | |
| "epoch": 0.6746666666666666, | |
| "grad_norm": 8.0625, | |
| "learning_rate": 3.2533333333333332e-06, | |
| "loss": 0.9254, | |
| "step": 5060 | |
| }, | |
| { | |
| "epoch": 0.6773333333333333, | |
| "grad_norm": 5.84375, | |
| "learning_rate": 3.226666666666667e-06, | |
| "loss": 0.9853, | |
| "step": 5080 | |
| }, | |
| { | |
| "epoch": 0.68, | |
| "grad_norm": 5.75, | |
| "learning_rate": 3.2000000000000003e-06, | |
| "loss": 0.9986, | |
| "step": 5100 | |
| }, | |
| { | |
| "epoch": 0.6826666666666666, | |
| "grad_norm": 7.03125, | |
| "learning_rate": 3.173333333333334e-06, | |
| "loss": 0.9263, | |
| "step": 5120 | |
| }, | |
| { | |
| "epoch": 0.6853333333333333, | |
| "grad_norm": 8.0625, | |
| "learning_rate": 3.146666666666667e-06, | |
| "loss": 0.8526, | |
| "step": 5140 | |
| }, | |
| { | |
| "epoch": 0.688, | |
| "grad_norm": 10.9375, | |
| "learning_rate": 3.12e-06, | |
| "loss": 1.0917, | |
| "step": 5160 | |
| }, | |
| { | |
| "epoch": 0.6906666666666667, | |
| "grad_norm": 5.9375, | |
| "learning_rate": 3.093333333333334e-06, | |
| "loss": 0.9698, | |
| "step": 5180 | |
| }, | |
| { | |
| "epoch": 0.6933333333333334, | |
| "grad_norm": 7.0625, | |
| "learning_rate": 3.066666666666667e-06, | |
| "loss": 0.9651, | |
| "step": 5200 | |
| }, | |
| { | |
| "epoch": 0.696, | |
| "grad_norm": 10.75, | |
| "learning_rate": 3.04e-06, | |
| "loss": 0.9576, | |
| "step": 5220 | |
| }, | |
| { | |
| "epoch": 0.6986666666666667, | |
| "grad_norm": 5.8125, | |
| "learning_rate": 3.013333333333334e-06, | |
| "loss": 0.9875, | |
| "step": 5240 | |
| }, | |
| { | |
| "epoch": 0.7013333333333334, | |
| "grad_norm": 8.0, | |
| "learning_rate": 2.986666666666667e-06, | |
| "loss": 1.0026, | |
| "step": 5260 | |
| }, | |
| { | |
| "epoch": 0.704, | |
| "grad_norm": 10.6875, | |
| "learning_rate": 2.96e-06, | |
| "loss": 0.9281, | |
| "step": 5280 | |
| }, | |
| { | |
| "epoch": 0.7066666666666667, | |
| "grad_norm": 4.3125, | |
| "learning_rate": 2.9333333333333338e-06, | |
| "loss": 0.8952, | |
| "step": 5300 | |
| }, | |
| { | |
| "epoch": 0.7093333333333334, | |
| "grad_norm": 12.0625, | |
| "learning_rate": 2.906666666666667e-06, | |
| "loss": 1.0706, | |
| "step": 5320 | |
| }, | |
| { | |
| "epoch": 0.712, | |
| "grad_norm": 10.125, | |
| "learning_rate": 2.88e-06, | |
| "loss": 0.8633, | |
| "step": 5340 | |
| }, | |
| { | |
| "epoch": 0.7146666666666667, | |
| "grad_norm": 11.875, | |
| "learning_rate": 2.8533333333333337e-06, | |
| "loss": 1.1354, | |
| "step": 5360 | |
| }, | |
| { | |
| "epoch": 0.7173333333333334, | |
| "grad_norm": 13.5, | |
| "learning_rate": 2.826666666666667e-06, | |
| "loss": 0.9671, | |
| "step": 5380 | |
| }, | |
| { | |
| "epoch": 0.72, | |
| "grad_norm": 7.0625, | |
| "learning_rate": 2.8000000000000003e-06, | |
| "loss": 1.0873, | |
| "step": 5400 | |
| }, | |
| { | |
| "epoch": 0.7226666666666667, | |
| "grad_norm": 7.75, | |
| "learning_rate": 2.7733333333333336e-06, | |
| "loss": 1.029, | |
| "step": 5420 | |
| }, | |
| { | |
| "epoch": 0.7253333333333334, | |
| "grad_norm": 6.59375, | |
| "learning_rate": 2.746666666666667e-06, | |
| "loss": 1.0396, | |
| "step": 5440 | |
| }, | |
| { | |
| "epoch": 0.728, | |
| "grad_norm": 10.9375, | |
| "learning_rate": 2.7200000000000002e-06, | |
| "loss": 1.0809, | |
| "step": 5460 | |
| }, | |
| { | |
| "epoch": 0.7306666666666667, | |
| "grad_norm": 7.75, | |
| "learning_rate": 2.6933333333333335e-06, | |
| "loss": 0.9895, | |
| "step": 5480 | |
| }, | |
| { | |
| "epoch": 0.7333333333333333, | |
| "grad_norm": 7.9375, | |
| "learning_rate": 2.666666666666667e-06, | |
| "loss": 1.0189, | |
| "step": 5500 | |
| }, | |
| { | |
| "epoch": 0.736, | |
| "grad_norm": 18.375, | |
| "learning_rate": 2.64e-06, | |
| "loss": 1.001, | |
| "step": 5520 | |
| }, | |
| { | |
| "epoch": 0.7386666666666667, | |
| "grad_norm": 6.6875, | |
| "learning_rate": 2.6133333333333334e-06, | |
| "loss": 1.061, | |
| "step": 5540 | |
| }, | |
| { | |
| "epoch": 0.7413333333333333, | |
| "grad_norm": 4.46875, | |
| "learning_rate": 2.5866666666666667e-06, | |
| "loss": 0.9943, | |
| "step": 5560 | |
| }, | |
| { | |
| "epoch": 0.744, | |
| "grad_norm": 16.375, | |
| "learning_rate": 2.56e-06, | |
| "loss": 1.0667, | |
| "step": 5580 | |
| }, | |
| { | |
| "epoch": 0.7466666666666667, | |
| "grad_norm": 16.625, | |
| "learning_rate": 2.5333333333333338e-06, | |
| "loss": 1.1138, | |
| "step": 5600 | |
| }, | |
| { | |
| "epoch": 0.7493333333333333, | |
| "grad_norm": 4.375, | |
| "learning_rate": 2.5066666666666667e-06, | |
| "loss": 1.0614, | |
| "step": 5620 | |
| }, | |
| { | |
| "epoch": 0.752, | |
| "grad_norm": 10.0, | |
| "learning_rate": 2.4800000000000004e-06, | |
| "loss": 1.1201, | |
| "step": 5640 | |
| }, | |
| { | |
| "epoch": 0.7546666666666667, | |
| "grad_norm": 7.125, | |
| "learning_rate": 2.4533333333333333e-06, | |
| "loss": 1.1275, | |
| "step": 5660 | |
| }, | |
| { | |
| "epoch": 0.7573333333333333, | |
| "grad_norm": 9.5, | |
| "learning_rate": 2.426666666666667e-06, | |
| "loss": 1.1167, | |
| "step": 5680 | |
| }, | |
| { | |
| "epoch": 0.76, | |
| "grad_norm": 21.375, | |
| "learning_rate": 2.4000000000000003e-06, | |
| "loss": 1.0753, | |
| "step": 5700 | |
| }, | |
| { | |
| "epoch": 0.7626666666666667, | |
| "grad_norm": 8.9375, | |
| "learning_rate": 2.3733333333333336e-06, | |
| "loss": 1.0054, | |
| "step": 5720 | |
| }, | |
| { | |
| "epoch": 0.7653333333333333, | |
| "grad_norm": 7.375, | |
| "learning_rate": 2.346666666666667e-06, | |
| "loss": 0.9627, | |
| "step": 5740 | |
| }, | |
| { | |
| "epoch": 0.768, | |
| "grad_norm": 6.46875, | |
| "learning_rate": 2.3200000000000002e-06, | |
| "loss": 0.9567, | |
| "step": 5760 | |
| }, | |
| { | |
| "epoch": 0.7706666666666667, | |
| "grad_norm": 11.25, | |
| "learning_rate": 2.2933333333333335e-06, | |
| "loss": 1.1001, | |
| "step": 5780 | |
| }, | |
| { | |
| "epoch": 0.7733333333333333, | |
| "grad_norm": 6.09375, | |
| "learning_rate": 2.266666666666667e-06, | |
| "loss": 0.817, | |
| "step": 5800 | |
| }, | |
| { | |
| "epoch": 0.776, | |
| "grad_norm": 18.125, | |
| "learning_rate": 2.24e-06, | |
| "loss": 0.9931, | |
| "step": 5820 | |
| }, | |
| { | |
| "epoch": 0.7786666666666666, | |
| "grad_norm": 29.0, | |
| "learning_rate": 2.2133333333333335e-06, | |
| "loss": 0.9811, | |
| "step": 5840 | |
| }, | |
| { | |
| "epoch": 0.7813333333333333, | |
| "grad_norm": 28.375, | |
| "learning_rate": 2.1866666666666668e-06, | |
| "loss": 0.8997, | |
| "step": 5860 | |
| }, | |
| { | |
| "epoch": 0.784, | |
| "grad_norm": 12.4375, | |
| "learning_rate": 2.16e-06, | |
| "loss": 1.0333, | |
| "step": 5880 | |
| }, | |
| { | |
| "epoch": 0.7866666666666666, | |
| "grad_norm": 0.0, | |
| "learning_rate": 2.133333333333334e-06, | |
| "loss": 0.9396, | |
| "step": 5900 | |
| }, | |
| { | |
| "epoch": 0.7893333333333333, | |
| "grad_norm": 9.125, | |
| "learning_rate": 2.1066666666666667e-06, | |
| "loss": 0.9391, | |
| "step": 5920 | |
| }, | |
| { | |
| "epoch": 0.792, | |
| "grad_norm": 9.375, | |
| "learning_rate": 2.08e-06, | |
| "loss": 1.1382, | |
| "step": 5940 | |
| }, | |
| { | |
| "epoch": 0.7946666666666666, | |
| "grad_norm": 6.0625, | |
| "learning_rate": 2.0533333333333337e-06, | |
| "loss": 1.0059, | |
| "step": 5960 | |
| }, | |
| { | |
| "epoch": 0.7973333333333333, | |
| "grad_norm": 4.71875, | |
| "learning_rate": 2.0266666666666666e-06, | |
| "loss": 1.0352, | |
| "step": 5980 | |
| }, | |
| { | |
| "epoch": 0.8, | |
| "grad_norm": 5.09375, | |
| "learning_rate": 2.0000000000000003e-06, | |
| "loss": 1.0354, | |
| "step": 6000 | |
| }, | |
| { | |
| "epoch": 0.8026666666666666, | |
| "grad_norm": 7.75, | |
| "learning_rate": 1.9733333333333336e-06, | |
| "loss": 1.0496, | |
| "step": 6020 | |
| }, | |
| { | |
| "epoch": 0.8053333333333333, | |
| "grad_norm": 5.65625, | |
| "learning_rate": 1.9466666666666665e-06, | |
| "loss": 1.0012, | |
| "step": 6040 | |
| }, | |
| { | |
| "epoch": 0.808, | |
| "grad_norm": 0.0, | |
| "learning_rate": 1.9200000000000003e-06, | |
| "loss": 1.0357, | |
| "step": 6060 | |
| }, | |
| { | |
| "epoch": 0.8106666666666666, | |
| "grad_norm": 0.0, | |
| "learning_rate": 1.8933333333333333e-06, | |
| "loss": 0.851, | |
| "step": 6080 | |
| }, | |
| { | |
| "epoch": 0.8133333333333334, | |
| "grad_norm": 5.21875, | |
| "learning_rate": 1.8666666666666669e-06, | |
| "loss": 0.917, | |
| "step": 6100 | |
| }, | |
| { | |
| "epoch": 0.816, | |
| "grad_norm": 12.0625, | |
| "learning_rate": 1.8400000000000002e-06, | |
| "loss": 1.0017, | |
| "step": 6120 | |
| }, | |
| { | |
| "epoch": 0.8186666666666667, | |
| "grad_norm": 0.0, | |
| "learning_rate": 1.8133333333333337e-06, | |
| "loss": 1.0068, | |
| "step": 6140 | |
| }, | |
| { | |
| "epoch": 0.8213333333333334, | |
| "grad_norm": 14.5, | |
| "learning_rate": 1.7866666666666668e-06, | |
| "loss": 0.9949, | |
| "step": 6160 | |
| }, | |
| { | |
| "epoch": 0.824, | |
| "grad_norm": 12.0625, | |
| "learning_rate": 1.76e-06, | |
| "loss": 1.0488, | |
| "step": 6180 | |
| }, | |
| { | |
| "epoch": 0.8266666666666667, | |
| "grad_norm": 7.09375, | |
| "learning_rate": 1.7333333333333336e-06, | |
| "loss": 1.0661, | |
| "step": 6200 | |
| }, | |
| { | |
| "epoch": 0.8293333333333334, | |
| "grad_norm": 8.125, | |
| "learning_rate": 1.7066666666666667e-06, | |
| "loss": 1.0665, | |
| "step": 6220 | |
| }, | |
| { | |
| "epoch": 0.832, | |
| "grad_norm": 16.875, | |
| "learning_rate": 1.6800000000000002e-06, | |
| "loss": 1.1383, | |
| "step": 6240 | |
| }, | |
| { | |
| "epoch": 0.8346666666666667, | |
| "grad_norm": 7.1875, | |
| "learning_rate": 1.6533333333333335e-06, | |
| "loss": 1.1024, | |
| "step": 6260 | |
| }, | |
| { | |
| "epoch": 0.8373333333333334, | |
| "grad_norm": 5.75, | |
| "learning_rate": 1.6266666666666666e-06, | |
| "loss": 0.9577, | |
| "step": 6280 | |
| }, | |
| { | |
| "epoch": 0.84, | |
| "grad_norm": 8.5625, | |
| "learning_rate": 1.6000000000000001e-06, | |
| "loss": 1.014, | |
| "step": 6300 | |
| }, | |
| { | |
| "epoch": 0.8426666666666667, | |
| "grad_norm": 9.375, | |
| "learning_rate": 1.5733333333333334e-06, | |
| "loss": 1.0004, | |
| "step": 6320 | |
| }, | |
| { | |
| "epoch": 0.8453333333333334, | |
| "grad_norm": 6.28125, | |
| "learning_rate": 1.546666666666667e-06, | |
| "loss": 1.1095, | |
| "step": 6340 | |
| }, | |
| { | |
| "epoch": 0.848, | |
| "grad_norm": 10.1875, | |
| "learning_rate": 1.52e-06, | |
| "loss": 0.8727, | |
| "step": 6360 | |
| }, | |
| { | |
| "epoch": 0.8506666666666667, | |
| "grad_norm": 7.40625, | |
| "learning_rate": 1.4933333333333336e-06, | |
| "loss": 1.0786, | |
| "step": 6380 | |
| }, | |
| { | |
| "epoch": 0.8533333333333334, | |
| "grad_norm": 5.6875, | |
| "learning_rate": 1.4666666666666669e-06, | |
| "loss": 1.037, | |
| "step": 6400 | |
| }, | |
| { | |
| "epoch": 0.856, | |
| "grad_norm": 15.9375, | |
| "learning_rate": 1.44e-06, | |
| "loss": 1.0154, | |
| "step": 6420 | |
| }, | |
| { | |
| "epoch": 0.8586666666666667, | |
| "grad_norm": 10.1875, | |
| "learning_rate": 1.4133333333333335e-06, | |
| "loss": 1.0671, | |
| "step": 6440 | |
| }, | |
| { | |
| "epoch": 0.8613333333333333, | |
| "grad_norm": 8.875, | |
| "learning_rate": 1.3866666666666668e-06, | |
| "loss": 1.016, | |
| "step": 6460 | |
| }, | |
| { | |
| "epoch": 0.864, | |
| "grad_norm": 10.4375, | |
| "learning_rate": 1.3600000000000001e-06, | |
| "loss": 1.0279, | |
| "step": 6480 | |
| }, | |
| { | |
| "epoch": 0.8666666666666667, | |
| "grad_norm": 13.125, | |
| "learning_rate": 1.3333333333333334e-06, | |
| "loss": 0.9778, | |
| "step": 6500 | |
| }, | |
| { | |
| "epoch": 0.8693333333333333, | |
| "grad_norm": 7.4375, | |
| "learning_rate": 1.3066666666666667e-06, | |
| "loss": 1.0402, | |
| "step": 6520 | |
| }, | |
| { | |
| "epoch": 0.872, | |
| "grad_norm": 9.1875, | |
| "learning_rate": 1.28e-06, | |
| "loss": 0.9718, | |
| "step": 6540 | |
| }, | |
| { | |
| "epoch": 0.8746666666666667, | |
| "grad_norm": 7.125, | |
| "learning_rate": 1.2533333333333333e-06, | |
| "loss": 0.9642, | |
| "step": 6560 | |
| }, | |
| { | |
| "epoch": 0.8773333333333333, | |
| "grad_norm": 9.125, | |
| "learning_rate": 1.2266666666666666e-06, | |
| "loss": 1.0113, | |
| "step": 6580 | |
| }, | |
| { | |
| "epoch": 0.88, | |
| "grad_norm": 11.9375, | |
| "learning_rate": 1.2000000000000002e-06, | |
| "loss": 1.3309, | |
| "step": 6600 | |
| }, | |
| { | |
| "epoch": 0.8826666666666667, | |
| "grad_norm": 6.15625, | |
| "learning_rate": 1.1733333333333335e-06, | |
| "loss": 0.9594, | |
| "step": 6620 | |
| }, | |
| { | |
| "epoch": 0.8853333333333333, | |
| "grad_norm": 6.09375, | |
| "learning_rate": 1.1466666666666668e-06, | |
| "loss": 1.0108, | |
| "step": 6640 | |
| }, | |
| { | |
| "epoch": 0.888, | |
| "grad_norm": 9.5625, | |
| "learning_rate": 1.12e-06, | |
| "loss": 1.0395, | |
| "step": 6660 | |
| }, | |
| { | |
| "epoch": 0.8906666666666667, | |
| "grad_norm": 15.3125, | |
| "learning_rate": 1.0933333333333334e-06, | |
| "loss": 0.9566, | |
| "step": 6680 | |
| }, | |
| { | |
| "epoch": 0.8933333333333333, | |
| "grad_norm": 10.75, | |
| "learning_rate": 1.066666666666667e-06, | |
| "loss": 1.1211, | |
| "step": 6700 | |
| }, | |
| { | |
| "epoch": 0.896, | |
| "grad_norm": 6.75, | |
| "learning_rate": 1.04e-06, | |
| "loss": 1.0777, | |
| "step": 6720 | |
| }, | |
| { | |
| "epoch": 0.8986666666666666, | |
| "grad_norm": 11.125, | |
| "learning_rate": 1.0133333333333333e-06, | |
| "loss": 1.0152, | |
| "step": 6740 | |
| }, | |
| { | |
| "epoch": 0.9013333333333333, | |
| "grad_norm": 10.9375, | |
| "learning_rate": 9.866666666666668e-07, | |
| "loss": 1.0281, | |
| "step": 6760 | |
| }, | |
| { | |
| "epoch": 0.904, | |
| "grad_norm": 8.6875, | |
| "learning_rate": 9.600000000000001e-07, | |
| "loss": 0.962, | |
| "step": 6780 | |
| }, | |
| { | |
| "epoch": 0.9066666666666666, | |
| "grad_norm": 11.5625, | |
| "learning_rate": 9.333333333333334e-07, | |
| "loss": 1.1534, | |
| "step": 6800 | |
| }, | |
| { | |
| "epoch": 0.9093333333333333, | |
| "grad_norm": 30.375, | |
| "learning_rate": 9.066666666666668e-07, | |
| "loss": 0.9501, | |
| "step": 6820 | |
| }, | |
| { | |
| "epoch": 0.912, | |
| "grad_norm": 6.46875, | |
| "learning_rate": 8.8e-07, | |
| "loss": 0.9963, | |
| "step": 6840 | |
| }, | |
| { | |
| "epoch": 0.9146666666666666, | |
| "grad_norm": 6.5625, | |
| "learning_rate": 8.533333333333334e-07, | |
| "loss": 0.7958, | |
| "step": 6860 | |
| }, | |
| { | |
| "epoch": 0.9173333333333333, | |
| "grad_norm": 17.125, | |
| "learning_rate": 8.266666666666668e-07, | |
| "loss": 1.0876, | |
| "step": 6880 | |
| }, | |
| { | |
| "epoch": 0.92, | |
| "grad_norm": 10.8125, | |
| "learning_rate": 8.000000000000001e-07, | |
| "loss": 1.0437, | |
| "step": 6900 | |
| }, | |
| { | |
| "epoch": 0.9226666666666666, | |
| "grad_norm": 7.90625, | |
| "learning_rate": 7.733333333333335e-07, | |
| "loss": 1.0624, | |
| "step": 6920 | |
| }, | |
| { | |
| "epoch": 0.9253333333333333, | |
| "grad_norm": 5.40625, | |
| "learning_rate": 7.466666666666668e-07, | |
| "loss": 0.9053, | |
| "step": 6940 | |
| }, | |
| { | |
| "epoch": 0.928, | |
| "grad_norm": 10.5, | |
| "learning_rate": 7.2e-07, | |
| "loss": 0.9652, | |
| "step": 6960 | |
| }, | |
| { | |
| "epoch": 0.9306666666666666, | |
| "grad_norm": 6.9375, | |
| "learning_rate": 6.933333333333334e-07, | |
| "loss": 0.9768, | |
| "step": 6980 | |
| }, | |
| { | |
| "epoch": 0.9333333333333333, | |
| "grad_norm": 9.9375, | |
| "learning_rate": 6.666666666666667e-07, | |
| "loss": 1.201, | |
| "step": 7000 | |
| }, | |
| { | |
| "epoch": 0.936, | |
| "grad_norm": 11.75, | |
| "learning_rate": 6.4e-07, | |
| "loss": 1.0306, | |
| "step": 7020 | |
| }, | |
| { | |
| "epoch": 0.9386666666666666, | |
| "grad_norm": 11.4375, | |
| "learning_rate": 6.133333333333333e-07, | |
| "loss": 0.9881, | |
| "step": 7040 | |
| }, | |
| { | |
| "epoch": 0.9413333333333334, | |
| "grad_norm": 8.6875, | |
| "learning_rate": 5.866666666666667e-07, | |
| "loss": 0.9891, | |
| "step": 7060 | |
| }, | |
| { | |
| "epoch": 0.944, | |
| "grad_norm": 7.46875, | |
| "learning_rate": 5.6e-07, | |
| "loss": 0.9073, | |
| "step": 7080 | |
| }, | |
| { | |
| "epoch": 0.9466666666666667, | |
| "grad_norm": 5.75, | |
| "learning_rate": 5.333333333333335e-07, | |
| "loss": 0.9615, | |
| "step": 7100 | |
| }, | |
| { | |
| "epoch": 0.9493333333333334, | |
| "grad_norm": 8.25, | |
| "learning_rate": 5.066666666666667e-07, | |
| "loss": 0.9996, | |
| "step": 7120 | |
| }, | |
| { | |
| "epoch": 0.952, | |
| "grad_norm": 5.90625, | |
| "learning_rate": 4.800000000000001e-07, | |
| "loss": 0.8935, | |
| "step": 7140 | |
| }, | |
| { | |
| "epoch": 0.9546666666666667, | |
| "grad_norm": 12.0, | |
| "learning_rate": 4.533333333333334e-07, | |
| "loss": 1.0936, | |
| "step": 7160 | |
| }, | |
| { | |
| "epoch": 0.9573333333333334, | |
| "grad_norm": 7.5625, | |
| "learning_rate": 4.266666666666667e-07, | |
| "loss": 1.005, | |
| "step": 7180 | |
| }, | |
| { | |
| "epoch": 0.96, | |
| "grad_norm": 11.9375, | |
| "learning_rate": 4.0000000000000003e-07, | |
| "loss": 1.1194, | |
| "step": 7200 | |
| }, | |
| { | |
| "epoch": 0.9626666666666667, | |
| "grad_norm": 12.0, | |
| "learning_rate": 3.733333333333334e-07, | |
| "loss": 1.0712, | |
| "step": 7220 | |
| }, | |
| { | |
| "epoch": 0.9653333333333334, | |
| "grad_norm": 10.5625, | |
| "learning_rate": 3.466666666666667e-07, | |
| "loss": 0.9666, | |
| "step": 7240 | |
| }, | |
| { | |
| "epoch": 0.968, | |
| "grad_norm": 36.75, | |
| "learning_rate": 3.2e-07, | |
| "loss": 0.9993, | |
| "step": 7260 | |
| }, | |
| { | |
| "epoch": 0.9706666666666667, | |
| "grad_norm": 8.125, | |
| "learning_rate": 2.9333333333333337e-07, | |
| "loss": 1.0613, | |
| "step": 7280 | |
| }, | |
| { | |
| "epoch": 0.9733333333333334, | |
| "grad_norm": 5.0, | |
| "learning_rate": 2.666666666666667e-07, | |
| "loss": 1.0541, | |
| "step": 7300 | |
| }, | |
| { | |
| "epoch": 0.976, | |
| "grad_norm": 0.0, | |
| "learning_rate": 2.4000000000000003e-07, | |
| "loss": 1.0974, | |
| "step": 7320 | |
| }, | |
| { | |
| "epoch": 0.9786666666666667, | |
| "grad_norm": 9.0, | |
| "learning_rate": 2.1333333333333334e-07, | |
| "loss": 1.0367, | |
| "step": 7340 | |
| }, | |
| { | |
| "epoch": 0.9813333333333333, | |
| "grad_norm": 9.0, | |
| "learning_rate": 1.866666666666667e-07, | |
| "loss": 0.9014, | |
| "step": 7360 | |
| }, | |
| { | |
| "epoch": 0.984, | |
| "grad_norm": 0.0, | |
| "learning_rate": 1.6e-07, | |
| "loss": 0.9209, | |
| "step": 7380 | |
| }, | |
| { | |
| "epoch": 0.9866666666666667, | |
| "grad_norm": 10.0, | |
| "learning_rate": 1.3333333333333336e-07, | |
| "loss": 0.9664, | |
| "step": 7400 | |
| }, | |
| { | |
| "epoch": 0.9893333333333333, | |
| "grad_norm": 9.5625, | |
| "learning_rate": 1.0666666666666667e-07, | |
| "loss": 1.0568, | |
| "step": 7420 | |
| }, | |
| { | |
| "epoch": 0.992, | |
| "grad_norm": 9.5, | |
| "learning_rate": 8e-08, | |
| "loss": 1.1626, | |
| "step": 7440 | |
| }, | |
| { | |
| "epoch": 0.9946666666666667, | |
| "grad_norm": 9.25, | |
| "learning_rate": 5.3333333333333334e-08, | |
| "loss": 0.91, | |
| "step": 7460 | |
| }, | |
| { | |
| "epoch": 0.9973333333333333, | |
| "grad_norm": 4.96875, | |
| "learning_rate": 2.6666666666666667e-08, | |
| "loss": 0.8797, | |
| "step": 7480 | |
| }, | |
| { | |
| "epoch": 1.0, | |
| "grad_norm": 14.0, | |
| "learning_rate": 0.0, | |
| "loss": 0.9759, | |
| "step": 7500 | |
| }, | |
| { | |
| "epoch": 1.0, | |
| "step": 7500, | |
| "total_flos": 1.121064321024e+16, | |
| "train_loss": 1.0374535544077554, | |
| "train_runtime": 921.6945, | |
| "train_samples_per_second": 8.137, | |
| "train_steps_per_second": 8.137 | |
| } | |
| ], | |
| "logging_steps": 20, | |
| "max_steps": 7500, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 1, | |
| "save_steps": 5000, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": true | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 1.121064321024e+16, | |
| "train_batch_size": 1, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |